ডেটা ট্রান্সফরমেশন এবং ম্যাপিং হল ডেটা প্রক্রিয়াকরণের দুটি গুরুত্বপূর্ণ পদক্ষেপ। এই প্রক্রিয়াগুলির মাধ্যমে ডেটার গুণগত মান উন্নত করা এবং বিভিন্ন সোর্সের মধ্যে ডেটা সংহত করা হয়। নিচে একটি উদাহরণসহ ডেটা ট্রান্সফরমেশন এবং ম্যাপিং প্রক্রিয়া আলোচনা করা হলো।
উদাহরণ: Data Transformation এবং Mapping
প্রয়োজনীয়তা
- Python Environment: Python এবং Pandas লাইব্রেরি ইন্সটল করা থাকতে হবে।
- Sample Data: একটি CSV ফাইল যা আমরা ট্রান্সফর্ম এবং ম্যাপ করব।
উদাহরণ ডেটা
ধরি, আমাদের কাছে একটি employees.csv ফাইল রয়েছে:
id,name,department,salary
1,John Doe,Sales,60000
2,Jane Smith,Marketing,NaN
3,Alice Brown,Sales,75000
4,Bob Johnson,IT,80000
5,Charlie Lee,Marketing,65000
১. Python এবং Pandas ব্যবহার করে Data Transformation
import pandas as pd
# ডেটা লোড করা
df = pd.read_csv("path/to/employees.csv")
print("Original Data:")
print(df)
# ১. NaN মানগুলিকে 0 দিয়ে পূরণ করা
df['salary'].fillna(0, inplace=True)
# ২. বেতনকে বছরে ভিত্তিতে রূপান্তর করা (মাসিক থেকে বার্ষিক)
df['annual_salary'] = df['salary'] * 12
# ৩. নামের প্রথম এবং শেষ নাম আলাদা করা
df[['first_name', 'last_name']] = df['name'].str.split(' ', expand=True)
print("\nTransformed Data:")
print(df)
২. Data Mapping
ডেটা ম্যাপিং হল একটি প্রক্রিয়া যেখানে একটি ডেটা ফিল্ডের মান অন্য একটি ডেটা ফিল্ডে রূপান্তরিত হয়। ধরুন, আমাদের লক্ষ্য হল কর্মচারীদের বিভাগগুলিকে কোডে রূপান্তর করা।
Mapping Example
# বিভাগগুলির জন্য একটি mapping তৈরি করা
department_mapping = {
"Sales": "D01",
"Marketing": "D02",
"IT": "D03"
}
# Mapping প্রয়োগ করা
df['department_code'] = df['department'].map(department_mapping)
print("\nMapped Data:")
print(df[['name', 'department', 'department_code']])
উপসংহার
উপরের উদাহরণে, আমরা Pandas ব্যবহার করে ডেটা ট্রান্সফরমেশন সম্পন্ন করেছি, যেখানে NaN মান পূরণ করা হয়েছে, বেতন বার্ষিক হিসেবে রূপান্তর করা হয়েছে এবং নামের প্রথম ও শেষ নাম আলাদা করা হয়েছে। এরপর, আমরা ডেটা ম্যাপিং সম্পন্ন করেছি, যেখানে কর্মচারীদের বিভাগের জন্য একটি কোড তৈরি করা হয়েছে। এই প্রক্রিয়াগুলি ডেটাকে বিশ্লেষণের জন্য প্রস্তুত করতে এবং বিভিন্ন সোর্সের মধ্যে তথ্য একত্রিত করতে সহায়ক।
Read more
