Data Cleaning কী?
Data Cleaning বা ডেটা পরিস্কার করা হলো এমন একটি প্রক্রিয়া, যার মাধ্যমে ডেটার ভুল, অনুপস্থিত, বা অপ্রয়োজনীয় তথ্য সরানো হয় এবং ডেটাকে বিশ্লেষণের জন্য প্রস্তুত করা হয়। এটি ডেটার গুণগত মান নিশ্চিত করে, যাতে সঠিক এবং নির্ভুল ফলাফল পাওয়া যায়। Data Cleaning এর মাধ্যমে ডেটার মধ্যে কোনো ধরনের অসামঞ্জস্যতা বা ত্রুটি দূর করা হয়।
Data Cleaning Techniques
1. ডুপ্লিকেট ডেটা সরানো (Removing Duplicate Data)
ডেটা সেটে ডুপ্লিকেট এন্ট্রি থাকা সমস্যার সৃষ্টি করতে পারে। Excel-এ ডুপ্লিকেট রেকর্ড চিহ্নিত এবং সরানো খুবই সহজ।
ধাপ:
- ডেটা সিলেক্ট করুন।
- Data ট্যাব থেকে Remove Duplicates অপশন সিলেক্ট করুন।
- কোন কলামগুলোর উপর ডুপ্লিকেট চেক করতে চান তা নির্বাচন করুন এবং OK ক্লিক করুন।
2. মিসিং ডেটা ফিল করা (Filling Missing Data)
যতটুকু সম্ভব, মিসিং ডেটা পূর্ণ করা উচিত। মিসিং ডেটা কোনো সূত্র, গড় বা অন্যান্য মান দিয়ে পূর্ণ করা যায়।
ধাপ:
- Go To Special অপশন ব্যবহার করে সেলগুলোর মধ্যে মিসিং ডেটা (Blanks) সিলেক্ট করুন।
- তারপর, সেলগুলোর মধ্যে গড় বা অন্যান্য মান ইনপুট করতে পারেন (যেমন:
=AVERAGE(B2:B10)বা=0)।
3. আউটলায়ারস (Outliers) চিহ্নিত করা
ডেটা সেটে অস্বাভাবিক বা অতিরিক্ত বড়/ছোট মান (আউটলায়ার) থাকতে পারে, যা বিশ্লেষণকে প্রভাবিত করতে পারে। আউটলায়ার চিহ্নিত করে সেগুলো সংশোধন বা সরানো উচিত।
ধাপ:
- Conditional Formatting ব্যবহার করে আউটলায়ার চিহ্নিত করা যায়।
- বা Z-score বা IQR (Interquartile Range) মেথড ব্যবহার করে আউটলায়ার খুঁজে বের করা যায়।
4. ডেটা টাইপ ভুল সংশোধন (Correcting Data Type Errors)
ডেটা ইনপুটের সময় টাইপ ভুল হতে পারে (যেমন, সংখ্যা হিসেবে টেক্সট ইনপুট)। সঠিক ডেটা টাইপ নির্বাচন করে সংশোধন করা উচিত।
ধাপ:
- Data Validation ব্যবহার করে ডেটার সঠিক টাইপ নিশ্চিত করতে পারেন।
- Text to Columns ব্যবহার করে একটি সেলে একাধিক মান বিভাজন করতে পারেন।
5. ইরর ভ্যালু সরানো (Removing Error Values)
Excel-এ প্রায়ই #DIV/0!, #N/A ইত্যাদি ইরর ভ্যালু দেখা যায়। এসব ইরর ভ্যালু সঠিক ডেটা বিশ্লেষণকে বাধাগ্রস্ত করতে পারে।
ধাপ:
- IFERROR ফাংশন ব্যবহার করে এই ধরনের ইরর ভ্যালু আটকানো যায়। যেমন:
=IFERROR(A1/B1, 0)
6. ইউনিক আইডেন্টিফায়ারস নিশ্চিত করা (Ensuring Unique Identifiers)
ডেটা সেটে আইডেন্টিফায়ার (যেমন, কাস্টমার আইডি বা পণ্য কোড) ইউনিক থাকা উচিত। এক্সেল সেলে প্রাপ্ত আইডেন্টিফায়ারগুলো পুনরায় যাচাই করা উচিত।
ধাপ:
- Data ট্যাব থেকে Remove Duplicates অপশন ব্যবহার করে ইউনিক আইডেন্টিফায়ার চেক করা যায়।
Data Preparation Techniques
Data Preparation হলো ডেটাকে বিশ্লেষণের জন্য প্রস্তুত করা। এটি মূলত ডেটার ফরম্যাটিং, ক্লিনিং, এবং ট্রান্সফর্মেশন প্রক্রিয়া, যার মাধ্যমে ডেটাকে আরও উপযোগী করে তোলা হয়।
1. ডেটা নর্মালাইজেশন (Data Normalization)
ডেটা নর্মালাইজেশন একটি প্রক্রিয়া, যার মাধ্যমে ডেটাকে একটি সাধারণ স্কেলে নিয়ে আসা হয়। এতে বড় মান এবং ছোট মানের মধ্যে কোনো পার্থক্য থাকে না।
ধাপ:
- Excel-এ MIN-MAX normalization ব্যবহার করা যায়:
Normalized Value = (X - Min(X)) / (Max(X) - Min(X))
2. ফিল্টারিং এবং সোর্টিং (Filtering and Sorting)
ডেটাকে সঠিকভাবে সাজানো এবং ফিল্টার করা বিশ্লেষণ প্রক্রিয়াকে সহজ করে তোলে।
ধাপ:
- Data ট্যাব থেকে Sort এবং Filter অপশন ব্যবহার করে ডেটা সাজানো এবং নির্দিষ্ট মান অনুযায়ী ফিল্টার করা হয়।
3. ডেটা ফরম্যাটিং (Data Formatting)
ডেটার ফরম্যাট সঠিকভাবে পরিবর্তন করা বিশ্লেষণ সহজ করে তোলে। বিশেষ করে তারিখ, সংখ্যা, বা টেক্সট ফরম্যাট সঠিকভাবে ব্যবহার করা উচিত।
ধাপ:
- Home ট্যাব থেকে Number Format নির্বাচন করে ডেটার ফরম্যাট নির্বাচন করুন।
4. ডেটা ট্রান্সফর্মেশন (Data Transformation)
ডেটা ট্রান্সফর্মেশন হল ডেটাকে একটি ফরম্যাট থেকে অন্য একটি ফরম্যাটে রূপান্তর করা।
ধাপ:
- Text to Columns ব্যবহার করে এক সেলে মিশ্র ডেটা আলাদা করা যায়।
- CONCATENATE ফাংশন ব্যবহার করে একাধিক সেল যোগ করা যায়।
5. অ্যালাইনমেন্ট এবং মার্জিং (Alignment and Merging)
ডেটাকে সুন্দরভাবে সজ্জিত করার জন্য সেল মার্জিং এবং অ্যালাইনমেন্ট ব্যবহার করা যায়।
ধাপ:
- Merge & Center অপশন ব্যবহার করে সেল মার্জ করা যায় এবং ডেটাকে কেন্দ্রস্থলে স্থাপন করা হয়।
- Alignment টুল ব্যবহার করে ডেটা সেলের মধ্যে উপরে, নিচে বা কেন্দ্রে অ্যালাইন করা যায়।
6. ডেটা রেঞ্জ নির্ধারণ (Defining Data Ranges)
ডেটাকে একটি রেঞ্জ হিসেবে গোষ্ঠীভুক্ত করা হলে, তা বিশ্লেষণের জন্য আরও সহজ হয়।
ধাপ:
- Named Ranges ব্যবহার করে একটি ডেটার রেঞ্জকে একটি নির্দিষ্ট নাম দেওয়া যায়, যা পরবর্তীতে ফর্মুলায় বা ফিল্টারে ব্যবহার করা যায়।
Data Cleaning এবং Preparation এর উপকারিতা
- সঠিক বিশ্লেষণ: ডেটা ক্লিনিং এবং প্রিপারেশন নিশ্চিত করে যে ডেটা সঠিক এবং বিশ্লেষণের জন্য প্রস্তুত।
- ডেটার গুণগত মান বৃদ্ধি: ডেটার ভুল বা অনুপস্থিত তথ্য দূর করে গুণগত মান উন্নত করা যায়।
- ট্রেন্ড সনাক্তকরণ সহজ: পরিষ্কার এবং প্রস্তুত ডেটা থেকে সহজে ট্রেন্ড এবং প্যাটার্ন চিহ্নিত করা যায়।
- সময় বাঁচানো: ডেটা পরিস্কার এবং প্রস্তুত করা হলে বিশ্লেষণ দ্রুত এবং দক্ষভাবে করা যায়।
Excel-এ সঠিকভাবে Data Cleaning এবং Data Preparation Techniques প্রয়োগ করে ডেটাকে আরও কার্যকরী এবং বিশ্লেষণযোগ্য করা যায়, যা ব্যবসায়িক এবং অন্যান্য সিদ্ধান্ত গ্রহণ প্রক্রিয়ায় সহায়ক।
Read more
