Data Preprocessing Techniques (Normalization, Resizing, Augmentation)

ডেটা প্রিপ্রসেসিং হল মেশিন লার্নিং এবং ডিপ লার্নিংয়ের একটি গুরুত্বপূর্ণ ধাপ, যেখানে কাঁচা ডেটাকে মডেল ট্রেনিংয়ের জন্য প্রস্তুত করা হয়। চিত্র ডেটার জন্য সবচেয়ে গুরুত্বপূর্ণ প্রিপ্রসেসিং টেকনিকগুলি হল Normalization, Resizing, এবং Augmentation। নিচে প্রতিটি টেকনিকের বিস্তারিত আলোচনা করা হলো।

1. Normalization

Normalization হল একটি পদ্ধতি যার মাধ্যমে ডেটাকে একটি নির্দিষ্ট স্কেলে আনা হয়, যাতে এক বা একাধিক ফিচার বড় মানে দখল না করে। এটি বিশেষত সেই অ্যালগরিদমগুলির জন্য গুরুত্বপূর্ণ যা দূরত্ব পরিমাপের উপর নির্ভর করে (যেমন KNN, SVM বা নিউরাল নেটওয়ার্কস)।

উদ্দেশ্য:

• ট্রেনিংয়ের সময় দ্রুত কনভার্জেন্সে সহায়তা করা।
• নিশ্চিত করা যে, কোন ফিচার মডেল ট্রেনিংয়ে অন্য ফিচারের তুলনায় বেশি প্রভাব ফেলছে না।

সাধারণ টেকনিক:

• Min-Max Normalization: ডেটাকে একটি নির্দিষ্ট রেঞ্জে স্কেল করা, সাধারণত [0, 1]।

  $$X' = \frac{X - \text{min}(X)}{\text{max}(X) - \text{min}(X)}$$

  যেখানে:

  • $X$ হল আসল ফিচার মান।
  • $\text{min}(X)$ এবং $\text{max}(X)$ হল ফিচারের সর্বনিম্ন এবং সর্বোচ্চ মান।

• Z-score Normalization (Standardization): ডেটাকে গড় এবং স্ট্যান্ডার্ড ডিভিয়েশন দিয়ে স্কেল করা।

  $$X' = \frac{X - \mu}{\sigma}$$

  যেখানে:

  • $X$ হল আসল ফিচার মান।
  • $\mu$ হল ফিচারের গড়।
  • $\sigma$ হল ফিচারের স্ট্যান্ডার্ড ডিভিয়েশন।

উদাহরণ (চিত্র ডেটা):

চিত্র ডেটার জন্য, পিক্সেল মান সাধারণত 0 থেকে 255 পর্যন্ত থাকে। নরমালাইজেশন দ্বারা এই মানগুলিকে [0, 1] পরিসরে আনা হয়।

image = image / 255.0

2. Resizing

Resizing হল পদ্ধতি যার মাধ্যমে চিত্রের আকার পরিবর্তন করা হয়, যাতে সেগুলি মডেল ট্রেনিংয়ের জন্য একরকম আকারে থাকে। অধিকাংশ ডিপ লার্নিং মডেল নির্দিষ্ট ইনপুট সাইজের আশা করে, তাই সব চিত্রের সাইজ একসাথে সমান করা প্রয়োজন।

উদ্দেশ্য:

• চিত্রগুলিকে একরকম আকারে আনা, যাতে মডেল ট্রেনিং সম্ভব হয়।
• কম্পিউটেশনাল লোড এবং মেমরি ব্যবহার কমানো।

টেকনিক:

• Fixed Dimension Resize: চিত্রের আকার একটি নির্দিষ্ট প্রস্থ এবং উচ্চতায় রিসাইজ করা।
  • সাধারণ সাইজ যেমন 224x224, 256x256, বা 512x512 ব্যবহার করা হয়, যা মডেল অনুযায়ী পরিবর্তিত হতে পারে।
• Aspect Ratio Preservation: কখনও কখনও চিত্রগুলিকে আংশিকভাবে রিসাইজ করা হয়, যেখানে তাদের আসল অ্যাস্পেক্ট রেশিও ধরে রাখা হয় এবং পরে প্যাডিং (যেমন কালো) দিয়ে আকার পূর্ণ করা হয়।

উদাহরণ (চিত্র ডেটা):

OpenCV বা PIL লাইব্রেরি ব্যবহার করে চিত্রটি রিসাইজ করা যায়, যেমন 224x224 পিক্সেলে:

import cv2

image = cv2.imread("image.jpg")
resized_image = cv2.resize(image, (224, 224))  # Resize to 224x224

3. Augmentation

Data augmentation হল একটি পদ্ধতি যার মাধ্যমে ট্রেনিং ডেটাসেটকে কৃত্রিমভাবে বৃদ্ধি করা হয় ট্রান্সফরমেশন প্রয়োগ করে। এই পদ্ধতিটি ডেটার বৈচিত্র্য বাড়াতে সহায়তা করে এবং মডেলের ওভারফিটিং প্রতিরোধে সাহায্য করে, বিশেষত যখন ট্রেনিং ডেটা সীমিত থাকে।

উদ্দেশ্য:

• ট্রেনিং ডেটাসেটের বৈচিত্র্য বৃদ্ধি করা।
• মডেলকে নিয়মিত করা এবং সাধারণীকরণ উন্নত করা।

সাধারণ Augmentation টেকনিক:

• Rotation: চিত্রগুলিকে কিছু ডিগ্রি র‍্যান্ডমভাবে ঘোরানো।
• Flipping: চিত্রগুলিকে অনুভূতভাবে বা আড়াআড়িভাবে ফ্লিপ করা।
• Translation (Shifting): চিত্রটিকে কিছু পিক্সেল মাপের মধ্যে এক্স বা ওয়াই অক্ষ বরাবর সরানো।
• Zooming: চিত্রটিকে জুম ইন বা আউট করা।
• Brightness and Contrast Adjustments: চিত্রের উজ্জ্বলতা বা কনট্রাস্ট পরিবর্তন করা।
• Cropping: চিত্রের কিছু অংশ কেটে নেওয়া।
• Shearing: চিত্রের আকৃতি বিকৃত করার জন্য শিয়ারিং ট্রান্সফরমেশন প্রয়োগ করা।

উদাহরণ (চিত্র ডেটা):

Keras বা PyTorch লাইব্রেরি ব্যবহার করে ডেটা অগমেন্টেশন করা যেতে পারে।

Keras উদাহরণ:

from keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(
    rotation_range=40,
    width_shift_range=0.2,
    height_shift_range=0.2,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    fill_mode='nearest'
)

# Example: Augment a single image
image = np.expand_dims(image, axis=0)  # Add a batch dimension
datagen.flow(image, batch_size=1, save_to_dir='augmented_images')

PyTorch উদাহরণ:

from torchvision import transforms

transform = transforms.Compose([
    transforms.RandomRotation(30),
    transforms.RandomHorizontalFlip(),
    transforms.RandomResizedCrop(224),
    transforms.ToTensor(),
])

augmented_image = transform(image)

সারাংশ:

1. Normalization:
   • Min-Max বা Z-score নরমালাইজেশন ব্যবহার করে পিক্সেল মানকে একটি নির্দিষ্ট পরিসরে স্কেল করা।
2. Resizing:
   • চিত্রগুলিকে একটি নির্দিষ্ট আকারে রিসাইজ করা যাতে ইনপুট সাইজ সামঞ্জস্যপূর্ণ হয়।
3. Augmentation:
   • বিভিন্ন র্যান্ডম ট্রান্সফরমেশন (যেমন রোটেশন, ফ্লিপিং, ক্রপিং) প্রয়োগ করে ডেটাসেটের বৈচিত্র্য বৃদ্ধি করা।

এই ডেটা প্রিপ্রসেসিং টেকনিকগুলো ব্যবহার করে আপনি আপনার মডেলের পারফরম্যান্স উন্নত করতে পারবেন, বিশেষত যখন ডেটাসেট ছোট বা অপ্রতুল হয়।