Grid Search এবং Random Search Techniques

Machine Learning - সাইকিট-লার্ন (Scikit-Learn) - Hyperparameter Tuning এবং Optimization
184

Grid Search এবং Random Search হলো দুটি জনপ্রিয় হাইপারপ্যারামিটার টিউনিং টেকনিক, যা মেশিন লার্নিং মডেলের পারফরম্যান্স উন্নত করতে ব্যবহৃত হয়। এই দুটি পদ্ধতি হাইপারপ্যারামিটার নির্বাচন প্রক্রিয়াকে সহজতর এবং দ্রুত করতে সাহায্য করে। তবে, তাদের মধ্যে কিছু মৌলিক পার্থক্যও রয়েছে, যা বুঝে নেওয়া গুরুত্বপূর্ণ।


Grid Search

Grid Search একটি সিস্টেম্যাটিক পদ্ধতি যা নির্দিষ্ট হাইপারপ্যারামিটার সেটের জন্য সমস্ত সম্ভাব্য মানের কম্বিনেশন চেষ্টা করে। এটি সমস্ত প্যারামিটার মানের একটি গ্রিড তৈরি করে এবং প্রতিটি কম্বিনেশনে মডেল প্রশিক্ষণ দিয়ে সবচেয়ে ভালো পারফরম্যান্স সহ প্যারামিটার সেট নির্বাচন করে।

কীভাবে Grid Search কাজ করে?

  1. প্রথমে, হাইপারপ্যারামিটারগুলির সম্ভাব্য মানের একটি গ্রিড তৈরি করা হয়। উদাহরণস্বরূপ, যদি মডেলটির জন্য দুটি প্যারামিটার থাকে:

    • C (যেমন: 1, 10, 100)
    • kernel (যেমন: 'linear', 'rbf')

    তাহলে আপনি এই দুটি প্যারামিটার থেকে বিভিন্ন কম্বিনেশন তৈরি করবেন।

  2. গ্রিডের প্রতিটি কম্বিনেশনের জন্য মডেল প্রশিক্ষণ করা হয় এবং একটি নির্দিষ্ট স্কোর (যেমন Accuracy বা F1-score) পরিমাপ করা হয়।
  3. সর্বোত্তম স্কোর প্রদানকারী প্যারামিটার সেট নির্বাচন করা হয়।

Grid Search এর উদাহরণ (Python):

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

# মডেল তৈরি
model = SVC()

# হাইপারপ্যারামিটার গ্রিড
param_grid = {
    'C': [1, 10, 100],
    'kernel': ['linear', 'rbf']
}

# GridSearchCV তৈরি
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5)
grid_search.fit(X_train, y_train)

# সর্বোত্তম প্যারামিটার সেট পাওয়া
print("Best Parameters:", grid_search.best_params_)

Grid Search এর সুবিধা:

  • সম্পূর্ণ অনুসন্ধান: এটি সমস্ত প্যারামিটার কম্বিনেশন পরীক্ষা করে, তাই এটি সর্বোত্তম প্যারামিটার সেট খুঁজে পেতে সক্ষম।
  • সহজ ব্যবহার: এটি একটি সহজ এবং সরাসরি পদ্ধতি যা পুরো গ্রিডটি পরীক্ষা করে।

সীমাবদ্ধতা:

  • কম্পিউটেশনালভাবে ব্যয়বহুল: হাইপারপ্যারামিটার গ্রিড বড় হলে, এর জন্য অনেক সময় এবং কম্পিউটেশনাল শক্তি প্রয়োজন হতে পারে। এটি ডেটাসেটের আকার বা প্যারামিটারগুলির সংখ্যা বাড়ানোর সাথে সাথে বাড়তে থাকে।

Random Search

Random Search একটি এলোমেলো পদ্ধতি যেখানে সম্ভাব্য প্যারামিটার মানগুলির মধ্যে এলোমেলোভাবে বেছে নেওয়া হয় এবং প্রতিটি কম্বিনেশনের জন্য মডেল প্রশিক্ষণ করা হয়। Grid Search এর তুলনায় এটি একটি দ্রুত পদ্ধতি, কারণ এটি সবগুলো প্যারামিটার কম্বিনেশন পরীক্ষা না করে কিছু এলোমেলো কম্বিনেশন পরীক্ষা করে।

কীভাবে Random Search কাজ করে?

  1. হাইপারপ্যারামিটারগুলির সম্ভাব্য মানের একটি রেঞ্জ নির্ধারণ করা হয়।
  2. এলোমেলোভাবে কিছু মান বাছাই করা হয় এবং তাদের জন্য মডেল প্রশিক্ষণ করা হয়।
  3. এটা একটি নির্দিষ্ট সংখ্যক রান (iterations) বা সময় পর্যন্ত চলতে থাকে।

Random Search এর উদাহরণ (Python):

from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
from scipy.stats import uniform

# মডেল তৈরি
model = SVC()

# হাইপারপ্যারামিটার রেঞ্জ
param_dist = {
    'C': uniform(1, 10),  # C এর জন্য এলোমেলো মান
    'kernel': ['linear', 'rbf']
}

# RandomizedSearchCV তৈরি
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=10, cv=5)
random_search.fit(X_train, y_train)

# সর্বোত্তম প্যারামিটার সেট পাওয়া
print("Best Parameters:", random_search.best_params_)

Random Search এর সুবিধা:

  • কম্পিউটেশনালভাবে দক্ষ: Grid Search এর তুলনায় এটি কম্পিউটেশনালভাবে কম খরচে, কারণ এটি সমস্ত প্যারামিটার কম্বিনেশন পরীক্ষা না করে কিছু এলোমেলো পরীক্ষা করে।
  • উন্নত কার্যকারিতা: প্রায়ই, এলোমেলোভাবে কিছু পরিসরের মধ্যে একটি ভাল ফলাফল পেতে পারে Grid Search এর তুলনায়, বিশেষ করে যখন প্যারামিটার স্পেস বড় হয়।

সীমাবদ্ধতা:

  • সম্পূর্ণ অনুসন্ধান না হওয়া: এটি সমস্ত সম্ভাব্য প্যারামিটার কম্বিনেশন পরীক্ষা না করে, তাই কিছু ক্ষেত্রে এটি সবচেয়ে ভাল ফলাফল নাও দিতে পারে।

Grid Search vs Random Search

বৈশিষ্ট্যGrid SearchRandom Search
পদ্ধতিসমস্ত প্যারামিটার কম্বিনেশন পরীক্ষা করেএলোমেলোভাবে প্যারামিটার বেছে নিয়ে পরীক্ষা করে
কম্পিউটেশনাল খরচবেশি, কারণ সমস্ত কম্বিনেশন পরীক্ষা করতে হয়কম, কারণ এলোমেলোভাবে কিছু কম্বিনেশন পরীক্ষা করা হয়
এফেক্টিভনেসযখন প্যারামিটার স্পেস ছোট এবং সঠিক K এর মান জানা থাকেযখন প্যারামিটার স্পেস বড় এবং K এর মান জানা না থাকে
সময়অধিক সময় লাগেকম সময় লাগে
বিনিয়োগসম্পূর্ণ অনুসন্ধান দ্বারা সবচেয়ে ভালো ফলাফল পেতে সহায়কদ্রুত ফলাফল পেতে সহায়ক, তবে কিছু ক্ষেত্রে সেরা ফলাফল নাও দিতে পারে

সারাংশ

  • Grid Search একটি সিস্টেম্যাটিক পদ্ধতি যা সমস্ত প্যারামিটার কম্বিনেশন পরীক্ষা করে এবং সবচেয়ে ভালো ফলাফল নির্ধারণ করে, তবে এটি অনেক সময় এবং কম্পিউটেশনাল শক্তি খরচ করতে পারে।
  • Random Search এলোমেলোভাবে প্যারামিটার কম্বিনেশন পরীক্ষা করে এবং অনেক ক্ষেত্রে Grid Search-এর তুলনায় দ্রুত এবং কার্যকরী হতে পারে, বিশেষত যখন প্যারামিটার স্পেস বড় হয়।

এই দুটি পদ্ধতির মধ্যে নির্বাচন করা আপনার ডেটাসেটের আকার, মডেলের জটিলতা এবং কম্পিউটেশনাল সম্পদের উপর নির্ভর করবে।

Content added By
Promotion
NEW SATT AI এখন আপনাকে সাহায্য করতে পারে।

Are you sure to start over?

Loading...