SHAP এবং LIME ব্যবহার করে Model Explanation

SHAP (SHapley Additive exPlanations) এবং LIME (Local Interpretable Model-agnostic Explanations) হল দুটি জনপ্রিয় টুল যা মেশিন লার্নিং মডেলগুলির explainability বা ব্যাখ্যাযোগ্যতা নিশ্চিত করতে ব্যবহৃত হয়। এই দুটি টুল বিভিন্ন মডেলের সিদ্ধান্তের ব্যাখ্যা প্রদান করে, যা মডেলের ফিচারগুলির প্রভাব এবং প্রতিটি সিদ্ধান্তের যুক্তি সম্পর্কে অবহিত করে।

এখানে SHAP এবং LIME এর কাজের পদ্ধতি এবং কীভাবে এগুলো ব্যবহার করা যেতে পারে তা বিস্তারিতভাবে আলোচনা করা হলো।

1. SHAP (SHapley Additive exPlanations):

SHAP হল একটি ব্যাখ্যাযোগ্যতা টুল যা শাপলে মানের ভিত্তিতে ফিচারের গুরুত্ব নির্ধারণ করে। এটি মূলত game theory এর উপর ভিত্তি করে তৈরি, যেখানে মডেলের প্রতিটি ইনপুট ফিচারের জন্য একটি Shapley value নির্ধারণ করা হয়। SHAP মান প্রতিটি ফিচারের অবদান মডেলের আউটপুটে কীভাবে প্রতিফলিত হয় তা বর্ণনা করে।

SHAP এর মূল বৈশিষ্ট্য:

1. Additivity: SHAP মানের যোগফল সমান হবে মডেলের আউটপুটের পরিবর্তনের সাথে।
2. Fairness: SHAP ফিচারের প্রতিটি ইনপুটের অবদান নির্ধারণে fair এবং consistent।
3. Model-agnostic: SHAP বিভিন্ন ধরনের মডেল (যেমন, Decision Trees, Linear Models, Neural Networks) এর জন্য কাজ করতে পারে।

SHAP ব্যবহার করার জন্য ধাপ:

1. SHAP প্যাকেজ ইনস্টলেশন:

   pip install shap
   

2. মডেল প্রশিক্ষণ: প্রথমে একটি মডেল প্রশিক্ষণ করুন। উদাহরণস্বরূপ, XGBoost মডেল ব্যবহার করা যেতে পারে:

   import shap
   import xgboost as xgb
   from sklearn.datasets import load_boston
   from sklearn.model_selection import train_test_split
   
   # ডেটাসেট লোড করা
   data = load_boston()
   X = data.data
   y = data.target
   
   # ডেটা ট্রেনিং এবং টেস্ট সেটে ভাগ করা
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
   
   # XGBoost মডেল প্রশিক্ষণ
   model = xgb.XGBRegressor(objective='reg:squarederror')
   model.fit(X_train, y_train)
   

3. SHAP ব্যাখ্যা তৈরি করা: SHAP ব্যাখ্যা তৈরি করতে TreeExplainer ব্যবহার করা যেতে পারে:

   # SHAP Explainer তৈরি করা
   explainer = shap.Explainer(model)
   shap_values = explainer.shap_values(X_test)
   
   # SHAP ভ্যালুগুলি ভিজুয়ালাইজ করা
   shap.summary_plot(shap_values, X_test)
   

   এখানে, summary_plot ফাংশন ব্যবহার করে আপনি ফিচারগুলির প্রতিটি অবদান ভিজুয়ালাইজ করতে পারবেন। SHAP ভ্যালু দ্বারা প্রতিটি ফিচারের আউটপুটে প্রভাব বোঝানো হবে, এবং এটি মডেলের ব্যাখ্যা প্রদান করবে।

SHAP এর আউটপুট:

• SHAP একটি summary plot তৈরি করবে, যেখানে:
  • x-axis: SHAP value (ফিচারের আউটপুটে অবদান),
  • y-axis: ফিচার নাম,
  • Coloring: ফিচারের মান অনুযায়ী।

এটি আপনাকে জানাবে কোন ফিচারটি মডেলের সিদ্ধান্তে বেশি প্রভাব ফেলছে।

2. LIME (Local Interpretable Model-agnostic Explanations):

LIME একটি অন্য ধরনের ব্যাখ্যা পদ্ধতি যা local (স্থানীয়) ব্যাখ্যা তৈরি করে। LIME মূলত black-box models (যেমন Random Forest, Neural Networks) এর মধ্যে ফিচারের অবদান বুঝতে সাহায্য করে। এটি মডেলের কার্যকারিতা বিশ্লেষণ করতে perturbation-based মেথড ব্যবহার করে। এর মানে হল যে, এটি মডেলের কাছ থেকে কিছু এলোমেলো ইনপুট তৈরি করে এবং সেগুলির জন্য আউটপুট বিশ্লেষণ করে ফিচারের প্রভাব নির্ধারণ করে।

LIME এর মূল বৈশিষ্ট্য:

1. Model-agnostic: LIME যে কোনো মডেলের জন্য কাজ করতে পারে।
2. Local explainability: LIME শুধুমাত্র সেই ইনপুটের জন্য ব্যাখ্যা তৈরি করে, যেটি মডেল পূর্বাভাস দিয়েছে।
3. Simplifies complex models: LIME কমপ্লেক্স মডেলগুলোকে সহজ স্থানীয় মডেল দ্বারা ব্যাখ্যা করে।

LIME ব্যবহার করার জন্য ধাপ:

1. LIME প্যাকেজ ইনস্টলেশন:

   pip install lime
   

2. LIME ব্যাখ্যা তৈরি করা: উদাহরণস্বরূপ, RandomForest মডেল ব্যবহার করা যেতে পারে:

   import lime
   from lime.lime_tabular import LimeTabularExplainer
   from sklearn.ensemble import RandomForestRegressor
   from sklearn.datasets import load_boston
   from sklearn.model_selection import train_test_split
   
   # ডেটাসেট লোড করা
   data = load_boston()
   X = data.data
   y = data.target
   
   # ডেটা ট্রেনিং এবং টেস্ট সেটে ভাগ করা
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
   
   # RandomForest মডেল প্রশিক্ষণ
   model = RandomForestRegressor()
   model.fit(X_train, y_train)
   
   # LIME explainer তৈরি করা
   explainer = LimeTabularExplainer(X_train, training_labels=y_train, mode="regression")
   
   # একটি ডেটা পয়েন্ট নির্বাচন করা
   i = 25
   explanation = explainer.explain_instance(X_test[i], model.predict)
   
   # ব্যাখ্যা প্রদর্শন
   explanation.show_in_notebook()
   

LIME এর আউটপুট:

• LIME একটি স্থানীয় ব্যাখ্যা তৈরি করবে, যেখানে:
  • ফিচার গুরুত্বপূর্ণতা: কোন ফিচারের অবদান মডেলের সিদ্ধান্তে বেশি তা প্রদর্শিত হবে।
  • সাদা লিনিয়ার মডেল: LIME একটি লিনিয়ার মডেল তৈরি করবে যা স্থানীয়ভাবে মডেলের সিদ্ধান্ত ব্যাখ্যা করে।

এটি decision boundary এবং feature contributions বোঝাতে সহায়ক, যেখানে আপনি মডেলটির পূর্বাভাস কীভাবে প্রভাবিত হয়েছে তা জানতে পারবেন।

SHAP vs LIME:

সারাংশ:

• SHAP এবং LIME উভয়ই মডেল ব্যাখ্যা করার জন্য শক্তিশালী টুল। SHAP একটি global ব্যাখ্যা প্রদান করে, যেখানে মডেলের সমস্ত ফিচারের প্রভাব বিশ্লেষণ করা হয়, আর LIME local ব্যাখ্যা দেয়, যা একটি নির্দিষ্ট ইনপুটের জন্য মডেলের সিদ্ধান্ত ব্যাখ্যা করে।
• SHAP ভালভাবে game theory এর মাধ্যমে ফিচার গুরুত্ব গণনা করে, যেখানে LIME এলোমেলো ডেটার perturbation ব্যবহার করে স্থানীয় ব্যাখ্যা তৈরি করে।
• শীর্ষ মানের ব্যাখ্যার জন্য SHAP ব্যবহার করা যেতে পারে, যখন LIME দ্রুত এবং স্থানীয় ব্যাখ্যা তৈরির জন্য উপযুক্ত।