SHAP (SHapley Additive exPlanations) এবং LIME (Local Interpretable Model-agnostic Explanations) হল দুটি জনপ্রিয় এবং শক্তিশালী টুল যা মেশিন লার্নিং মডেল ব্যাখ্যা করতে ব্যবহৃত হয়। এই দুটি টুল মূলত মডেল এক্সপ্লানেবিলিটি এবং ব্যাখ্যাযোগ্যতা (explainability) বাড়ানোর জন্য ব্যবহৃত হয়, বিশেষত যখন মডেলটি অত্যন্ত জটিল (যেমন ডিপ লার্নিং বা এনসেম্বেল মডেল) হয় এবং তার আউটপুট মানুষের জন্য ব্যাখ্যা করা কঠিন হয়।
SHAP এবং LIME এর ভূমিকা:
- SHAP এবং LIME মডেলের সিদ্ধান্তকে ব্যাখ্যা করতে সাহায্য করে, যাতে মডেলটি কেন এবং কিভাবে একটি নির্দিষ্ট পূর্বাভাস বা সিদ্ধান্তে পৌঁছেছে, তা বোঝা যায়।
- এই টুলগুলো সাধারণত ব্ল্যাক-বক্স মডেল যেমন Random Forest, XGBoost, এবং Neural Networks এর জন্য ব্যবহৃত হয়, যেখানে মডেলটি সুস্পষ্টভাবে ব্যাখ্যা করা কঠিন।
১. SHAP (SHapley Additive exPlanations)
SHAP হল একটি ব্যাখ্যাযোগ্য মডেল ব্যাখ্যা করার টুল যা গেম থিওরি থেকে উদ্ভূত হয়েছে। SHAP এর মূল ধারণা Shapley Values যা প্রতিটি বৈশিষ্ট্যের (feature) অবদান পরিমাপ করে। এই মানগুলি নির্ধারণ করতে গেম থিওরি ব্যবহার করা হয়, যেখানে প্রতিটি বৈশিষ্ট্যকে একটি প্লেয়ারের মতো বিবেচনা করা হয় এবং গেমের (মডেলের পূর্বাভাস) জয়ের জন্য প্রতিটি প্লেয়ারের অবদান পরিমাপ করা হয়।
SHAP এর কাজের ধারা:
- Shapley Value: SHAP মূলত Shapley values ব্যবহার করে যা প্রতিটি বৈশিষ্ট্যের প্রতিটি সম্ভব কম্বিনেশন থেকে বৈশিষ্ট্যের গড় অবদান বের করে। এটি প্রতিটি বৈশিষ্ট্যের আংশিক অবদান পরিমাপ করে, যাতে জানা যায় যে কোন বৈশিষ্ট্য মডেলের সিদ্ধান্তে সবচেয়ে বেশি প্রভাব ফেলছে।
- SHAP মডেল ব্যাখ্যা: SHAP প্রতিটি ইনপুট বৈশিষ্ট্যের জন্য একটি স্কোর প্রদান করে যা সেই বৈশিষ্ট্যের মডেলের আউটপুটে কেমন প্রভাব ফেলেছে, তা নির্ধারণ করে। এগুলি মডেল ব্যাখ্যা করার জন্য একটি দৃশ্যমানভাবে সহজ এবং নির্ভরযোগ্য উপায়।
- Global ও Local ব্যাখ্যা: SHAP মডেলটি Global এবং Local ব্যাখ্যা তৈরি করতে সক্ষম:
- Global Explanation: এটি মডেলের বৈশিষ্ট্যগুলির সাধারণ অবদান বোঝায়।
- Local Explanation: এটি নির্দিষ্ট একটি পূর্বাভাস বা সিদ্ধান্তের জন্য বৈশিষ্ট্যগুলির অবদান পরিমাপ করে।
SHAP এর সুবিধা:
- সঠিক ব্যাখ্যা: SHAP গেম থিওরি ব্যবহার করে, তাই এটি বৈশিষ্ট্যগুলির অবদান সঠিকভাবে মাপতে সক্ষম।
- বৈশিষ্ট্য সম্পর্ক: SHAP বৈশিষ্ট্যগুলির মধ্যে সম্পর্ক এবং তাদের একে অপরের উপর প্রভাব কীভাবে পড়ছে, তা স্পষ্টভাবে ব্যাখ্যা করতে সক্ষম।
SHAP উদাহরণ (Python):
import shap
import xgboost
import numpy as np
# XGBoost মডেল তৈরি
X_train, X_test, y_train, y_test = shap.datasets.boston()
model = xgboost.XGBRegressor()
model.fit(X_train, y_train)
# SHAP ব্যাখ্যা তৈরি
explainer = shap.Explainer(model, X_train)
shap_values = explainer(X_test)
# SHAP মূল্যগুলি প্লট করা
shap.summary_plot(shap_values, X_test)
এখানে SHAP এক্সপ্লেনার ব্যবহার করে XGBoost মডেলের ব্যাখ্যা তৈরি করা হয়েছে এবং summary_plot দ্বারা গ্রাফিক্যাল ব্যাখ্যা প্রদর্শন করা হয়েছে।
২. LIME (Local Interpretable Model-agnostic Explanations)
LIME হল একটি ব্যাখ্যাযোগ্যতা টুল যা মডেল-অগ্নস্টিক (model-agnostic) অর্থাৎ এটি কোনো নির্দিষ্ট মডেল ফ্রেমওয়ার্কের উপর নির্ভরশীল নয়। LIME এর মূল উদ্দেশ্য হল একটি জটিল মডেলের জন্য স্থানীয় ব্যাখ্যা তৈরি করা, যা নির্দিষ্ট একটি পূর্বাভাসের জন্য ব্যাখ্যা দেয়। LIME সঠিকভাবে ব্যাখ্যা করতে মডেলের চারপাশে একটি সহজ, ব্যাখ্যাযোগ্য স্থানীয় মডেল তৈরি করে, যা ঐ বিশেষ সিদ্ধান্তের জন্য উপযুক্ত।
LIME এর কাজের ধারা:
- স্থানীয় মডেল: LIME একটি কৌশল অনুসরণ করে, যেখানে একটি মডেলের চারপাশে স্থানীয় মডেল তৈরি করা হয়। উদাহরণস্বরূপ, যদি মডেলটি একটি জটিল ব্ল্যাক-বক্স মডেল হয়, তাহলে LIME ঐ ব্ল্যাক-বক্স মডেলের কাছে একটি ছোট ডেটা স্যাম্পল পাঠাবে এবং তার আশেপাশে একটি সহজ মডেল তৈরি করবে (যেমন, লিনিয়ার রিগ্রেশন)।
- র্যান্ডম স্যাম্পল: LIME কাজ করতে হলে র্যান্ডম স্যাম্পল ব্যবহার করে আউটপুট প্রাপ্তির জন্য কিছু বৈশিষ্ট্য পরিবর্তন করা হয়। তারপর ওই স্যাম্পলটির উপর ভিত্তি করে স্থানীয় মডেল তৈরি করা হয় এবং ব্যাখ্যা দেওয়া হয়।
- মডেল অগ্নস্টিক: LIME মডেলের ধরন বা ফ্রেমওয়ার্কের উপর নির্ভর করে না, তাই এটি যে কোনো মডেল — যেমন, Decision Trees, SVMs, Neural Networks — এর জন্য কাজ করতে সক্ষম।
LIME এর সুবিধা:
- মডেল অগ্নস্টিক: এটি যেকোনো মডেলের জন্য ব্যাখ্যা তৈরি করতে পারে।
- স্থানীয় ব্যাখ্যা: LIME প্রতিটি পূর্বাভাসের জন্য স্থানীয় ব্যাখ্যা প্রদান করে, অর্থাৎ, আপনি যে সিদ্ধান্তটির ব্যাখ্যা চান সেটির চারপাশে ব্যাখ্যা তৈরি হয়।
LIME উদাহরণ (Python):
import lime
from lime.lime_tabular import LimeTabularExplainer
import xgboost
import shap
# XGBoost মডেল তৈরি
X_train, X_test, y_train, y_test = shap.datasets.boston()
model = xgboost.XGBRegressor()
model.fit(X_train, y_train)
# LIME ব্যাখ্যা তৈরি
explainer = LimeTabularExplainer(training_data=X_train.values,
training_labels=y_train.values,
mode="regression")
explanation = explainer.explain_instance(X_test.values[0], model.predict)
# ব্যাখ্যা প্রদর্শন
explanation.show_in_notebook()
এখানে LIME ব্যবহার করে XGBoost মডেলের একটি স্থানীয় ব্যাখ্যা তৈরি করা হয়েছে এবং তা show_in_notebook দ্বারা প্রদর্শন করা হয়েছে।
SHAP এবং LIME এর মধ্যে পার্থক্য
| বৈশিষ্ট্য | SHAP | LIME |
|---|---|---|
| মডেল অগ্নস্টিক | মডেল-অগ্নস্টিক, তবে শ্যাপলি ভ্যালু ভিত্তিক | মডেল-অগ্নস্টিক, তবে স্থানীয় মডেল তৈরি করে |
| ব্যাখ্যাযোগ্যতা | বৈশিষ্ট্যগুলির বৈশিষ্ট্য-ভিত্তিক অবদান নির্ধারণ করে | স্থানীয় সিদ্ধান্ত ব্যাখ্যা করে |
| পদ্ধতি | গেম থিওরি (Shapley values) ব্যবহার | স্থানীয় মডেল তৈরি করে (সহজ মডেল) |
| ব্যবহার | গ্লোবাল এবং স্থানীয় ব্যাখ্যা | স্থানীয় ব্যাখ্যা, একক পূর্বাভাস ব্যাখ্যা করতে |
| গণনা | কম্পিউটেশনাল দিক থেকে ব্যয়বহুল | অপেক্ষাকৃত কম গণনা প্রয়োজন |
সারাংশ
SHAP এবং LIME হল দুটি শক্তিশালী টুল যা মডেল ব্যাখ্যা করতে ব্যবহৃত হয়। SHAP শ্যাপলি ভ্যালু ব্যবহার করে বৈশিষ্ট্যগুলির অবদান নির্ধারণ করে এবং গ্লোবাল ও স্থানীয় ব্যাখ্যা প্রদান করতে সক্ষম। অন্যদিকে, LIME স্থানীয় মডেল তৈরি করে নির্দিষ্ট একটি পূর্বাভাসের জন্য ব্যাখ্যা প্রদান করে। এই দুটি টুল মডেলটির অন্তর্নিহিত সিদ্ধান্ত প্রক্রিয়া ব্যাখ্যা করতে সাহায্য করে, যা মডেলের অস্ব
চ্ছতা দূর করতে এবং তার সিদ্ধান্তগুলি মানুষের কাছে সহজে ব্যাখ্যা করার জন্য ব্যবহৃত হয়।
Read more
