মডেল ইভ্যালুয়েশন মেট্রিক্সগুলো মডেলের কার্যকারিতা নির্ধারণ করতে ব্যবহৃত হয়। Classification মডেলগুলোর জন্য Accuracy, Precision, এবং Recall হলো তিনটি গুরুত্বপূর্ণ মেট্রিক্স যা মডেলের performance এর বিভিন্ন দিক সম্পর্কে ধারণা দেয়।
১. Accuracy
Accuracy হলো সঠিক প্রেডিকশন সংখ্যা এবং মোট প্রেডিকশন সংখ্যার অনুপাত। এটি সাধারণত একটি মডেল কতটা সঠিকভাবে কাজ করছে তা নির্ধারণ করতে ব্যবহৃত হয়।
ফর্মুলা:
উদাহরণ:
ধরা যাক, আমাদের একটি মডেল আছে যা ১০০টি instance এর মধ্যে ৯০টি সঠিকভাবে classify করতে পেরেছে। তাহলে Accuracy হবে:
Accuracy=90100=0.90 বা 90%\text{Accuracy} = \frac{90}{100} = 0.90 \text{ বা } 90\%Accuracy=10090=0.90 বা 90%
ব্যবহার ক্ষেত্র:
- যখন dataset এ class imbalance কম থাকে এবং সঠিক প্রেডিকশন একটি প্রধান লক্ষ্য, তখন Accuracy মেট্রিকটি ব্যবহার উপযোগী।
২. Precision
Precision মেট্রিকটি আমাদের জানায়, মডেল যে positive প্রেডিকশন করেছে তার মধ্যে কতগুলো আসলেই সঠিক ছিল। এটি বিশেষ করে তখন গুরুত্বপূর্ণ, যখন False Positive সংখ্যা কমাতে চাওয়া হয়।
ফর্মুলা:
উদাহরণ:
ধরা যাক, একটি মডেল ৫০টি positive প্রেডিকশন করেছে, যার মধ্যে ৪০টি সঠিক এবং ১০টি ভুল (False Positive)। তাহলে Precision হবে:
Precision=4040+10=4050=0.80 বা 80%\text{Precision} = \frac{40}{40 + 10} = \frac{40}{50} = 0.80 \text{ বা } 80\%Precision=40+1040=5040=0.80 বা 80%
ব্যবহার ক্ষেত্র:
- Precision মেট্রিকটি তখন উপযোগী যখন False Positive কমানো গুরুত্বপূর্ণ, যেমন, spam detection (যেখানে spam হিসেবে চিহ্নিত মেইল আসলেই স্প্যাম হতে হবে)।
৩. Recall
Recall আমাদের বলে, আসল positive instance এর মধ্যে মডেল কতগুলো সঠিকভাবে চিহ্নিত করতে পেরেছে। এটি বিশেষ করে তখন গুরুত্বপূর্ণ, যখন False Negative সংখ্যা কমাতে চাওয়া হয়।
ফর্মুলা:
ব্যবহার ক্ষেত্র:
- Recall মেট্রিকটি গুরুত্বপূর্ণ যখন False Negative কমানো জরুরি, যেমন, রোগ নির্ণয় (যেখানে positive কেস মিস করা গুরুত্বপূর্ণ)।
Confusion Matrix এবং মেট্রিক্স গুলোর সম্পর্ক
Confusion Matrix এর সাহায্যে আমরা Accuracy, Precision এবং Recall সহ বিভিন্ন মেট্রিক্স সহজে বের করতে পারি। Confusion Matrix এ চারটি অংশ থাকে:
- True Positive (TP): সঠিকভাবে positive প্রেডিকশন।
- False Positive (FP): ভুলভাবে positive প্রেডিকশন।
- True Negative (TN): সঠিকভাবে negative প্রেডিকশন।
- False Negative (FN): ভুলভাবে negative প্রেডিকশন।
Confusion Matrix থেকে:
- Precision = TPTP+FP\frac{TP}{TP + FP}TP+FPTP
- Recall = TPTP+FN\frac{TP}{TP + FN}TP+FNTP
- Accuracy = TP+TNTP+TN+FP+FN\frac{TP + TN}{TP + TN + FP + FN}TP+TN+FP+FNTP+TN
সারসংক্ষেপ:
| মেট্রিক্স | ফর্মুলা | ব্যবহার ক্ষেত্র |
|---|---|---|
| Accuracy | TP+TNTP+TN+FP+FN\frac{TP + TN}{TP + TN + FP + FN}TP+TN+FP+FNTP+TN | Class imbalance না থাকলে এবং সঠিক প্রেডিকশন প্রধান লক্ষ্য হলে |
| Precision | TPTP+FP\frac{TP}{TP + FP}TP+FPTP | False Positive কমানোর ক্ষেত্রে গুরুত্বপূর্ণ, যেমন spam detection |
| Recall | TPTP+FN\frac{TP}{TP + FN}TP+FNTP | False Negative কমানোর ক্ষেত্রে গুরুত্বপূর্ণ, যেমন disease detection |
এই মেট্রিক্সগুলো মডেল পারফরমেন্স বোঝার জন্য গুরুত্বপূর্ণ এবং নির্দিষ্ট মেট্রিক বেছে নেয়া হয় নির্দিষ্ট টাস্কের প্রয়োজন অনুযায়ী।
Read more
