মডেল ইভালুয়েশন মেট্রিক্স হল সেই পরিসংখ্যানমূলক মেট্রিক্স যেগুলোর মাধ্যমে আমরা মেশিন লার্নিং মডেলের কার্যকারিতা পরিমাপ করি। সাধারণত ক্লাসিফিকেশন মডেল গুলোর ক্ষেত্রে এই মেট্রিক্সগুলো ব্যবহৃত হয়, যেখানে আউটপুট ক্যাটেগোরিক্যাল (যেমন, স্প্যাম / নন-স্প্যাম, সুস্থ / অসুস্থ) হয়ে থাকে।
Accuracy, Precision, Recall, এবং F1 Score হল চারটি গুরুত্বপূর্ণ মেট্রিক যা ক্লাসিফিকেশন মডেল ইভালুয়েশনে ব্যবহৃত হয়।
১. Accuracy (সঠিকতা)
Accuracy হলো মোট সঠিক ভবিষ্যদ্বাণীর হার, অর্থাৎ এটি আমাদের মডেল কতটা সঠিকভাবে প্রেডিকশন করতে সক্ষম তা দেখায়। এটি মডেলের সাধারণ কার্যকারিতা পরিমাপ করতে ব্যবহৃত হয়।
ফর্মুলা:
- TP = True Positives (যতটি সঠিকভাবে পজিটিভ হিসেবে শনাক্ত করা হয়েছে)
- TN = True Negatives (যতটি সঠিকভাবে নেগেটিভ হিসেবে শনাক্ত করা হয়েছে)
- FP = False Positives (যতটি ভুলভাবে পজিটিভ হিসেবে শনাক্ত করা হয়েছে)
- FN = False Negatives (যতটি ভুলভাবে নেগেটিভ হিসেবে শনাক্ত করা হয়েছে)
উদাহরণ:
ধরা যাক, ১০০টি উদাহরণ আছে, যার মধ্যে ৮০টি সঠিকভাবে শনাক্ত করা হয়েছে এবং ২০টি ভুল হয়েছে। তাহলে, Accuracy হবে:
সুবিধা:
- সহজ এবং সহজে বোঝা যায়।
অসুবিধা:
- Imbalanced dataset এ accuracy কম গুরুত্বপূর্ণ হয়ে পড়ে, কারণ বেশিরভাগ ক্ষেত্রে নেগেটিভ ক্লাসের সংখ্যা বেশি থাকতে পারে।
২. Precision (প্রেসিশন)
Precision হলো পজিটিভ ক্লাসের জন্য সঠিক ভবিষ্যদ্বাণী করার হার। এটি আমাদের বলে দেয়, মডেল যেসব পজিটিভ আউটপুট তৈরি করেছে, সেগুলোর মধ্যে আসলেই কতোটা সঠিক ছিল।
ফর্মুলা:
- TP = True Positives (সঠিকভাবে পজিটিভ শনাক্ত করা)
- FP = False Positives (ভুলভাবে পজিটিভ শনাক্ত করা)
উদাহরণ:
ধরা যাক, মডেল ১০টি পজিটিভ প্রেডিকশন করেছে, যার মধ্যে ৮টি সঠিক এবং ২টি ভুল। তাহলে, Precision হবে:
সুবিধা:
- Precision কমপক্ষে পজিটিভ ক্লাসে ভুলের হার কম রাখতে সাহায্য করে।
অসুবিধা:
- Precision একে অপরের সাথে সমন্বিত না থাকলে পুরো ডেটাসেটের জন্য অসন্তুষ্টিকর হতে পারে।
৩. Recall (রিকল)
Recall হলো সঠিকভাবে পজিটিভ ক্লাস শনাক্ত করার হার, অর্থাৎ মডেলটি কতোটা সঠিকভাবে আসল পজিটিভ উদাহরণ শনাক্ত করেছে।
ফর্মুলা:
- TP = True Positives (সঠিকভাবে পজিটিভ শনাক্ত করা)
- FN = False Negatives (ভুলভাবে নেগেটিভ শনাক্ত করা)
উদাহরণ:
ধরা যাক, আসলে ১০টি পজিটিভ উদাহরণ ছিল, তবে মডেল মাত্র ৮টি সঠিকভাবে শনাক্ত করেছে এবং ২টি ভুল শনাক্ত করেছে (FN)। তাহলে, Recall হবে:
সুবিধা:
- Recall, বিশেষভাবে এমন সিচুয়েশনে গুরুত্বপূর্ণ যেখানে পজিটিভ ক্লাস শনাক্ত করা খুবই জরুরি, যেমন রোগ সনাক্তকরণ।
অসুবিধা:
- False positives (FP) বাড়ানোর ঝুঁকি থাকে, যদি শুধুমাত্র Recall বৃদ্ধি করা হয়।
৪. F1 Score (এফ১ স্কোর)
F1 Score হলো Precision এবং Recall এর একটি গড়, যা একটি হর্মনিক গড় (harmonic mean)। F1 Score হল Precision এবং Recall এর মধ্যে একটি ব্যালেন্সড মেট্রিক্স যা ভুল পজিটিভ এবং ভুল নেগেটিভ উভয়কেই বিবেচনায় নিয়ে কাজ করে। এটি সেইসব পরিস্থিতিতে ব্যবহার হয় যেখানে Precision এবং Recall এর মধ্যে ট্রেডঅফ হয়।
ফর্মুলা:
উদাহরণ:
যদি Precision = 0.8 এবং Recall = 0.8 হয়, তাহলে F1 Score হবে:
সুবিধা:
- Precision এবং Recall এর মধ্যে একটি ব্যালেন্স তৈরি করতে সাহায্য করে, যা মডেলের সামগ্রিক কর্মক্ষমতা পরিমাপের জন্য উপকারী।
অসুবিধা:
- এটি নির্দিষ্টভাবে False Positives এবং False Negatives কোনটার উপর বেশি গুরুত্ব দিতে হবে তা নির্দেশ করে না, শুধুমাত্র দুটি বৈশিষ্ট্যই গুরুত্ব দেয়।
মেট্রিক্সগুলির তুলনা
| মেট্রিক | উদ্দেশ্য | সুবিধা | অসুবিধা |
|---|---|---|---|
| Accuracy | মোট সঠিক ভবিষ্যদ্বাণী | সহজ, সাধারণ ব্যবহার | Imbalanced ডেটা সেটে কার্যকর নয় |
| Precision | সঠিকভাবে পজিটিভ শনাক্তকরণের হার | পজিটিভ ক্লাসের ভুল কমানো | কম Recall হতে পারে |
| Recall | সঠিকভাবে পজিটিভ উদাহরণ শনাক্তকরণের হার | ভুল নেগেটিভ কমানো | Precision কম হতে পারে |
| F1 Score | Precision এবং Recall এর ব্যালেন্স | Precision এবং Recall এর মধ্যে একটি ব্যালান্স | কম্প্লেক্স হতে পারে যখন Precision এবং Recall অনেক বেশি ভিন্ন |
উপসংহার
- Accuracy সাধারণত সামগ্রিক কার্যকারিতা পরিমাপের জন্য ব্যবহার করা হয়, তবে Imbalanced ডেটা সেটে এটি ভুল ফলাফল দিতে পারে।
- Precision এবং Recall একটি মডেল সম্পর্কে নির্দিষ্ট দৃষ্টিভঙ্গি প্রদান করে, যেখানে Precision পজিটিভ ক্লাসের ভুলকে কমায়, এবং Recall আসল পজিটিভ ক্লাসের সঠিক শনাক্তকরণ বাড়ায়।
- F1 Score Precision এবং Recall এর মধ্যে ব্যালান্স তৈরি করতে সহায়তা করে, যেখানে দুটি মেট্রিক্সের মধ্যে কোনো একটি মেট্রিক্সকে গুরুত্ব দেয়ার প্রয়োজন হয় না।
Read more