Model Performance Metrics: Accuracy, Precision, Recall, F1-Score

মেশিন লার্নিং মডেলের পারফরম্যান্স মূল্যায়ন করতে বিভিন্ন পরিমাপ ব্যবহার করা হয়। এর মধ্যে Accuracy, Precision, Recall, এবং F1-Score সবচেয়ে জনপ্রিয় এবং গুরুত্বপূর্ণ। প্রতিটি মেট্রিক মডেলের নির্দিষ্ট দিককে পরিমাপ করে এবং সঠিক মডেল নির্বাচন করতে সাহায্য করে।

১. Accuracy

Accuracy হল একটি মডেলের সামগ্রিক সঠিকতা, যা কতটা সঠিক পূর্বাভাস করেছে তা দেখায়। এটি মডেলের সঠিক পূর্বাভাসের সংখ্যা এবং মোট পূর্বাভাসের মধ্যে অনুপাত হিসেবে গণনা করা হয়।

ফর্মুলা:

$$\text{Accuracy} = \frac{\text{True Positives} + \text{True Negatives}}{\text{Total Number of Samples}}$$

ব্যাখ্যা:

• True Positives (TP): সঠিকভাবে ইতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।
• True Negatives (TN): সঠিকভাবে নেতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।
• False Positives (FP): ভুলভাবে ইতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।
• False Negatives (FN): ভুলভাবে নেতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।

সীমাবদ্ধতা:
Accuracy কখনো কখনো বিভ্রান্তিকর হতে পারে, বিশেষত যখন ডেটাসেটের মধ্যে শ্রেণীগুলোর মধ্যে ভারসাম্য নেই। উদাহরণস্বরূপ, যদি আপনার ডেটাতে ৯৮% নেতিবাচক শ্রেণী এবং ২% ইতিবাচক শ্রেণী থাকে, তবে একটি মডেল যা সবকিছু নেতিবাচক শ্রেণীতে চিহ্নিত করে, তা ৯৮% accuracy অর্জন করবে, যদিও এটি আসলে ভুল।

২. Precision

Precision হল সঠিকভাবে ইতিবাচক পূর্বাভাস করা সংখ্যার অনুপাত, যার মধ্যে ইতিবাচক শ্রেণীতে আসলেই সত্য পজিটিভ ছিল। এটি মূলত ভুল ইতিবাচক পূর্বাভাস কমানোর দিকে মনোনিবেশ করে।

ফর্মুলা:

$$\text{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}}$$

ব্যাখ্যা:

• True Positives (TP): সঠিকভাবে ইতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।
• False Positives (FP): ভুলভাবে ইতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।

ব্যবহার:
Precision বেশি হলে, এর মানে হলো মডেল খুব কম ভুল ইতিবাচক ফলাফল (False Positives) তৈরি করছে, যা অনেক ক্ষেত্রে গুরুত্বপূর্ণ, যেমন স্প্যাম ইমেইল শনাক্তকরণ।

৩. Recall (Sensitivity বা True Positive Rate)

Recall বা Sensitivity হলো এমন একটি পরিমাপ যা একটি মডেল কতটা সঠিকভাবে ইতিবাচক শ্রেণী চিহ্নিত করতে পারে, তার পরিমাণ পরিমাপ করে। এটি মূলত ভুল নেতিবাচক ফলাফল (False Negatives) কমাতে সাহায্য করে।

ফর্মুলা:

$$\text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}}$$

ব্যাখ্যা:

• True Positives (TP): সঠিকভাবে ইতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।
• False Negatives (FN): ভুলভাবে নেতিবাচক শ্রেণী চিহ্নিত করা হয়েছে।

ব্যবহার:
Recall বেশি হলে, এর মানে হলো মডেল খুব কম ভুল নেতিবাচক ফলাফল (False Negatives) তৈরি করছে, যা গুরুত্বপূর্ণ হতে পারে যখন ইতিবাচক ফলাফল খুঁজে পাওয়া জরুরি, যেমন রোগের ডায়াগনসিসে।

৪. F1-Score

F1-Score হলো Precision এবং Recall এর গাণিতিক গড় (harmonic mean)। এটি দুইটি মেট্রিকের মধ্যে একটি ভাল ব্যালান্স বজায় রাখতে সাহায্য করে। F1-Score প্রায়শই Precision এবং Recall এর মধ্যে ট্রেডঅফ তৈরি করা হলে ব্যবহৃত হয়।

ফর্মুলা:

$$\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

ব্যাখ্যা:

• F1-Score একটি ব্যালান্সড মেট্রিক, যা Precision এবং Recall এর মধ্যে সম্পর্ক বজায় রাখে।
• এটি একটি ভাল পরিমাপ যখন মডেলটি Precision এবং Recall এর মধ্যে কোনও ভারসাম্য প্রয়োজন হয়।

ব্যবহার:
যখন Precision এবং Recall দুটোই গুরুত্বপূর্ণ এবং তাদের মধ্যে একটি ভাল ট্রেডঅফ প্রয়োজন, তখন F1-Score ব্যবহৃত হয়। উদাহরণস্বরূপ, মেডিকেল ডায়াগনোসিসের ক্ষেত্রে, ভুল নেতিবাচক ফলাফল (False Negatives) এবং ভুল ইতিবাচক ফলাফল (False Positives) উভয়ই কমানোর প্রয়োজন।

৫. মেট্রিক গুলোর মধ্যে সম্পর্ক

1. Accuracy: সমস্ত সঠিক পূর্বাভাসের অনুপাত।
2. Precision: সঠিক ইতিবাচক পূর্বাভাসের অনুপাত (False Positives কমানো)।
3. Recall: সঠিক ইতিবাচক পূর্বাভাসের অনুপাত (False Negatives কমানো)।
4. F1-Score: Precision এবং Recall এর একটি ব্যালান্সড মেট্রিক, যা তাদের মধ্যে একটি ট্রেডঅফ তৈরি করতে সাহায্য করে।

৬. কখন কোন মেট্রিক ব্যবহার করবেন?

• Precision: যদি ভুল ইতিবাচক ফলাফল (False Positives) কমানো গুরুত্বপূর্ণ হয়, যেমন স্প্যাম ফিল্টারিং।
• Recall: যদি ভুল নেতিবাচক ফলাফল (False Negatives) কমানো গুরুত্বপূর্ণ হয়, যেমন রোগ সনাক্তকরণ।
• F1-Score: যখন Precision এবং Recall এর মধ্যে ভাল ব্যালান্স দরকার হয়।
• Accuracy: যদি ডেটাতে ক্লাসগুলির ভারসাম্য থাকে এবং আপনি সামগ্রিক সঠিকতার পরিমাপ চান।

সারাংশ

• Accuracy হল মডেলের সামগ্রিক সঠিকতা, তবে এটি অসংগত ডেটাতে বিভ্রান্তিকর হতে পারে।
• Precision ভুল ইতিবাচক পূর্বাভাস কমাতে সাহায্য করে, এবং Recall ভুল নেতিবাচক পূর্বাভাস কমাতে সাহায্য করে।
• F1-Score Precision এবং Recall এর মধ্যে একটি ব্যালান্স স্থাপন করে, যা যখন দুইটি মেট্রিকের মধ্যে ট্রেডঅফ থাকে তখন ব্যবহৃত হয়।

এগুলি মডেলের পারফরম্যান্স নির্ধারণে সহায়ক এবং আপনার মডেলটির কার্যকারিতা বুঝতে সাহায্য করে।