Model Evaluation Metrics: Accuracy, Precision, Recall

মেশিন লার্নিং মডেল ট্রেনিং এবং টেস্টিংয়ের পরে, মডেলের পারফরম্যান্স মাপার জন্য বিভিন্ন evaluation metrics ব্যবহৃত হয়। এই মেট্রিক্সগুলির মধ্যে Accuracy, Precision, এবং Recall হল সবচেয়ে সাধারণ এবং গুরুত্বপূর্ণ। নিচে এগুলির ধারণা এবং ব্যবহার নিয়ে বিস্তারিত আলোচনা করা হলো।

১. Accuracy (একিউরেসি)

Accuracy হল সবচেয়ে সাধারণ এবং মৌলিক মেট্রিক যা মডেলের সঠিকতার পরিমাণ নির্দেশ করে। এটি মোট সঠিক পূর্বাভাসের (True Positives + True Negatives) শতাংশ নির্ধারণ করে, সমস্ত পূর্বাভাসের (True Positives + True Negatives + False Positives + False Negatives) তুলনায়।

Accuracy এর হিসাব:

$$\text{Accuracy} = \frac{\text{True Positives} + \text{True Negatives}}{\text{Total Number of Predictions}} = \frac{TP + TN}{TP + TN + FP + FN}$$

• True Positives (TP): সঠিকভাবে পজিটিভ পূর্বাভাস (যেমন, সঠিকভাবে কুকুর বলে চিহ্নিত করা)
• True Negatives (TN): সঠিকভাবে নেগেটিভ পূর্বাভাস (যেমন, সঠিকভাবে কুকুর না হওয়া চিহ্নিত করা)
• False Positives (FP): ভুল পজিটিভ পূর্বাভাস (যেমন, ভুলভাবে কুকুর চিহ্নিত করা)
• False Negatives (FN): ভুল নেগেটিভ পূর্বাভাস (যেমন, ভুলভাবে কুকুর না হওয়া চিহ্নিত করা)

Accuracy এর ভূমিকা:

• Accuracy সাধারণত classification সমস্যা সমাধানের জন্য ব্যবহৃত হয়।
• তবে, imbalanced datasets (যতগুলো ক্লাস অসমান) এ accuracy মেট্রিকটি misleading হতে পারে। যেমন, যদি একটি ক্লাস খুব বেশি এবং অন্য ক্লাস খুব কম হয়, তবে accuracy উচ্চ হতে পারে, যদিও মডেলটি দুর্বল হতে পারে।

২. Precision (প্রিসিশন)

Precision হল পজিটিভ ক্লাসের মধ্যে সঠিকভাবে চিহ্নিত হওয়া পজিটিভের অনুপাত। এটি মূলত মডেলের ফালস পজিটিভের সংখ্যা কমানোর ক্ষমতাকে নির্দেশ করে। যখন আপনি জানেন যে "একটি positive prediction সঠিক কিনা", তখন Precision গুরুত্বপূর্ণ।

Precision এর হিসাব:

$$\text{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}} = \frac{TP}{TP + FP}$$

• True Positives (TP): সঠিকভাবে পজিটিভ পূর্বাভাস
• False Positives (FP): ভুলভাবে পজিটিভ পূর্বাভাস

Precision এর ভূমিকা:

• Precision ব্যবহার করা হয় যখন আপনি false positives কমাতে চান। উদাহরণস্বরূপ, একটি স্প্যাম ফিল্টারের জন্য যেখানে ভুলভাবে একটি মেইলকে স্প্যাম হিসেবে চিহ্নিত করা উচিত নয়, সে ক্ষেত্রে precision গুরুত্বপূর্ণ।
• এই মেট্রিকটি মডেলের সঠিকতার পাশাপাশি False Positive Rate কমানোর জন্য ব্যবহার হয়।

৩. Recall (রিকল)

Recall (বা Sensitivity বা True Positive Rate) হল সঠিকভাবে চিহ্নিত পজিটিভের অনুপাত, যেখানে আসল পজিটিভ ক্লাসগুলি লুকানো ছিল। এটি মূলত মডেলের ফালস নেগেটিভ (False Negative) কমানোর ক্ষমতাকে নির্দেশ করে। Recall বেশি হলে মডেলটি বেশিরভাগ সঠিক পজিটিভ চিহ্নিত করতে সক্ষম।

Recall এর হিসাব:

$$\text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}} = \frac{TP}{TP + FN}$$

• True Positives (TP): সঠিকভাবে পজিটিভ পূর্বাভাস
• False Negatives (FN): ভুলভাবে নেগেটিভ পূর্বাভাস

Recall এর ভূমিকা:

• Recall ব্যবহার করা হয় যখন আপনি ভুলভাবে কিছু গুরুত্বপূর্ণ পজিটিভ ডেটা মিস করতে চান না। যেমন, একটি ক্যান্সার শনাক্তকরণ মডেল, যেখানে আপনি যদি কোনও রোগীকে ভুলভাবে নেগেটিভ হিসেবে চিহ্নিত করেন (False Negative), তা মারাত্মক হতে পারে।
• এটি মডেলের False Negative Rate কমানোর জন্য ব্যবহৃত হয়।

৪. Precision vs Recall: Trade-Off

Precision এবং Recall এর মধ্যে একটি trade-off থাকে। অর্থাৎ, যদি আপনি একটিকে বাড়ান, তাহলে অন্যটির মান কমে যেতে পারে।

• High Precision: এটি কম False Positive তৈরি করে, কিন্তু এর মানে হতে পারে যে কিছু সঠিক Positive তথ্য মিস হতে পারে (কম Recall)।
• High Recall: এটি অধিক সংখ্যক সঠিক Positive চিহ্নিত করতে সাহায্য করে, তবে কিছু ভুল Positive (False Positive) থাকতে পারে (কম Precision)।

এই কারণে, একটি balance প্রয়োজন, এবং এটি নির্ভর করে আপনার সমস্যার উপর। কখনও কখনও, F1-score ব্যবহার করা হয়, যা Precision এবং Recall এর গড় হিসাব করে।

৫. F1-score

F1-score হল Precision এবং Recall এর একটি সমন্বিত মেট্রিক, যা উভয়ের একটি ভারসাম্য বজায় রাখতে সাহায্য করে। এটি Precision এবং Recall এর harmonic mean হিসেবে গণনা করা হয়।

F1-score এর হিসাব:

$$\text{F1-score} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

F1-score যখন Precision এবং Recall এর মধ্যে একটি ব্যালেন্স তৈরির প্রয়োজন হয়, তখন ব্যবহৃত হয়।

সারাংশ

• Accuracy: মডেলের মোট সঠিক পূর্বাভাসের হার, তবে এটি ইমব্যালান্সড ডেটাসেটে সীমিত।
• Precision: পজিটিভ পূর্বাভাসের মধ্যে সঠিক পজিটিভের অনুপাত, যা False Positives কমানোর জন্য গুরুত্বপূর্ণ।
• Recall: প্রকৃত পজিটিভের মধ্যে সঠিক পজিটিভের অনুপাত, যা False Negatives কমানোর জন্য ব্যবহৃত হয়।
• F1-score: Precision এবং Recall এর একটি সংযুক্ত মেট্রিক যা তাদের মধ্যে ব্যালেন্স তৈরি করে।

এই মেট্রিকগুলির মাধ্যমে আপনি মডেলের পারফরম্যান্স বুঝতে এবং উন্নত করতে সহায়ক টুলস ব্যবহার করতে পারেন, নির্ভর করে আপনি কোন ধরনের সমস্যা সমাধান করছেন।