Model Accuracy, Precision, এবং Recall

মেশিন লার্নিং এবং ডিপ লার্নিং মডেলগুলির পারফরম্যান্স মূল্যায়ন করার জন্য বিভিন্ন পরিমাপক ব্যবহার করা হয়। Accuracy, Precision, এবং Recall হল এই ধরনের কিছু গুরুত্বপূর্ণ পরিমাপক, যা মডেলের কার্যকারিতা এবং দক্ষতা পরিমাপ করতে ব্যবহৃত হয়। এগুলি সাধারণত ক্লাসিফিকেশন মডেলগুলির পারফরম্যান্স মূল্যায়ন করতে ব্যবহার হয়, যেখানে ডেটা বিভিন্ন শ্রেণীতে বিভক্ত করা হয়।

নিচে Accuracy, Precision, এবং Recall এর বিস্তারিত ব্যাখ্যা দেওয়া হলো:

১. Accuracy (সঠিকতা):

Accuracy হল মডেলের সঠিকভাবে পূর্বাভাস করা উদাহরণের অনুপাত। এটি মোট সঠিক পূর্বাভাসের সংখ্যা এবং মোট উদাহরণের সংখ্যা থেকে নির্ধারিত হয়।

ফর্মুলা:

$\text{Accuracy}=\frac{\text{সঠিক পূর্বাভাস}}{\text{মোট উদাহরণ}}=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{TN}+\mathrm{FP}+\mathrm{FN}}$

এখানে,

• TP (True Positives): সঠিকভাবে পজিটিভ পূর্বাভাস (যেখানে মডেল সঠিকভাবে পজিটিভ ক্লাসের জন্য অনুমান করেছে)।
• TN (True Negatives): সঠিকভাবে নেগেটিভ পূর্বাভাস (যেখানে মডেল সঠিকভাবে নেগেটিভ ক্লাসের জন্য অনুমান করেছে)।
• FP (False Positives): ভুলভাবে পজিটিভ পূর্বাভাস (যেখানে মডেল ভুলভাবে নেগেটিভ ক্লাসকে পজিটিভ বলে অনুমান করেছে)।
• FN (False Negatives): ভুলভাবে নেগেটিভ পূর্বাভাস (যেখানে মডেল ভুলভাবে পজিটিভ ক্লাসকে নেগেটিভ বলে অনুমান করেছে)।

অর্থ:

Accuracy হল একটি মৌলিক পরিমাপক যা সাধারণত মডেলের মোট সঠিকতার পরিমাণ দেখায়, তবে এটি কিছু ক্ষেত্রে বিভ্রান্তিকর হতে পারে (যেমন, যখন ডেটাতে ইমBalanced ক্লাস থাকে)।

২. Precision (প্রিসিশন):

Precision হল মডেলের মাধ্যমে পজিটিভ পূর্বাভাসের মধ্যে সঠিক পজিটিভের অনুপাত। এটি মূলত ভুল পজিটিভের সাথে সম্পর্কিত এবং দেখায় কতটা সঠিকভাবে মডেল পজিটিভ ক্লাস চিহ্নিত করতে সক্ষম।

ফর্মুলা:

$$\text{Precision} = \frac{TP}{TP + FP}$$

অর্থ:

• যদি আপনার মডেল Precision বেশি থাকে, তবে এটি বেশি সঠিক পজিটিভ পূর্বাভাস প্রদান করে। এর মানে হল, মডেল যেসব ইনপুটকে পজিটিভ বলে চিহ্নিত করেছে, তাদের মধ্যে অধিকাংশ আসলে পজিটিভ।

ব্যবহার:

• Precision অনেক গুরুত্বপূর্ণ যখন ভুল পজিটিভ গুরুত্বপূর্ণ সমস্যা সৃষ্টি করতে পারে, যেমন স্প্যাম ফিল্টারিং (যেখানে ইমেল ভুলভাবে স্প্যাম হিসেবে চিহ্নিত হতে পারে)।

৩. Recall (রিকল):

Recall বা Sensitivity হল মডেলের মাধ্যমে সঠিকভাবে শনাক্ত করা পজিটিভ ক্লাসের অনুপাত। এটি ভুল নেগেটিভের সাথে সম্পর্কিত এবং দেখায় কতটা সঠিকভাবে মডেল আসল পজিটিভ ক্লাস চিহ্নিত করতে সক্ষম।

ফর্মুলা:

$$\text{Recall} = \frac{TP}{TP + FN}$$

অর্থ:

• যদি আপনার মডেল Recall বেশি থাকে, তবে এটি বেশি আসল পজিটিভ শনাক্ত করতে সক্ষম। এর মানে হল, মডেল যেসব পজিটিভ ইনপুট চিহ্নিত করেছে, তাদের মধ্যে অধিকাংশ সঠিক।

ব্যবহার:

• Recall গুরুত্বপূর্ণ যখন ভুল নেগেটিভ গুরুত্বপূর্ণ সমস্যা সৃষ্টি করতে পারে, যেমন রোগ সনাক্তকরণ (যেখানে মডেল যদি রোগীকে ভুলভাবে সুস্থ বলে গণ্য করে, তাহলে এটি বিপদজনক হতে পারে)।

Precision এবং Recall এর মধ্যে সমঝোতা:

• Precision এবং Recall এর মধ্যে একটি trade-off (সমঝোতা) থাকে। যখন Precision বাড়ানো হয়, তখন কিছু ক্ষেত্রে Recall কমে যেতে পারে এবং বিপরীতটি ঘটে যখন Recall বাড়ানো হয়।
• উদাহরণস্বরূপ, যদি আপনি একটি মডেল তৈরি করেন যা খুব কড়া (strict) ফিল্টার ব্যবহার করে, তবে এটি অনেক পজিটিভ ইনপুট মিস করতে পারে (যা low recall তৈরি করবে), তবে এটি যেগুলি শনাক্ত করবে তা খুব সঠিক হবে (যা high precision তৈরি করবে)।

৪. F1 Score (Precision এবং Recall এর সমন্বয়):

F1 Score হল Precision এবং Recall এর একটি সমন্বিত পরিমাপক, যা তাদের মধ্যে সমঝোতা নিশ্চিত করে। এটি Precision এবং Recall এর গড় হিসেব করে, তবে গড় নেওয়ার সময় তাদের মধ্যে ভারসাম্য বজায় রাখে।

ফর্মুলা:

$$F1 \text{ Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

অর্থ:

• F1 Score তখন গুরুত্বপূর্ণ, যখন আপনি Precision এবং Recall এর মধ্যে সমঝোতা চান এবং একটির মান অপরটির উপরে বাড়ানোর জন্য খুব বেশি প্রভাব ফেলবে না।

সারাংশ:

• Accuracy: মডেলের সঠিকতার একটি সাধারণ পরিমাপক, তবে এটি কখনো কখনো বিভ্রান্তিকর হতে পারে যখন ক্লাসগুলি অসমান (imbalanced) হয়।
• Precision: মডেল কতটা সঠিকভাবে পজিটিভ শনাক্ত করতে পারে তা মাপবে, অর্থাৎ ভুল পজিটিভ কতোটা কম।
• Recall: মডেল কতটা সফলভাবে পজিটিভ সঠিকভাবে শনাক্ত করতে পারে তা মাপবে, অর্থাৎ ভুল নেগেটিভ কতোটা কম।
• F1 Score: Precision এবং Recall এর একটি সমন্বিত পরিমাপক, যা তাদের মধ্যে সমঝোতা তৈরি করতে সাহায্য করে।

এগুলোর প্রতিটি পরিমাপককে ব্যবহার করার জন্য আপনার সমস্যার প্রেক্ষাপট অনুযায়ী একটি নির্বাচন করতে হবে, যেমন কোথায় ভুল পজিটিভ গুরুত্বপূর্ণ, কোথায় ভুল নেগেটিভ গুরুত্বপূর্ণ, এবং কবে সঠিকতা এক্সপেক্ট করা হচ্ছে।