Classification এর জন্য Metrics: Accuracy, Precision, Recall, F1-Score

Classification মডেলগুলোকে মূল্যায়ন করতে কিছু গুরুত্বপূর্ণ মেট্রিক্স ব্যবহৃত হয়। এই মেট্রিক্সগুলো মডেলের পারফরম্যান্স, দক্ষতা এবং নির্ভুলতা পরিমাপ করতে সাহায্য করে। প্রতিটি মেট্রিক্সের নিজস্ব ভূমিকা এবং প্রয়োগ রয়েছে, এবং বিভিন্ন পরিস্থিতিতে এক বা একাধিক মেট্রিক্সের ব্যবহার গুরুত্বপূর্ণ।

১. Accuracy (সঠিকতা)

Accuracy হল একটি ক্লাসিফিকেশন মেট্রিক যা নির্ধারণ করে মডেলটি কতটুকু সঠিকভাবে ভবিষ্যদ্বাণী করছে। এটি মোট সঠিক ভবিষ্যদ্বাণীর অনুপাতের সাথে সম্পর্কিত।

সূত্র:

$\text{Accuracy}=\frac{\text{সঠিক প্রেডিকশন}}{\text{মোট প্রেডিকশন}}$

এখানে,

• সঠিক প্রেডিকশন: যেসব ডেটা পয়েন্ট সঠিকভাবে শ্রেণীবদ্ধ হয়েছে।
• মোট প্রেডিকশন: মোট ডেটা পয়েন্টের সংখ্যা।

উদাহরণ:

ধরা যাক, একটি মডেল 100টি ডেটা পয়েন্টের মধ্যে 90টি সঠিকভাবে ভবিষ্যদ্বাণী করেছে, তাহলে:

$$\text{Accuracy} = \frac{90}{100} = 0.90 = 90\%$$

ব্যবহার:

Accuracy সাধারণত ব্যালান্সড ডেটাসেট এ ব্যবহৃত হয়, যেখানে বিভিন্ন ক্লাসের মধ্যে সমানভাবে ডেটা বিতরণ রয়েছে। তবে, যদি ডেটা অসামঞ্জস্যপূর্ণ (imbalanced) হয় (যেমন এক ক্লাসের সংখ্যা অনেক বেশি), accuracy মেট্রিক সঠিক তথ্য দেয় না।

২. Precision (প্রিসিশন)

Precision হল মডেলের সঠিক প্রেডিকশনের অনুপাত, যেখানে মডেলটি একটি শ্রেণীকে সঠিকভাবে ইতিবাচক (positive) হিসেবে চিহ্নিত করেছে। এটি False Positive (FP) কম করার লক্ষ্য রাখে, অর্থাৎ এমন পরিস্থিতি যেখানে মডেলটি ভুলভাবে একটি নেগেটিভ ইনপুটকে ইতিবাচক হিসেবে চিহ্নিত করে।

সূত্র:

$$\text{Precision} = \frac{\text{True Positive (TP)}}{\text{True Positive (TP)} + \text{False Positive (FP)}}$$

উদাহরণ:

ধরা যাক, 100টি ইতিবাচক ভবিষ্যদ্বাণী থেকে 80টি সঠিক ছিল এবং 20টি ভুল ছিল। তাহলে:

$$\text{Precision} = \frac{80}{80 + 20} = \frac{80}{100} = 0.8$$

ব্যবহার:

Precision মেট্রিকটি খুবই গুরুত্বপূর্ণ যখন False Positive কমানো দরকার। যেমন, একটি স্প্যাম ডিটেকশন মডেলে স্প্যাম হিসেবে ভুলভাবে একটি গুরুত্বপূর্ণ ইমেইল চিহ্নিত করা হলে তা হতে পারে বিপজ্জনক।

৩. Recall (রিকল) বা Sensitivity

Recall (বা Sensitivity) হল মডেলের ক্ষমতা যাতে এটি সঠিকভাবে সমস্ত ইতিবাচক (positive) উদাহরণ চিহ্নিত করতে পারে। এটি False Negative (FN) কম করার লক্ষ্য রাখে, যেখানে মডেলটি ভুলভাবে ইতিবাচক ইনপুটকে নেগেটিভ হিসেবে চিহ্নিত করে।

সূত্র:

$$\text{Recall} = \frac{\text{True Positive (TP)}}{\text{True Positive (TP)} + \text{False Negative (FN)}}$$

উদাহরণ:

ধরা যাক, 100টি ইতিবাচক ডেটা পয়েন্টের মধ্যে 80টি সঠিকভাবে চিহ্নিত হয়েছে এবং 20টি ভুলভাবে নেগেটিভ হিসেবে চিহ্নিত হয়েছে। তাহলে:

$$\text{Recall} = \frac{80}{80 + 20} = \frac{80}{100} = 0.8$$

ব্যবহার:

Recall গুরুত্বপূর্ণ যখন False Negative কমানো দরকার। যেমন, রোগ নির্ণয়ের ক্ষেত্রে যখন কোনো রোগীকে ভুলভাবে নেগেটিভ হিসেবে চিহ্নিত করা হয়, তখন এটি বিপজ্জনক হতে পারে।

৪. F1-Score

F1-Score হল Precision এবং Recall এর গড় হারমোনিক মেট্রিক। এটি দুটি মেট্রিকের মধ্যে একটি সুষম সম্পর্ক স্থাপন করে, যাতে একটি মেট্রিকের মান বেশি হলে অন্যটির ক্ষতি না হয়। F1-Score গাণিতিকভাবে Precision এবং Recall এর মধ্যে ভারসাম্য রাখে এবং অসামঞ্জস্যপূর্ণ (imbalanced) ডেটাসেটের ক্ষেত্রে খুবই কার্যকরী।

সূত্র:

$$\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

উদাহরণ:

যদি Precision = 0.8 এবং Recall = 0.8 হয়, তাহলে:

$$\text{F1-Score} = 2 \times \frac{0.8 \times 0.8}{0.8 + 0.8} = 2 \times \frac{0.64}{1.6} = 0.8$$

ব্যবহার:

F1-Score তখন গুরুত্বপূর্ণ যখন Precision এবং Recall এর মধ্যে একটি ভারসাম্য বজায় রাখতে হবে এবং False Positive এবং False Negative এর গুরুত্ব সমান হতে হবে।

Summary (সারাংশ)

সারাংশ:

• Accuracy: মডেলের সঠিকতার সামগ্রিক পরিমাপ।
• Precision: সঠিকভাবে ইতিবাচক শ্রেণী চিহ্নিত করার ক্ষমতা।
• Recall: সমস্ত ইতিবাচক শ্রেণী সঠিকভাবে চিহ্নিত করার ক্ষমতা।
• F1-Score: Precision এবং Recall এর ভারসাম্য, যেখানে দুইটি মেট্রিকের মধ্যে সমন্বয় প্রয়োজন।

এই মেট্রিক্সগুলির উপযুক্ত ব্যবহার আপনার ক্লাসিফিকেশন মডেলের কার্যকারিতা আরও উন্নত করতে সাহায্য করবে।