Confusion Matrix এবং ROC Curve

Machine Learning - নাইম (Knime) - Model Evaluation এবং Validation

260

Confusion Matrix এবং ROC Curve হল মেশিন লার্নিং মডেলগুলোর কার্যকারিতা মূল্যায়নের জন্য ব্যবহৃত দুটি গুরুত্বপূর্ণ টুল। এগুলি মূলত classification মডেলের পারফরম্যান্স মূল্যায়নে ব্যবহৃত হয়। নিচে এই দুটি কনসেপ্ট বিস্তারিতভাবে ব্যাখ্যা করা হলো।

1. Confusion Matrix

Confusion Matrix হল একটি টেবিল যা ক্লাসিফিকেশন মডেলের পারফরম্যান্সের বিশ্লেষণ করতে ব্যবহৃত হয়। এটি মডেলের আসল ক্লাস এবং প্রেডিক্টেড ক্লাসের তুলনা করে এবং True Positive, False Positive, True Negative, এবং False Negative এর মান প্রদর্শন করে।

Confusion Matrix এর উপাদানসমূহ:

True Positive (TP):
- মডেলটি যখন সঠিকভাবে একটি পজিটিভ ক্লাস (যেমন "Yes") চিহ্নিত করে।
False Positive (FP):
- মডেলটি যখন ভুলভাবে একটি নেগেটিভ ক্লাসকে পজিটিভ (যেমন "Yes") হিসেবে চিহ্নিত করে।
True Negative (TN):
- মডেলটি যখন সঠিকভাবে একটি নেগেটিভ ক্লাস (যেমন "No") চিহ্নিত করে।
False Negative (FN):
- মডেলটি যখন ভুলভাবে একটি পজিটিভ ক্লাসকে নেগেটিভ (যেমন "No") হিসেবে চিহ্নিত করে।

Confusion Matrix উদাহরণ:

	Predicted Positive (Yes)	Predicted Negative (No)
Actual Positive (Yes)	True Positive (TP)	False Negative (FN)
Actual Negative (No)	False Positive (FP)	True Negative (TN)

Confusion Matrix থেকে মেট্রিক্সগুলো:

Accuracy = $\frac{TP + TN}{TP + TN + FP + FN}$
Precision = $\frac{TP}{TP + FP}$ (positive class-এর মধ্যে সঠিক প্রেডিকশন)
Recall (Sensitivity) = $\frac{TP}{TP + FN}$ (কতটা সঠিকভাবে পজিটিভ ক্লাস চিহ্নিত হয়েছে)
F1-Score = $2 \times \frac{Precision \times Recall}{Precision + Recall}$ (Precision এবং Recall এর একটি ভারসাম্যপূর্ণ মাপ)

2. ROC Curve (Receiver Operating Characteristic Curve)

ROC Curve হল একটি গ্রাফ যা মডেলের পারফরম্যান্স মূল্যায়নের জন্য ব্যবহৃত হয়। এটি ক্লাসিফিকেশন মডেলের সঠিকতা পরিমাপ করার জন্য True Positive Rate (TPR) এবং False Positive Rate (FPR) এর সম্পর্ক দেখায়।

ROC Curve এর উপাদানসমূহ:

True Positive Rate (TPR): এটি Recall এর সমান, যা পজিটিভ ক্লাসের মধ্যে সঠিকভাবে চিহ্নিত হওয়া রেকর্ডের অনুপাত।
- $TPR = \frac{TP}{TP + FN}$
False Positive Rate (FPR): এটি একটি নেগেটিভ ক্লাসকে ভুলভাবে পজিটিভ হিসেবে চিহ্নিত করার অনুপাত।
- $FPR = \frac{FP}{FP + TN}$

ROC Curve এ x-axis-এ FPR এবং y-axis-এ TPR প্রদর্শিত হয়। এটি প্রায়শই 0 থেকে 1 এর মধ্যে চলে, যেখানে উপরের বাম কোণে (TPR = 1 এবং FPR = 0) সবচেয়ে ভালো পারফরম্যান্স বোঝায়।

ROC Curve এর বিশ্লেষণ:

একটি আদর্শ ROC Curve:
- একটি আদর্শ ROC Curve উপরের বাম দিকে চলে, যেখানে TPR বেশি এবং FPR কম।
AUC (Area Under the Curve):
- AUC হল ROC Curve এর নিচের এলাকা (area under the curve)। এটি 0 এবং 1 এর মধ্যে থাকে। AUC মান যত বেশি, মডেলটির পারফরম্যান্স তত ভালো।
  - AUC = 1: আদর্শ মডেল (Perfect classifier)
  - AUC = 0.5: র্যান্ডম মডেল (No discrimination)
  - AUC < 0.5: মডেলটি বিপরীত কাজ করছে (Worse than random)