Caffe2 তে মডেল Evaluation এবং Testing

Caffe2 একটি শক্তিশালী ফ্রেমওয়ার্ক যা ডিপ লার্নিং মডেল ট্রেনিং, ইনফারেন্স এবং ডিপ্লয়মেন্টের জন্য ব্যবহৃত হয়। মডেল ট্রেনিংয়ের পর, মডেলের কার্যকারিতা এবং পারফরম্যান্স মূল্যায়ন (evaluation) করা অত্যন্ত গুরুত্বপূর্ণ। Caffe2 তে মডেল evaluation এবং testing করার জন্য কিছু পদক্ষেপ রয়েছে, যার মাধ্যমে আপনি আপনার মডেলের পূর্বাভাস, সঠিকতা, এবং অন্যান্য মেট্রিক্স নির্ধারণ করতে পারেন।

1. মডেল Evaluation:

মডেল evaluation মূলত আপনার মডেলের প্রশিক্ষণ ও পরীক্ষণের (testing) পারফরম্যান্স পরিমাপ করার প্রক্রিয়া। Caffe2 তে, এটি সাধারণত আপনার মডেলটি পরীক্ষার ডেটাসেটে রান করিয়ে এবং তারপর বিভিন্ন মেট্রিক্স (যেমন accuracy, precision, recall) ব্যবহার করে করা হয়।

1.1. Accuracy Measure:

Accuracy হল সবচেয়ে সাধারণ মেট্রিক যা মডেলের পারফরম্যান্স মাপার জন্য ব্যবহার করা হয়। এটি মডেলের সঠিক ভবিষ্যদ্বাণীর হার প্রদান করে।

Accuracy হিসাব করার জন্য পদ্ধতি:

1. মডেলটি টেস্টিং ডেটাসেটে রান করান।
2. মডেলটির আউটপুট এবং আসল লেবেলগুলির মধ্যে তুলনা করুন।
3. সঠিক ভবিষ্যদ্বাণী সংখ্যা গুনে মোট সংখ্যা দিয়ে ভাগ করুন।

from caffe2.python import workspace
import numpy as np

# Assume that 'output_blob' is the output from the model
# and 'labels_blob' contains the ground truth labels

# Fetch blobs from workspace
output = workspace.FetchBlob('output_blob')
labels = workspace.FetchBlob('labels_blob')

# Calculate accuracy
accuracy = np.mean(np.argmax(output, axis=1) == np.argmax(labels, axis=1))
print("Accuracy: ", accuracy)

1.2. Loss Calculation:

Loss ফাংশন বা কস্ট ফাংশন (যেমন Cross-Entropy loss) মডেলের ট্রেনিং প্রক্রিয়া মূল্যায়ন করতে ব্যবহৃত হয়। মডেলের আউটপুট এবং প্রকৃত আউটপুটের মধ্যে ফারাক মাপা হয় loss ফাংশন দিয়ে।

# Assume 'loss_blob' contains the loss value computed during the model's forward pass
loss = workspace.FetchBlob('loss_blob')
print("Loss: ", loss)

1.3. Precision, Recall, and F1-Score:

Precision, recall, এবং F1-score অন্যান্য গুরুত্বপূর্ণ মেট্রিক্স, বিশেষ করে ক্লাস ইমব্যালান্স (class imbalance) সমস্যার ক্ষেত্রে। Caffe2 তে, এগুলি ম্যানুয়ালি হিসাব করতে হয়।

from sklearn.metrics import precision_score, recall_score, f1_score

# Flatten the predictions and labels
predictions = np.argmax(output, axis=1)
true_labels = np.argmax(labels, axis=1)

# Calculate precision, recall, and F1-score
precision = precision_score(true_labels, predictions, average='macro')
recall = recall_score(true_labels, predictions, average='macro')
f1 = f1_score(true_labels, predictions, average='macro')

print("Precision: ", precision)
print("Recall: ", recall)
print("F1-Score: ", f1)

2. মডেল Testing:

Testing হল মডেলের কার্যকারিতা নির্ধারণের পরবর্তী ধাপ। Caffe2 তে, মডেল testing মূলত আপনার মডেলকে unseen বা নতুন ডেটার ওপর রান করিয়ে ফলাফল বিশ্লেষণ করা হয়।

2.1. Test Dataset Preparation:

Testing করার জন্য আপনাকে সাধারণত একটি ভিন্ন ডেটাসেট প্রয়োজন হয় যা মডেলের ট্রেনিং ডেটা থেকে আলাদা থাকে, যাতে মডেলটি নতুন ডেটার ওপর পরীক্ষিত হয়।

# Assume 'test_data' is a testing dataset and 'test_labels' are the corresponding labels
test_data = np.random.randn(100, 3, 224, 224)  # Example: 100 images of 3x224x224 pixels
test_labels = np.random.randint(0, 2, size=(100,))  # Example: Binary classification (0 or 1)

2.2. Testing Loop:

Testing করতে গেলে, আপনি ডেটাসেটটি ব্যাচ আকারে মডেলে ইনপুট হিসেবে পাঠান এবং আউটপুট থেকে পারফরম্যান্স মেট্রিক্স বের করেন।

# Initialize a variable to store the total accuracy
correct_predictions = 0
total_predictions = 0

# Assume 'model' is a predefined model that accepts batches of images
for i in range(0, len(test_data), batch_size):
    batch_data = test_data[i:i+batch_size]
    batch_labels = test_labels[i:i+batch_size]

    # Feed the input data into the Caffe2 workspace
    workspace.FeedBlob('input', batch_data)
    workspace.FeedBlob('labels', batch_labels)

    # Run the network
    workspace.RunNet('test_net')

    # Fetch the output from the workspace
    output = workspace.FetchBlob('output_blob')

    # Calculate predictions and compare with actual labels
    predictions = np.argmax(output, axis=1)
    correct_predictions += np.sum(predictions == batch_labels)
    total_predictions += len(batch_labels)

# Calculate final accuracy
test_accuracy = correct_predictions / total_predictions
print("Test Accuracy: ", test_accuracy)

2.3. Model Inference on New Data:

Testing শুধু পূর্ববর্তী টেস্টিং ডেটাসেটের মধ্যে সীমাবদ্ধ নয়, আপনি মডেলটির ইনফারেন্সে নতুন ডেটা ব্যবহার করতে পারেন।

# Example: Inference on new image
new_image = np.random.randn(1, 3, 224, 224)  # A new image of size 3x224x224
workspace.FeedBlob('input', new_image)

# Run inference
workspace.RunNet('test_net')

# Fetch and interpret the output
output = workspace.FetchBlob('output_blob')
predicted_class = np.argmax(output, axis=1)
print("Predicted Class: ", predicted_class)

3. Model Validation:

Model validation হল ট্রেনিং ও testing ডেটাসেটের মধ্যে একটি সঠিক ভারসাম্য তৈরি করার প্রক্রিয়া। Validation ডেটাসেট ব্যবহার করে মডেলের hyperparameters টিউন করা এবং overfitting এর প্রতিরোধ করা সম্ভব।

• Cross-validation: Caffe2 এ Cross-validation প্রক্রিয়া করার জন্য আপনাকে ডেটাসেটটি ছোট অংশে ভাগ করে (folds) মডেলটি একাধিকবার ট্রেন এবং টেস্ট করতে হবে।

4. মডেল Save এবং Load:

Caffe2 এ মডেল সেভ এবং লোড করার প্রক্রিয়া খুবই সহজ। মডেলটি ট্রেনিং করার পরে আপনি সেটি সংরক্ষণ করতে পারেন এবং পরে পুনরায় লোড করে ইনফারেন্স করতে পারেন।

# Save the model
workspace.RunNetOnce(model_save_op)

# Load the saved model
workspace.CreateNet(model_load_op)
workspace.RunNet(model_load_op)

সারাংশ:

Caffe2 তে মডেল evaluation এবং testing অনেক গুরুত্বপূর্ণ ধাপ যা মডেলের কার্যকারিতা নির্ধারণ করে। Accuracy, Loss, Precision, Recall, এবং F1-score এর মাধ্যমে মডেলের কার্যকারিতা মূল্যায়ন করা হয়, এবং Testing ডেটাসেটে মডেলটি পরীক্ষিত হয়। Inference নতুন ডেটাতে মডেলের পারফরম্যান্স দেখতে সহায়ক। Caffe2 এ এই মূল্যায়ন পদ্ধতি ব্যবহার করে মডেল উন্নতি এবং বাস্তব প্রয়োগের জন্য উপযুক্ত করা সম্ভব।

মডেলের পারফরম্যান্স যাচাই করা একটি গুরুত্বপূর্ণ প্রক্রিয়া, যা নিশ্চিত করে যে মডেলটি বাস্তব পৃথিবীর ডেটা থেকে শিখতে এবং সঠিক পূর্বাভাস দিতে সক্ষম। বিভিন্ন মেট্রিক্স এবং কৌশল ব্যবহৃত হয় মডেলের পারফরম্যান্স নির্ধারণ করার জন্য। এটি মডেল তৈরির পরের একটি গুরুত্বপূর্ণ ধাপ, কারণ এটি মডেলের কার্যকারিতা এবং দক্ষতা বুঝতে সহায়তা করে।

মডেলের পারফরম্যান্স যাচাইয়ের বিভিন্ন মেট্রিক্স

মডেল যাচাইয়ের জন্য বিভিন্ন মেট্রিক্স ব্যবহার করা হয়, যা নির্ভর করে কাজের ধরন (যেমন শ্রেণীবিভাগ, রিগ্রেশন, ক্লাস্টারিং) এবং ডেটার প্রকৃতির উপর। কিছু সাধারণ মেট্রিক্স হলো:

১. শ্রেণীবিভাগ মডেলের জন্য পারফরম্যান্স মেট্রিক্স (Classification Metrics):

1. অক্ষেত্রিক সঠিকতা (Accuracy):
   • সঠিকভাবে পূর্বাভাস করা ডেটার শতকরা হার। এটি একটি সাধারণ মেট্রিক, তবে এটি ইমBALANCED ডেটাসেটের জন্য ভাল নির্দেশক নয়।
   • ফর্মুলা: $$Accuracy = \frac{True Positives + True Negatives}{Total Samples}$$
2. প্রিসিশন (Precision):
   • প্রিসিশন হল সঠিকভাবে পূর্বাভাস করা পজিটিভ আউটপুটের অনুপাত। এটি মডেলের ভুল পজিটিভ পূর্বাভাস কমানোর জন্য গুরুত্বপূর্ণ।
   • ফর্মুলা: $$Precision = \frac{True Positives}{True Positives + False Positives}$$
3. রিকল (Recall):
   • রিকল হল, সঠিকভাবে চিহ্নিত করা পজিটিভ কেসের অনুপাত। এটি মডেলটির ভুল নেগেটিভ পূর্বাভাস কমানোর জন্য গুরুত্বপূর্ণ।
   • ফর্মুলা: $$Recall = \frac{True Positives}{True Positives + False Negatives}$$
4. ফ১ স্কোর (F1 Score):
   • ফ১ স্কোর হল প্রিসিশন এবং রিকলের মধ্যে একটি ভারসাম্যপূর্ণ মেট্রিক, যা প্রিসিশন এবং রিকল এর গড় হিসাব করে। এটি ইমBALANCED ডেটাসেটে ব্যবহৃত হয়।
   • ফর্মুলা: $$F1 Score = 2 \times \frac{Precision \times Recall}{Precision + Recall}$$

5. Confusion Matrix:

   • কনফিউশন ম্যাট্রিক্স একটি ২x২ মেট্রিক্স যা মডেলের পূর্বাভাসের সঠিকতা এবং ভুল সনাক্তকরণকে পরিমাপ করে। এটি True Positives (TP), False Positives (FP), True Negatives (TN), এবং False Negatives (FN) এর মাধ্যমে বিভক্ত।

   	Predicted Positive	Predicted Negative
   Actual Positive	TP	FN
   Actual Negative	FP	TN

২. রিগ্রেশন মডেলের জন্য পারফরম্যান্স মেট্রিক্স (Regression Metrics):

1. মিনিমাম স্কয়ার এর্নর (Mean Squared Error, MSE):
   • এটি রিগ্রেশন মডেলের পূর্বাভাসের জন্য ব্যবহৃত একটি সাধারণ মেট্রিক, যা পূর্বাভাস এবং প্রকৃত মানের মধ্যে পার্থক্য এর স্কোয়ার হিসেবে গণনা করা হয়।
   • ফর্মুলা: $$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_{i} - \hat{y_{i}})^2$$ যেখানে $y_i$ হল প্রকৃত মান এবং $\hat{y_i}$ হল পূর্বাভাস করা মান।
2. রুট মিন স্কয়ার এর্নর (Root Mean Squared Error, RMSE):
   • MSE এর স্কোয়ার রুট হিসাবে RMSE গণনা করা হয়, যা পূর্বাভাসের মধ্যে গড় ত্রুটি প্রদর্শন করে।
   • ফর্মুলা: $$RMSE = \sqrt{MSE}$$
3. মিন অবসলিউট এর্নর (Mean Absolute Error, MAE):
   • MAE পূর্বাভাস এবং প্রকৃত মানের মধ্যে পার্থক্য এর গড় মান প্রদর্শন করে। এটি সহজ এবং সরল মেট্রিক।
   • ফর্মুলা: $$MAE = \frac{1}{n} \sum_{i=1}^{n} |y_{i} - \hat{y_{i}}|$$
4. R-squared (R²) বা কো-এফিসিয়েন্ট অব ডetermination:
   • এটি রিগ্রেশন মডেলের ক্ষমতা নির্ধারণ করে, অর্থাৎ, পূর্বাভাসকৃত মান প্রকৃত মানের কতটা কাছে। উচ্চ R² মানে মডেলটি ভালো কাজ করছে।
   • ফর্মুলা: $$R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y_i})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}$$ যেখানে $y_i$ হল প্রকৃত মান, $\hat{y_i}$ হল পূর্বাভাস, এবং $\bar{y}$ হল প্রকৃত মানের গড়।

৩. ক্লাস্টারিং মডেলের জন্য পারফরম্যান্স মেট্রিক্স (Clustering Metrics):

1. সিলুয়েট স্কোর (Silhouette Score):
   • এটি ক্লাস্টারিংয়ের মান যাচাই করার জন্য ব্যবহৃত হয়, যেখানে ক্লাস্টারগুলির মধ্যে পার্থক্য এবং ক্লাস্টারের ভিতরের ঘনত্ব পরিমাপ করা হয়। সিলুয়েট স্কোর ১ থেকে -১ এর মধ্যে থাকে, যেখানে ১ মানে খুব ভালো ক্লাস্টারিং এবং -১ মানে ক্লাস্টারগুলো অপূর্ণ।
2. ডেভিয়েশন (Davies-Bouldin Index):
   • এই মেট্রিকটি ক্লাস্টারের মধ্যে মধ্যবর্তী দূরত্ব এবং ক্লাস্টারের ভিতরের ঘনত্বের ভিত্তিতে ক্লাস্টারিং এর মান মাপা হয়। কম স্কোর ইঙ্গিত দেয় যে ক্লাস্টারগুলি আরও ভালভাবে আলাদা করা হয়েছে।

৪. মডেল যাচাইয়ের অন্যান্য কৌশল:

1. ক্রস ভ্যালিডেশন (Cross-Validation):
   • মডেল যাচাই করার একটি শক্তিশালী কৌশল, যেখানে ডেটা কেটে একাধিক অংশে ভাগ করা হয় এবং প্রতিটি অংশ একে একে টেস্ট সেট হিসেবে ব্যবহৃত হয়। এটি মডেলের সাধারণীকরণ ক্ষমতা (generalization) পরিমাপ করতে সাহায্য করে।
2. লস ফাংশন (Loss Function):
   • মডেলের টার্গেট আউটপুট এবং প্রকৃত আউটপুটের মধ্যে ত্রুটি পরিমাপ করার জন্য লস ফাংশন ব্যবহৃত হয়। এটি মডেল ট্রেনিংয়ের সময় কমানোর চেষ্টা করে। যেমন Mean Squared Error (MSE), Cross-Entropy Loss ইত্যাদি।

সারাংশ:

মডেলের পারফরম্যান্স যাচাই করার জন্য বিভিন্ন মেট্রিক্স এবং কৌশল রয়েছে যা নির্ভর করে সমস্যার ধরন (শ্রেণীবিভাগ, রিগ্রেশন, ক্লাস্টারিং) এবং ডেটার প্রকৃতির উপর। সঠিক মেট্রিক্স নির্বাচন করা গুরুত্বপূর্ণ, কারণ এটি মডেলের কার্যকারিতা এবং ভবিষ্যত পূর্বাভাসের নির্ভুলতা যাচাই করতে সহায়তা করে।

Caffe2 এ একটি মডেল ট্রেনিং করার পর, আপনার মডেলটি evaluation বা testing করতে হয় যাতে মডেলটির পারফরম্যান্স মূল্যায়ন করা যায়। এটি সাধারণত test dataset ব্যবহার করে করা হয়। মডেলটি একটি নতুন, অপ্রশিক্ষিত ডেটাসেটের উপর কীভাবে কাজ করছে তা পরীক্ষা করতে, যেমন ImageNet বা CIFAR-10 এর মতো টেস্ট ডেটাসেট ব্যবহার করা হয়।

এখানে Caffe2-এ pretrained মডেল (যেমন, ResNet, AlexNet, VGG) দিয়ে test data দিয়ে evaluation করার প্রক্রিয়া দেখানো হলো।

1. Caffe2 এ Test Data দিয়ে মডেল Evaluate করার ধাপগুলো

১.১. মডেল লোড করা

প্রথমে আপনাকে pretrained মডেল লোড করতে হবে। এই উদাহরণে, আমরা ResNet মডেল ব্যবহার করব, তবে একই পদ্ধতি অন্য মডেলগুলির জন্যও প্রযোজ্য।

from caffe2.python import workspace, model_lib, core
import numpy as np

# Workspace রিসেট করা
workspace.ResetWorkspace()

# ResNet50 মডেল লোড করা
model = model_lib.ResNet50()

# pretrained মডেল লোড করা
model.load_model("path_to_pretrained_model")
workspace.RunNetOnce(model.param_init_net)
workspace.RunNetOnce(model.net)

১.২. Test Data লোড এবং প্রস্তুতি

Test data লোড করার জন্য আপনাকে ডেটাসেটটি এক্সেস করতে হবে এবং মডেলের জন্য উপযুক্ত ফরম্যাটে প্রস্তুত করতে হবে। সাধারণত, ডেটাসেটটি Blob আকারে Caffe2 এর Workspace-এ লোড করতে হয়।

# Test Data লোড করা (এখানে 'test_data' একটি উদাহরণ)
test_data = np.random.randn(100, 3, 224, 224).astype(np.float32)  # 100টি ইমেজের উদাহরণ
workspace.FeedBlob("data", test_data)  # 'data' ব্লবে ইনপুট ডেটা ফিড করা

১.৩. ইনফারেন্স (Prediction) এবং Evaluation

এখন মডেলটি test data এর উপর ইনফারেন্স চালাবে এবং এর আউটপুট রেজাল্টস (যেমন প্রেডিকশন ক্লাস) সংগ্রহ করবে। এরপর, প্রাপ্ত ফলাফলগুলোর সাথে আসল লেবেল (True Labels) তুলনা করে accuracy বা অন্যান্য মেট্রিক্সে evaluation করা হয়।

# মডেলটির আউটপুট ব্লব থেকে প্রেডিকশন সংগ্রহ করা
workspace.RunNetOnce(model.net)  # মডেল নেটওয়ার্ক রান করা
output = workspace.FetchBlob("softmax")  # softmax আউটপুটের ব্লব থেকে আউটপুট সংগ্রহ করা

# আউটপুট আর্গুমেন্টের আকার দেখতে
print(output.shape)

# Accuracy বা অন্য evaluation মেট্রিক্স বের করা (যেমন, Top-1 accuracy)
# এখানে 'true_labels' হলো test data-এর আসল লেবেল
accuracy = np.mean(np.argmax(output, axis=1) == true_labels)
print(f"Accuracy: {accuracy:.4f}")

১.৪. Accuracy এবং অন্যান্য মেট্রিক্স বের করা

মডেলের পারফরম্যান্স মূল্যায়ন করতে accuracy, precision, recall, এবং F1-score মতো মেট্রিক্স ব্যবহার করা যেতে পারে। এখানে শুধু accuracy এর একটি সাধারণ হিসাব দেওয়া হলো।

# accuracy হিসাব করা
accuracy = np.mean(np.argmax(output, axis=1) == true_labels)
print(f"Accuracy: {accuracy:.4f}")

এছাড়া আপনি যদি Confusion Matrix ব্যবহার করতে চান, সেটা কনফিউশন ম্যাট্রিক্স তৈরির জন্য sklearn.metrics ব্যবহার করে করতে পারেন:

from sklearn.metrics import confusion_matrix

conf_matrix = confusion_matrix(true_labels, np.argmax(output, axis=1))
print("Confusion Matrix:\n", conf_matrix)

2. Caffe2 এর Evaluation করার জন্য কিছু টিপস

• Test data প্রস্তুতি: Test data বা validation data সঠিকভাবে প্রিপ্রসেসড হতে হবে (যেমন, normalization, resizing) যাতে মডেল সঠিকভাবে কাজ করতে পারে।
• Evaluation Metrics: আপনার মডেলটির পারফরম্যান্স মূল্যায়ন করার জন্য বিভিন্ন মেট্রিক্স ব্যবহার করা যেতে পারে, যেমন:
  • Accuracy: সঠিক প্রেডিকশনের হার।
  • Precision: সঠিক positive প্রেডিকশনের হার।
  • Recall: আসল positive এর মধ্যে সঠিক প্রেডিকশনের হার।
  • F1-Score: Precision এবং Recall এর সমন্বিত পরিমাপ।
• Batch processing: Test data যদি খুব বড় হয়, তাহলে সেগুলো ব্যাচে প্রক্রিয়া করুন যাতে মেমরি ম্যানেজমেন্ট সহজ হয়।

3. সারাংশ

Caffe2 এ pretrained মডেল দিয়ে test data এর উপর evaluation করা একটি সাধারণ প্রক্রিয়া। আপনি প্রথমে pretrained মডেলটি লোড করবেন, তারপর test data দিয়ে ইনফারেন্স চালিয়ে মডেলের পারফরম্যান্স পর্যালোচনা করবেন। Accuracy এবং অন্যান্য evaluation মেট্রিক্স (যেমন, confusion matrix) ব্যবহার করে মডেলের কার্যকারিতা বিশ্লেষণ করা হয়।

Precision, Recall, এবং F1 Score হল মেশিন লার্নিং এবং ডিপ লার্নিং মডেলের পারফরম্যান্স মূল্যায়নের জন্য ব্যবহৃত গুরুত্বপূর্ণ মেট্রিক। এই মেট্রিকগুলির মাধ্যমে মডেলের সঠিকতা, সম্পূর্ণতা এবং তুলনামূলক দক্ষতা মূল্যায়ন করা হয়। এই গুলি বিশেষত বাইনারি ক্লাসিফিকেশন সমস্যায় ব্যবহৃত হয়, তবে মাল্টি-ক্লাস সমস্যার ক্ষেত্রেও প্রয়োগ করা যেতে পারে।

১. Precision (প্রিসিশন)

Precision হলো সেই শতাংশের সংখ্যা যা আমাদের মডেল সঠিকভাবে পজিটিভ হিসেবে চিহ্নিত করেছে, তুলনায় মোট পজিটিভ প্রেডিকশনের সাথে। এটি false positive (FP) এবং true positive (TP) এর ওপর নির্ভর করে।

ফর্মুলা:

$$\text{Precision} = \frac{TP}{TP + FP}$$

• TP (True Positive): সঠিকভাবে পজিটিভ শ্রেণী হিসেবে চিহ্নিত করা।
• FP (False Positive): ভুলভাবে পজিটিভ শ্রেণী হিসেবে চিহ্নিত করা (যে পজিটিভ হওয়া উচিত ছিল না)।

২. Recall (রিকল)

Recall বা Sensitivity হলো সেই শতাংশের সংখ্যা যা আমাদের মডেল সঠিকভাবে পজিটিভ হিসেবে চিহ্নিত করেছে, তুলনায় মোট আসল পজিটিভ (True Positives + False Negatives)।

ফর্মুলা:

$$\text{Recall} = \frac{TP}{TP + FN}$$

• FN (False Negative): ভুলভাবে নেগেটিভ শ্রেণী হিসেবে চিহ্নিত করা (যে পজিটিভ হওয়া উচিত ছিল)।

৩. F1 Score

F1 Score হলো Precision এবং Recall এর গড় গুণফল, যা মডেলের ভারসাম্যপূর্ণ কর্মক্ষমতা বোঝায়। এটি Precision এবং Recall এর মধ্যে একটি হরিজেন্টাল ভারসাম্য বজায় রাখে, অর্থাৎ যখন Precision এবং Recall এর মধ্যে অনেক পার্থক্য থাকে, তখন F1 Score এর মাধ্যমে একটি সমন্বিত মূল্যায়ন পাওয়া যায়।

ফর্মুলা:

$$\text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

• F1 Score হল Precision এবং Recall এর গড়, যেটি মডেলের মোট কার্যকারিতা নির্দেশ করে।

উদাহরণ:

ধরা যাক, একটি মডেল দ্বারা করা ক্লাসিফিকেশন এর কনফিউশন ম্যাট্রিক্স (Confusion Matrix) নিম্নরূপ:

এখানে,

• TP (True Positive) = 80
• FP (False Positive) = 10
• FN (False Negative) = 20
• TN (True Negative) = 90

Precision Calculation:

$$\text{Precision} = \frac{80}{80 + 10} = \frac{80}{90} \approx 0.8889$$

Recall Calculation:

$$\text{Recall} = \frac{80}{80 + 20} = \frac{80}{100} = 0.8$$

F1 Score Calculation:

$$\text{F1 Score} = 2 \times \frac{0.8889 \times 0.8}{0.8889 + 0.8} = 2 \times \frac{0.7111}{1.6889} \approx 0.841$$

সারাংশ:

• Precision: মডেল কতটা সঠিকভাবে পজিটিভ সিদ্ধান্ত নিয়েছে তা পরিমাপ করে।
• Recall: মডেল কতটা সঠিকভাবে আসল পজিটিভ ক্লাস চিহ্নিত করেছে তা পরিমাপ করে।
• F1 Score: Precision এবং Recall এর ভারসাম্যপূর্ণ গড়।

এই মেট্রিকগুলি মডেলের পারফরম্যান্স বুঝতে সাহায্য করে, বিশেষত যখন ক্লাসের মধ্যে অসামঞ্জস্য থাকে (যেমন, পজিটিভ ক্লাস কম বা বেশি হওয়া)।

Confusion Matrix একটি টুল যা মডেলটির কার্যকারিতা মূল্যায়ন করতে ব্যবহৃত হয়, বিশেষ করে শ্রেণীবিভাগ (Classification) সমস্যার জন্য। এটি প্রকৃত এবং পূর্বাভাস করা শ্রেণীগুলির তুলনা করে একটি সারণি আকারে উপস্থাপন করে, যা মডেলটির সঠিকতা, ভুল দৃষ্টিভঙ্গি এবং অন্যান্য মেট্রিক্স বিশ্লেষণ করতে সাহায্য করে।

1. Confusion Matrix কী?

Confusion Matrix মূলত একটি $2 \times 2$ বা $n \times n$ সারণি হিসেবে থাকে, যেখানে:

• True Positives (TP): মডেলটি সঠিকভাবে পজিটিভ ক্লাস পূর্বাভাস করেছে।
• True Negatives (TN): মডেলটি সঠিকভাবে নেগেটিভ ক্লাস পূর্বাভাস করেছে।
• False Positives (FP): মডেলটি ভুলভাবে পজিটিভ ক্লাস পূর্বাভাস করেছে (Type I Error)।
• False Negatives (FN): মডেলটি ভুলভাবে নেগেটিভ ক্লাস পূর্বাভাস করেছে (Type II Error)।

2. Confusion Matrix এর গঠন:

ধরি, একটি বাইনারি শ্রেণীবিভাগ সমস্যা, যেখানে দুটি ক্লাস: Positive (P) এবং Negative (N):

3. Confusion Matrix এর মেট্রিক্সগুলি:

Confusion Matrix থেকে আপনি বিভিন্ন মেট্রিক্স বের করতে পারেন, যেমন:

1. Accuracy: মডেলটির মোট সঠিক পূর্বাভাসের হার।

   $$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$$

2. Precision: পজিটিভ ক্লাস পূর্বাভাসের মধ্যে সঠিক পজিটিভের হার।

   $$Precision = \frac{TP}{TP + FP}$$

3. Recall (Sensitivity or True Positive Rate): প্রকৃত পজিটিভ ক্লাসের মধ্যে সঠিক পজিটিভের হার।

   $$Recall = \frac{TP}{TP + FN}$$

4. F1-Score: Precision এবং Recall এর ভারসাম্য। এটি Precision এবং Recall এর গড় হার হিসেবে গণনা করা হয়।

   $$F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}$$

5. Specificity (True Negative Rate): প্রকৃত নেগেটিভ ক্লাসের মধ্যে সঠিক নেগেটিভের হার।

   $$Specificity = \frac{TN}{TN + FP}$$

6. False Positive Rate (FPR): ভুল পজিটিভের হার।

   $$FPR = \frac{FP}{FP + TN}$$

7. False Negative Rate (FNR): ভুল নেগেটিভের হার।

   $$FNR = \frac{FN}{FN + TP}$$

4. Confusion Matrix তৈরি করা

নিচে একটি উদাহরণ দেওয়া হলো যেখানে PyTorch এবং Scikit-learn ব্যবহার করে Confusion Matrix তৈরি এবং বিশ্লেষণ করা হয়েছে।

৪.১. PyTorch ব্যবহার করে Confusion Matrix তৈরি করা:

import torch
import torch.nn as nn
import numpy as np
from sklearn.metrics import confusion_matrix, classification_report
import matplotlib.pyplot as plt
import seaborn as sns

# উদাহরণস্বরূপ, প্রকৃত এবং পূর্বাভাস করা ক্লাস
# Actual labels (True values)
y_true = np.array([0, 1, 0, 1, 0, 1, 1, 0, 1, 0])

# Predicted labels (Model predictions)
y_pred = np.array([0, 1, 0, 1, 0, 0, 1, 0, 1, 1])

# Confusion Matrix তৈরি করা
cm = confusion_matrix(y_true, y_pred)

# Confusion Matrix প্রিন্ট করা
print("Confusion Matrix:\n", cm)

# Classification Report (Precision, Recall, F1-Score)
print("\nClassification Report:\n", classification_report(y_true, y_pred))

# Confusion Matrix Visualize করা
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=["Negative", "Positive"], yticklabels=["Negative", "Positive"])
plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix')
plt.show()

৪.২. Confusion Matrix Visualization:

আপনি Seaborn এবং Matplotlib ব্যবহার করে Confusion Matrix এর হিটম্যাপ ভিজ্যুয়ালাইজ করতে পারেন।

5. Confusion Matrix বিশ্লেষণ:

৫.১. Accuracy বিশ্লেষণ:

Accuracy হল মডেলটির সঠিক পূর্বাভাসের মোট হার। কিন্তু এটি শুধুমাত্র তখনই উপকারী যখন ডেটাসেটে পজিটিভ এবং নেগেটিভ ক্লাসের সংখ্যা সমান থাকে। অসমান ডেটাসেটের ক্ষেত্রে এটি বিভ্রান্তিকর হতে পারে।

৫.২. Precision এবং Recall বিশ্লেষণ:

• Precision ব্যবহার করে আপনি জানতে পারেন, যখন মডেল পজিটিভ ক্লাসের পূর্বাভাস দেয়, তখন এটি কতটা সঠিক।
• Recall ব্যবহার করে আপনি জানতে পারেন, প্রকৃত পজিটিভ ক্লাসের মধ্যে কতটা সঠিকভাবে শনাক্ত করা হয়েছে।

৫.৩. F1-Score বিশ্লেষণ:

F1-Score হলো Precision এবং Recall এর ভারসাম্য, এবং এটি একটি খুব ভাল মেট্রিক যখন Precision এবং Recall এর মধ্যে কোনও একটিকে প্রাধান্য দেওয়া হয় না। এটি একটি একক মেট্রিক যা মডেলটির সামগ্রিক কার্যকারিতা দেখায়।

৫.৪. Specificity বিশ্লেষণ:

Specificity হল প্রকৃত নেগেটিভ ক্লাসের মধ্যে সঠিক নেগেটিভের হার। এটি একটি গুরুত্বপূর্ণ মেট্রিক যখন আপনি নেগেটিভ কেসগুলো সঠিকভাবে চিহ্নিত করতে চান।

৫.৫. False Positive এবং False Negative বিশ্লেষণ:

• False Positive: যখন মডেলটি ভুলভাবে পজিটিভ ক্লাস শনাক্ত করে (যেমন, রোগী না হলেও রোগী বলে শনাক্ত করা)।
• False Negative: যখন মডেলটি ভুলভাবে নেগেটিভ ক্লাস শনাক্ত করে (যেমন, রোগী থাকা সত্ত্বেও মডেল রোগী বলে শনাক্ত করে না)।

6. Confusion Matrix এর সাহায্যে মডেল নির্বাচন:

• High Precision, Low Recall: যখন ভুল পজিটিভ কম থাকতে হয়, তবে কিছু প্রকৃত পজিটিভ ভুল হতে পারে।
• High Recall, Low Precision: যখন প্রকৃত পজিটিভ সনাক্ত করার প্রাধান্য দেয়া হয়, তবে কিছু ভুল পজিটিভ থাকতে পারে।

7. সারাংশ:

Confusion Matrix হল শ্রেণীবিভাগ মডেলগুলির কার্যকারিতা মূল্যায়নের একটি গুরুত্বপূর্ণ উপাদান। এটি কেবল সঠিকতা প্রদর্শন না করে, বিভিন্ন গুরুত্বপূর্ণ মেট্রিক্স যেমন Precision, Recall, F1-Score, Specificity এবং False Positive/Negative এর বিশ্লেষণ করতে সাহায্য করে, যা মডেলটির কার্যকারিতা বুঝতে সহায়ক।