Cost Function এর জন্য Gradient Calculation

গ্রেডিয়েন্ট ক্যালকুলেশন ডিপ লার্নিং এবং মেশিন লার্নিংয়ে একটি গুরুত্বপূর্ণ পদ্ধতি, যা মডেলের কস্ট ফাংশন (Cost Function) বা লস ফাংশন কে অপটিমাইজ (Minimize) করতে ব্যবহৃত হয়। এটি গ্রেডিয়েন্ট ডিসেন্ট (Gradient Descent) অ্যালগোরিদমের একটি মূল অংশ, যা মডেল ট্রেনিংয়ের সময় প্যারামিটার আপডেট করতে সাহায্য করে।

গ্রেডিয়েন্ট ক্যালকুলেশন এবং কস্ট ফাংশন:

গ্রেডিয়েন্ট ক্যালকুলেশন মূলত ডিফারেনশিয়েশন বা ডেরিভেটিভের মাধ্যমে ঘটে, যার মাধ্যমে কস্ট ফাংশনের প্রতি মডেল প্যারামিটারগুলির প্রতি কিভাবে প্রতিক্রিয়া হয় তা জানা যায়। কস্ট ফাংশন হল একটি পরিমাণ যা মডেলের ভবিষ্যদ্বাণী (predictions) এবং প্রকৃত আউটপুটের মধ্যে ত্রুটির পরিমাণ পরিমাপ করে।

১. কস্ট ফাংশন (Cost Function):

কস্ট ফাংশন এমন একটি ফাংশন যা লস বা ত্রুটি মাপার জন্য ব্যবহৃত হয়, যেখানে প্রতি ইন্টারেশন বা এপোকের শেষে আমরা মডেল প্যারামিটারগুলিকে আপডেট করে কস্ট ফাংশনকে মিনিমাইজ (ছোট) করার চেষ্টা করি।

এখানে Mean Squared Error (MSE) কস্ট ফাংশনটি একটি সাধারণ উদাহরণ:

$$\text{MSE}(w, b) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

এখানে:

• $n$ হল ডেটা পয়েন্টের সংখ্যা,
• $y_i$ হল প্রকৃত আউটপুট (actual output),
• $\hat{y}_i$ হল মডেল থেকে প্রাপ্ত আউটপুট (predicted output),
• $w$ এবং $b$ হল মডেল প্যারামিটার (যেমন, ওয়েট এবং বায়াস)।

২. গ্রেডিয়েন্ট ক্যালকুলেশন:

গ্রেডিয়েন্ট ক্যালকুলেশন হল কস্ট ফাংশনের প্রতি প্যারামিটার $w$ এবং $b$-এর ডেরিভেটিভ নেওয়া। এটি থিওরেটিক্যালভাবে মডেল প্যারামিটারগুলির প্রতি কস্ট ফাংশনের প্রতিক্রিয়া দেয়।

• গ্রেডিয়েন্ট হল কস্ট ফাংশনের প্রতি প্যারামিটারটির আনুপাতিক পরিবর্তন। এটি প্যারামিটারগুলি আপডেট করার জন্য নির্দেশনা প্রদান করে।

ধরি, আমরা গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতিতে আপডেট করতে চাই $w$ (ওয়েট) এবং $b$ (বায়াস)।

• গ্রেডিয়েন্ট ক্যালকুলেশন হবে কস্ট ফাংশনের প্রতি প্যারামিটার $w$ এবং $b$-এর ডেরিভেটিভ:

$$\frac{\partial \text{MSE}(w, b)}{\partial w} = \frac{2}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i) \cdot x_i$$ $$\frac{\partial \text{MSE}(w, b)}{\partial b} = \frac{2}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)$$

এখানে:

• $x_i$ হল ইনপুট ভ্যালু (features)।
• $\frac{\partial}{\partial w}$ এবং $\frac{\partial}{\partial b}$ হল কস্ট ফাংশনের প্রতি ওয়েট এবং বায়াসের গ্রেডিয়েন্ট।

৩. গ্রেডিয়েন্ট ডিসেন্ট (Gradient Descent) অ্যালগোরিদম:

গ্রেডিয়েন্ট ডিসেন্ট হল একটি অপটিমাইজেশন পদ্ধতি যা কস্ট ফাংশনের গ্রেডিয়েন্ট ক্যালকুলেশন ব্যবহার করে প্যারামিটার আপডেট করে। আমরা গ্রেডিয়েন্ট এর বিপরীতে ছোট ছোট স্টেপে প্যারামিটার আপডেট করি যাতে কস্ট ফাংশন মিনিমাইজ হয়।

গ্রেডিয়েন্ট ডিসেন্ট আপডেটের সূত্র:

$$w := w - \eta \cdot \frac{\partial \text{MSE}(w, b)}{\partial w}$$ $$b := b - \eta \cdot \frac{\partial \text{MSE}(w, b)}{\partial b}$$

এখানে:

• $\eta$ হল লার্নিং রেট (learning rate), যা নির্দেশ করে কত দ্রুত প্যারামিটার আপডেট হবে।

৪. ধাপগুলো:

গ্রেডিয়েন্ট ডিসেন্টের মাধ্যমে কস্ট ফাংশন মিনিমাইজ করার জন্য নিম্নলিখিত ধাপগুলো অনুসরণ করতে হয়:

1. প্রাথমিক প্যারামিটার নির্বাচন:
   • প্রথমে প্যারামিটার $w$ এবং $b$-এর প্রাথমিক মান নির্ধারণ করুন।
2. গ্রেডিয়েন্ট ক্যালকুলেশন:
   • কস্ট ফাংশনের প্রতি $w$ এবং $b$-এর ডেরিভেটিভ ক্যালকুলেট করুন।
3. প্যারামিটার আপডেট:
   • আপডেট করতে প্যারামিটারগুলিতে গ্রেডিয়েন্ট ডিসেন্ট সূত্র প্রয়োগ করুন।
4. অপটিমাইজেশন:
   • এই ধাপগুলো পুনরাবৃত্তি করুন যতক্ষণ না কস্ট ফাংশনের মান অপরিবর্তিত থাকে বা কনভার্জ হয়।

গ্রেডিয়েন্ট ক্যালকুলেশন উদাহরণ (Python):

নিচে একটি সরল উদাহরণ দেওয়া হলো যেখানে Mean Squared Error কস্ট ফাংশনের গ্রেডিয়েন্ট ক্যালকুলেশন করা হয়েছে এবং ওয়েট এবং বায়াস আপডেট করা হচ্ছে।

import numpy as np

# ইনপুট ডেটা এবং প্রকৃত আউটপুট
X = np.array([1, 2, 3, 4, 5])  # ইনপুট ভ্যালু (features)
y = np.array([5, 7, 9, 11, 13])  # প্রকৃত আউটপুট (target)

# প্রাথমিক প্যারামিটার
w = 0.0  # ওয়েট
b = 0.0  # বায়াস

# লার্নিং রেট
eta = 0.01

# গ্রেডিয়েন্ট ডিসেন্টের জন্য ইটারেশন সংখ্যা
iterations = 1000

# গ্রেডিয়েন্ট ডিসেন্ট অ্যালগোরিদম
for i in range(iterations):
    # গ্রেডিয়েন্ট ক্যালকুলেশন
    y_pred = w * X + b  # প্রেডিকশন
    error = y_pred - y  # ত্রুটি (লস)
    
    # কস্ট ফাংশনের প্রতি ওয়েট এবং বায়াসের গ্রেডিয়েন্ট
    grad_w = (2 / len(X)) * np.sum(error * X)
    grad_b = (2 / len(X)) * np.sum(error)
    
    # প্যারামিটার আপডেট
    w -= eta * grad_w
    b -= eta * grad_b

    # প্রতি 100 ইটারেশনে ফলাফল প্রিন্ট করা
    if i % 100 == 0:
        print(f"Iteration {i}, w: {w}, b: {b}, MSE: {np.mean(error**2)}")

# ফাইনাল মডেল
print(f"Trained Model: y = {w}x + {b}")

সারাংশ:

• গ্রেডিয়েন্ট ক্যালকুলেশন হল কস্ট ফাংশনের প্রতি প্যারামিটারটির ডেরিভেটিভ হিসাব করা যা মডেল প্যারামিটার আপডেটের জন্য ব্যবহৃত হয়।
• গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতিতে, কস্ট ফাংশনকে মিনিমাইজ করতে আমরা প্যারামিটারগুলি আপডেট করি, এবং এটি ধীরে ধীরে মডেলকে আরও ভাল করে তোলে।
• এই প্রক্রিয়া ডিপ লার্নিং মডেল এবং অন্যান্য মেশিন লার্নিং অ্যালগোরিদমে প্যারামিটার অপটিমাইজেশনের জন্য ব্যবহৃত হয়।