Deep Q-Learning এবং Policy Gradient Methods

Deep Reinforcement Learning (DRL) হল মেশিন লার্নিংয়ের একটি শাখা যা এজেন্টকে একটি পরিবেশের সাথে ইন্টারঅ্যাক্ট করে সেরা সিদ্ধান্ত নিতে শেখায়। এই সিস্টেমে state, action, এবং reward তিনটি মৌলিক উপাদান থাকে। Deep Q-Learning এবং Policy Gradient Methods হল দুটি জনপ্রিয় রেইনফোর্সমেন্ট লার্নিং (RL) পদ্ধতি যা বিভিন্ন ধরণের সমস্যার জন্য ব্যবহৃত হয়।

১. Deep Q-Learning

Deep Q-Learning (DQN) হল Q-learning অ্যালগোরিদমের উন্নত একটি ভার্সন, যা Deep Neural Networks ব্যবহার করে Q-value function (অথবা Q-table) আপডেট করে। এটি রেইনফোর্সমেন্ট লার্নিং সমস্যার জন্য একটি অফ-পলিসি অ্যালগোরিদম, যা action-value function ব্যবহার করে সেরা অ্যাকশন নির্বাচন করতে সহায়ক হয়।

Q-Learning এর মৌলিক ধারণা

Q-learning হল একটি ভ্যালু-ভিত্তিক রেইনফোর্সমেন্ট লার্নিং অ্যালগোরিদম যা একটি এজেন্টকে সর্বোচ্চ reward পাওয়ার জন্য একটি policy শিখতে সহায়ক হয়। এর মাধ্যমে, এজেন্ট প্রতিটি state-এ কোন action নেওয়া উচিত তা শিখে।

Q-value function হল একটি ফাংশন যা একটি state এবং action এর মধ্যে সম্পর্ক নির্ধারণ করে। এর মানে হল যে, একটি নির্দিষ্ট state-এ কোন action নেওয়া গেলে ভবিষ্যতের কতটা reward পাওয়া যেতে পারে।

$$Q(s, a) = \mathbb{E}[R_t | s_t = s, a_t = a]$$

এখানে:

• s হল state,
• a হল action,
• R_t হল ভবিষ্যতের reward।

Deep Q-Learning (DQN)

DQN হল Q-learning এর উন্নত একটি ভার্সন, যা Q-value function শেখার জন্য Deep Neural Networks ব্যবহার করে।

1. Experience Replay: এটি একটি replay buffer তৈরি করে যেখানে এজেন্ট তার গত অভিজ্ঞতা সংরক্ষণ করে এবং পরে তা ব্যবহার করে ট্রেনিং করা হয়।
2. Target Network: এটি একটি স্থির নেটওয়ার্ক যা সময়ের সাথে ধীরে ধীরে আপডেট হয়, এবং এটি stability বজায় রাখে।

DQN মডেল কনফিগারেশন

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# DQN মডেল তৈরি করা
def build_model(state_size, action_size):
    model = Sequential()
    model.add(Dense(24, input_dim=state_size, activation='relu'))
    model.add(Dense(24, activation='relu'))
    model.add(Dense(action_size, activation='linear'))  # Q-values এর জন্য linear activation
    model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), loss='mse')
    return model

DQN ট্রেনিং প্রক্রিয়া

1. Action Selection: এজেন্ট ε-greedy পদ্ধতি ব্যবহার করে অ্যাকশন সিলেক্ট করে। এতে কিছু সময়ে র্যান্ডম অ্যাকশন নেয় (exploration) এবং কিছু সময়ে সর্বোচ্চ Q-value প্রদানকারী অ্যাকশন নেয় (exploitation)।
2. Experience Replay: এটি আগের অভিজ্ঞতা replay করে এবং batch-wise ট্রেনিং করে।
3. Q-value আপডেট: Q-value আপডেট করার জন্য Bellman equation ব্যবহার করা হয়।

import numpy as np

# Example of Q-learning update
target = reward + gamma * np.max(next_q_values)  # gamma হল ডিসকাউন্ট ফ্যাক্টর
model.fit(state, target, epochs=1, verbose=0)

২. Policy Gradient Methods

Policy Gradient (PG) মেথড একটি policy-based রেইনফোর্সমেন্ট লার্নিং অ্যালগোরিদম যা সরাসরি একটি policy শিখে, অর্থাৎ একটি ফাংশন যা state থেকে action সিলেক্ট করে। এটি Q-value function এর পরিবর্তে একটি stochastic policy শিখতে সহায়ক।

Policy Gradient এর মৌলিক ধারণা

Policy Gradient Methods মূলত actor-critic মডেল অনুসরণ করে, যেখানে:

• Actor হল যে অংশটি policy শিখে (action distribution)।
• Critic হল যে অংশটি value function শিখে (state value বা action value) এবং actor কে গাইড করে।

REINFORCE (Monte Carlo Policy Gradient)

REINFORCE হল একটি ক্লাসিকাল Policy Gradient Method যা Monte Carlo পদ্ধতিতে শিখে, যেখানে পুরো ইপোকের শেষে পরবর্তী রিওয়ার্ড এবং log-probability এর উপর ভিত্তি করে পলিসি আপডেট করা হয়।

REINFORCE ট্রেনিং

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Simple Policy Model (actor)
def build_policy_model(state_size, action_size):
    model = Sequential()
    model.add(Dense(24, input_dim=state_size, activation='relu'))
    model.add(Dense(action_size, activation='softmax'))  # Action probabilities
    model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001))
    return model

REINFORCE ট্রেনিং প্রক্রিয়া

1. Action Selection: Softmax ফাংশন ব্যবহার করে, policy থেকে সম্ভাব্য অ্যাকশন নির্বাচন করা হয়।
2. Reward Calculation: পরবর্তী state থেকে অর্জিত reward এবং future rewards এর উপর ভিত্তি করে return হিসাব করা হয়।
3. Policy Update: Policy আপডেট করার জন্য gradient ascent পদ্ধতি ব্যবহার করা হয়।

def update_policy(model, rewards, actions, states, gamma=0.99):
    for state, reward, action in zip(states, rewards, actions):
        with tf.GradientTape() as tape:
            action_probabilities = model(state)  # Predict action probabilities
            action_prob = action_probabilities[0, action]  # Get the probability of the taken action
            loss = -tf.math.log(action_prob) * reward  # Policy gradient loss
        grads = tape.gradient(loss, model.trainable_variables)
        model.optimizer.apply_gradients(zip(grads, model.trainable_variables))

৩. Advantages of Deep Q-Learning vs Policy Gradient Methods

• Deep Q-Learning:
  • Off-policy অ্যালগোরিদম, যা পুরানো অভিজ্ঞতা (experience replay) ব্যবহার করে মডেল ট্রেনিং করতে পারে।
  • এটি Q-values শেখার মাধ্যমে সেরা অ্যাকশন নির্বাচন করতে সাহায্য করে।
  • Value-based পদ্ধতি, যা state-action value pair শিখে।
• Policy Gradient:
  • On-policy অ্যালগোরিদম, যা সরাসরি policy শেখে।
  • Stochastic পদ্ধতিতে কাজ করে এবং continuous action space-এ খুব ভালো কাজ করে।
  • Policy-based পদ্ধতি, যা সরাসরি action distribution শিখে এবং এটিতে বেশি নমনীয়তা রয়েছে।

৪. সারাংশ

• Deep Q-Learning হল value-based RL পদ্ধতি যা Q-value function শিখে এবং action-value function ব্যবহার করে সিদ্ধান্ত নেয়। এটি experience replay এবং target network ব্যবহার করে ট্রেনিং নিশ্চিত করে।
• Policy Gradient Methods হল policy-based RL পদ্ধতি, যেখানে সরাসরি policy শিখে এবং gradient ascent ব্যবহার করে তা আপডেট করা হয়।
• REINFORCE একটি মৌলিক policy gradient method যা Monte Carlo পদ্ধতি ব্যবহার করে শিখে এবং নতুন policy শেখাতে log-probability এবং reward ব্যবহৃত হয়।

এভাবে, আপনি Deep Q-Learning এবং Policy Gradient Methods ব্যবহার করে রেইনফোর্সমেন্ট লার্নিংয়ের মধ্যে বিভিন্ন প্রকার সমস্যা সমাধান করতে পারেন।