NLP মডেলের জন্য Attention Mechanism

Attention Mechanism একটি অত্যন্ত গুরুত্বপূর্ণ প্রযুক্তি, যা Natural Language Processing (NLP)-এ ব্যাপকভাবে ব্যবহৃত হচ্ছে, বিশেষ করে Neural Machine Translation (NMT), Speech Recognition, Text Summarization, এবং Question Answering এর মতো কাজগুলিতে। Attention মেকানিজম মডেলকে "ফোকাস" করতে সাহায্য করে, যেখানে এটি ইনপুট সিকোয়েন্সের সবচেয়ে গুরুত্বপূর্ণ অংশে বেশি মনোযোগ দেয়, যাতে আউটপুট সঠিকভাবে উৎপন্ন করা যায়।

Attention মেকানিজমের মূল উদ্দেশ্য হল, যখন একটি মডেল ইনপুটের মধ্যে থেকে আউটপুট উৎপন্ন করে, তখন এটি সমস্ত ইনপুট ভেক্টর সমানভাবে বিবেচনা না করে, কিছু অংশে বেশি গুরুত্ব দেয়, যা আউটপুট উৎপন্ন করার জন্য গুরুত্বপূর্ণ।

১. Attention Mechanism এর মূল ধারণা

Attention মেকানিজম কিভাবে কাজ করে:

• যখন ইনপুট ডেটা (যেমন টেক্সট) একটি মডেলকে দেওয়া হয়, তখন মডেল সমস্ত ইনপুটের প্রতি সমান মনোযোগ দেয় না। এর পরিবর্তে, এটি কিছু বিশেষ ইনপুট শব্দ বা অংশকে "attention" দেয়, যা আউটপুট তৈরির জন্য সবচেয়ে বেশি সহায়ক।
• এই প্রক্রিয়াকে Contextual Understanding বলা হয়, যেখানে মডেল নির্ধারণ করে কোন অংশ ইনপুট থেকে সবচেয়ে গুরুত্বপূর্ণ।

প্রধান উপাদান:

1. Query (Q): আউটপুট জন্য যে তথ্যটি প্রয়োজন।
2. Key (K): ইনপুটের অংশ যা আউটপুট তৈরির জন্য সম্পর্কিত হতে পারে।
3. Value (V): ইনপুটের তথ্য যা আউটপুট তৈরিতে ব্যবহৃত হবে।
4. Attention Score: Query এবং Key এর মধ্যে সম্পর্ক মাপার জন্য একটি স্কোর যা কতটা গুরুত্ব দেওয়া হবে তা নির্ধারণ করে।

কিভাবে কাজ করে:

• প্রতিটি ইনপুটের জন্য একটি Query, Key, এবং Value তৈরি করা হয়।
• Query এবং Key এর মধ্যে স্কোর ক্যালকুলেট করা হয় (যেমন ডট প্রোডাক্ট), এবং সেই স্কোর অনুযায়ী Attention Value তৈরি করা হয়।
• Attention Weight গুলি দিয়ে Value গুলো ওয়েট করা হয় এবং সেই অনুযায়ী আউটপুট প্রস্তুত হয়।

২. Attention Mechanism Types

1. Self-Attention (Scaled Dot-Product Attention):

   • Self-attention মেকানিজমের মাধ্যমে, একটি শব্দ নিজেই তার অন্যান্য শব্দের সাথে সম্পর্ক স্থাপন করে।
   • উদাহরণস্বরূপ, যদি একটি টেক্সট সিকোয়েন্সে "she" শব্দটি থাকে, তবে "she" এর জন্য গুরুত্বপূর্ণ শব্দ হতে পারে "running" বা "book" এর মতো শব্দ যা টেক্সটের প্রসঙ্গে সহায়ক হতে পারে।

   Self-Attention Calculation:

   • Query (Q), Key (K), এবং Value (V) তৈরি করা হয়।
   • Scaled dot-product calculation এর মাধ্যমে Attention score বের করা হয়, তারপর এটি normalization (softmax) করা হয়।

   import torch
   import torch.nn.functional as F
   
   def scaled_dot_product_attention(query, key, value):
       # Calculate the dot-product between query and key
       matmul_qk = torch.matmul(query, key.transpose(-2, -1))
       
       # Scale matmul_qk by sqrt of depth of key
       depth = key.size(-1)
       scaled_attention_logits = matmul_qk / torch.sqrt(torch.tensor(depth, dtype=torch.float32))
       
       # Apply softmax to get attention weights
       attention_weights = F.softmax(scaled_attention_logits, dim=-1)
       
       # Multiply attention weights with value vectors
       output = torch.matmul(attention_weights, value)
       return output, attention_weights
   

2. Multi-Head Attention:

   • Multi-Head Attention একাধিক attention মেকানিজম ব্যবহার করে, যা মডেলকে আরও বেশি তথ্য শিখতে সাহায্য করে।
   • এটি একাধিক attention "head" এর মাধ্যমে ইনপুটের বিভিন্ন অংশের প্রতি মনোযোগ দেয়।

   Example of Multi-Head Attention:

   class MultiHeadAttention(torch.nn.Module):
       def __init__(self, num_heads, embed_size):
           super(MultiHeadAttention, self).__init__()
           self.num_heads = num_heads
           self.embed_size = embed_size
           self.depth = embed_size // num_heads
   
           # Define layers for query, key, value projection
           self.wq = torch.nn.Linear(embed_size, embed_size)
           self.wk = torch.nn.Linear(embed_size, embed_size)
           self.wv = torch.nn.Linear(embed_size, embed_size)
   
           # Output layer
           self.dense = torch.nn.Linear(embed_size, embed_size)
   
       def split_heads(self, x, batch_size):
           # Split the embeddings into multiple heads
           x = x.view(batch_size, -1, self.num_heads, self.depth)
           return x.permute(0, 2, 1, 3)
   
       def forward(self, query, key, value, mask=None):
           batch_size = query.size(0)
   
           # Project query, key, value vectors
           query = self.split_heads(self.wq(query), batch_size)
           key = self.split_heads(self.wk(key), batch_size)
           value = self.split_heads(self.wv(value), batch_size)
   
           # Apply scaled dot-product attention
           output, attention_weights = scaled_dot_product_attention(query, key, value)
   
           # Concatenate the heads and pass through the final linear layer
           output = output.permute(0, 2, 1, 3).contiguous().view(batch_size, -1, self.num_heads * self.depth)
           output = self.dense(output)
           return output, attention_weights
   

৩. Attention in NLP Models:

Transformer Model:

• Transformer মডেলটি Attention Mechanism ব্যবহার করে, যা বিশেষ করে machine translation, text generation, এবং language understanding এর জন্য ব্যবহৃত হয়।
• Self-attention এবং Multi-head attention ট্রান্সফর্মার মডেলের 핵 অংশ।

Position Encoding:

• Transformer মডেলে ইনপুট সিকোয়েন্সের মধ্যে position information যোগ করতে position encoding ব্যবহার করা হয়, কারণ Attention Mechanism একে অপরের সাথে সম্পর্কিত শব্দের গুরুত্ব নির্ধারণ করে, তবে এটি শব্দের অবস্থান বুঝতে পারে না।

class PositionalEncoding(torch.nn.Module):
    def __init__(self, d_model, max_len=5000):
        super(PositionalEncoding, self).__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2) * -(torch.log(torch.tensor(10000.0)) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe)

    def forward(self, x):
        return x + self.pe[:x.size(0), :]

৪. Benefits of Attention Mechanism in NLP:

1. Contextual Understanding: Attention মেকানিজম মডেলকে ইনপুটের বিভিন্ন অংশের মধ্যে সম্পর্ক বুঝতে সাহায্য করে।
2. Handling Long-range Dependencies: লম্বা সিকোয়েন্সে সম্পর্ক বজায় রাখার জন্য attention খুবই কার্যকর।
3. Parallelization: Transformers-এর সাহায্যে, ইনপুটের সমস্ত অংশকে একসাথে প্রক্রিয়া করা যায়, যা প্রশিক্ষণের সময় দ্রুততার জন্য সাহায্য করে।

৫. Applications of Attention in NLP:

• Machine Translation: Attention মেকানিজমের মাধ্যমে একটি ভাষা থেকে অন্য ভাষায় শব্দ বা বাক্য অনুবাদ করা হয়।
• Text Summarization: বড় টেক্সট থেকে গুরুত্বপূর্ণ তথ্য সংক্ষেপে বের করা।
• Text Generation: GPT-3 এর মতো মডেলগুলি Attention Mechanism ব্যবহার করে প্রাসঙ্গিক এবং সুনির্দিষ্ট টেক্সট উৎপন্ন করে।
• Question Answering: একটি প্রশ্নের জন্য প্রাসঙ্গিক টেক্সট থেকে উত্তর বের করা।

সারাংশ:

Attention Mechanism NLP মডেলে গুরুত্বপূর্ণ ভূমিকা পালন করে, বিশেষ করে যখন লম্বা সিকোয়েন্সের সাথে কাজ করা হয়। Self-attention এবং Multi-head attention ট্রান্সফর্মার মডেলের প্রধান উপাদান এবং এটি মডেলকে বিভিন্ন অংশের মধ্যে সম্পর্ক খুঁজে বের করতে সাহায্য করে। NLP অ্যাপ্লিকেশনগুলিতে এটি কনটেক্সট বুঝতে এবং ইনপুট সিকোয়েন্সের গুরুত্বপূর্ণ অংশে মনোযোগ দিতে সক্ষম।