NLP (Natural Language Processing) এর ধারণা
Natural Language Processing (NLP) হল মেশিন লার্নিং এবং আর্টিফিশিয়াল ইনটেলিজেন্সের একটি শাখা যা কম্পিউটারের মাধ্যমে মানুষের ভাষা (যেমন, ইংরেজি, বাংলা, স্প্যানিশ ইত্যাদি) বুঝতে, বিশ্লেষণ করতে, প্রক্রিয়া করতে এবং উৎপাদন করতে ব্যবহৃত হয়। NLP এর উদ্দেশ্য হলো কম্পিউটারের মাধ্যমে ভাষার সঙ্গে সম্পর্কিত কাজগুলো সহজ করা, যেমন:
- টেক্সট ক্লাসিফিকেশন: কোন টেক্সট একটি নির্দিষ্ট ক্যাটেগরিতে পড়ে (যেমন, স্প্যাম ডিটেকশন)।
- টেক্সট জেনারেশন: নতুন টেক্সট তৈরি করা (যেমন, সঙ্গীত লেখা, গল্প তৈরি)।
- ট্রান্সলেশন: একটি ভাষা থেকে অন্য ভাষায় অনুবাদ (যেমন, গুগল ট্রান্সলেট)।
- সেন্টিমেন্ট অ্যানালাইসিস: টেক্সটের মধ্যে অনুভূতি বিশ্লেষণ করা (যেমন, পজিটিভ বা নেগেটিভ রিভিউ শনাক্তকরণ)।
- নামকরণ এন্টিটি রিকগনিশন (NER): টেক্সট থেকে নাম, স্থান বা তারিখের মতো গুরুত্বপূর্ণ তথ্য শনাক্ত করা।
NLP বিভিন্ন কাজের জন্য ভাষার গঠন ও অর্থ বুঝতে চেষ্টা করে। এটি ভাষাগত বৈশিষ্ট্য যেমন Syntax (বাক্য গঠন) এবং Semantics (অর্থ) বিশ্লেষণ করে।
PyTorch এ NLP কাজ করা
PyTorch একটি পাওয়ারফুল ডিপ লার্নিং লাইব্রেরি যা NLP কাজের জন্যও ব্যাপকভাবে ব্যবহৃত হয়। PyTorch এ NLP কাজ করার জন্য মূলত TorchText লাইব্রেরি ব্যবহার করা হয়, তবে PyTorch এর অন্যান্য লাইব্রেরি এবং transformers এর মতো লাইব্রেরিও NLP টাস্কে ব্যবহৃত হয়।
PyTorch এ NLP কাজের জন্য কিছু মৌলিক স্টেপস:
- ডেটা লোড এবং প্রিপ্রসেসিং: প্রাথমিক কাজ হচ্ছে ডেটা লোড করা এবং সঠিকভাবে প্রিপ্রসেসিং করা (যেমন, টোকেনাইজেশন, স্টপওয়ার্ড রিমুভাল, লেমাটাইজেশন)।
- টোকেনাইজেশন: টোকেনাইজেশন হল টেক্সটকে ছোট ছোট ইউনিটে (টোকেন) ভেঙে ফেলা, যেমন শব্দ বা অক্ষর। এতে শব্দ বা বাক্যকে সঠিকভাবে প্রক্রিয়া করা সহজ হয়।
- এম্বেডিং (Word Embeddings): NLP মডেলগুলি সাধারণত word embeddings ব্যবহার করে, যেমন Word2Vec, GloVe, বা FastText, যেগুলি শব্দগুলির অর্থ এবং সম্পর্ক সম্বলিত ভেক্টর তৈরি করে।
- মডেল তৈরি: PyTorch এ সাধারণত RNN, LSTM, GRU অথবা Transformer মডেল ব্যবহার করা হয় NLP টাস্কে।
- মডেল ট্রেনিং এবং টেস্টিং: মডেলটি ট্রেনিং ডেটা দিয়ে ট্রেন করা হয় এবং পরে টেস্ট ডেটা দিয়ে এর পারফরমেন্স মূল্যায়ন করা হয়।
PyTorch এ NLP কাজের উদাহরণ: টেক্সট ক্লাসিফিকেশন
এখানে একটি সাধারণ টেক্সট ক্লাসিফিকেশন মডেল তৈরি করার উদাহরণ দেওয়া হয়েছে, যেখানে আমরা PyTorch ব্যবহার করে একটি LSTM মডেল তৈরি করব এবং একটি ছোট ডেটাসেট ব্যবহার করে ট্রেন করব।
ধাপ ১: প্রয়োজনীয় প্যাকেজ ইনস্টল করা
pip install torch torchtext
ধাপ ২: ডেটাসেট লোড এবং প্রিপ্রসেসিং
আমরা TorchText ব্যবহার করে ডেটাসেট লোড করব এবং প্রিপ্রসেস করব। এখানে একটি সাধারণ IMDB ডেটাসেট ব্যবহার করা হয়েছে, যা পজিটিভ এবং নেগেটিভ সিনেমা রিভিউ থেকে তৈরি।
import torch
from torchtext import data
from torchtext.datasets import IMDB
# ফিল্ডস তৈরি করা
TEXT = data.Field(sequential=True, lower=True, batch_first=True)
LABEL = data.LabelField(dtype=torch.float)
# IMDB ডেটাসেট লোড করা
train_data, test_data = IMDB.splits(TEXT, LABEL)
# শব্দ ভোকাবুলারি তৈরি করা
TEXT.build_vocab(train_data, max_size=25000, vectors="glove.6B.100d", unk_init=torch.Tensor.normal_)
LABEL.build_vocab(train_data)
# ডেটা লোডার তৈরি করা
train_iterator, test_iterator = data.BucketIterator.splits((train_data, test_data), batch_size=64, device=device)
ধাপ ৩: LSTM মডেল তৈরি করা
এখন আমরা একটি সোজা LSTM মডেল তৈরি করব যা টেক্সট ক্লাসিফিকেশন করবে।
import torch.nn as nn
class LSTMModel(nn.Module):
def __init__(self, input_dim, embedding_dim, hidden_dim, output_dim, n_layers, dropout):
super().__init__()
self.embedding = nn.Embedding(input_dim, embedding_dim)
self.lstm = nn.LSTM(embedding_dim, hidden_dim, n_layers, dropout=dropout, batch_first=True)
self.fc = nn.Linear(hidden_dim, output_dim)
self.dropout = nn.Dropout(dropout)
def forward(self, text):
embedded = self.embedding(text)
lstm_out, (hidden, cell) = self.lstm(embedded)
hidden = self.dropout(hidden[-1])
out = self.fc(hidden)
return out
# মডেল ইনস্ট্যান্স তৈরি
input_dim = len(TEXT.vocab)
embedding_dim = 100
hidden_dim = 256
output_dim = 1
n_layers = 2
dropout = 0.5
model = LSTMModel(input_dim, embedding_dim, hidden_dim, output_dim, n_layers, dropout)
ধাপ ৪: মডেল ট্রেনিং
এখন আমরা আমাদের LSTM মডেলটি ট্রেনিং করব। এর জন্য আমরা binary cross-entropy loss এবং Adam optimizer ব্যবহার করব।
import torch.optim as optim
from torchmetrics.classification import BinaryAccuracy
# অপটিমাইজার এবং লস ফাংশন
optimizer = optim.Adam(model.parameters())
criterion = nn.BCEWithLogitsLoss()
# মডেল ট্রেনিং
def train_model(model, iterator, optimizer, criterion):
model.train()
epoch_loss = 0
epoch_acc = 0
for batch in iterator:
optimizer.zero_grad()
predictions = model(batch.text).squeeze(1)
loss = criterion(predictions, batch.label)
acc = BinaryAccuracy()(predictions, batch.label)
loss.backward()
optimizer.step()
epoch_loss += loss.item()
epoch_acc += acc.item()
return epoch_loss / len(iterator), epoch_acc / len(iterator)
# ট্রেনিং চালানো
train_loss, train_acc = train_model(model, train_iterator, optimizer, criterion)
print(f'Train Loss: {train_loss:.3f}, Train Accuracy: {train_acc*100:.2f}%')
ধাপ ৫: মডেল টেস্টিং
টেস্ট ডেটা দিয়ে মডেলটির পারফরম্যান্স যাচাই করতে:
def evaluate_model(model, iterator, criterion):
model.eval()
epoch_loss = 0
epoch_acc = 0
with torch.no_grad():
for batch in iterator:
predictions = model(batch.text).squeeze(1)
loss = criterion(predictions, batch.label)
acc = BinaryAccuracy()(predictions, batch.label)
epoch_loss += loss.item()
epoch_acc += acc.item()
return epoch_loss / len(iterator), epoch_acc / len(iterator)
test_loss, test_acc = evaluate_model(model, test_iterator, criterion)
print(f'Test Loss: {test_loss:.3f}, Test Accuracy: {test_acc*100:.2f}%')
সারাংশ
NLP (Natural Language Processing) হলো ভাষা সম্পর্কিত কাজের জন্য ব্যবহৃত মেশিন লার্নিং এবং ডিপ লার্নিং এর শাখা। PyTorch এ NLP কাজ করার জন্য বিভিন্ন প্রযুক্তি এবং মডেল (যেমন LSTM, GRU, Transformer) ব্যবহার করা হয়। এখানে আমরা LSTM ব্যবহার করে একটি টেক্সট ক্লাসিফিকেশন মডেল তৈরি করেছি যা প্রাক প্রশিক্ষিত GloVe embeddings এবং TorchText ব্যবহার করে ইম্প্লিমেন্ট করা হয়েছে। PyTorch একটি শক্তিশালী প্ল্যাটফর্ম NLP মডেল ট্রেনিং এবং ডিপ লার্নিং কাজগুলো সহজ এবং দ্রুত করতে সাহায্য করে।
Read more
