Word Embeddings (Word2Vec, GloVe) ব্যবহার

Word embeddings হল এমন একটি প্রযুক্তি যা শব্দগুলিকে এমন সংখ্যাগত ভেক্টর হিসেবে উপস্থাপন করে, যেগুলির মধ্যে শব্দের অর্থগত সম্পর্ক সংরক্ষিত থাকে। অর্থাৎ, প্রতিটি শব্দের জন্য একটি ভেক্টর তৈরি করা হয় যা সেই শব্দের অর্থ, কনটেক্সট, এবং সম্পর্ক ধারণ করে। Word2Vec এবং GloVe হল দুটি জনপ্রিয় word embedding মেথড।

এখানে আমি আপনাকে দেখাবো কিভাবে Word2Vec এবং GloVe ব্যবহার করতে পারেন, এবং কিভাবে এসব এম্বেডিং মডেল ব্যবহার করে আপনার প্রোজেক্টে কাজ করতে পারেন।

1. Word2Vec

Word2Vec একটি মডেল যা শব্দগুলির মধ্যে সম্পর্ক এবং কনটেক্সট ধরতে পারে। এটি মূলত দুটি আর্কিটেকচারের উপর কাজ করে:

• Skip-Gram: এখানে, একটি নির্দিষ্ট শব্দের কনটেক্সট শব্দগুলো পূর্বাভাস করা হয়।
• CBOW (Continuous Bag of Words): এখানে, একটি নির্দিষ্ট কনটেক্সট শব্দের জন্য মূল শব্দটি পূর্বাভাস করা হয়।

1.1. Word2Vec ব্যবহার:

Word2Vec মডেলটি চালানোর জন্য Gensim লাইব্রেরি ব্যবহার করা যেতে পারে। এই লাইব্রেরি ব্যবহার করে আপনি সহজেই word embeddings তৈরি করতে পারেন।

উদাহরণ:

import gensim
from gensim.models import Word2Vec
from nltk.tokenize import word_tokenize
import nltk

# NLTK এর word_tokenize ফাংশন ব্যবহার করে টোকেনাইজ করা
nltk.download('punkt')
sentence = "Word embeddings are a type of word representation that allows words to be represented in a dense vector space."
tokens = word_tokenize(sentence.lower())

# Word2Vec মডেল ট্রেনিং
model = Word2Vec([tokens], min_count=1, window=3, sg=0)  # 'sg=0' means CBOW, 'sg=1' means Skip-gram

# শব্দের এম্বেডিং পাওয়া
word_embedding = model.wv['word']
print(word_embedding)

# সেমান্টিক সিমিলারিটি চেক করা
similar_words = model.wv.most_similar('word', topn=3)
print(similar_words)

ব্যাখ্যা:

• Word2Vec মডেলটি এখানে একটি সিম্পল সেন্টেন্সের উপর ট্রেনিং করা হয়েছে।
• min_count=1: এটি মিনিমাম শব্দের ফ্রিকোয়েন্সি যেটা অন্তর্ভুক্ত হবে।
• window=3: কনটেক্সট উইন্ডোর সাইজ। এটি শব্দের সাপোর্টিং কনটেক্সট সীমা নির্ধারণ করে।
• sg=0: CBOW আর্কিটেকচার ব্যবহার করছে।

Word2Vec মডেল ট্রেনিং করার পর, আমরা নির্দিষ্ট একটি শব্দের এম্বেডিং (ভেক্টর) এবং তার সেমান্টিকালি কাছাকাছি শব্দগুলো পেতে পারি।

2. GloVe (Global Vectors for Word Representation)

GloVe হল একটি স্ট্যাটিস্টিক্যাল মডেল যা শব্দসমূহের সেমান্টিক সম্পর্ককে সংরক্ষণ করে। এটি সাধারণত একটি গ্লোবাল কনটেক্সট মেট্রিক ব্যবহার করে (যেমন শব্দের পারস্পরিক সহাবস্থান মেট্রিক) এবং এটি matrix factorization পদ্ধতি ব্যবহার করে শব্দগুলির embeddings তৈরি করে।

GloVe ব্যবহার করার জন্য আমরা সাধারণত pre-trained embeddings ব্যবহার করি, কারণ এটি ট্রেনিং সময়সাপেক্ষ এবং প্রচুর ডেটা প্রয়োজন।

2.1. GloVe ব্যবহার:

GloVe এর pre-trained embeddings ব্যবহার করতে আমরা Gensim লাইব্রেরি বা Glove API ব্যবহার করতে পারি।

উদাহরণ: GloVe Pre-trained Embeddings লোড এবং ব্যবহার

প্রথমে আপনাকে GloVe embeddings ডাউনলোড করতে হবে। আপনি GloVe embeddings পেতে পারেন GloVe official site থেকে।

# GloVe ডাউনলোড করার জন্য লিঙ্ক থেকে Zip ফাইলটি ডাউনলোড করুন এবং Extract করুন
# "glove.6B.50d.txt" এই ফাইলটি ব্যবহার করা হয়েছে উদাহরণের জন্য।

import gensim
from gensim.models import KeyedVectors

# GloVe এর pre-trained embeddings লোড করা
glove_model = KeyedVectors.load_word2vec_format('glove.6B.50d.txt', binary=False, no_header=True)

# 'word' শব্দের এম্বেডিং পাওয়া
embedding = glove_model['word']
print(embedding)

# সেমান্টিক সিমিলারিটি চেক করা
similar_words = glove_model.most_similar('word', topn=3)
print(similar_words)

ব্যাখ্যা:

• KeyedVectors.load_word2vec_format: এটি GloVe embeddings ফাইলটি লোড করতে ব্যবহৃত হয়।
• most_similar: একটি শব্দের সাথে সম্পর্কিত সেমান্টিক্যালি কাছাকাছি শব্দগুলো পাওয়া।

3. Word2Vec এবং GloVe এর মধ্যে পার্থক্য

সারাংশ:

• Word2Vec এবং GloVe উভয়ই শব্দের জন্য এম্বেডিং তৈরি করার জনপ্রিয় মডেল, কিন্তু তারা ভিন্ন পদ্ধতিতে কাজ করে।
• Word2Vec মূলত স্থানীয় কনটেক্সট (local context) থেকে শব্দের এম্বেডিং তৈরি করে, যেখানে GloVe গ্লোবাল কনটেক্সট (global context) ব্যবহার করে।
• আপনি Word2Vec মডেলটি ট্রেনিং ডেটা থেকে নিজেই ট্রেন করতে পারেন, কিন্তু GloVe সাধারণত pre-trained embeddings ব্যবহার করে।

আপনি যদি খুব বড় ডেটাসেটের উপর কাজ করছেন এবং প্রচুর কম্পিউটেশনাল শক্তি ব্যবহার করতে না চান, তাহলে pre-trained embeddings (যেমন GloVe বা Word2Vec) ব্যবহার করা সবচেয়ে কার্যকরী পদ্ধতি।