DeepSpeed ব্যবহার করে একটি Large Scale Model Training প্রজেক্ট

DeepSpeed ব্যবহার করে একটি Large Scale Model Training প্রজেক্ট

DeepSpeed একটি শক্তিশালী ফ্রেমওয়ার্ক যা বড় মডেল Training এবং ইনফারেন্সের জন্য বিশেষভাবে ডিজাইন করা হয়েছে। নিচে একটি সম্পূর্ণ গাইড দেওয়া হলো যেখানে আমরা DeepSpeed ব্যবহার করে একটি Large Scale Model Training প্রজেক্ট তৈরি করব। এখানে আমরা Hugging Face Transformers লাইব্রেরির সাহায্যে BERT মডেলকে Large Scale ডেটাসেটে Training করবো।

প্রয়োজনীয়তা

• Python 3.x
• PyTorch
• Hugging Face Transformers
• DeepSpeed
• অন্যান্য প্রয়োজনীয় লাইব্রেরি (যেমন datasets)

১. লাইব্রেরি ইন্সটল করা

pip install torch transformers datasets deepspeed

২. ডেটাসেট লোড করা

আমরা Hugging Face-এর datasets লাইব্রেরি ব্যবহার করে একটি ডেটাসেট লোড করব। এখানে আমরা glue ডেটাসেট ব্যবহার করবো।

from datasets import load_dataset

# GLUE ডেটাসেট লোড করা (SST-2 সাব-সেট)
dataset = load_dataset("glue", "sst2")

৩. মডেল এবং টোকেনাইজার প্রস্তুত করা

আমরা BERT মডেল এবং তার টোকেনাইজার ব্যবহার করবো।

from transformers import BertTokenizer, BertForSequenceClassification

# BERT টোকেনাইজার এবং মডেল লোড করা
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)

৪. ডেটা প্রসেসিং

ডেটাসেটের টেক্সট ডেটা টোকেনাইজ করতে হবে।

def tokenize_function(examples):
    return tokenizer(examples['sentence'], truncation=True)

# ডেটাসেট টোকেনাইজ করা
tokenized_datasets = dataset.map(tokenize_function, batched=True)

৫. TrainingArguments সেটআপ করা

DeepSpeed কনফিগারেশন ফাইল তৈরি করতে হবে এবং TrainingArguments তৈরি করতে হবে।

DeepSpeedConfig ফাইল

ds_config.json নামে একটি ফাইল তৈরি করুন:

{
  "train_batch_size": 32,
  "gradient_accumulation_steps": 1,
  "fp16": {
    "enabled": true
  },
  "zero_optimization": {
    "stage": 2
  },
  "steps_per_print": 100
}

TrainingArguments তৈরি করা

from transformers import TrainingArguments

# TrainingArguments সেটআপ করা
training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
    logging_dir='./logs',
    deepspeed="ds_config.json"  # DeepSpeed কনফিগারেশন ফাইল
)

৬. Trainer তৈরি করা

Hugging Face-এর Trainer ব্যবহার করে Training প্রক্রিয়া শুরু করা হবে।

from transformers import Trainer

# Trainer তৈরি করা
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
)

# Training শুরু করা
trainer.train()

৭. ফলাফল মূল্যায়ন

Training সম্পন্ন হলে মডেলটির কার্যকারিতা মূল্যায়ন করা যাবে।

# মূল্যায়ন করা
eval_results = trainer.evaluate()
print(eval_results)

সারসংক্ষেপ

এই প্রজেক্টে আমরা DeepSpeed ব্যবহার করে একটি Large Scale Model Training প্রক্রিয়া তৈরি করেছি যেখানে আমরা BERT মডেলকে glue ডেটাসেটের sst2 সাব-সেটের উপর প্রশিক্ষণ দিয়েছি।

কন্টেন্ট:

• লাইব্রেরি ইনস্টলেশন: প্রয়োজনীয় লাইব্রেরিগুলি ইনস্টল করা হয়েছে।
• ডেটাসেট লোডিং: GLUE ডেটাসেট লোড করা হয়েছে।
• মডেল এবং টোকেনাইজার প্রস্তুতি: BERT মডেল এবং টোকেনাইজার লোড করা হয়েছে।
• ডেটা প্রসেসিং: ডেটা টোকেনাইজ করা হয়েছে।
• TrainingArguments এবং Trainer: TrainingArguments সেটআপ করা হয়েছে এবং Trainer তৈরি করা হয়েছে।
• Training এবং Evaluation: মডেলটি প্রশিক্ষণ করা হয়েছে এবং পরে মূল্যায়ন করা হয়েছে।

DeepSpeed এর মাধ্যমে মডেল Training স্পিড এবং মেমোরি ব্যবস্থাপনায় কার্যকরীভাবে উন্নতি করে, যা বড় মডেল এবং ডেটাসেটের সাথে কাজ করার জন্য বিশেষভাবে উপযোগী।