Transformer Libraries এর সাথে DeepSpeed ব্যবহার

Transformer Libraries এর সাথে DeepSpeed ব্যবহার

DeepSpeed একটি শক্তিশালী লাইব্রেরি যা ডিপ লার্নিং মডেল Training এবং ইনফারেন্সকে দ্রুত এবং কার্যকরী করে। বিশেষ করে Transformers লাইব্রেরির সাথে DeepSpeed ব্যবহার করলে বড় ভাষা মডেলগুলোর Training প্রক্রিয়া আরও সহজ এবং দক্ষ হয়। নিচে Transformers লাইব্রেরি, বিশেষ করে Hugging Face-এর Transformers লাইব্রেরির সাথে DeepSpeed-এর ব্যবহার কিভাবে করা যায় তার উদাহরণ সহ আলোচনা করা হলো।

১. প্রয়োজনীয় লাইব্রেরি ইমপোর্ট করা

প্রথমে প্রয়োজনীয় লাইব্রেরিগুলি ইমপোর্ট করতে হবে। এখানে আমরা Hugging Face-এর Transformers এবং DeepSpeed ব্যবহার করব।

import torch
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments
import deepspeed

২. মডেল এবং ডেটাসেট তৈরি করা

Hugging Face-এর Transformers লাইব্রেরি ব্যবহার করে একটি মডেল এবং ডেটাসেট তৈরি করতে হবে। নিচে BERT মডেল ব্যবহার করার একটি উদাহরণ দেওয়া হলো।

# BERT মডেল লোড করা
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)

# উদাহরণ ডেটাসেট তৈরি (এখানে synthetic ডেটা ব্যবহার করা হচ্ছে)
train_texts = ["This is a positive example.", "This is a negative example."]
train_labels = [1, 0]

# Tokenization
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
train_encodings = tokenizer(train_texts, truncation=True, padding=True)

# PyTorch Dataset তৈরি
import torch
class CustomDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels

    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item['labels'] = torch.tensor(self.labels[idx])
        return item

    def __len__(self):
        return len(self.labels)

train_dataset = CustomDataset(train_encodings, train_labels)

৩. DeepSpeed কনফিগারেশন তৈরি করা

DeepSpeed কনফিগারেশন ফাইল তৈরি করতে হবে। এখানে আমরা JSON ফরম্যাটে কিছু প্যারামিটার নির্ধারণ করব।

{
  "train_batch_size": 16,
  "gradient_accumulation_steps": 2,
  "steps_per_print": 10,
  "fp16": {
    "enabled": true
  },
  "zero_optimization": {
    "stage": 2
  }
}

৪. TrainingArguments এবং Trainer তৈরি করা

Hugging Face-এর Trainer ক্লাস ব্যবহার করে TrainingArguments সেট করতে হবে, যেখানে DeepSpeed কনফিগারেশন যুক্ত করা হবে।

# TrainingArguments সেটআপ করা
training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    per_device_train_batch_size=8,
    save_total_limit=1,
    num_train_epochs=3,
    logging_dir='./logs',
    deepspeed='ds_config.json'  # DeepSpeed কনফিগারেশন ফাইল পাথ
)

# Trainer তৈরি করা
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

৫. Training প্রক্রিয়া চালানো

সবকিছু প্রস্তুত হয়ে গেলে, মডেল Training শুরু করা যায়।

# Training শুরু করা
trainer.train()

সারসংক্ষেপ

• DeepSpeed: বড় মডেল Training এবং ইনফারেন্সের জন্য দ্রুততর এবং কার্যকরী সমাধান প্রদান করে।
• Transformers লাইব্রেরি: Hugging Face-এর Transformers লাইব্রেরি ব্যবহার করে বড় ভাষা মডেল সহজেই ব্যবহার করা যায়।
• Integration: DeepSpeed এর সাথে Transformers লাইব্রেরি ব্যবহারে Mixed Precision Training, ZeRO Optimization ইত্যাদি সুবিধা পাওয়া যায়।

DeepSpeed ব্যবহার করে Transformer লাইব্রেরির মডেলগুলোকে Training করা একটি কার্যকরী পদ্ধতি, যা মেমোরি ব্যবস্থাপনা এবং Training স্পিড উভয়কেই উন্নত করে।