Custom Model Training এবং Docker ব্যবহার করে Container তৈরির পদ্ধতি

Amazon SageMaker-এ Custom Model Training এবং Docker ব্যবহার করে Container তৈরি করা একটি কার্যকরী পদ্ধতি, যা ব্যবহারকারীদের নিজস্ব মডেল তৈরি ও প্রশিক্ষণ করার সুযোগ দেয়। এখানে এই প্রক্রিয়াটি ধাপে ধাপে বর্ণনা করা হলো:

১. Custom Model Training

Custom Model Training প্রক্রিয়ার মাধ্যমে আপনি আপনার নিজস্ব ML মডেল তৈরি করতে পারেন।

ধাপ ১: মডেল কোড তৈরি করুন

• আপনার মডেল তৈরির জন্য প্রয়োজনীয় স্ক্রিপ্ট এবং কোড তৈরি করুন। এটি আপনার ডেটা লোডিং, প্রিপ্রসেসিং, মডেল প্রশিক্ষণ এবং মূল্যায়ন এর জন্য কোড অন্তর্ভুক্ত করবে।
• উদাহরণস্বরূপ, একটি Python স্ক্রিপ্ট তৈরি করুন যা train.py নামে সংরক্ষণ করুন।

# train.py

import argparse
import os
import joblib
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

def model_fn(model_dir):
    model = joblib.load(os.path.join(model_dir, "model.joblib"))
    return model

def train(args):
    # Load data
    data = pd.read_csv(args.data_dir + "/data.csv")
    X = data.drop("target", axis=1)
    y = data["target"]
    
    # Train model
    model = RandomForestClassifier()
    model.fit(X, y)
    
    # Save model
    joblib.dump(model, os.path.join(args.model_dir, "model.joblib"))

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument('--data-dir', type=str, default='/opt/ml/input/data')
    parser.add_argument('--model-dir', type=str, default='/opt/ml/model')
    args = parser.parse_args()
    train(args)

ধাপ ২: Dockerfile তৈরি করুন

• একটি Dockerfile তৈরি করুন যা আপনার মডেল প্রশিক্ষণের পরিবেশ এবং নির্ভরতাগুলি নির্ধারণ করে।

# Dockerfile

FROM continuumio/anaconda3

# Set the working directory
WORKDIR /opt/ml

# Copy the training script
COPY train.py /opt/ml/train.py

# Install dependencies
RUN pip install scikit-learn pandas joblib

# Command to run the training script
ENTRYPOINT ["python", "train.py"]

২. Docker ব্যবহার করে Container তৈরি করা

ধাপ ৩: Docker ইমেজ তৈরি করুন

1. Docker ইন্সটল করুন: আপনার সিস্টেমে Docker ইন্সটল করা আছে কিনা নিশ্চিত করুন। Docker Installation Guide অনুসরণ করুন।
2. Docker ইমেজ তৈরি করুন: আপনার Dockerfile এবং train.py ফাইলগুলি যেখানে আছে সেখানে টার্মিনাল বা কমান্ড প্রম্পট খুলুন এবং নিচের কমান্ডটি চালান:

docker build -t custom-ml-model .

ধাপ ৪: Docker ইমেজ টেস্ট করুন

• ইমেজটি সফলভাবে তৈরি হলে, টেস্ট করার জন্য নিচের কমান্ডটি চালান:

docker run custom-ml-model

৩. SageMaker-এ Container ডিপ্লয় করা

ধাপ ৫: Amazon ECR তে Docker ইমেজ আপলোড করুন

1. ECR রেপোজিটরি তৈরি করুন: AWS Management Console-এ যান এবং Amazon ECR (Elastic Container Registry) তে একটি নতুন রেপোজিটরি তৈরি করুন।
2. Docker লগ ইন করুন: নিচের কমান্ডটি ব্যবহার করে ECR এ লগ ইন করুন:

aws ecr get-login-password --region <your-region> | docker login --username AWS --password-stdin <your-account-id>.dkr.ecr.<your-region>.amazonaws.com

1. Docker ইমেজ ট্যাগ করুন: আপনার Docker ইমেজকে ECR রেপোজিটরির জন্য ট্যাগ করুন:

docker tag custom-ml-model:latest <your-account-id>.dkr.ecr.<your-region>.amazonaws.com/<your-repo-name>:latest

1. Docker ইমেজ আপলোড করুন: নিচের কমান্ডটি ব্যবহার করে ইমেজটি ECR এ পুশ করুন:

docker push <your-account-id>.dkr.ecr.<your-region>.amazonaws.com/<your-repo-name>:latest

ধাপ ৬: SageMaker এ Custom Model Training শুরু করুন

1. SageMaker কনসোল খুলুন: AWS Management Console এ যান এবং SageMaker খুলুন।
2. Training Job তৈরি করুন: SageMaker থেকে "Training jobs" এ যান এবং "Create training job" নির্বাচন করুন।
3. Hyperparameters এবং Docker ইমেজ উল্লেখ করুন: আপনার তৈরি করা Docker ইমেজের URI দিন এবং আপনার হাইপারপ্যারামিটারগুলো নির্ধারণ করুন।
4. Training Job শুরু করুন: সমস্ত তথ্য পূরণ করার পর, "Create training job" ক্লিক করুন।

উপসংহার

Amazon SageMaker ব্যবহার করে Custom Model Training এবং Docker ব্যবহার করে Container তৈরি করা একটি শক্তিশালী পদ্ধতি যা আপনাকে আপনার নিজস্ব মডেল প্রশিক্ষণ এবং পরিচালনা করতে সহায়তা করে। এটি আপনার মডেলগুলিকে সহজে পুন:ব্যবহারযোগ্য এবং বিতরণযোগ্য করে তোলে।