উদাহরণসহ কাস্টম মডেল ট্রেনিং প্রক্রিয়া

Amazon SageMaker-এ কাস্টম মডেল ট্রেনিং প্রক্রিয়া পরিচালনা করার জন্য আপনাকে কিছু পদক্ষেপ অনুসরণ করতে হবে। এখানে একটি উদাহরণ সহ ধাপে ধাপে নির্দেশিকা দেওয়া হলো, যেখানে আমরা একটি কাস্টম TensorFlow মডেল তৈরি এবং ট্রেন করবো।

ধাপ ১: প্রয়োজনীয় লাইব্রেরি ইমপোর্ট করা

প্রথমে, প্রয়োজনীয় লাইব্রেরিগুলি ইমপোর্ট করুন।

import boto3
import sagemaker
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow

ধাপ ২: SageMaker সেশন এবং IAM রোল সেট করা

# SageMaker সেশন তৈরি করুন
sagemaker_session = sagemaker.Session()

# IAM রোল
role = get_execution_role()

ধাপ ৩: ডেটা লোড করা

S3 থেকে ডেটা লোড করার জন্য, প্রথমে আপনাকে ডেটা আপলোড করতে হবে।

৩.১. S3 বালতিতে ডেটা আপলোড করা

1. S3 Console-এ যান: AWS Management Console থেকে S3 সেবা নির্বাচন করুন।
2. নতুন বালতি তৈরি করুন: "Create bucket" বাটনে ক্লিক করে একটি নতুন বালতি তৈরি করুন (যেমন my-custom-model-data নামে)।
3. ডেটা আপলোড করুন: আপনার ডেটা (যেমন, train_data.csv) তৈরি করে সেই বালতিতে আপলোড করুন।

ধাপ ৪: কাস্টম মডেল ট্রেনিং স্ক্রিপ্ট তৈরি করা

একটি train.py ফাইল তৈরি করুন, যেখানে আপনার কাস্টম মডেল ট্রেনিং কোড থাকবে।

# train.py

import pandas as pd
import tensorflow as tf
from sklearn.model_selection import train_test_split

def model_fn():
    model = tf.keras.models.Sequential([
        tf.keras.layers.Dense(64, activation='relu', input_shape=(input_shape,)),
        tf.keras.layers.Dense(1)
    ])
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

if __name__ == "__main__":
    # ডেটা লোড করা
    data = pd.read_csv('train_data.csv')
    X = data.drop('target', axis=1)  # বৈশিষ্ট্য
    y = data['target']  # লক্ষ্য পরিবর্তনশীল

    # ট্রেন এবং টেস্ট সেটে ভাগ করা
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    # মডেল তৈরি
    model = model_fn()

    # মডেল প্রশিক্ষণ
    model.fit(X_train, y_train, epochs=10, batch_size=32)

    # মডেল সংরক্ষণ
    model.save('/opt/ml/model/model.h5')

ধাপ ৫: কাস্টম মডেল ট্রেনিং শুরু করা

SageMaker-এ TensorFlow Estimator ব্যবহার করে কাস্টম মডেল ট্রেনিং শুরু করুন।

# TensorFlow Estimator তৈরি করুন
tensorflow_estimator = TensorFlow(
    entry_point='train.py',
    role=role,
    instance_count=1,
    instance_type='ml.m5.large',
    framework_version='2.3.0',
    py_version='py37',
    script_mode=True,
    sagemaker_session=sagemaker_session
)

# ট্রেনিং শুরু করুন
tensorflow_estimator.fit({'train': 's3://my-custom-model-data/train_data.csv'})

ধাপ ৬: মডেল ডেপ্লয়মেন্ট

মডেল ট্রেনিং সম্পন্ন হলে, এটি ডেপ্লয় করুন।

# মডেল ডেপ্লয় করুন
predictor = tensorflow_estimator.deploy(initial_instance_count=1, instance_type='ml.m5.large')

ধাপ ৭: পূর্বাভাস করা

ডেপ্লয় করা মডেল থেকে পূর্বাভাস নিতে পারেন।

python

Copy code

# পূর্বাভাসের জন্য ডেটা প্রস্তুত করুন
test_data = pd.read_csv('s3://my-custom-model-data/test_data.csv')
predictions = predictor.predict(test_data)

print(predictions)

ধাপ ৮: মডেল মেট্রিক্স মূল্যায়ন

মডেলটির কার্যকারিতা মূল্যায়ন করতে পারেন।

from sklearn.metrics import mean_squared_error

# সত্য এবং পূর্বাভাসের ফলাফল তুলনা করুন
true_values = test_data['target']
mse = mean_squared_error(true_values, predictions)
print("Mean Squared Error:", mse)

উপসংহার

এখন আপনি Amazon SageMaker ব্যবহার করে কাস্টম মডেল ট্রেনিং প্রক্রিয়া সম্পর্কে জানেন। এই পদক্ষেপগুলি অনুসরণ করে, আপনি একটি কাস্টম TensorFlow মডেল তৈরি এবং ট্রেন করতে পারবেন।