Amazon SageMaker হলো AWS এর একটি fully managed মেশিন লার্নিং সেবা যা ডেভেলপারদের এবং ডেটা সায়েন্টিস্টদের জন্য মেশিন লার্নিং মডেল তৈরি, ট্রেনিং এবং ডিপ্লয় করার জন্য এক্সটেনডেড টুলস এবং সার্ভিস প্রদান করে। SageMaker মডেল ট্রেনিংকে সহজ এবং দ্রুত করতে সহায়তা করে এবং এটি অনেক ধরনের বিল্ট-ইন অ্যালগরিদম এবং ফ্রেমওয়ার্ক সমর্থন করে, যেমন TensorFlow, PyTorch, MXNet, এবং অন্যান্য।
এখানে আমরা SageMaker ব্যবহার করে একটি সাধারণ মডেল ট্রেনিং প্রক্রিয়া দেখব।
SageMaker মডেল ট্রেনিং ধাপসমূহ
১. SageMaker এর জন্য IAM রোল তৈরি করা
প্রথমে, SageMaker ব্যবহার করতে হলে আপনার কাছে একটি IAM রোল থাকতে হবে, যা SageMaker কে আপনার ডেটা এবং রিসোর্সে অ্যাক্সেস করতে অনুমতি দেয়।
- IAM Console থেকে একটি নতুন রোল তৈরি করুন।
- রোলটির জন্য উপযুক্ত পলিসি নির্বাচন করুন:
AmazonSageMakerFullAccessAmazonS3ReadOnlyAccess(যদি আপনার ডেটা S3 তে থাকে)
- রোলটি তৈরি হলে, এটি SageMaker এর সাথে ব্যবহার করা যাবে।
২. ডেটা প্রস্তুতি
SageMaker এর মাধ্যমে ট্রেনিং শুরু করার আগে আপনাকে ডেটা প্রস্তুত করতে হবে। ডেটা সাধারণত Amazon S3 বকেটে রাখা হয় এবং সেখানে আপনার ট্রেনিং এবং ভ্যালিডেশন ডেটা আপলোড করতে হবে।
- S3 Bucket তৈরি করুন (যদি না থাকে) এবং আপনার ডেটা আপলোড করুন:
- ট্রেনিং ডেটা:
s3://your-bucket-name/train-data/ - ভ্যালিডেশন ডেটা:
s3://your-bucket-name/validation-data/
- ট্রেনিং ডেটা:
৩. SageMaker নোটবুক ইনস্ট্যান্স তৈরি করা
- SageMaker Notebook Instance তৈরি করুন, যেখানে আপনি আপনার কোড লিখবেন এবং ডেটা প্রিপ্রসেসিং করবেন।
- Notebook Instance তৈরি করার সময়, আপনার IAM রোল নির্বাচন করুন এবং অন্যান্য কনফিগারেশন পূর্ণ করুন।
- নোটবুক ইনস্ট্যান্স তৈরি হওয়ার পর, Jupyter notebook ওপেন করুন এবং ট্রেনিং কোড লিখুন।
৪. SageMaker এর সাথে মডেল ট্রেনিং শুরু করা
এখন, আপনি আপনার মডেল ট্রেনিং শুরু করতে পারেন। SageMaker দুটি প্রধান উপায়ে মডেল ট্রেনিং সাপোর্ট করে:
- Built-in Algorithms: SageMaker অনেক জনপ্রিয় মেশিন লার্নিং অ্যালগরিদম সরবরাহ করে।
- Custom Training Scripts: আপনি আপনার নিজস্ব স্ক্রিপ্ট ব্যবহার করে মডেল ট্রেনিংও করতে পারেন।
উদাহরণ: SageMaker Built-in Linear Learner অ্যালগরিদম ব্যবহার করা
প্রয়োজনীয় লাইব্রেরি ইনস্টল করা:
SageMaker এর API ব্যবহার করার জন্য আপনি
boto3লাইব্রেরি ব্যবহার করবেন:import sagemaker from sagemaker import get_execution_role from sagemaker import Session from sagemaker.amazon.amazon_estimator import get_image_uriS3 ডেটা সন্নিবেশ এবং ট্রেনিং ডেটা প্রস্তুত করা:
# S3 bucket path s3_input_train = 's3://your-bucket-name/train-data/' s3_input_validation = 's3://your-bucket-name/validation-data/'নির্দিষ্ট মডেল এবং অ্যালগরিদম নির্বাচন:
# মডেল নাম এবং অ্যালগরিদম container = get_image_uri(region='us-west-2', repo_name='linear-learner') # SageMaker Estimator তৈরি করা estimator = sagemaker.estimator.Estimator( container, role=get_execution_role(), instance_count=1, instance_type='ml.m5.large', output_path='s3://your-bucket-name/output', sagemaker_session=sagemaker.Session() )ট্রেনিং সেটআপ এবং মডেল ট্রেনিং শুরু করা:
estimator.set_hyperparameters(feature_dim=30, # feature dimension mini_batch_size=100, predictor_type='regressor') # ট্রেনিং এবং ভ্যালিডেশন ডেটা ইনপুট নির্ধারণ train_input = sagemaker.s3_input(s3_input_train, distribution='FullyReplicated', content_type='text/csv', s3_data_type='S3Prefix') validation_input = sagemaker.s3_input(s3_input_validation, distribution='FullyReplicated', content_type='text/csv', s3_data_type='S3Prefix') # ট্রেনিং শুরু করা estimator.fit({'train': train_input, 'validation': validation_input})মডেল ট্রেনিং পরবর্তী ফলাফল এবং মডেল সেভ করা:
ট্রেনিং কমপ্লিট হওয়ার পর, মডেলটি আপনার নির্দিষ্ট S3 বকেটে সংরক্ষণ হবে এবং আপনি এই মডেলটি পরে ডিপ্লয় করতে পারবেন।
৫. মডেল ডিপ্লয় এবং ইনফারেন্স করা
SageMaker মডেল ডিপ্লয় এবং ইনফারেন্সের জন্য একটি সহজ প্রক্রিয়া সরবরাহ করে। আপনাকে মডেল ডিপ্লয় করতে একটি Endpoint তৈরি করতে হবে, যাতে আপনি লাইভ ডেটার উপর ইনফারেন্স করতে পারেন।
মডেল ডিপ্লয় করা:
predictor = estimator.deploy( initial_instance_count=1, instance_type='ml.m5.large' )ইনফারেন্স (Prediction) করা:
result = predictor.predict(test_data) print(result)ডিপ্লয়মেন্ট পরিষ্কার করা:
predictor.delete_endpoint()
সারাংশ
Amazon SageMaker হল AWS এর একটি শক্তিশালী সেবা যা ডেভেলপার এবং ডেটা সায়েন্টিস্টদের মেশিন লার্নিং মডেল তৈরি, ট্রেনিং এবং ডিপ্লয় করতে সহায়তা করে। SageMaker ব্যবহার করে আপনি দ্রুত এবং সহজে মডেল ট্রেনিং, স্কেলিং এবং প্রোডাকশন ডিপ্লয়মেন্ট করতে পারেন। SageMaker এর built-in অ্যালগরিদম এবং কাস্টম ট্রেনিং স্ক্রিপ্ট ব্যবহার করে মডেল তৈরি করা সম্ভব। SageMaker এ ডেটা প্রিপ্রসেসিং, মডেল প্রশিক্ষণ, এবং ইনফারেন্সের জন্য একত্রিত একটি পূর্ণাঙ্গ প্ল্যাটফর্ম রয়েছে, যা মেশিন লার্নিং ডেভেলপমেন্টের জন্য একটি সহজ এবং কার্যকরী সমাধান প্রদান করে।
Read more
