Amazon SageMaker বিভিন্ন AWS সেবার সাথে সহজে ইন্টিগ্রেট করা যায়, যা মেশিন লার্নিং (ML) প্রক্রিয়াকে আরো কার্যকর এবং শক্তিশালী করে। নিচে SageMaker এর সাথে কিছু গুরুত্বপূর্ণ AWS সেবার ইন্টিগ্রেশন এবং তাদের উদাহরণ সহ আলোচনা করা হলো:
১. Amazon S3 (Simple Storage Service)
বিবরণ: Amazon S3 ডেটা সংরক্ষণের জন্য একটি জনপ্রিয় সেবা, যা SageMaker মডেল ট্রেনিং এবং ডেটা লোডিংয়ের জন্য ব্যবহৃত হয়।
উদাহরণ:
- ডেটা S3 তে আপলোড করা এবং SageMaker থেকে সেখান থেকে ডেটা লোড করা।
import boto3
# S3 বালতিতে ডেটা আপলোড করা
s3 = boto3.client('s3')
s3.upload_file('train_data.csv', 'my-ml-data', 'train_data.csv')
# SageMaker থেকে ডেটা লোড করা
s3_input = 's3://my-ml-data/train_data.csv'
২. AWS Lambda
বিবরণ: AWS Lambda সার্ভারহীন কম্পিউটিং সেবা, যা SageMaker মডেল ডিপ্লয়মেন্টের পরে ইনফারেন্স কল করার জন্য ব্যবহৃত হয়।
উদাহরণ:
- একটি Lambda ফাংশন তৈরি করা যা SageMaker Endpoint থেকে পূর্বাভাস নেয়।
import boto3
def lambda_handler(event, context):
runtime = boto3.client('sagemaker-runtime')
response = runtime.invoke_endpoint(
EndpointName='my-sagemaker-endpoint',
ContentType='text/csv',
Body=event['data']
)
result = response['Body'].read().decode('utf-8')
return result
৩. Amazon CloudWatch
বিবরণ: Amazon CloudWatch মনিটরিং সেবা, যা SageMaker এর কর্মক্ষমতা এবং লগিং ট্র্যাক করতে ব্যবহৃত হয়।
উদাহরণ:
- SageMaker ট্রেনিং এবং ইনফারেন্সের জন্য CloudWatch লগ সংগ্রহ করা।
import boto3
cloudwatch = boto3.client('cloudwatch')
# CloudWatch মেট্রিক্স আপলোড করা
cloudwatch.put_metric_data(
Namespace='SageMaker',
MetricData=[
{
'MetricName': 'TrainingJobCount',
'Value': 1,
'Unit': 'Count'
},
]
)
৪. AWS IAM (Identity and Access Management)
বিবরণ: IAM সেবা ব্যবহার করে আপনি SageMaker এর জন্য নিরাপত্তা এবং অনুমতি নিয়ন্ত্রণ করতে পারেন।
উদাহরণ:
- SageMaker এর জন্য একটি IAM রোল তৈরি করা।
import boto3
iam = boto3.client('iam')
# IAM রোল তৈরি করা
role = iam.create_role(
RoleName='SageMakerExecutionRole',
AssumeRolePolicyDocument='''{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
}]
}'''
)
৫. Amazon RDS (Relational Database Service)
বিবরণ: Amazon RDS ব্যবহার করে আপনি ডেটাবেস থেকে ডেটা নিয়ে SageMaker মডেল ট্রেনিং করতে পারেন।
উদাহরণ:
- RDS ডেটাবেস থেকে ডেটা পড়া।
import pandas as pd
import pymysql
# RDS ডেটাবেসের সাথে সংযোগ
connection = pymysql.connect(
host='your-rds-endpoint',
user='username',
password='password',
db='database_name'
)
# ডেটা লোড করা
query = "SELECT * FROM your_table"
df = pd.read_sql(query, connection)
৬. Amazon API Gateway
বিবরণ: API Gateway ব্যবহার করে আপনি SageMaker Endpoint কে HTTP API হিসেবে প্রকাশ করতে পারেন।
উদাহরণ:
- একটি API তৈরি করা যা SageMaker থেকে পূর্বাভাস প্রদান করে।
# AWS Management Console থেকে API Gateway তৈরি করুন এবং SageMaker Endpoint এর সাথে সংযুক্ত করুন
# API Gateway ব্যবহার করে HTTP POST অনুরোধ পাঠান
উপসংহার
Amazon SageMaker বিভিন্ন AWS সেবার সাথে ইন্টিগ্রেট করে মেশিন লার্নিং প্রক্রিয়াকে আরও কার্যকর করে তোলে। এই ইন্টিগ্রেশনগুলি ডেটা লোডিং, মডেল ডিপ্লয়মেন্ট, মনিটরিং এবং নিরাপত্তা নিশ্চিতকরণে সাহায্য করে।
Read more
