Amazon S3 থেকে ডেটা ক্রল করে AWS Glue Data Catalog তৈরি করা একটি কার্যকরী প্রক্রিয়া যা আপনার ডেটার স্কিমা স্বয়ংক্রিয়ভাবে শনাক্ত করে এবং তা সংরক্ষণ করতে সহায়ক। নিচে এই প্রক্রিয়াটি ধাপে ধাপে আলোচনা করা হলো।
ধাপ ১: S3 বালতি তৈরি করা
- AWS Management Console-এ লগ ইন করুন।
- S3 সার্ভিসে যান এবং একটি নতুন বালতি তৈরি করুন:
- Create bucket-এ ক্লিক করুন।
- একটি ইউনিক বালতির নাম এবং প্রয়োজনীয় কনফিগারেশন দিন।
- বালতি তৈরি করুন এবং নিশ্চিত করুন যে আপনি এটির অ্যাক্সেসের অনুমতি রেখেছেন।
ধাপ ২: ডেটা আপলোড করা
- S3 বালতিতে আপনার ডেটা ফাইল (যেমন, CSV, JSON, Parquet) আপলোড করুন।
- উদাহরণস্বরূপ,
employees.csvফাইলটি আপলোড করুন।
ধাপ ৩: IAM রোল তৈরি করা
AWS Glue-এ সঠিকভাবে কাজ করার জন্য IAM রোল তৈরি করুন যা S3 বালতিতে অ্যাক্সেসের অনুমতি দেয়।
- IAM সার্ভিসে যান।
- Roles ট্যাব নির্বাচন করুন এবং Create role ক্লিক করুন।
- Glue নির্বাচন করুন এবং পরবর্তী ধাপে যান।
- Permissions-এ S3 অ্যাক্সেসের জন্য একটি পলিসি যুক্ত করুন (যেমন,
AmazonS3ReadOnlyAccess)। - রোলের নাম এবং বর্ণনা দিন এবং রোলটি তৈরি করুন।
ধাপ ৪: AWS Glue Crawler তৈরি করা
- AWS Glue সার্ভিসে যান।
- Crawlers ট্যাবে ক্লিক করুন এবং Add crawler নির্বাচন করুন।
- Crawler এর জন্য একটি নাম দিন (যেমন,
MyS3Crawler) এবং বর্ণনা দিন। - Data store নির্বাচন করুন এবং S3 নির্বাচন করুন। তারপর আপনার S3 বালতির URI দিন (যেমন,
s3://your-bucket-name/source/)। - IAM রোল নির্বাচন করুন যা আপনি আগে তৈরি করেছেন।
- Crawler দ্বারা শনাক্তিত ডেটা Data Catalog-এ সংরক্ষণের জন্য একটি ডেটাবেস নির্বাচন করুন। নতুন একটি ডেটাবেস তৈরি করতে পারেন (যেমন,
my_database)। - Crawler তৈরি হওয়ার পর Next ক্লিক করুন এবং পরে Finish ক্লিক করুন।
ধাপ ৫: Crawler চালানো
- Crawler তালিকায় ফিরে যান এবং আপনার তৈরি করা Crawler (
MyS3Crawler) নির্বাচন করুন। - Run crawler এ ক্লিক করুন।
ধাপ ৬: Data Catalog পরিদর্শন করা
- Crawler চালানোর পর, AWS Glue Console এ Data Catalog-এ যান।
- Databases ট্যাবে গিয়ে আপনার তৈরি করা ডেটাবেস (
my_database) নির্বাচন করুন। - সেখানে আপনি Crawler দ্বারা শনাক্তিত টেবিল (যেমন,
employees) দেখতে পাবেন।
উপসংহার
Amazon S3 থেকে ডেটা ক্রল করে AWS Glue Data Catalog তৈরি করা একটি সহজ এবং কার্যকরী প্রক্রিয়া। Crawler স্বয়ংক্রিয়ভাবে ডেটার স্কিমা শনাক্ত করে এবং Data Catalog-এ তথ্য সংরক্ষণ করে, যা পরে ডেটা বিশ্লেষণ এবং ব্যবহারের জন্য প্রস্তুত করে। AWS Glue-এর এই বৈশিষ্ট্য ব্যবহার করে, আপনি আপনার ডেটার কার্যকরী ব্যবস্থাপনা এবং বিশ্লেষণ করতে সক্ষম হবেন।
Content added By
Read more
