AWS Glue Crawler ব্যবহার করে ডেটা সোর্স থেকে স্কিমা শনাক্ত করা এবং Data Catalog-এ তথ্য সংরক্ষণ করা একটি স্বয়ংক্রিয় প্রক্রিয়া। নিচে AWS Glue Crawler তৈরি এবং চালানোর জন্য পদক্ষেপগুলি উদাহরণের মাধ্যমে আলোচনা করা হলো।
উদাহরণসহ Data Crawler তৈরি করা এবং চালানো
প্রাথমিক পদক্ষেপ
- AWS Management Console এ লগ ইন করুন।
- AWS Glue সার্ভিস নির্বাচন করুন।
ধাপ ১: Crawler তৈরি করা
Crawlers ট্যাব নির্বাচন করুন:
- AWS Glue ড্যাশবোর্ডে, "Crawlers" ট্যাবটিতে ক্লিক করুন।
Add crawler এ ক্লিক করুন:
- নতুন Crawler তৈরি করার জন্য "Add crawler" বোতামে ক্লিক করুন।
Crawler নাম দিন:
- আপনার Crawler এর জন্য একটি নাম দিন (যেমন
my-data-crawler) এবং প্রয়োজনীয় বর্ণনা যোগ করুন।
Data source নির্বাচন করুন:
- "Data store" নির্বাচন করুন এবং যেখানে আপনার ডেটা অবস্থিত তা নির্ধারণ করুন। উদাহরণস্বরূপ, "S3" নির্বাচন করুন।
S3 বালতি নির্ধারণ করুন:
- S3 বালতির URI দিন যেখানে আপনার ডেটা ফাইলগুলি রয়েছে, যেমন
s3://your-bucket-name/path-to-your-data/।
IAM Role নির্বাচন করুন:
- Crawler পরিচালনার জন্য একটি IAM রোল নির্বাচন করুন বা নতুন IAM রোল তৈরি করুন। এই রোলের মধ্যে S3 এ অ্যাক্সেসের অনুমতি থাকতে হবে।
Output নির্বাচন করুন:
- "Database" নির্বাচন করুন যেখানে Crawler দ্বারা শনাক্তিত ডেটা সংরক্ষণ করা হবে। আপনি নতুন একটি Database তৈরি করতে পারেন অথবা বিদ্যমান একটি Database নির্বাচন করতে পারেন।
Crawler Scheduling:
- Crawler-এর চালনা কিভাবে হবে তা নির্ধারণ করুন। আপনি "Run on demand" নির্বাচন করতে পারেন বা একটি নির্দিষ্ট সময়সূচী সেট করতে পারেন।
Review and Create:
- সব সেটিংস পর্যালোচনা করুন এবং "Finish" ক্লিক করুন।
ধাপ ২: Crawler চালানো
Crawlers ট্যাব এ ফিরে যান:
- আপনার তৈরি করা Crawler টি তালিকাভুক্ত হবে।
Run Crawler:
- Crawler এর নামের পাশে "Run crawler" বোতামে ক্লিক করুন।
Crawler Execution:
- Crawler চলাকালীন, এটি S3 এ ডেটা ফাইলগুলি স্ক্যান করবে এবং তাদের স্কিমা শনাক্ত করবে। এটি Data Catalog এ নতুন টেবিল তৈরি করবে বা বিদ্যমান টেবিল আপডেট করবে।
Execution Result:
- Crawler চলা শেষ হলে, AWS Glue Console থেকে "Crawlers" ট্যাবের মধ্যে ফলাফল দেখতে পারবেন।
ধাপ ৩: Data Catalog পরীক্ষা করা
Data Catalog ট্যাব নির্বাচন করুন:
- Glue Console থেকে "Data Catalog" ট্যাব নির্বাচন করুন।
Tables এ যান:
- Crawler দ্বারা শনাক্তিত টেবিলের তালিকা দেখতে পাবেন।
Table Details:
- প্রতিটি টেবিলের স্কিমা, কলাম, এবং ডেটার ধরণ পরীক্ষা করুন।
উপসংহার
AWS Glue Crawler তৈরি এবং চালানো একটি সহজ এবং কার্যকরী প্রক্রিয়া, যা স্বয়ংক্রিয়ভাবে ডেটার স্কিমা শনাক্ত করে এবং তা Data Catalog-এ সংরক্ষণ করে। এই প্রক্রিয়া ব্যবহার করে, আপনি আপনার ডেটার কাঠামো এবং বৈশিষ্ট্যগুলি সহজে পরিচালনা এবং বিশ্লেষণ করতে পারবেন, যা তথ্য ভিত্তিক সিদ্ধান্ত গ্রহণে সহায়ক।
Read more
