Presto এর মাধ্যমে Hive এর সাথে সংযোগ স্থাপন করতে, আপনাকে Hive Connector কনফিগারেশন ফাইল তৈরি করতে হবে। Hive Connector Presto-কে Hive মেটাস্টোর এবং ডেটা স্টোরেজের সাথে সংযুক্ত করতে সাহায্য করে, যাতে Presto SQL কোয়েরি চালিয়ে Hive ডেটাবেস থেকে ডেটা নিয়ে আসতে পারে।
প্রয়োজনীয়তা:
- Hive মেটাস্টোরের URI এবং সেটিংস।
- Hive ডেটাবেসের উপর পড়ার এবং লেখার অনুমতি।
ধাপ ১: Hive Connector কনফিগারেশন ফাইল তৈরি
Presto-তে Hive সংযোগের জন্য, একটি ক্যাটালগ ফাইল তৈরি করতে হবে যা /etc/presto/catalog/ ডিরেক্টরিতে থাকতে হবে। এই ফাইলটি .properties এক্সটেনশন সহ হতে হবে, যেমন hive.properties।
কনফিগারেশন ফাইল:
ফাইল নাম: hive.properties
connector.name=hive
hive.metastore.uri=thrift://<hive-metastore-host>:9083
hive.config.resources=/etc/hadoop/core-site.xml,/etc/hadoop/hdfs-site.xml
hive.s3.aws-access-key=<your-access-key>
hive.s3.aws-secret-key=<your-secret-key>
এখানে:
- connector.name=hive: এটি Presto-কে Hive Connector ব্যবহার করতে বলে।
- hive.metastore.uri=thrift://:9083: Hive মেটাস্টোরের URI। এটি আপনার Hive মেটাস্টোর সার্ভারের ঠিকানা এবং পোর্ট হতে হবে। সাধারণত, এটি
thriftপ্রোটোকল ব্যবহার করে চলে। - hive.config.resources: Hive কনফিগারেশন ফাইলের পথ। এখানে আপনি Hive এর
core-site.xmlএবংhdfs-site.xmlফাইলগুলোর পথ উল্লেখ করবেন। - hive.s3.aws-access-key এবং hive.s3.aws-secret-key: যদি আপনি Hive এর সাথে S3 ব্যবহার করতে চান, তবে এখানে আপনার AWS অ্যাক্সেস কী এবং সিক্রেট কী প্রদান করতে হবে।
ধাপ ২: Hive মেটাস্টোর সেটআপ
Presto এর Hive Connector কাজ করার জন্য Hive মেটাস্টোর সার্ভিস চালু থাকতে হবে। Hive মেটাস্টোর সার্ভিস চালু করতে নিম্নলিখিত কমান্ডটি ব্যবহার করুন:
hive --service metastore
এটি Hive মেটাস্টোর সার্ভিস শুরু করবে যা Presto এর সাথে সংযুক্ত হতে সক্ষম হবে।
ধাপ ৩: Presto ক্লাস্টার এবং Hive সংযোগ
Presto Restart করুন:
নতুন কনফিগারেশন ফাইলটি/etc/presto/catalog/ডিরেক্টরিতে সঠিকভাবে রাখার পর, Presto সার্ভার রিস্টার্ট করুন যাতে পরিবর্তনগুলি কার্যকর হয়।bin/launcher restartHive ডেটাবেসে কোয়েরি চালানো:
Presto CLI বা Presto Web UI ব্যবহার করে Hive ডেটাবেসে কোয়েরি চালাতে পারবেন। উদাহরণস্বরূপ:SELECT * FROM hive.<schema_name>.<table_name>;এখানে
<schema_name>হলো Hive এর স্কিমা এবং<table_name>হলো Hive টেবিলের নাম।
ধাপ ৪: Hive এর সাথে Presto Query Execution
Presto CLI বা Web UI এর মাধ্যমে Hive ডেটাবেসে বিভিন্ন SQL কোয়েরি চালানো সম্ভব। উদাহরণস্বরূপ:
-- Hive থেকে সমস্ত ডেটা নির্বাচন করুন
SELECT * FROM hive.default.orders LIMIT 10;
-- Hive টেবিলের মধ্যে কিছু ফিল্টার প্রয়োগ করুন
SELECT order_id, customer_id FROM hive.default.orders WHERE order_status = 'shipped';
এইভাবে, Presto ব্যবহার করে Hive ডেটাবেস থেকে ডেটা বিশ্লেষণ করা সম্ভব। Presto এর Hive Connector উচ্চ ক্ষমতাসম্পন্ন এবং দ্রুত কোয়েরি প্রসেসিং প্রদান করে, যা বড় ডেটাসেটের জন্য উপযুক্ত।
সারাংশ
- Hive মেটাস্টোরের URI, সঠিক কনফিগারেশন ফাইল, এবং Presto Hive Connector সেটআপের মাধ্যমে Hive ডেটাবেসের সাথে সংযোগ স্থাপন করা যায়।
- Hive Connector ব্যবহার করে, Presto সহজে Hive ডেটাসেট থেকে ডেটা রিড এবং বিশ্লেষণ করতে পারে।
Read more
