Big Data and Analytics Hive Install করার ধাপ (Local এবং Distributed Mode) গাইড ও নোট

335

Apache Hive ইনস্টলেশন দুটি প্রধান মোডে করা যেতে পারে: Local Mode এবং Distributed Mode। Local Mode তে Hive একটি সাধারণ মেশিনে রান করবে, যেখানে Distributed Mode তে Hive Hadoop ক্লাস্টারের সাথে ইন্টিগ্রেট হয়ে কাজ করবে। নিচে এই দুইটি মোডে Hive ইনস্টল করার ধাপ আলোচনা করা হলো।

Local Mode এ Hive ইনস্টল করার ধাপ


Local Mode এ Hive ইনস্টল করার জন্য Hadoop ক্লাস্টারের কোন প্রয়োজন নেই, এবং এটি একটি সাধারন মেশিনে রান করতে সক্ষম। Hive Local Mode এ রান করার জন্য, নিম্নলিখিত পদক্ষেপ অনুসরণ করুন:

ধাপ ১: Java ইনস্টল করুন

Hive Java তে রান করে, তাই প্রথমেই Java ইনস্টল করা প্রয়োজন।

  1. Java ইনস্টল করতে কমান্ড রান করুন:

    sudo apt update
    sudo apt install openjdk-8-jdk
    
  2. Java ইনস্টলেশন চেক করুন:

    java -version
    

ধাপ ২: Hadoop ইনস্টল করুন

Hadoop ইনস্টল করার জন্য প্রথমে Hadoop এর সর্বশেষ সংস্করণ ডাউনলোড এবং ইনস্টল করুন।

  1. Hadoop এর সফটওয়্যার ডাউনলোড করুন:

    wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-x.y.z/hadoop-x.y.z.tar.gz
    
  2. ডাউনলোড করা ফাইল আনজিপ করুন:

    tar -xzvf hadoop-x.y.z.tar.gz
    
  3. Hadoop কনফিগারেশন ফাইলটি সেটআপ করুন:
    • hadoop-env.sh ফাইলটি সম্পাদনা করুন এবং JAVA_HOME সেট করুন।

ধাপ ৩: Hive ডাউনলোড এবং ইনস্টল করুন

Hive ইনস্টল করতে, Apache Hive এর সর্বশেষ সংস্করণ ডাউনলোড করুন।

  1. Hive ডাউনলোড করুন:

    wget https://archive.apache.org/dist/hive/x.y.z/apache-hive-x.y.z-bin.tar.gz
    
  2. Hive ইনস্টল করুন:

    tar -xzvf apache-hive-x.y.z-bin.tar.gz
    
  3. Hive কনফিগারেশন ফাইলটি সম্পাদনা করুন:
    • hive-site.xml ফাইল তৈরি করুন এবং যথাযথ কনফিগারেশন করুন।

ধাপ ৪: Hive কনফিগারেশন

Hive কনফিগারেশন ফাইলের মধ্যে নিম্নলিখিত সেটিংস দিন:

  • HADOOP_HOME এবং HIVE_HOME এর পাথ সঠিকভাবে সেট করুন।
  • hive.metastore.uris সেটিংস করা না থাকলে এটি thrift://localhost:9083 এ ডিফল্ট থাকে।

ধাপ ৫: Hive চালু করা

Hive চালু করতে, টার্মিনালে নিচের কমান্ড দিন:

hive

এটি Hive ক্লাইয়েন্ট চালু করবে এবং আপনি HiveQL কুয়েরি লিখতে শুরু করতে পারবেন।


Distributed Mode এ Hive ইনস্টল করার ধাপ


Distributed Mode এ Hive ইনস্টল করতে Hadoop ক্লাস্টারের প্রয়োজন হবে। Hive Hadoop এর HDFS (Hadoop Distributed File System) ব্যবহার করে ডেটা সঞ্চয় এবং প্রসেসিং করে, এবং এটি আরও বড় ডেটাসেটের জন্য উপযুক্ত। Distributed Mode তে Hive ইনস্টল করার জন্য, নিম্নলিখিত ধাপগুলো অনুসরণ করুন:

ধাপ ১: Hadoop ক্লাস্টার সেটআপ করুন

প্রথমে একটি Hadoop ক্লাস্টার তৈরি করতে হবে। এর জন্য:

  1. Hadoop সফটওয়্যার ডাউনলোড এবং ইনস্টল করুন (ধাপ ১ এর মতো)।
  2. Hadoop ক্লাস্টার কনফিগার করুন এবং NameNode এবং DataNode সার্ভারগুলো ঠিকভাবে কনফিগার করুন।

ধাপ ২: Hive ইনস্টল করুন

  1. Hive সফটওয়্যার ডাউনলোড করুন:

    wget https://archive.apache.org/dist/hive/x.y.z/apache-hive-x.y.z-bin.tar.gz
    
  2. Hive ইনস্টল করুন:

    tar -xzvf apache-hive-x.y.z-bin.tar.gz
    

ধাপ ৩: Hive কনফিগারেশন

Hive কে Hadoop এর HDFS এর সাথে সংযুক্ত করতে হবে। এজন্য, নিচের কাজগুলো করুন:

  1. hive-site.xml ফাইল তৈরি করুন (যদি না থাকে) এবং এটি সঠিকভাবে কনফিগার করুন।
    • HDFS এর জন্য HADOOP_HOME সেট করুন।
    • hive.metastore.uris সেটিংস দিয়ে Hive মেটাস্টোর সার্ভার সংযুক্ত করুন।
  2. Hadoop এবং Hive এর পাথ সঠিকভাবে কনফিগার করুন:
    • HADOOP_HOME এবং HIVE_HOME পরিবর্তনশীলগুলো সঠিকভাবে সেট করুন।

ধাপ ৪: Hive মেটাস্টোর কনফিগারেশন

Hive মেটাস্টোর সঠিকভাবে কনফিগার করতে, একটি ডেটাবেস তৈরি করুন এবং Hive মেটাস্টোরে যুক্ত করুন (যেমন MySQL বা PostgreSQL)। Hive কনফিগারেশন ফাইলে মেটাস্টোর ডেটাবেস সেটিংস যোগ করুন।

ধাপ ৫: Hive চালু করা

Hive চালু করতে, টার্মিনালে নিচের কমান্ড দিন:

hive

এটি Hive ক্লাইয়েন্ট চালু করবে, এবং আপনি HiveQL কুয়েরি চালাতে সক্ষম হবেন।


উপসংহার


Hive ইনস্টলেশন দুটি মোডে করা যেতে পারে: Local Mode এবং Distributed Mode। Local Mode একটি সাধারণ মেশিনে রান করে এবং Hadoop ক্লাস্টারের প্রয়োজন হয় না, যেখানে Distributed Mode Hadoop ক্লাস্টারের সাথে ইন্টিগ্রেট হয়ে বড় ডেটাসেটের ওপর কাজ করে। উভয় ক্ষেত্রে যথাযথ কনফিগারেশন এবং ইনস্টলেশন প্রক্রিয়া অনুসরণ করলে Hive সঠিকভাবে কাজ করবে।

Content added By
Promotion

Are you sure to start over?

Loading...