Big Data and Analytics Hadoop ইনস্টলেশন (Single-node এবং Multi-node Cluster) গাইড ও নোট

Hadoop ইনস্টলেশন প্রক্রিয়া বেশ কিছু ধাপে বিভক্ত, যেখানে আমরা দুটি প্রধান মডেল নিয়ে আলোচনা করবো: Single-node Cluster এবং Multi-node Cluster। Single-node cluster-এ সমস্ত কম্পোনেন্ট একটি একক মেশিনে রান করবে, আর Multi-node cluster-এ Hadoop এর বিভিন্ন কম্পোনেন্ট বিভিন্ন মেশিনে বিভক্ত থাকবে।

Single-node Cluster ইনস্টলেশন

Single-node cluster হ'ল এমন একটি পরিবেশ যেখানে Hadoop সমস্ত কম্পোনেন্ট একটি একক মেশিনে রান করে। এটি সাধারণত ডেভেলপমেন্ট, টেস্টিং এবং শিখতে ব্যবহৃত হয়।

1. Java ইনস্টলেশন

Hadoop Java প্রোগ্রামিং ভাষায় লেখা হয়েছে, তাই এটি কাজ করার জন্য Java ইনস্টল করা আবশ্যক।

• Java ইনস্টল করতে নিচের কমান্ডটি ব্যবহার করুন:

  sudo apt-get install openjdk-8-jdk
  

• Java ইনস্টলেশনের পর, জাভা সংস্করণ চেক করতে:

  java -version
  

2. Hadoop ডাউনলোড এবং ইনস্টলেশন

• Hadoop এর সর্বশেষ ভার্সন ডাউনলোড করতে Apache Hadoop Download থেকে ZIP ফাইলটি ডাউনলোড করুন।

• ZIP ফাইলটি আনজিপ করুন এবং আপনার পছন্দসই ডিরেক্টরিতে এটি রিনেম এবং স্থানান্তর করুন:

  tar -xzvf hadoop-x.y.z.tar.gz
  mv hadoop-x.y.z /usr/local/hadoop
  

3. Hadoop কনফিগারেশন

• Hadoop এর কনফিগারেশন ফাইলগুলো সাধারণত etc/hadoop/ ফোল্ডারে থাকে। কনফিগারেশন সেট করতে নিচের ফাইলগুলোতে পরিবর্তন করতে হবে:

  • core-site.xml:
    এই ফাইলে Hadoop এর ডিফল্ট ফাইল সিস্টেম সেট করুন।

    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>
    

  • hdfs-site.xml:
    HDFS এর ডিরেক্টরি এবং ডেটা স্টোরেজ কনফিগার করুন।

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
      </property>
      <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
      </property>
    </configuration>
    

  • mapred-site.xml:
    MapReduce কনফিগারেশন সেট করতে।

    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>
    

  • yarn-site.xml:
    YARN কনফিগারেশন সেট করতে।

    <configuration>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost:8032</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>
    

4. Hadoop ফরম্যাট এবং শুরু করা

• হাদুপ ফরম্যাট করতে:

  hdfs namenode -format
  

• Hadoop এর সিস্টেম চালু করতে:

  start-dfs.sh
  start-yarn.sh
  

• সকল সার্ভিস স্ট্যাটাস চেক করতে:

  jps
  

এখন আপনার Single-node Hadoop ক্লাস্টার প্রস্তুত।

Multi-node Cluster ইনস্টলেশন

Multi-node cluster হ'ল একটি বৃহত্তর পরিবেশ যেখানে Hadoop এর কম্পোনেন্ট একাধিক মেশিনে বিভক্ত থাকে। এটি সাধারণত প্রোডাকশন পরিবেশে ব্যবহৃত হয় এবং উচ্চ স্কেলড ডেটা প্রসেসিং নিশ্চিত করে।

1. প্রস্তুতি

• সব মেশিনে একই Hadoop ভার্সন ইনস্টল করতে হবে।
• সমস্ত মেশিনে SSH কনফিগার করতে হবে, যাতে এক মেশিন থেকে অন্য মেশিনে লগিন করা যায়।

2. Hadoop ইনস্টলেশন এবং কনফিগারেশন

প্রথমে প্রতিটি মেশিনে Hadoop ইনস্টল করুন এবং তারপর নীচের কনফিগারেশন ফাইলগুলো সেট করুন।

• core-site.xml:
  ক্লাস্টারের NameNode এর অবস্থান উল্লেখ করুন।

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://namenode_host:9000</value>
    </property>
  </configuration>
  

• hdfs-site.xml:
  সকল মেশিনে HDFS ডিরেক্টরি এবং ডেটা স্টোরেজ সেট করুন।

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>
    <property>
      <name>dfs.name.dir</name>
      <value>/hadoop/hdfs/namenode</value>
    </property>
    <property>
      <name>dfs.data.dir</name>
      <value>/hadoop/hdfs/datanode</value>
    </property>
  </configuration>
  

• slaves ফাইল:
  সমস্ত worker node এর নাম উল্লেখ করতে হবে।

  slave1
  slave2
  slave3
  

3. Hadoop কনফিগারেশন শুরু করা

• প্রতিটি নোডে start-dfs.sh এবং start-yarn.sh স্ক্রিপ্ট রান করুন।

  start-dfs.sh
  start-yarn.sh
  

4. Multi-node Cluster চালু করা

সব নোডে Hadoop চালু হওয়ার পরে, আপনি jps কমান্ড ব্যবহার করে প্রতিটি নোডের চলমান প্রক্রিয়াগুলি পরীক্ষা করতে পারবেন।

সারাংশ

Single-node এবং Multi-node Cluster ইনস্টলেশন পদ্ধতিতে, Hadoop এর ব্যবহারকারীরা বিভিন্ন পরিবেশে ডেটা প্রক্রিয়াকরণ কার্যক্রম পরিচালনা করতে পারেন। Single-node ক্লাস্টার ডেভেলপমেন্ট এবং টেস্টিংয়ের জন্য উপযুক্ত, যেখানে Multi-node ক্লাস্টার বৃহত্তর প্রোডাকশন স্কেল প্রয়োগের জন্য ব্যবহৃত হয়। Hadoop এর কনফিগারেশন, ডিস্ট্রিবিউটেড স্টোরেজ এবং প্রসেসিংয়ের জন্য সঠিক সেটআপ নিশ্চিত করা প্রয়োজন।