Hadoop Configuration Files (core-site.xml, hdfs-site.xml, yarn-site.xml)

Hadoop সিস্টেমের কার্যকরী পরিচালনার জন্য বিভিন্ন কনফিগারেশন ফাইল ব্যবহার করা হয়। এই ফাইলগুলো সিস্টেমের বিভিন্ন উপাদান এবং সেবার আচরণ নির্ধারণ করে। Hadoop এর প্রধান কনফিগারেশন ফাইলগুলির মধ্যে core-site.xml, hdfs-site.xml, এবং yarn-site.xml বিশেষভাবে গুরুত্বপূর্ণ। প্রতিটি ফাইলের নিজস্ব কনফিগারেশন সেটিংস থাকে, যা সিস্টেমের কাজের পরিবেশ নির্ধারণ করে। এই ফাইলগুলির সঠিক কনফিগারেশন Hadoop ক্লাস্টারের কার্যকারিতা এবং পারফরম্যান্সের জন্য অত্যন্ত গুরুত্বপূর্ণ।

core-site.xml

core-site.xml ফাইলটি Hadoop এর সাধারণ কনফিগারেশন ফাইল হিসেবে পরিচিত। এটি Hadoop এর মূল সিস্টেমের সাথে সম্পর্কিত সেটিংস ধারণ করে, যেমন HDFS এবং YARN এর সাথে যোগাযোগের জন্য URL এবং হোস্টনেম। এই ফাইলটি Hadoop এর সব সেবার জন্য সাধারিত কনফিগারেশন সেটিংস সংরক্ষণ করে।

গুরুত্বপূর্ণ কনফিগারেশন:

• fs.defaultFS
  এটি HDFS এর URI নির্ধারণ করে, যেখানে ডেটা সংরক্ষণ করা হয়। উদাহরণস্বরূপ, hdfs://namenode_host:8020।

  উদাহরণ:

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
  </property>
  

• hadoop.tmp.dir
  এটি Hadoop এর টেম্পোরারি ফাইল সংরক্ষণের জন্য ডিরেক্টরি নির্ধারণ করে। উদাহরণস্বরূপ, /tmp/hadoop।

  উদাহরণ:

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
  </property>
  

hdfs-site.xml

hdfs-site.xml ফাইলটি HDFS (Hadoop Distributed File System) এর কনফিগারেশন সেটিংস ধারণ করে। এই ফাইলের মাধ্যমে HDFS এর বিভিন্ন বৈশিষ্ট্য কনফিগার করা হয়, যেমন ব্লক সাইজ, রিপ্লিকেশন ফ্যাক্টর, এবং ডেটার সংরক্ষণ এবং ব্যবস্থাপনা।

গুরুত্বপূর্ণ কনফিগারেশন:

• dfs.replication
  এটি HDFS ব্লকের রিপ্লিকেশন ফ্যাক্টর নির্ধারণ করে, অর্থাৎ একটি ব্লকের কতগুলি কপি HDFS এর বিভিন্ন নোডে সংরক্ষণ করা হবে। ডিফল্ট মান ৩।

  উদাহরণ:

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  

• dfs.block.size
  এটি HDFS ব্লকের আকার নির্ধারণ করে। ডিফল্ট মান 128MB বা 256MB হতে পারে, তবে প্রয়োজন অনুসারে এটি পরিবর্তন করা যায়।

  উদাহরণ:

  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  

• dfs.namenode.name.dir
  এটি Namenode এর মেটাডেটা সংরক্ষণের জন্য ডিরেক্টরি নির্ধারণ করে।

  উদাহরণ:

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/hadoop/hdfs/namenode</value>
  </property>
  

yarn-site.xml

yarn-site.xml ফাইলটি YARN (Yet Another Resource Negotiator) এর কনফিগারেশন সেটিংস ধারণ করে। YARN হলো Hadoop এর রিসোর্স ম্যানেজার, যা ক্লাস্টারের রিসোর্স শিডিউলিং এবং ম্যানেজমেন্টে ব্যবহৃত হয়। এই ফাইলের মাধ্যমে YARN এর মূল সিস্টেম এবং নোড ম্যানেজারের কনফিগারেশন নির্ধারণ করা হয়।

গুরুত্বপূর্ণ কনফিগারেশন:

• yarn.resourcemanager.address
  এটি YARN এর Resource Manager এর হোস্ট এবং পোর্ট নির্ধারণ করে।

  উদাহরণ:

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  

• yarn.nodemanager.local-dirs
  এটি YARN Node Manager এর লোকাল ডিরেক্টরি নির্ধারণ করে, যেখানে এটি স্ন্যাপশট এবং লোগ ফাইল সংরক্ষণ করে।

  উদাহরণ:

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/tmp/hadoop-yarn/local</value>
  </property>
  

• yarn.nodemanager.log-dirs
  এটি YARN Node Manager এর লগ ডিরেক্টরি নির্ধারণ করে।

  উদাহরণ:

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp/hadoop-yarn/log</value>
  </property>
  

সারাংশ

Hadoop এর কনফিগারেশন ফাইলগুলো অত্যন্ত গুরুত্বপূর্ণ, কারণ এগুলির মাধ্যমে সিস্টেমের বিভিন্ন উপাদান এবং কাজের পরিবেশ নির্ধারণ করা হয়। core-site.xml ফাইলটি Hadoop এর মূল কনফিগারেশন সেটিংস ধারণ করে, hdfs-site.xml ফাইলটি HDFS এর কনফিগারেশন পরিচালনা করে, এবং yarn-site.xml ফাইলটি YARN এর কনফিগারেশন ব্যবস্থাপনা করে। এই ফাইলগুলো সঠিকভাবে কনফিগার করা হলে, Hadoop ক্লাস্টার আরও কার্যকরভাবে এবং দক্ষতার সাথে কাজ করতে পারে।