Hadoop সেটআপ করার জন্য কিছু প্রাথমিক কনফিগারেশন করতে হয়, যার মধ্যে SSH (Secure Shell) এবং Java কনফিগারেশন গুরুত্বপূর্ণ ভূমিকা পালন করে। সঠিকভাবে SSH এবং Java কনফিগার করা ছাড়া Hadoop ক্লাস্টার পরিচালনা করা সম্ভব নয়।
SSH কনফিগারেশন
Hadoop ক্লাস্টারের মধ্যে একাধিক মেশিনে কাজ করার জন্য SSH কনফিগারেশন অত্যন্ত গুরুত্বপূর্ণ, কারণ Hadoop এর নোডগুলোকে একে অপরের সাথে যোগাযোগ করতে হবে। SSH এর মাধ্যমে নোডগুলোর মধ্যে নিরাপদ সংযোগ স্থাপন করা হয় এবং Hadoop কমান্ড চালানোর জন্য রিমোট মেশিনে লগইন করা হয়।
SSH কনফিগারেশনের জন্য ধাপসমূহ:
SSH ইনস্টলেশন
প্রথমে, সিস্টেমে SSH ক্লায়েন্ট ইনস্টল করতে হবে। Linux বা Ubuntu সিস্টেমে SSH ইনস্টল করতে টার্মিনালে নিচের কমান্ডটি ব্যবহার করুন:sudo apt-get install openssh-clientSSH কনফিগারেশন ফাইল তৈরি
হাদুপ ব্যবহারকারীর জন্য একটি SSH কী জেনারেট করতে হবে যাতে লগইন করতে পাসওয়ার্ডের প্রয়োজন না হয়:ssh-keygen -t rsa -P ""এরপর,
.ssh/id_rsa.pubফাইলের কনটেন্ট অন্য সিস্টেমে পেস্ট করতে হবে, যাauthorized_keysফাইলে যুক্ত হবে।Public Key Distribution
ক্লাস্টারের প্রতিটি নোডে public key পেস্ট করতে হবে। একে অপরের মধ্যে SSH সংযোগের অনুমতি দেয়:ssh-copy-id user@<hostname>এই প্রক্রিয়াটি নিশ্চিত করবে যে, কোন পাসওয়ার্ড ছাড়াই এক নোড থেকে অন্য নোডে SSH এর মাধ্যমে সংযোগ স্থাপন করা যাবে।
SSH সংযোগ পরীক্ষা
সবকিছু সঠিকভাবে কনফিগার হওয়ার পর, আপনি ক্লাস্টারের অন্য নোডে SSH সংযোগ পরীক্ষার জন্য নিচের কমান্ডটি ব্যবহার করতে পারেন:ssh user@<hostname>যদি লগইন সফল হয়, তবে আপনি নিশ্চিত হতে পারবেন যে SSH কনফিগারেশন ঠিকঠাক হয়েছে।
Java কনফিগারেশন
Hadoop সম্পূর্ণরূপে Java-তে তৈরি, তাই Hadoop সঠিকভাবে কাজ করতে Java সেটআপের প্রয়োজন। Hadoop এর জন্য Java ভার্সন কনফিগারেশন গুরুত্বপূর্ণ, কারণ সঠিক Java ভার্সন ছাড়া Hadoop চলতে পারে না।
Java কনফিগারেশনের জন্য ধাপসমূহ:
Java ইনস্টলেশন
সিস্টেমে Java ইনস্টল না থাকলে, প্রথমে Java ইনস্টল করতে হবে। Ubuntu সিস্টেমে Java ইনস্টল করতে নিম্নলিখিত কমান্ড ব্যবহার করুন:sudo apt-get update sudo apt-get install openjdk-8-jdkJAVA_HOME পরিবেশ ভেরিয়েবল সেট করা
Java ইনস্টল করার পরে,JAVA_HOMEপরিবেশ ভেরিয়েবলটি সেট করা প্রয়োজন যাতে Hadoop সঠিকভাবে Java এর অবস্থান চিনতে পারে।.bashrcবা.profileফাইলে নিম্নলিখিত লাইন যোগ করুন:export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATHএরপর,
.bashrcফাইলটি রিলোড করতে হবে:source ~/.bashrcJava কনফিগারেশন পরীক্ষা
Java সঠিকভাবে ইনস্টল এবং কনফিগার হয়েছে কিনা তা পরীক্ষা করতে নিচের কমান্ডটি ব্যবহার করুন:java -versionযদি সঠিক Java ভার্সন দেখায়, তবে আপনি নিশ্চিত হতে পারেন যে Java কনফিগারেশন সফল হয়েছে।
Hadoop Configuration ফাইল এ Java সেটিংস
Hadoop এর কনফিগারেশন ফাইলে Java এর অবস্থান নিশ্চিত করতেhadoop-env.shফাইলটি চেক করুন। এই ফাইলটি Hadoop এর ইনস্টলেশন ডিরেক্টরির মধ্যে থাকে ($HADOOP_HOME/etc/hadoop/hadoop-env.sh)।hadoop-env.shফাইলে Java এর পাথ সঠিকভাবে সেট করুন:export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
সারাংশ
Hadoop ক্লাস্টারের সঠিক কার্যক্ষমতার জন্য SSH এবং Java কনফিগারেশন অত্যন্ত গুরুত্বপূর্ণ। SSH ক্লাস্টারের নোডগুলির মধ্যে নিরাপদ এবং পাসওয়ার্ড ছাড়া যোগাযোগ নিশ্চিত করে, যা Hadoop এর ডিস্ট্রিবিউটেড প্রসেসিং সিস্টেমের জন্য অপরিহার্য। Java কনফিগারেশন Hadoop এর রানের জন্য অপরিহার্য, কারণ Hadoop Java ব্যবহার করে। যথাযথ কনফিগারেশন ছাড়া Hadoop সঠিকভাবে কাজ করবে না, তাই এই ধাপগুলো অনুসরণ করা গুরুত্বপূর্ণ।
Read more
