Apache Storm ইনস্টল করার জন্য দুটি প্রধান মোড আছে: Local Mode এবং Cluster Mode। Local Mode সাধারনত ডেভেলপমেন্ট এবং পরীক্ষামূলক কাজের জন্য ব্যবহার করা হয়, যেখানে Cluster Mode বাস্তব পরিবেশে বা প্রোডাকশন পরিবেশে বড় পরিমাণে ডেটা প্রসেসিং করার জন্য ব্যবহৃত হয়।
Local Mode এ Apache Storm ইনস্টলেশন
Local Mode এ ইনস্টলেশন করার জন্য আপনাকে Apache Storm একক মেশিনে রান করতে হবে। এটি সাধারণত ডেভেলপমেন্ট এবং টেস্টিং পরিবেশে ব্যবহৃত হয়। নিচে Local Mode এ Storm ইনস্টল করার ধাপগুলো দেওয়া হলো:
১. Apache Storm ডাউনলোড এবং আনজিপ করুন
- প্রথমে Apache Storm এর সর্বশেষ সংস্করণ ডাউনলোড করুন। Apache Storm Download পেজ থেকে আপনার পছন্দের সংস্করণটি ডাউনলোড করুন।
ডাউনলোড করা
.tar.gzফাইলটি আনজিপ করুন:tar -xvzf apache-storm-x.x.x.tar.gz
২. পরিবেশ ভেরিয়েবল সেট করা
আপনার .bashrc বা .zshrc ফাইলে নিচের কোডটি যোগ করুন:
export STORM_HOME=/path/to/apache-storm
export PATH=$PATH:$STORM_HOME/bin
তারপর, টার্মিনালে source ~/.bashrc কমান্ড রান করুন।
৩. Storm কনফিগারেশন
Apache Storm এর কনফিগারেশন ফাইল
conf/storm.yamlএ তৈরি করা হয়। Local Mode ব্যবহারের জন্য কনফিগারেশন ফাইলটিতে কিছু সেটিং পরিবর্তন করুন, যেমন:storm.local.mode: true
৪. Storm স্টার্ট করা
Storm চালানোর জন্য, storm ডিরেক্টরি থেকে নিচের কমান্ডটি ব্যবহার করুন:
storm local
এটি Storm কে Local Mode এ রান করবে।
Cluster Mode এ Apache Storm ইনস্টলেশন
Cluster Mode তে Storm রান করার জন্য আপনাকে একাধিক মেশিন বা নোড ব্যবহার করতে হবে। এটি বড় ডেটা প্রসেসিং সিস্টেমে Storm চালানোর জন্য উপযুক্ত। Cluster Mode এ Storm ইনস্টল করার জন্য নিম্নলিখিত ধাপগুলি অনুসরণ করুন:
১. প্রয়োজনীয় সফটওয়্যার ইনস্টল করা
Cluster Mode চালানোর জন্য Apache Storm এর সাথে নিম্নলিখিত সফটওয়্যারগুলোর প্রয়োজন:
- Zookeeper: Storm এর কনফিগারেশন, স্টেট, এবং ফেইলওভার ম্যানেজমেন্টের জন্য Zookeeper ব্যবহার করা হয়।
- Java: Storm চালাতে Java 8 বা তার উপরের সংস্করণ ইনস্টল থাকতে হবে।
২. Zookeeper ইনস্টল করা
Zookeeper ইনস্টল করতে, প্রথমে Zookeeper ডাউনলোড এবং ইনস্টল করুন:
wget https://downloads.apache.org/zookeeper/stable/apache-zookeeper-x.x.x-bin.tar.gz
tar -xvzf apache-zookeeper-x.x.x-bin.tar.gz
তারপর, conf/zoo.cfg ফাইলে কনফিগারেশন সেট করুন। সাধারণত, আপনি নিম্নলিখিত সেটিংটি যুক্ত করতে পারেন:
dataDir=/path/to/zookeeper/data
clientPort=2181
Zookeeper সার্ভার শুরু করুন:
bin/zkServer.sh start
৩. Storm Cluster কনফিগারেশন
Storm এর কনফিগারেশন ফাইলে storm.yaml এ Cluster Mode চালানোর জন্য কিছু সেটিং পরিবর্তন করুন। উদাহরণস্বরূপ:
storm.zookeeper.servers:
- "zookeeper_host_1"
- "zookeeper_host_2"
- "zookeeper_host_3"
storm.local.mode: false
storm.cluster.mode: "distributed"
storm.zookeeper.port: 2181
এখানে, zookeeper_host_x হলো Zookeeper সার্ভারের হোস্টনেম বা আইপি ঠিকানা।
৪. Nimbus এবং Supervisor কনফিগারেশন
Cluster Mode এ, Nimbus এবং Supervisor কম্পোনেন্ট দুটি ব্যবহার করা হয়। Nimbus সার্ভারটি টপোলজি পরিচালনা এবং ডিসপ্যাচিংয়ের কাজ করে, এবং Supervisor সার্ভারটি ডেটা প্রসেসিং ইউনিট হিসেবে কাজ করে।
Nimbus শুরু করতে:
storm nimbusSupervisor শুরু করতে:
storm supervisor
৫. Storm UI অ্যাক্সেস
Storm একটি ওয়েব ভিত্তিক ইউআই প্রদান করে, যার মাধ্যমে আপনি টপোলজি এবং ক্লাস্টারের স্ট্যাটাস দেখতে পারেন। এটি সাধারণত http://localhost:8080 এ অ্যাক্সেস করা যায়।
সারাংশ
Local Mode এ Apache Storm সাধারণত ছোট স্কেলে ডেভেলপমেন্ট ও টেস্টিংয়ের জন্য ব্যবহৃত হয়, যেখানে একক মেশিনে Storm রান করা হয়। অপরদিকে, Cluster Mode তে Storm একাধিক মেশিনের মাধ্যমে বড় ডেটা প্রসেসিং পরিচালনা করতে ব্যবহৃত হয় এবং এতে Zookeeper ও Storm-এর ক্লাস্টার কম্পোনেন্টস সক্রিয় থাকে। Cluster Mode কনফিগারেশন এবং ইনস্টলেশন কিছুটা জটিল হলেও, এটি বড় আকারে ডিস্ট্রিবিউটেড ডেটা প্রসেসিংয়ের জন্য সবচেয়ে উপযুক্ত।
Read more
