অ্যাপাচি কাফকা (Apache Kafka) একটি ডিসট্রিবিউটেড স্ট্রিমিং প্ল্যাটফর্ম যা বৃহৎ পরিমাণে ডেটা প্রক্রিয়া, স্টোর এবং ট্রান্সফার করার জন্য ব্যবহৃত হয়। কাফকা সিস্টেমের একটি গুরুত্বপূর্ণ বৈশিষ্ট্য হলো এর Replication Factor এবং Data Durability, যা ডেটার নির্ভরযোগ্যতা এবং স্থায়ীত্ব নিশ্চিত করতে সহায়তা করে।
এই লেখায়, আমরা কাফকা সিস্টেমে Replication Factor এবং Data Durability কীভাবে কাজ করে এবং তাদের গুরুত্ব কী, তা বিস্তারিতভাবে আলোচনা করব।
Replication Factor কী?
কাফকা একটি ডিস্ট্রিবিউটেড সিস্টেম, যেখানে ডেটা Partitions (পার্টিশন) আকারে স্টোর করা হয়। প্রতিটি পার্টিশন একাধিক Replicas (রেপ্লিকা) তে সংরক্ষিত হয়, যাতে ডেটার কোনো একক পয়েন্ট অফ ফেইলিওর না থাকে। Replication Factor হচ্ছে একটি পার্টিশনের রেপ্লিকা সংখ্যা, অর্থাৎ কতটি কপি এই পার্টিশনের ডেটার থাকবে।
উদাহরণস্বরূপ, যদি কোনো পার্টিশনের Replication Factor ৩ হয়, তাহলে সেই পার্টিশনের ডেটা তিনটি ভিন্ন ব্রোকারে স্টোর হবে।
Replication Factor এর গুরুত্ব:
- Fault Tolerance: যদি একটি ব্রোকার বা পার্টিশন ফেইল হয়, তাহলে অন্য ব্রোকারে সংরক্ষিত রেপ্লিকার মাধ্যমে ডেটা পুনরুদ্ধার করা সম্ভব হয়।
- High Availability: Replication ফ্যাক্টরের মাধ্যমে কাফকা সিস্টেমের ডেটা একাধিক জায়গায় সংরক্ষিত থাকে, যা ডেটার উচ্চ প্রাপ্যতা নিশ্চিত করে।
- Load Balancing: রেপ্লিকার মাধ্যমে ডেটার লোড ব্যালান্সিং করা যায়, কারণ ডেটা একাধিক ব্রোকারে ভাগ করা থাকে।
Replication Factor কনফিগারেশন:
কাফকাতে, পার্টিশনের রিপ্লিকেশন ফ্যাক্টর কনফিগার করা হয় টপিক তৈরির সময়। উদাহরণস্বরূপ:
kafka-topics.sh --create --topic my_topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 2
এখানে, --replication-factor 2 নির্দেশ করছে যে, প্রতিটি পার্টিশনের দুটি রেপ্লিকা থাকবে।
Data Durability কী?
Data Durability কাফকায় ডেটার স্থায়ীত্ব এবং নিরাপত্তা নিশ্চিত করার প্রক্রিয়া। ডেটা ডুরেবিলিটি নিশ্চিত করে যে, একবার ডেটা কাফকায় প্রবাহিত হলে তা হারানো যাবে না, এমনকি যদি সিস্টেমের কোনো অংশ নষ্টও হয়। এটি মূলত write-ahead log পদ্ধতিতে কাজ করে, যেখানে ডেটা ব্রোকারে লিখা হওয়ার আগে একটি প্রাথমিক লগে লেখা হয়।
Data Durability এর গুরুত্ব:
- Data Persistence: একবার কাফকা ব্রোকারে ডেটা স্টোর হলে তা সিস্টেমের ক্র্যাশ বা ব্রোকারের ফেইলিওর সত্ত্বেও বাঁচে।
- Log-based Storage: কাফকা একটি write-ahead log ব্যবহার করে, যেখানে সমস্ত মেসেজ পার্টিশনে সিকোয়েন্সিয়ালি লেখার আগে একটি লগ ফাইলে স্টোর করা হয়।
- Reliability: কাফকা সিস্টেমের একটি গুরুত্বপূর্ণ দিক হলো, এটি ডেটার কোনও ক্ষতি না হওয়া নিশ্চিত করতে নির্ভরযোগ্য স্টোরেজ মেকানিজম সরবরাহ করে।
Data Durability কনফিগারেশন:
কাফকায় ডেটা ডুরেবিলিটি নিশ্চিত করতে বেশ কিছু কনফিগারেশন রয়েছে:
- acks (Acknowledgments):
acksকনফিগারেশন প্রযোজক (Producer) দ্বারা সেট করা হয় এবং এটি কাফকার রিপ্লিকেশন এবং ডুরেবিলিটি নিশ্চিত করতে সাহায্য করে। এটি তিনটি মান নিতে পারে:acks=0: প্রযোজক কোনো অ্যাকনলেজমেন্টের জন্য অপেক্ষা করে না। এর ফলে ডেটা হারানোর সম্ভাবনা থাকে।acks=1: প্রযোজক শুধুমাত্র নেতৃস্থানীয় ব্রোকার থেকে অ্যাকনলেজমেন্ট গ্রহণ করে।acks=allবাacks=-1: সমস্ত রেপ্লিকা থেকে অ্যাকনলেজমেন্ট পাওয়ার পরই প্রযোজক ডেটা প্রেরণ সম্পন্ন হিসেবে বিবেচনা করে।
- min.insync.replicas: এই কনফিগারেশনটি নির্দেশ করে যে, কতটি রেপ্লিকা ডেটা লেখার সময় সুসংগত (in-sync) থাকতে হবে। এর মাধ্যমে নিশ্চিত করা হয় যে, যদি একটি ব্রোকার ফেইলও হয়, তাহলে ডেটা হারানোর সম্ভাবনা কম থাকে। উদাহরণস্বরূপ, যদি
min.insync.replicas=2হয়, তাহলে দুটি রেপ্লিকা অবশ্যই ইন-সিঙ্ক থাকতে হবে।
kafka-topics.sh --alter --topic my_topic --config min.insync.replicas=2
এখানে, min.insync.replicas=2 নিশ্চিত করবে যে, দুটি ইন-সিঙ্ক রেপ্লিকা থাকা পর্যন্ত ডেটা লিখা হবে।
Replication Factor এবং Data Durability এর সম্পর্ক
- Replication Factor এবং Data Durability একে অপরের সাথে সম্পর্কিত। উচ্চ Replication Factor ডেটার স্থায়ীত্ব এবং প্রাপ্যতা বৃদ্ধি করে, কারণ একাধিক ব্রোকারে ডেটার রেপ্লিকা থাকে।
- Data Durability নিশ্চিত করতে, কাফকা সিস্টেমের প্রতিটি রেপ্লিকা সঠিকভাবে সিঙ্ক্রোনাইজড থাকতে হবে, যাতে একটির ব্যর্থতার কারণে অন্যটি ডেটা হারাতে না পারে।
- কাফকা কনফিগারেশন, যেমন
acks=allএবংmin.insync.replicas, এই দুটি ধারণাকে একত্রিত করে একটি স্থিতিশীল এবং নির্ভরযোগ্য সিস্টেম তৈরি করতে সাহায্য করে।
সারাংশ
কাফকায় Replication Factor এবং Data Durability নিশ্চিত করতে কাফকা সিস্টেমের বিভিন্ন কনফিগারেশন ব্যবহার করা হয়। Replication Factor ডেটার উচ্চ প্রাপ্যতা এবং Fault Tolerance নিশ্চিত করে, যেখানে Data Durability ডেটার স্থায়ীত্ব এবং নিরাপত্তা নিশ্চিত করে। কাফকাতে উচ্চ Replication Factor এবং সঠিক acks ও min.insync.replicas কনফিগারেশন দ্বারা ডেটার নির্ভরযোগ্যতা এবং স্থায়ীত্ব বৃদ্ধি করা যায়, যাতে ডেটা কখনো হারানো না যায়।
Read more
