অ্যাপাচি কাফকা (Apache Kafka) একটি ডিস্ট্রিবিউটেড স্ট্রিমিং প্ল্যাটফর্ম, যেখানে ডেটার প্রসেসিং এবং ডিস্ট্রিবিউশন করা হয় বিভিন্ন topic এবং partition এর মাধ্যমে। কাফকা কনসিউমাররা যখন একটি topic থেকে ডেটা পড়েন, তখন তারা প্রতিটি বার্তার জন্য একটি নির্দিষ্ট offset ট্র্যাক করে। Offset ম্যানেজমেন্ট কাফকার একটি গুরুত্বপূর্ণ অংশ, যা কনসিউমারদের ডেটা প্রক্রিয়াকরণের অবস্থা ট্র্যাক করতে সহায়তা করে।
এই লেখায় আমরা offset ম্যানেজমেন্ট এবং auto-commit এর কার্যপ্রণালী এবং প্রভাব সম্পর্কে আলোচনা করব।
Offset কী এবং কেন এটি প্রয়োজন?
Offset হলো একটি নির্দিষ্ট সংখ্যার মান, যা একটি partition এর মধ্যে প্রতিটি বার্তার অবস্থান চিহ্নিত করে। যখন কনসিউমার একটি partition থেকে বার্তা পড়েন, তারা প্রতিটি বার্তার জন্য একটি নির্দিষ্ট offset ধারণ করে। এটি ডেটা প্রক্রিয়াকরণের ট্র্যাকিংয়ে ব্যবহৃত হয়, যাতে কনসিউমার জানেন তারা কোন বার্তা পর্যন্ত পড়েছে এবং কোথা থেকে পরবর্তী বার্তা পড়া উচিত।
Offset ম্যানেজমেন্টের প্রয়োজনীয়তা
- Stateful Processing: কনসিউমাররা তাদের offset সেভ করে রাখলে, তারা পরবর্তী বার্তা পড়তে পারবে নির্দিষ্ট অবস্থান থেকে, এবং কোনো বার্তা হারাবে না।
- Fault Tolerance: যদি কনসিউমার কোনো কারণে ব্যর্থ হয়, তখন সঠিক offset দ্বারা তারা আবার পুনরায় সঠিক স্থান থেকে ডেটা প্রসেস করতে পারবে।
- At-Least-Once Delivery: সঠিক offset ব্যবস্থাপনা নিশ্চিত করে যে ডেটা কমপক্ষে একবার কনসিউমারের কাছে পৌঁছাবে, এমনকি যদি কোনো কনসিউমার ডাউন হয়ে যায়।
Offset ম্যানেজমেন্ট পদ্ধতি
কাফকা কনসিউমারদের জন্য দুই ধরনের offset management পদ্ধতি প্রদান করে:
১. Manual Offset Management
এই পদ্ধতিতে কনসিউমার নিজে সিদ্ধান্ত নেন কবে এবং কোথায় offset কমিট করবেন। কনসিউমার বার্তা প্রক্রিয়া শেষ করার পর, তারা commit করেন যাতে পরবর্তী বার্তা পড়ার জন্য সঠিক স্থানে পুনরায় শুরু করা যায়। এটি বেশ সুবিধাজনক, কারণ কনসিউমার পূর্ণ নিয়ন্ত্রণ পান কবে এবং কোথায় offset আপডেট হবে।
- commitSync(): এটি ব্যবহার করে কনসিউমার সিঙ্ক্রোনাসভাবে offset কমিট করতে পারেন।
- commitAsync(): এটি ব্যবহার করে কনসিউমার অ্যাসিঙ্ক্রোনাসভাবে offset কমিট করতে পারেন, যা দ্রুততর তবে কমপ্লেক্স হতে পারে।
২. Automatic Offset Management (Auto-commit)
কনসিউমারের জন্য auto-commit সুবিধা রয়েছে, যেখানে কাফকা স্বয়ংক্রিয়ভাবে কনসিউমারের offset কমিট করে দেয়। এটি সাধারণত একটি নির্দিষ্ট সময় পর পর হয়। যখন কনসিউমার বার্তা পড়েন, তখন কাফকা তাদের জন্য offset ট্র্যাক করে এবং প্রতিটি বার্তা পড়ার পর তা স্বয়ংক্রিয়ভাবে আপডেট করা হয়।
- এই পদ্ধতিতে কনসিউমারকে manually commit করতে হয় না, তবে কাফকা এই কাজটি নিজের দ্বারা করে।
Auto-commit এর কনফিগারেশন
কনফিগারেশন ফাইলে enable.auto.commit প্যারামিটারটি যদি true সেট করা থাকে, তাহলে এটি auto-commit চালু করবে।
enable.auto.commit=true
auto.commit.interval.ms=1000
এখানে, auto.commit.interval.ms হল সেই সময়সীমা (মিলিসেকেন্ডে) যা পর পর কাফকা কনসিউমারের offset কমিট করার জন্য অপেক্ষা করবে।
Auto-commit এবং Manual Commit এর পার্থক্য
| বৈশিষ্ট্য | Auto-commit | Manual Commit |
|---|---|---|
| কমিট প্রসেস | স্বয়ংক্রিয়ভাবে কাফকা সম্পাদন করে। | কনসিউমার নিজে করতে হয়। |
| লচন (Latency) | কম লেটেন্সি, কিন্তু বেশি ঝুঁকি। | বেশি লেটেন্সি, তবে উচ্চ নির্ভরযোগ্যতা। |
| ফল্ট টলারেন্স | কোন একটি বার্তা হারানোর ঝুঁকি থাকতে পারে। | কোনো বার্তা হারানোর ঝুঁকি নেই। |
| প্রয়োগ | দ্রুত ডেটা প্রক্রিয়াকরণের জন্য উপযুক্ত। | নির্ভরযোগ্য ডেটা প্রসেসিং যেখানে নিশ্চিত করতে হয় যে কোনো বার্তা মিস না হয়। |
| ব্যবহার | যখন কনসিউমারের ডেটা প্রক্রিয়াকরণ দ্রুত এবং আদর্শ অর্ডার প্রয়োজন হয়। | যখন নির্ভরযোগ্যতা বা নির্দিষ্ট অর্ডার প্রয়োজন হয়। |
সারাংশ
Offset কাফকায় কনসিউমারদের জন্য একটি গুরুত্বপূর্ণ অংশ যা ডেটা প্রক্রিয়াকরণের অবস্থান ট্র্যাক করতে সহায়তা করে। Auto-commit এবং Manual Commit এর মধ্যে পার্থক্য রয়েছে, যেখানে auto-commit স্বয়ংক্রিয়ভাবে offset কমিট করে এবং manual commit কনসিউমারকে সম্পূর্ণ নিয়ন্ত্রণ দেয়। কাফকা সিস্টেমে সঠিক offset ম্যানেজমেন্ট সিস্টেমের পারফরম্যান্স এবং রিলায়েবিলিটি নিশ্চিত করতে সাহায্য করে, বিশেষত ডিস্ট্রিবিউটেড পরিবেশে যেখানে কনসিউমারদের পারফরম্যান্স গুরুত্বপূর্ণ।
Read more
