অ্যাপাচি কাফকা (Apache Kafka) এর প্রধান উদ্দেশ্য হল ডিস্ট্রিবিউটেড স্ট্রিমিং ডেটা পরিচালনা করা। কাফকা কনজিউমাররা একটি টপিক থেকে ডেটা পাঠ করতে বা গ্রহণ করতে সক্ষম হয়। ডেটা কনজিউমারদের কাছে পৌঁছানোর জন্য কাফকা polling পদ্ধতি ব্যবহার করে, যা কনজিউমারের জন্য একটি গুরুত্বপূর্ণ মেকানিজম। কনজিউমারকে ডেটা গ্রহণের জন্য পোলিং ব্যবহার করতে হয় এবং এটি কাফকার কার্যকরী ডেটা কনজাম্পশন প্রক্রিয়ায় একটি গুরুত্বপূর্ণ ভূমিকা পালন করে।
এখানে Kafka Consumer Polling এবং Data Consumption সম্পর্কে বিস্তারিত আলোচনা করা হলো।
Kafka Consumer Polling
Kafka Consumer Polling হল সেই প্রক্রিয়া যার মাধ্যমে কাফকা কনজিউমার একটি নির্দিষ্ট টপিক থেকে ডেটা গ্রহণ করে। কনজিউমার একটি নির্দিষ্ট পোলিং ইন্টারভ্যালের মাধ্যমে কাফকা ব্রোকারের কাছ থেকে মেসেজ নেয়। পোলিং হচ্ছে একটি ব্লকিং অপারেশন, অর্থাৎ কনজিউমারটি একটি নির্দিষ্ট সময়ের জন্য অপেক্ষা করে ডেটার জন্য, যদি কোনও নতুন ডেটা থাকে, তাহলে এটি তা গ্রহণ করে।
১. Poll() মেথড ব্যবহার
Kafka কনজিউমারদের ডেটা পোল করার জন্য poll() মেথড ব্যবহার করতে হয়। এই মেথডটি কনজিউমারের কাছে ডেটা পাওয়ার জন্য কাফকা ক্লাস্টারকে প্রশ্ন করে। poll() মেথডটি ডেটা ফেচ করার পাশাপাশি কনজিউমারদের পার্টিশন ম্যানেজমেন্ট এবং অ্যাকনলেজমেন্টও পরিচালনা করে।
Poll() মেথডের সাধারণ কাঠামো:
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
এখানে:
Duration.ofMillis(100): পোলিং সময়ের জন্য অপেক্ষা করবে ১০০ মিলিসেকেন্ড (যদি এই সময়ের মধ্যে ডেটা না পাওয়া যায়, তবে এটি নতুন ডেটা পাওয়ার জন্য আরও অপেক্ষা করবে)।consumer.poll(): কনজিউমার পোলিং অপারেশন চালায় এবং ডেটা ফিরিয়ে আনে।
২. Polling Frequency এবং Performance
- Polling Frequency: পোলিং ফ্রিকোয়েন্সি কনফিগারেশন গুরুত্বপূর্ণ, কারণ খুব কম পোলিং ইন্টারভ্যাল ডেটা কনজাম্পশনের গতিকে ধীর করতে পারে, এবং খুব বেশি ফ্রিকোয়েন্সি সিস্টেম রিসোর্সের উপর চাপ সৃষ্টি করতে পারে।
- Performance: পোলিং ইন্টারভ্যাল যত বেশি হবে, কনজিউমার সেই সময়ের মধ্যে আরও বেশি ডেটা সংগ্রহ করতে সক্ষম হবে, কিন্তু এটি বেশি সিস্টেম রিসোর্স ব্যবহারও করতে পারে।
Kafka Consumer Data Consumption
Kafka কনজিউমাররা টপিক থেকে ডেটা গ্রহণ করার জন্য বিভিন্ন কৌশল ব্যবহার করতে পারে, যেমন auto-commit বা manual-commit।
১. Auto Commit:
Kafka কনজিউমারের জন্য auto-commit ডিফল্ট পদ্ধতি যেখানে কনজিউমার মেসেজ কনজাম্প করার পরে স্বয়ংক্রিয়ভাবে সেটি অ্যাকনলেজড করে দেয়। এটি দ্রুত কাজ করার সুবিধা দেয়, কিন্তু কখনো কখনো ডেটা হারানোর সম্ভাবনা থাকে যদি কনজিউমার সঠিকভাবে মেসেজ প্রক্রিয়া না করে।
enable.auto.commit=true
auto.commit.interval.ms=1000
২. Manual Commit:
Manual commit পদ্ধতিতে, কনজিউমার তার নিজস্ব হাতেই মেসেজ অ্যাকনলেজড করে। এটি অধিক নির্ভরযোগ্য, কারণ কনজিউমার নিশ্চিত হতে পারে যে মেসেজ প্রক্রিয়া হওয়ার পরে সেটি কমিট করা হয়েছে। এই পদ্ধতিটি সাধারণত খুবই দরকারী যখন কনজিউমারের মেসেজ প্রক্রিয়া খুবই গুরুত্বপূর্ণ বা সময়সাপেক্ষ।
consumer.commitSync();
৩. Offset Management:
কনজিউমার যে মেসেজগুলো প্রক্রিয়া করেছে, তার একটি রেকর্ড offset হিসেবে রাখা হয়। এটি কাফকায় একটি নির্দিষ্ট পজিশনে পৌঁছানোর জন্য ব্যবহৃত হয়, যাতে কনজিউমার নিশ্চিত হতে পারে যে আগের মেসেজগুলো হারানো হয়নি এবং সঠিক জায়গা থেকে ডেটা গ্রহণ করা হচ্ছে।
- Committed Offsets: প্রতি বার কনজিউমার যখন ডেটা গ্রহন করে, তখন এটি একটি offset কমিট করে, এবং পরবর্তীতে এটি সেই offset থেকে ডেটা গ্রহণ করে।
- Rebalancing: যদি কনজিউমার গ্রুপের সদস্য যোগ বা বাদ হয়, তবে Kafka ক্লাস্টার rebalancing করে, যা নতুন কনজিউমারদের জন্য সঠিক offset দেওয়ার কাজ করে।
Kafka Consumer Group
কনজিউমার গ্রুপ ব্যবহার করলে একাধিক কনজিউমার একযোগে ডেটা প্রক্রিয়া করতে পারে, যাতে দ্রুত ডেটা কনজাম্পশন সম্ভব হয়। যখন একাধিক কনজিউমার একটি গ্রুপে থাকে, তখন কাফকা ব্রোকার সেই গ্রুপের মধ্যে টপিকের পার্টিশনগুলি ভাগ করে দেয়। প্রতিটি পার্টিশন এক কনজিউমার দ্বারা প্রক্রিয়া করা হয়, ফলে ডেটা প্রক্রিয়া আরো দ্রুত হয়।
১. Consumer Group-এর সুবিধা:
- Parallel Processing: একাধিক কনজিউমার একে অপরের সাথে প্রতিদ্বন্দ্বিতা না করে আলাদাভাবে পার্টিশন থেকে ডেটা গ্রহণ করতে পারে।
- Scalability: কনজিউমার গ্রুপের মাধ্যমে সহজেই সিস্টেম স্কেল করা সম্ভব।
- Fault Tolerance: এক কনজিউমার ব্যর্থ হলে অন্য কনজিউমার সেই পার্টিশন থেকে ডেটা প্রক্রিয়া করতে পারে।
২. Kafka Consumer Group কনফিগারেশন:
কনজিউমার গ্রুপের জন্য একটি গ্রুপ আইডি (group.id) কনফিগার করতে হয়। উদাহরণস্বরূপ:
group.id=my-consumer-group
সারাংশ
Kafka কনজিউমারদের ডেটা গ্রহণের প্রক্রিয়া polling পদ্ধতি ব্যবহার করে। কনজিউমাররা poll() মেথড ব্যবহার করে ডেটা সংগ্রহ করে এবং তারপরে ডেটা অ্যাকনলেজড করে। ডেটা গ্রহণের সময় কনজিউমার গ্রুপ ব্যবহারের মাধ্যমে পারফরম্যান্স এবং স্কেলেবিলিটি বাড়ানো যায়। কনজিউমাররা auto-commit বা manual-commit পদ্ধতি ব্যবহার করে মেসেজ কমিট করে, যা ডেটার সঠিকতা এবং নির্ভরযোগ্যতা নিশ্চিত করে। কাফকার এই পদ্ধতিগুলি ব্যবহার করে রিয়েল-টাইম ডেটা কনজাম্পশন এবং প্রসেসিং খুবই কার্যকর এবং দ্রুত হয়।
Read more
