অ্যাপাচি কাফকা একটি শক্তিশালী এবং স্কেলেবল ডিস্ট্রিবিউটেড স্ট্রিমিং প্ল্যাটফর্ম যা ডেটা স্ট্রিমিং, স্টোরেজ, এবং প্রসেসিংয়ের জন্য ব্যবহৃত হয়। কাফকায় ডেটা পাঠানোর প্রধান পদ্ধতি হল টপিক (Topic) এর মাধ্যমে। তবে, কাফকা ডেটা পাঠানোর সময় আপনি Key-Value Pairs ব্যবহার করতে পারেন, যা ডেটা ব্যবস্থাপনা এবং প্রসেসিংকে আরও সহজ এবং কার্যকর করে তোলে।
Key-Value Pair কাফকা মেসেজ প্রেরণের সময় নির্দিষ্টভাবে একটি কী (Key) এবং তার সাথে সম্পর্কিত একটি ভ্যালু (Value) ব্যবহার করে। এর মাধ্যমে আপনি মেসেজের অর্ডারিং, পার্টিশনিং এবং ডেটা প্রসেসিংয়ে আরও বেশি কন্ট্রোল পেতে পারেন।
Key-Value Pairs দিয়ে Data Publishing কী?
কাফকা মেসেজগুলো সাধারণত Producer দ্বারা পাঠানো হয় এবং মেসেজে Key এবং Value থাকে। এই Key-Value পেয়ারগুলো কাফকার পার্টিশনিং মেকানিজম এবং কনজিউমার গ্রুপের মধ্যে ডেটা বিতরণের উপর গুরুত্বপূর্ণ প্রভাব ফেলে। সাধারণত, Key নির্ধারণ করে কোন পার্টিশনে ডেটা পাঠানো হবে এবং Value হলো সেই ডেটা যা আপনি পাঠাতে চান।
Key-Value Pairs এর সুবিধা:
- পার্টিশনিং (Partitioning): কাফকা ডেটা পার্টিশন করার জন্য Key ব্যবহার করে। একাধিক কনজিউমার থাকলে একই Key এর ডেটা এক পার্টিশনে পাঠানো হয়, যা ডেটার অর্ডার বজায় রাখে।
- অর্ডারিং (Ordering): Key এর উপর ভিত্তি করে মেসেজগুলোর সঠিক অর্ডার নিশ্চিত করা যায়।
- ডেটা গ্রুপিং (Data Grouping): Key এর মাধ্যমে আপনি ডেটাকে গ্রুপ করতে পারেন। একই Key এর সঙ্গে সম্পর্কিত ভ্যালুগুলে একই পার্টিশনে থাকবে।
- ফ্লেক্সিবিলিটি: Key-Value পেয়ার ডেটা ম্যানিপুলেশনের জন্য একটি নমনীয় পদ্ধতি সরবরাহ করে।
Key-Value Pair দিয়ে Kafka Producer তৈরি করা
কাফকায় Key-Value Pair ব্যবহার করতে, প্রথমে আপনাকে Producer তৈরি করতে হবে। এখানে একটি সাধারণ কাফকা প্রডিউসারের উদাহরণ দেওয়া হলো যেখানে Key এবং Value হিসেবে String ডেটা ব্যবহার করা হচ্ছে।
১. Producer কনফিগারেশন এবং Key-Value পেয়ার পাঠানো
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;
public class KafkaKeyValueProducer {
public static void main(String[] args) {
// Kafka প্রডিউসারের কনফিগারেশন সেটআপ
Properties properties = new Properties();
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
// KafkaProducer তৈরি
KafkaProducer<String, String> producer = new KafkaProducer<>(properties);
// Key-Value পেয়ার সহ মেসেজ পাঠানো
String key = "user-123";
String value = "This is a test message";
ProducerRecord<String, String> record = new ProducerRecord<>("my_topic", key, value);
producer.send(record, (metadata, exception) -> {
if (exception != null) {
exception.printStackTrace();
} else {
System.out.println("Message sent successfully with key: " + key + " and value: " + value);
}
});
// Producer ক্লোজ করা
producer.close();
}
}
এই কোডে, আমরা ProducerRecord তৈরি করেছি যেখানে key হলো user-123 এবং value হলো "This is a test message"। যখন এই মেসেজ কাফকা টপিকে পাঠানো হয়, তখন কাফকা সেই Key এর ভিত্তিতে মেসেজটি পার্টিশন করবে।
Key-Value Pair এবং Kafka Partitioning
কাফকা ক্লাস্টারে, Key নির্ধারণ করে কোন পার্টিশনে মেসেজটি যাবে। যদি আপনি একই Key দিয়ে বারবার ডেটা পাঠান, তাহলে কাফকা তা একই পার্টিশনে রেখে মেসেজের অর্ডার বজায় রাখে। এটি নিশ্চিত করে যে এক ধরনের ডেটা বা সেম মেসেজ সবসময় একই পার্টিশনে থাকবে, যা অর্ডার বজায় রাখতে সাহায্য করে।
১. Key-Based Partitioning:
যখন আপনি একটি Key পাঠান, কাফকা তা পার্টিশন করার জন্য একটি নির্দিষ্ট হ্যাশিং অ্যালগরিদম ব্যবহার করে। এর মাধ্যমে প্রতিটি Key নির্দিষ্ট একটি পার্টিশনে যায় এবং সেই পার্টিশনে থাকা সব মেসেজের মধ্যে অর্ডার বজায় রাখা হয়।
২. Partitioner:
আপনি কাফকার Partitioner ইন্টারফেস ব্যবহার করে কাস্টম পার্টিশনিং লজিক তৈরি করতে পারেন। সাধারণত, কাফকা ডিফল্টভাবে Key এর উপর ভিত্তি করে পার্টিশন নির্বাচন করে, তবে আপনি নিজে কাস্টম পার্টিশনিং লজিক প্রয়োগ করতে পারেন।
Kafka Consumer দিয়ে Key-Value Pair গ্রহণ করা
কনজিউমারও একইভাবে কাফকায় Key-Value পেয়ার গ্রহণ করে এবং পরবর্তীতে সেগুলি প্রসেস করতে পারে। নিচে একটি সাধারণ কনজিউমারের উদাহরণ দেওয়া হলো:
১. Consumer কনফিগারেশন এবং Key-Value পেয়ার গ্রহণ
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.util.Properties;
public class KafkaKeyValueConsumer {
public static void main(String[] args) {
// Consumer কনফিগারেশন
Properties properties = new Properties();
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
properties.put(ConsumerConfig.GROUP_ID_CONFIG, "test-consumer-group");
properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
// KafkaConsumer তৈরি
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
// টপিক সাবস্ক্রাইব করা
consumer.subscribe(List.of("my_topic"));
// মেসেজ রিসিভ করা
while (true) {
var records = consumer.poll(1000);
for (ConsumerRecord<String, String> record : records) {
System.out.println("Consumed Key: " + record.key() + ", Value: " + record.value());
}
}
}
}
এই কনজিউমারটি my_topic টপিক থেকে ডেটা গ্রহণ করবে এবং প্রতিটি মেসেজের Key এবং Value প্রদর্শন করবে।
Key-Value Pair এর মাধ্যমে Data Routing
Key-Value পেয়ার ব্যবহার করলে আপনি আরও উন্নত ডেটা রাউটিং কৌশল প্রয়োগ করতে পারেন, যেমন:
- ডেটার পার্টিশনিং: Key এর ভিত্তিতে কাফকা স্বয়ংক্রিয়ভাবে ডেটা নির্দিষ্ট পার্টিশনে রুট করবে। একে Key-based routing বলা হয়।
- অর্ডারিং বজায় রাখা: একই Key দিয়ে পাঠানো সমস্ত মেসেজ একই পার্টিশনে থাকবে, ফলে অর্ডার বজায় থাকে।
সারাংশ
অ্যাপাচি কাফকায় Key-Value পেয়ার ব্যবহার করলে আপনি ডেটা ম্যানেজমেন্ট এবং রাউটিংয়ের উপর আরও বেশি নিয়ন্ত্রণ পেতে পারেন। Key এর মাধ্যমে পার্টিশনিং এবং অর্ডারিং নিশ্চিত করা যায়, এবং Value হলো সেই ডেটা যা প্রক্রিয়া বা বিশ্লেষণের জন্য পাঠানো হচ্ছে। কাফকা প্রডিউসার এবং কনজিউমার কনফিগারেশন দিয়ে Key-Value পেয়ার ব্যবহার করা সহজ, এবং এটি ডিস্ট্রিবিউটেড ডেটা প্রসেসিংয়ের জন্য একটি কার্যকরী পদ্ধতি।
Read more
