Kafka Logs এবং Errors ডিবাগ করা

Kafka একটি ডিস্ট্রিবিউটেড স্ট্রিমিং প্ল্যাটফর্ম হওয়ায় এর মধ্যে বিভিন্ন ধরনের ত্রুটি (errors) এবং সমস্যার (issues) সৃষ্টি হতে পারে। সঠিকভাবে Kafka Logs এবং Errors বিশ্লেষণ ও ডিবাগ করার মাধ্যমে সমস্যার সমাধান দ্রুত করা যায়। Kafka ত্রুটি ডিবাগ করতে মূলত ব্রোকার, প্রডিউসার, এবং কনসিউমারের লগ ফাইল এবং কনফিগারেশন বিশ্লেষণ করা হয়।

Kafka Logs কীভাবে কাজ করে?

Kafka ব্রোকার, প্রডিউসার, এবং কনসিউমার তাদের কার্যক্রমের তথ্য লগ ফাইলে সংরক্ষণ করে। Kafka Logs মূলত দুটি প্রধান ক্যাটেগরিতে বিভক্ত:

1. Server Logs:
   • Kafka ব্রোকারের কার্যক্রম সম্পর্কিত তথ্য।
   • উদাহরণ: ব্রোকার স্টার্ট/স্টপ, পার্টিশন রিপ্লিকেশন, লিডার নির্বাচন, এবং ব্রোকারের ত্রুটি।
2. Application Logs:
   • প্রডিউসার এবং কনসিউমার অ্যাপ্লিকেশন থেকে ডেটা পাঠানো বা গ্রহণ করার সময় লগ করা তথ্য।

Kafka Logs ডিফল্টভাবে INFO, DEBUG, এবং ERROR লেভেলে থাকে, যা লগিং কনফিগারেশনের উপর নির্ভর করে।

Kafka Logs এর অবস্থান

Kafka ডিফল্টভাবে লগ ফাইলগুলি সংরক্ষণ করে এর log.dirs বা log.dir কনফিগারেশন প্যারামিটারে নির্ধারিত অবস্থানে। লগ ফাইলের সাধারণ অবস্থান:

• Linux/MacOS:

  /tmp/kafka-logs/
  

• Windows:

  C:\tmp\kafka-logs\
  

Kafka Server Logs:

kafka_home/logs/server.log

Zookeeper Logs:

zookeeper_home/logs/zookeeper.out

Kafka Errors ডিবাগ করার ধাপ

Kafka Errors ডিবাগ করার জন্য প্রধান ধাপগুলো হলো:

১. Logs বিশ্লেষণ করা

Kafka ব্রোকার, প্রডিউসার, এবং কনসিউমার থেকে সংশ্লিষ্ট লগ ফাইল সংগ্রহ করে তাতে থাকা ত্রুটি বার্তাগুলো বিশ্লেষণ করুন।

• Common Error Logs:
  • Leader not available: লিডার ব্রোকার অনুপলব্ধ।
  • No such partition: নির্ধারিত পার্টিশন বিদ্যমান নেই।
  • Offset out of range: কনসিউমার অফসেট ভুল বা অনুপলব্ধ।
  • Broker may not be available: ব্রোকার ডাউন বা সংযোগ সমস্যা।

২. লগিং লেভেল পরিবর্তন করা

Kafka সার্ভারে লগিং লেভেল পরিবর্তন করে DEBUG বা TRACE মোডে চালিয়ে বিস্তারিত ত্রুটি বার্তা সংগ্রহ করুন। এটি করতে log4j.properties ফাইল পরিবর্তন করুন:

log4j.rootLogger=DEBUG, stdout, file

তারপর সার্ভার রিস্টার্ট করুন:

bin/kafka-server-start.sh config/server.properties

৩. Zookeeper Logs পরীক্ষা করা

Kafka এর অনেক সমস্যা Zookeeper এর সাথে সম্পর্কিত হতে পারে। Zookeeper লগ ফাইল পরীক্ষা করুন, বিশেষত session timeout, connection loss, বা leader election সম্পর্কিত ত্রুটিগুলো।

৪. Producer Errors ডিবাগ করা

Kafka প্রডিউসার থেকে সাধারণ ত্রুটি ডিবাগ করার জন্য নিচের ধাপগুলো অনুসরণ করুন:

• Retries কনফিগার করুন:

  retries=5
  

• ত্রুটি বার্তা ধরতে try-catch ব্যবহার করুন এবং লগ ফাইল থেকে এর বিস্তারিত বার্তা সংগ্রহ করুন।
• সাধারণ ত্রুটি:
  • TimeoutException: প্রডিউসার বার্তা পাঠাতে সময় পায়নি।
  • SerializationException: ডেটা সেরিয়ালাইজ করার সমস্যা।

৫. Consumer Errors ডিবাগ করা

Kafka কনসিউমার থেকে সাধারণ ত্রুটি ডিবাগ করার জন্য:

• max.poll.interval.ms এবং session.timeout.ms সঠিকভাবে কনফিগার করুন।
• সাধারণ ত্রুটি:
  • Consumer group rebalancing: কনসিউমার গ্রুপ বার বার রিব্যালান্স করছে।
  • Offset out of range: কনসিউমারের অফসেট ভুল বা অপ্রাপ্য।

৬. কনফিগারেশন যাচাই করা

Kafka কনফিগারেশন ফাইল পরীক্ষা করে নিশ্চিত করুন যে সেটিংস সঠিক। গুরুত্বপূর্ণ কনফিগারেশনগুলো:

• log.retention.hours: লগ ডেটার সংরক্ষণ সময়।
• zookeeper.connect: Zookeeper সার্ভারের সঠিক অ্যাড্রেস।
• num.partitions: টপিকের জন্য নির্ধারিত পার্টিশনের সংখ্যা।
• replication.factor: রিপ্লিকেশনের জন্য ব্রোকার সংখ্যা।

সাধারণ Kafka Errors এবং তাদের সমাধান

১. Leader Not Available

• কারণ: লিডার ব্রোকার ডাউন বা পার্টিশন লিডার নির্বাচন হয়নি।
• সমাধান:
  • Kafka ব্রোকার পুনরায় চালু করুন।
  • নিশ্চিত করুন যে ব্রোকার এবং জুকিপার সঠিকভাবে সংযুক্ত।

২. Offset Out of Range

• কারণ: কনসিউমারের অফসেট পুরনো ডেটার জন্য অপ্রযোজ্য।
• সমাধান:

  • auto.offset.reset কনফিগারেশন ব্যবহার করুন:

    auto.offset.reset=earliest
    

৩. Broker Connection Issues

• কারণ: ব্রোকার এবং প্রডিউসার/কনসিউমারের মধ্যে সংযোগ সমস্যা।
• সমাধান:
  • ব্রোকার bootstrap.servers সঠিক কিনা যাচাই করুন।
  • নেটওয়ার্ক এবং ফায়ারওয়াল সমস্যা চেক করুন।

৪. TimeoutException

• কারণ: প্রডিউসার মেসেজ পাঠাতে সময়সীমা অতিক্রম করেছে।
• সমাধান:
  • request.timeout.ms এবং delivery.timeout.ms কনফিগারেশন বাড়িয়ে দিন।

Kafka Monitoring Tools

Kafka Logs এবং Errors মনিটর করার জন্য কিছু জনপ্রিয় টুল ব্যবহার করতে পারেন:

1. Prometheus এবং Grafana:
   • Kafka ব্রোকারের পারফরম্যান্স এবং ত্রুটি মনিটরিং।
2. Elasticsearch এবং Kibana:
   • Kafka Logs ইনডেক্সিং এবং ভিজ্যুয়ালাইজেশন।
3. Confluent Control Center:
   • Kafka ক্লাস্টার ম্যানেজমেন্ট এবং মনিটরিং।

সারাংশ

Kafka Logs এবং Errors ডিবাগ করার জন্য ব্রোকার, প্রডিউসার, এবং কনসিউমারের লগ বিশ্লেষণ অত্যন্ত গুরুত্বপূর্ণ। DEBUG এবং TRACE লেভেল লগging কনফিগার করে, ত্রুটি সম্পর্কিত বিস্তারিত তথ্য সংগ্রহ করা যায়। সাধারণ ত্রুটি যেমন Leader Not Available, Offset Out of Range, এবং TimeoutException ডিবাগ করার জন্য কনফিগারেশন এবং নেটওয়ার্ক সেটআপ সঠিকভাবে যাচাই করা প্রয়োজন। Prometheus, Grafana, এবং Kibana-এর মতো টুল ব্যবহার করে Kafka ক্লাস্টার মনিটর করা আরও সহজ এবং কার্যকর হতে পারে।