Retention Policies এবং Data Cleanup কনফিগারেশন

অ্যাপাচি কাফকা (Apache Kafka) একটি শক্তিশালী ডিস্ট্রিবিউটেড স্ট্রিমিং প্ল্যাটফর্ম হলেও, এটি ডেটা সংরক্ষণ এবং পরিস্কার করার জন্য কিছু কনফিগারেশন প্রদান করে। কাফকা টপিকের ডেটা সময়ভিত্তিক বা আকারভিত্তিক রাখা যায় এবং নির্দিষ্ট সময় পরে পুরানো ডেটা মুছে ফেলা হয়। এই প্রক্রিয়াটি Retention Policy নামে পরিচিত এবং কাফকা এর মাধ্যমে আপনি নির্দিষ্ট ডেটা ম্যানেজমেন্ট কৌশল প্রয়োগ করতে পারেন।

Retention Policies কী?

কাফকা টপিকের Retention Policy ডেটার সংরক্ষণকাল বা ডেটার যতটুকু সময় ধরে রাখা হবে তা নির্ধারণ করে। এটি কাফকা ক্লাস্টারে সংরক্ষিত মেসেজগুলোর পরিস্কার (cleanup) কিভাবে এবং কখন হবে তা নিয়ন্ত্রণ করে। একটি টপিকের ডেটা retention policy এর মাধ্যমে নিয়ন্ত্রিত হয়, যা সময়, আকার বা উভয়ের উপর ভিত্তি করে হতে পারে।

Retention Policy এর দুই ধরনের কনফিগারেশন:

1. Time-based Retention:
   • এটি নির্ধারণ করে যে ডেটা কতদিন বা কত সময় ধরে টপিকে থাকবে। সময় অতিক্রম করলে ডেটা স্বয়ংক্রিয়ভাবে মুছে যাবে।
   • এই কনফিগারেশনে, log.retention.hours বা log.retention.ms প্যারামিটার ব্যবহার করে retention টাইম নির্ধারণ করা হয়।
2. Size-based Retention:
   • এই কনফিগারেশনটি টপিকের ডেটার আকার নির্ধারণ করে। যখন একটি টপিকের ডেটা নির্ধারিত আকারের বেশি হবে, তখন পুরানো ডেটা মুছে ফেলা হবে।
   • log.retention.bytes প্যারামিটার ব্যবহার করে নির্দিষ্ট আকারে ডেটা সংরক্ষণের সীমা নির্ধারণ করা যায়।

Retention Policy কনফিগারেশন উদাহরণ

কাফকা টপিকের Retention Policy কনফিগার করার জন্য নিম্নলিখিত কনফিগারেশন ব্যবহৃত হয়:

# Kafka Topic Retention Configuration Example
log.retention.hours = 168  # 7 days
log.retention.bytes = 1073741824  # 1 GB

এখানে:

• log.retention.hours: টপিকের ডেটা ৭ দিনের বেশি থাকলে মুছে যাবে।
• log.retention.bytes: যদি টপিকের আকার ১GB ছাড়িয়ে যায়, তবে পুরানো ডেটা মুছে ফেলা হবে।

Data Cleanup (ডেটা পরিস্কার) কনফিগারেশন

ডেটা ক্লিনআপ হল সেই প্রক্রিয়া যেখানে কাফকা পুরানো এবং অপ্রয়োজনীয় ডেটা মুছে ফেলে। ডেটা ক্লিনআপ একটি গুরুত্বপূর্ণ অংশ কারণ এটি স্টোরেজ ব্যবহারের সঠিক নিয়ন্ত্রণ রাখে। এই প্রক্রিয়াটি বিভিন্ন ধরনের হতে পারে:

1. Delete Cleanup Policy:

   • এটি কাফকাতে ডেটার মুছে ফেলার প্রক্রিয়া নির্ধারণ করে। যখন retention policy অনুযায়ী টপিকের ডেটা আউটডেটেড হয়ে যায়, তখন সেটি মুছে ফেলা হয়।
   • এটি সাধারণত log.cleanup.policy প্যারামিটার দিয়ে কনফিগার করা হয়।

   উদাহরণ:

   log.cleanup.policy = delete
   

2. Compact Cleanup Policy:

   • এটি সাধারণত স্টেটফুল ডেটার জন্য ব্যবহৃত হয়, যেমন কিওয়ারি-ভিত্তিক স্টোরেজ। এখানে, এক্সিস্টিং মেসেজগুলোর সর্বশেষ ভার্সনই রাখা হয় এবং পুরানো ডেটা বা আউটডেটেড মেসেজ মুছে ফেলা হয়। এই ধরনের কনফিগারেশন স্যুটেবল যখন ডেটার কিছু অংশ হালনাগাদ হয়, তবে পুরানো ডেটা মুছে ফেলা হয় না।

   উদাহরণ:

   log.cleanup.policy = compact
   

3. Delete and Compact Combination:

   • আপনি চাইলে ডেটার জন্য delete এবং compact উভয় পলিসি একসাথে ব্যবহার করতে পারেন। এতে কিছু ডেটা নিয়মিত মুছে ফেলা হবে এবং কিছু ডেটা কম্প্যাক্ট করা হবে (যেমন সর্বশেষ ভার্সন রাখা হবে)।

   উদাহরণ:

   log.cleanup.policy = delete,compact
   

Log Segment এবং Cleanup

কাফকা ডেটা স্টোরেজটি log segments-এ বিভক্ত থাকে। প্রতিটি পার্টিশনে নতুন ডেটা যুক্ত হওয়ার পর, এটি একটি নতুন সেগমেন্ট ফাইল হিসেবে সংরক্ষিত হয়। যখন একটি সেগমেন্ট নির্দিষ্ট বয়স বা আকারে পৌঁছায়, তখন সেটি পুরানো হিসেবে চিহ্নিত হয় এবং ক্লিনআপ পলিসি অনুসারে মুছে ফেলা বা কম্প্যাক্ট করা হয়।

Log Segment এর কনফিগারেশন:

1. log.segment.bytes: এটি একটি লগ সেগমেন্টের আকার নির্ধারণ করে। যখন একটি সেগমেন্ট নির্ধারিত আকারে পৌঁছায়, তখন নতুন একটি সেগমেন্ট তৈরি হয়।

   log.segment.bytes = 1073741824  # 1 GB
   

2. log.roll.hours: এটি এক একটি সেগমেন্টের জীবনকাল নির্ধারণ করে। এই কনফিগারেশনে ঘণ্টার সংখ্যা দেওয়া হয়, যার পর একটি নতুন সেগমেন্ট তৈরি হবে।

   log.roll.hours = 24  # 24 hours
   

Retention ও Cleanup Policies এর ব্যবহার

কাফকা টপিকের Retention Policy এবং Data Cleanup কনফিগারেশনের সঠিক ব্যবহার সিস্টেমের স্কেলেবিলিটি এবং পারফরম্যান্স বজায় রাখতে সহায়তা করে। নিচে কিছু গুরুত্বপূর্ণ ব্যবহারের ক্ষেত্রে:

1. High-throughput Data: যখন ডেটা বড় আকারে প্রবাহিত হয়, তখন retention policy অনুযায়ী পুরানো ডেটা মুছে ফেলা গুরুত্বপূর্ণ, যাতে স্টোরেজ চাপ কম থাকে।
2. Stateful Data: যদি ডেটার কিছু অংশ চিরকাল ধরে রাখতে হয় (যেমন লগ, কিওয়ারি স্টোরেজ), তখন compact cleanup policy ব্যবহার করা উপকারী হতে পারে।
3. Avoid Data Loss: retention policy ঠিকভাবে কনফিগার না করলে গুরুত্বপূর্ণ ডেটা হঠাৎ মুছে যেতে পারে। তাই সঠিক retention time ও cleanup policy নির্বাচন করা উচিত।

সারাংশ

অ্যাপাচি কাফকা Retention Policies এবং Data Cleanup কনফিগারেশন ব্যবহার করে ডেটার ম্যানেজমেন্টকে আরও কার্যকর এবং সুবিধাজনক করে তোলে। Time-based বা Size-based Retention কৌশল ডেটার আয়ু নির্ধারণ করে, এবং Delete অথবা Compact Cleanup Policies ডেটার পরিস্কার ও সংরক্ষণের পদ্ধতি নির্ধারণ করে। এই কনফিগারেশনগুলির মাধ্যমে কাফকা সিস্টেমের পারফরম্যান্স, স্কেলেবিলিটি এবং স্টোরেজ ব্যবস্থাপনা নিশ্চিত করা সম্ভব।