Avro স্কিমার কম্প্যাটিবিলিটি এমন একটি গুরুত্বপূর্ণ বৈশিষ্ট্য যা স্কিমা পরিবর্তন (schema evolution) পরিচালনা করতে সাহায্য করে, বিশেষ করে ডিস্ট্রিবিউটেড সিস্টেম এবং বড় ডেটা প্রসেসিং সিস্টেমে। Avro-তে স্কিমা কম্প্যাটিবিলিটি বিভিন্ন উপায়ে ব্যাখ্যা করা হয়: Backward Compatibility, Forward Compatibility, এবং Full Compatibility। এগুলোর মাধ্যমে স্কিমা পরিবর্তন বা আপডেটের পরও ডেটার সঠিকতা এবং উপযোগিতা বজায় রাখা যায়।
১. Backward Compatibility (পেছনে-কম্প্যাটিবিলিটি)
Backward Compatibility নিশ্চিত করে যে নতুন স্কিমার সাথে ডেটা পুরোনো স্কিমা অনুযায়ী পাঠ করা যাবে। অর্থাৎ, যদি নতুন স্কিমায় কিছু পরিবর্তন করা হয়, তবে পুরোনো স্কিমায় ডেটা পড়ার ক্ষমতা বজায় থাকে।
Backwards Compatible হলে, নতুন স্কিমাতে কিছু ফিল্ড যুক্ত করা যেতে পারে বা কিছু ফিল্ডের ডিফল্ট মান দেওয়া যেতে পারে, কিন্তু পুরোনো স্কিমা অনুযায়ী ডেটা এখনও সঠিকভাবে রিড (read) করা যাবে।
এটি কিভাবে কাজ করে:
- পুরোনো স্কিমার সাথে নতুন স্কিমার সংযুক্ত করা হলে, পুরোনো স্কিমায় যেসব ফিল্ড ছিল, সেগুলোর মান এখনও নতুন স্কিমায় পাওয়া যাবে, যদিও নতুন স্কিমায় কিছু অতিরিক্ত ফিল্ড থাকতে পারে।
- নতুন স্কিমায় কোনো ফিল্ড অতিরিক্ত থাকলে, পূর্ববর্তী ডেটা সেই ফিল্ড বাদ দিয়েও সঠিকভাবে রিড করা যাবে, যদি ডিফল্ট মান নির্ধারণ করা থাকে।
উদাহরণ:
- পুরোনো স্কিমায়
"age"নামে একটি ফিল্ড ছিল এবং নতুন স্কিমায়"age"এর সাথে"address"নামে নতুন একটি ফিল্ড যুক্ত করা হয়েছে। নতুন স্কিমা পূর্ববর্তী ডেটাকে সঠিকভাবে গ্রহণ করবে, কারণ"age"ফিল্ডটি পরিবর্তন করা হয়নি।
২. Forward Compatibility (সামনের দিকে-কম্প্যাটিবিলিটি)
Forward Compatibility নিশ্চিত করে যে, পুরোনো স্কিমা দিয়ে নতুন স্কিমা অনুযায়ী ডেটা সঠিকভাবে রিড করা যাবে। এটি মূলত নতুন স্কিমার থেকে পুরোনো স্কিমায় ডেটার রিডিংকে সঠিকভাবে পরিচালনা করার ক্ষমতা।
Forward Compatible হলে, পুরোনো স্কিমার মাধ্যমে নতুন স্কিমার সাথে রিডিং করা সম্ভব হয়, যেহেতু নতুন স্কিমায় অতিরিক্ত ফিল্ড থাকতে পারে, এবং পুরোনো স্কিমা সেগুলোকে উপেক্ষা করতে পারে বা ডিফল্ট মান ব্যবহার করতে পারে।
এটি কিভাবে কাজ করে:
- নতুন স্কিমায় অতিরিক্ত ফিল্ড থাকতে পারে যা পুরোনো স্কিমায় নেই। কিন্তু পুরোনো স্কিমা দিয়ে সেই নতুন ফিল্ডকে অগ্রাহ্য করা হবে বা ডিফল্ট মান হিসেবে ধরা হবে।
- পুরোনো স্কিমা দিয়ে নতুন স্কিমায় থাকা অতিরিক্ত তথ্যের প্রভাব ফেলা যাবে না।
উদাহরণ:
- পুরোনো স্কিমায়
"name"এবং"age"ফিল্ড ছিল, কিন্তু নতুন স্কিমায়"name","age", এবং"address"ফিল্ডগুলো রয়েছে। পুরোনো স্কিমা দিয়ে"address"ফিল্ডটি উপেক্ষা করা হবে, এবং ডেটা সঠিকভাবে পাঠ করা যাবে।
৩. Full Compatibility (পূর্ণ-কম্প্যাটিবিলিটি)
Full Compatibility হল একটি সংমিশ্রণ, যেখানে Backward এবং Forward উভয় ধরনের কম্প্যাটিবিলিটি নিশ্চিত করা হয়। এটি নিশ্চিত করে যে, ডেটা যে কোন স্কিমা সংস্করণে পাঠানো ও পড়া যাবে, এবং স্কিমা ইভোলিউশন (schema evolution) প্রক্রিয়ায় কোনো সমস্যা তৈরি হবে না। এটি সর্বোত্তম কম্প্যাটিবিলিটি প্রদান করে এবং ডেটা প্রসেসিংয়ের ধারাবাহিকতা নিশ্চিত করে।
Full Compatible হলে, ডেটা পুরোনো স্কিমা বা নতুন স্কিমা উভয় অবস্থাতেই কাজ করবে এবং সব ফিল্ড সমানভাবে প্রসেস করা যাবে।
এটি কিভাবে কাজ করে:
- নতুন স্কিমা পূর্ববর্তী স্কিমার মধ্যে যেকোনো পরিবর্তন করতে পারে, তবে সব ফিল্ডের মান ঠিকভাবে পাওয়া যাবে এবং কোন ভুল ঘটবে না।
- স্কিমার কোনো একটি অংশের পরিবর্তন বা সংশোধন করলে, পুরোনো এবং নতুন স্কিমা উভয় দ্বারা একই ডেটা ব্যবহৃত হতে পারে।
উদাহরণ:
- পুরোনো স্কিমায়
"name","age"ছিল, এবং নতুন স্কিমায়"name","age","address"রয়েছে। যদি"address"ফিল্ডটির জন্য ডিফল্ট মান দেওয়া থাকে, তবে এটি পুরোনো স্কিমার মাধ্যমে সঠিকভাবে রিড করা যাবে, আর নতুন স্কিমা"address"ফিল্ডটি গ্রহণ করবে।
সারাংশ
Avro স্কিমার কম্প্যাটিবিলিটি ডেটা ইভোলিউশনের ক্ষেত্রে গুরুত্বপূর্ণ ভূমিকা পালন করে। Backward Compatibility, Forward Compatibility, এবং Full Compatibility এর মাধ্যমে ডেটা এবং স্কিমার পরিবর্তনসমূহ সঠিকভাবে পরিচালিত হয় এবং ডিস্ট্রিবিউটেড সিস্টেমের মধ্যে ডেটার ধারাবাহিকতা বজায় থাকে। এগুলো নিশ্চিত করে যে, বিভিন্ন স্কিমা সংস্করণে ডেটা সঠিকভাবে রিড এবং রাইট করা যাবে, যা দীর্ঘমেয়াদী ডেটা ব্যবস্থাপনার জন্য অপরিহার্য।
Read more
