REST API তে Avro Schema Validation

Avro ফরম্যাটের সুবিধা এক্ষেত্রে বিশেষভাবে প্রযোজ্য যখন REST API-এর মাধ্যমে ডেটা ট্রান্সফার করা হয়। বিভিন্ন সিস্টেমের মধ্যে ডেটা ইন্টিগ্রিটি নিশ্চিত করার জন্য, Avro Schema Validation একটি গুরুত্বপূর্ণ অংশ, যা ডেটার গঠন এবং স্কিমা চেক করে নিশ্চিত করে যে পাঠানো এবং গ্রহণ করা ডেটা সঠিক গঠন অনুযায়ী রয়েছে। REST API-তে Avro Schema Validation ব্যবহার করা হলে এটি ডেটা ম্যানিপুলেশন এবং স্কিমা ইভোলিউশনে সহায়তা করে।

Avro Schema Validation কেন গুরুত্বপূর্ণ?

• ডেটা ইন্টিগ্রিটি: Avro স্কিমা নিশ্চিত করে যে ডেটার গঠন সঠিক এবং পূর্বনির্ধারিত কাঠামোর সঙ্গে সামঞ্জস্যপূর্ণ।
• স্কিমা ইভোলিউশন: API ব্যবহারকারীরা যখন স্কিমা পরিবর্তন করেন, তখন নতুন এবং পুরনো স্কিমার মধ্যে সঙ্গতি রক্ষা করতে Schema Validation গুরুত্বপূর্ণ।
• ডেটা ম্যানিপুলেশন: স্কিমা ভ্যালিডেশন ডেটার ম্যানিপুলেশন বা পরিবর্তনের সময়ে সঠিক কাঠামো এবং মান নিশ্চিত করতে সাহায্য করে।

REST API তে Avro Schema Validation কিভাবে কাজ করে?

Avro Schema Validation-কে REST API-তে ব্যবহার করার জন্য সাধারণত Schema Registry এবং কিছু অতিরিক্ত লাইব্রেরি প্রয়োজন হয়। Schema Registry স্কিমার সংস্করণ এবং পরিবর্তন সঠিকভাবে ট্র্যাক করে এবং Avro Serializer ও Deserializer সঠিকভাবে ডেটা ট্রান্সফার নিশ্চিত করে।

১. Schema Registry ব্যবহার

Schema Registry একটি সেন্ট্রালাইজড সার্ভিস যা REST API তে ব্যবহার হওয়া Avro Schema সঠিকভাবে রেজিস্টার এবং ম্যানেজ করতে সহায়তা করে। এটি API-তে স্কিমার জন্য একটি রেফারেন্স পয়েন্ট হিসাবে কাজ করে।

Schema Registry-তে স্কিমা রেজিস্টার করা:

প্রথমে স্কিমা Registry-তে আপনার Avro স্কিমা রেজিস্টার করতে হবে:

curl -X POST -H "Content-Type: application/json" \
--data @user-schema.avsc \
http://localhost:8081/subjects/user/versions

এখানে user-schema.avsc আপনার স্কিমা ফাইল এবং localhost:8081 হল আপনার Schema Registry সার্ভারের পাথ।

২. Avro Schema তৈরি

Avro স্কিমা ফাইলটি JSON ফরম্যাটে তৈরি করতে হবে। উদাহরণস্বরূপ, একটি সাধারণ Avro স্কিমা যা ব্যবহারকারীর তথ্য ধারণ করবে:

user-schema.avsc:

{
   "type": "record",
   "name": "User",
   "fields": [
      {
         "name": "name",
         "type": "string"
      },
      {
         "name": "age",
         "type": "int"
      }
   ]
}

৩. REST API তে Avro ডেটা প্রেরণ করা

REST API-তে Avro ডেটা পাঠানোর জন্য, আপনি HTTP POST রিকোয়েস্ট ব্যবহার করবেন যেখানে ডেটা পাঠানো হবে এবং স্কিমা অনুযায়ী ভ্যালিডেশন করা হবে।

Avro Serializer ব্যবহার করে ডেটা প্রেরণ:

import io.confluent.kafka.serializers.KafkaAvroSerializer
import org.apache.kafka.common.serialization.Serializer
import java.util.Properties

val props = new Properties()
props.put("schema.registry.url", "http://localhost:8081")

val serializer = new KafkaAvroSerializer()
serializer.configure(props, false)

val user = new User("John Doe", 30)
val serializedData = serializer.serialize("user-topic", user)

এখানে, KafkaAvroSerializer ব্যবহার করা হয়েছে, যা ডেটাকে Avro ফরম্যাটে সিরিয়ালাইজ করবে এবং REST API রিকোয়েস্টের মাধ্যমে পাঠাবে।

৪. API তে Avro Schema Validation

API-তে ডেটা রিসিভ করার সময়, স্কিমার সাথে ডেটা ভ্যালিডেশন প্রক্রিয়া চলবে। এটি নিশ্চিত করবে যে যে ডেটা পাঠানো হচ্ছে, তা সঠিকভাবে স্কিমার সাথে মেলে। যদি কোনো ফিল্ড বা ডেটা অনুপস্থিত থাকে, বা কোনো ইনকানসিস্টেন্সি থাকে, তবে একটি ভ্যালিডেশন ত্রুটি (validation error) হবে।

সাধারণ API Request:

curl -X POST -H "Content-Type: application/json" \
--data '{"name": "John Doe", "age": 30}' \
http://localhost:8080/api/v1/users

এখানে API সঠিকভাবে প্রাপ্ত ডেটাকে স্কিমার মাধ্যমে যাচাই করবে এবং যদি স্কিমার সাথে সঠিকভাবে মেলে, তবে ডেটা প্রক্রিয়া করা হবে।

৫. Validation Errors হ্যান্ডলিং

যদি স্কিমা ভ্যালিডেশন প্রয়োগের সময় কোনো ত্রুটি ঘটে, তাহলে API একটি ত্রুটি মেসেজ ফেরত দিবে:

{
   "error": "Invalid Schema",
   "message": "Field 'age' is missing or incorrect"
}

এটি নিশ্চিত করবে যে API তে প্রাপ্ত ডেটার গঠন সঠিক এবং স্কিমার সাথে সঙ্গতিপূর্ণ।

Avro Schema Validation এর জন্য Best Practices

• Schema Registry ব্যবহার করুন: Schema Registry একটি সেন্ট্রাল সার্ভিস যা স্কিমার সঠিকতা এবং সংস্করণ নিয়ন্ত্রণে সহায়তা করে।
• Schema Compatibility চেক করুন: Schema Evolution নিশ্চিত করতে backward, forward, এবং full compatibility চেক করুন।
• Error Handling করুন: যদি স্কিমা বা ডেটার মধ্যে কোনো ভুল থাকে, তবে একটি বিস্তারিত ত্রুটি মেসেজ প্রদান করুন।
• রিভার্স কমপ্যাটিবিলিটি: পুরনো ডেটার সাথে সামঞ্জস্য রেখে নতুন স্কিমা তৈরি করুন, যাতে স্কিমা পরিবর্তন ঘটলে পুরনো ডেটা ঠিকভাবে কাজ করে।

সারাংশ

Avro Schema Validation REST API-তে ডেটার গঠন নিশ্চিত করতে সহায়তা করে এবং স্কিমা ইভোলিউশনের সময়ে ডেটার সঠিকতা বজায় রাখে। এটি Schema Registry ব্যবহার করে স্কিমা রেজিস্ট্রেশন এবং ভ্যালিডেশন নিশ্চিত করে, ফলে ডেটা প্রেরণ এবং গ্রহণে কোনো ভুল থাকলে তা দ্রুত শনাক্ত করা যায়। Avro স্কিমা ভিত্তিক ডেটার ভ্যালিডেশন REST API-এর ডেটা ইন্টিগ্রিটি বজায় রাখার জন্য অত্যন্ত গুরুত্বপূর্ণ।