Avro Data Load এবং Store করা

Avro এবং Hadoop Integration - অ্যাপাচি অভ্র (Avro) - Big Data and Analytics

471

Apache Avro একটি শক্তিশালী ডেটা সিরিয়ালাইজেশন ফরম্যাট যা ডেটাকে সঞ্চয় এবং ট্রান্সফার করার জন্য ব্যবহৃত হয়। Avro ডেটা লোড এবং স্টোর করার প্রক্রিয়াটি বেশ সরল, তবে এটি আরও কার্যকরী হয়ে ওঠে যখন এটি ডিস্ট্রিবিউটেড সিস্টেমে ব্যবহৃত হয়। নিচে Avro ডেটা লোড এবং স্টোর করার বিভিন্ন উপায় আলোচনা করা হলো।

Avro Data Load করার প্রক্রিয়া

Avro ডেটা লোড করার মাধ্যমে, আমরা সিরিয়ালাইজড ডেটা (যেমন, বাইনারি ফরম্যাটে) এক্সেস করে সেটিকে ডেসিরিয়ালাইজ করে ব্যবহারযোগ্য অবজেক্টে রূপান্তর করি। Avro ফাইল থেকে ডেটা লোড করার সময়, আপনাকে প্রথমে ডেটার স্কিমা এবং ডেটার ফরম্যাট জানার প্রয়োজন।

Avro Data Load করার সাধারণ ধাপ:

স্কিমা লোড করুন:
- Avro ফাইলের স্কিমা লোড করতে হবে, কারণ স্কিমা ছাড়া ডেটা ডেসিরিয়ালাইজ করা সম্ভব নয়।
ডেটা লোড এবং ডেসিরিয়ালাইজেশন:
- Avro ফাইল থেকে ডেটা লোড করে সেই ডেটাকে সঠিক অবজেক্টে রূপান্তর করতে হবে।

Avro Data Load Example (Java):

Schema schema = new Schema.Parser().parse(new File("user_schema.avsc"));
DatumReader<GenericRecord> reader = new GenericDatumReader<>(schema);
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<>(new File("user_data.avro"), reader);

while (dataFileReader.hasNext()) {
    GenericRecord user = dataFileReader.next();
    System.out.println("Name: " + user.get("name"));
    System.out.println("Age: " + user.get("age"));
    System.out.println("Emails: " + user.get("emails"));
}
dataFileReader.close();

এখানে DataFileReader ব্যবহার করে Avro ফাইল থেকে ডেটা লোড করা হয়েছে এবং GenericRecord এর মাধ্যমে ডেটার মান অ্যাক্সেস করা হয়েছে। এই পদ্ধতিতে ডেটা ডেসিরিয়ালাইজ করা হয়।

Avro Data Store করার প্রক্রিয়া

Avro ডেটা স্টোর করার প্রক্রিয়াটি খুবই কার্যকরী, কারণ এটি কমপ্যাক্ট এবং দ্রুত সিরিয়ালাইজেশন নিশ্চিত করে। Avro ডেটা ফাইল স্টোর করার সময়, এটি স্কিমা এবং ডেটাকে নির্দিষ্ট ফরম্যাটে সংরক্ষণ করে, যা পরবর্তীতে দ্রুত এক্সেস করা যায়।

Avro Data Store করার সাধারণ ধাপ:

স্কিমা প্রস্তুত করুন:
- ডেটা স্টোর করার জন্য স্কিমা প্রস্তুত করতে হবে। এটি JSON ফরম্যাটে লেখা হয় এবং ডেটার গঠন সঠিকভাবে সংজ্ঞায়িত করে।
ডেটা সিরিয়ালাইজ করুন:
- ডেটা স্কিমার মাধ্যমে সিরিয়ালাইজ করা হয় এবং পরবর্তীতে Avro ফাইল আকারে সংরক্ষণ করা হয়।

Avro Data Store Example (Java):

Schema schema = new Schema.Parser().parse(new File("user_schema.avsc"));
DatumWriter<GenericRecord> writer = new GenericDatumWriter<>(schema);
ByteArrayOutputStream out = new ByteArrayOutputStream();
DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<>(writer);

// Create a new record
GenericRecord user = new GenericData.Record(schema);
user.put("name", "John Doe");
user.put("age", 25);
user.put("emails", Arrays.asList("john.doe@example.com"));

// Write the record to the file
dataFileWriter.create(schema, new File("user_data.avro"));
dataFileWriter.append(user);
dataFileWriter.close();

এখানে, GenericRecord ব্যবহার করে user রেকর্ড তৈরি করা হয়েছে এবং DataFileWriter দিয়ে তা Avro ফাইল আকারে সংরক্ষিত হয়েছে।