Skill

Gson Streaming API

জিসন (Gson) - Java Technologies

353

Gson Streaming API ব্যবহার করে JSON ডাটা স্ট্রীমিংয়ের মাধ্যমে পাঠ এবং লেখার কার্যক্ষমতা প্রদান করা হয়। এই API খুবই কার্যকরী যখন আপনি বড় JSON ফাইল বা ডাটা সেট নিয়ে কাজ করছেন এবং আপনি সম্পূর্ণ JSON ডাটা একসাথে মেমোরিতে লোড করতে চান না, বরং স্ট্রীমিংয়ের মাধ্যমে ডাটা পার্স বা লিখতে চান। Gson এর Streaming API মূলত JsonReader এবং JsonWriter ক্লাসগুলোর মাধ্যমে কাজ করে।

এখানে JsonReader এবং JsonWriter ব্যবহার করার মাধ্যমে JSON ডাটা পাঠ এবং লেখার উদাহরণ দেওয়া হচ্ছে।

1. JsonReader ব্যবহার করে JSON পাঠ (Parsing JSON)

JsonReader ব্যবহার করে আপনি JSON ফাইল বা স্ট্রিং থেকে ডাটা ধারাবাহিকভাবে (stream) পড়তে পারেন। এটি সাধারণত বড় JSON ডাটা সেটের জন্য উপকারী, যেখানে আপনি একসাথে পুরো JSON ডাটা মেমোরিতে লোড করতে চান না।

উদাহরণ:

import com.google.gson.stream.JsonReader;
import java.io.StringReader;
import java.io.IOException;

public class GsonStreamingJsonReaderExample {
    public static void main(String[] args) throws IOException {
        String json = "{ \"name\": \"John\", \"age\": 30, \"city\": \"New York\" }";

        // JsonReader তৈরি করা
        JsonReader reader = new JsonReader(new StringReader(json));

        // JSON ডাটা পাঠ করা
        reader.beginObject(); // JSON অবজেক্ট শুরু
        while (reader.hasNext()) {
            String name = reader.nextName(); // JSON ফিল্ডের নাম
            if (name.equals("name")) {
                System.out.println("Name: " + reader.nextString());
            } else if (name.equals("age")) {
                System.out.println("Age: " + reader.nextInt());
            } else if (name.equals("city")) {
                System.out.println("City: " + reader.nextString());
            } else {
                reader.skipValue(); // অন্যান্য ফিল্ডে যেতে skip করা
            }
        }
        reader.endObject(); // JSON অবজেক্টের শেষ
    }
}

আউটপুট:

Name: John
Age: 30
City: New York

ব্যাখ্যা:

  • JsonReader এর মাধ্যমে JSON ডাটা স্ট্রীমিং করতে আমরা beginObject() এবং endObject() ব্যবহার করেছি যা JSON অবজেক্টের শুরু ও শেষ চিহ্নিত করে।
  • hasNext() চেক করে আরও ফিল্ড আছে কি না, এবং nextName() দিয়ে JSON এর ফিল্ডের নাম পড়া হয়।
  • nextString() এবং nextInt() দিয়ে ফিল্ডের মান অ্যাক্সেস করা হয়।

2. JsonWriter ব্যবহার করে JSON লেখা (Writing JSON)

JsonWriter ব্যবহার করে আপনি JSON ডাটা স্ট্রীমিংয়ের মাধ্যমে লিখতে পারেন। এটি খুবই উপকারী যখন আপনি JSON ডাটা প্রোগ্রাম্যাটিকভাবে তৈরি করছেন এবং ডাটা স্ট্রীমের মাধ্যমে ফাইল বা আউটপুটে লিখতে চান।

উদাহরণ:

import com.google.gson.stream.JsonWriter;
import java.io.StringWriter;
import java.io.IOException;

public class GsonStreamingJsonWriterExample {
    public static void main(String[] args) throws IOException {
        // StringWriter তৈরি করা যা JsonWriter এর সাথে কাজ করবে
        StringWriter stringWriter = new StringWriter();
        JsonWriter writer = new JsonWriter(stringWriter);

        // JSON লেখার প্রক্রিয়া
        writer.beginObject();  // JSON অবজেক্ট শুরু
        writer.name("name").value("John");
        writer.name("age").value(30);
        writer.name("city").value("New York");
        writer.endObject();  // JSON অবজেক্টের শেষ

        // JSON আউটপুট প্রিন্ট করা
        System.out.println(stringWriter.toString());
    }
}

আউটপুট:

{"name":"John","age":30,"city":"New York"}

ব্যাখ্যা:

  • JsonWriter ব্যবহার করে JSON ডাটা স্ট্রীমের মাধ্যমে লেখা হয়েছে। এখানে beginObject() এবং endObject() দিয়ে JSON অবজেক্টের শুরু এবং শেষ চিহ্নিত করা হয়েছে।
  • name() এবং value() মেথড ব্যবহার করে JSON ফিল্ড এবং তাদের মান প্রদান করা হয়েছে।

3. অ্যাডভান্সড স্ট্রীমিং (Advanced Streaming)

গণনা করার জন্য, অথবা বড় JSON ডাটা বা nested JSON অবজেক্ট বা অ্যারে পার্স করার জন্য আপনি nested beginObject(), endObject(), beginArray(), এবং endArray() ব্যবহার করতে পারেন।

উদাহরণ:

import com.google.gson.stream.JsonReader;
import com.google.gson.stream.JsonWriter;
import java.io.StringReader;
import java.io.StringWriter;
import java.io.IOException;

public class GsonAdvancedStreamingExample {
    public static void main(String[] args) throws IOException {
        // JSON লেখার জন্য StringWriter এবং JsonWriter তৈরি করা
        StringWriter stringWriter = new StringWriter();
        JsonWriter writer = new JsonWriter(stringWriter);
        writer.beginObject();
        writer.name("user");
        writer.beginObject();
        writer.name("name").value("John Doe");
        writer.name("age").value(30);
        writer.name("friends");
        writer.beginArray();
        writer.value("Mike");
        writer.value("Sara");
        writer.endArray();
        writer.endObject();
        writer.endObject();

        // JSON আউটপুট প্রিন্ট করা
        System.out.println("Written JSON: " + stringWriter.toString());

        // JSON ডাটা পাঠ করার জন্য JsonReader তৈরি করা
        String json = stringWriter.toString();
        JsonReader reader = new JsonReader(new StringReader(json));

        reader.beginObject(); // JSON অবজেক্ট শুরু
        while (reader.hasNext()) {
            String name = reader.nextName(); // JSON ফিল্ডের নাম
            if (name.equals("user")) {
                reader.beginObject(); // Nested অবজেক্ট
                while (reader.hasNext()) {
                    String innerName = reader.nextName();
                    if (innerName.equals("name")) {
                        System.out.println("User Name: " + reader.nextString());
                    } else if (innerName.equals("age")) {
                        System.out.println("Age: " + reader.nextInt());
                    } else if (innerName.equals("friends")) {
                        reader.beginArray(); // Nested Array
                        while (reader.hasNext()) {
                            System.out.println("Friend: " + reader.nextString());
                        }
                        reader.endArray();
                    }
                }
                reader.endObject();
            }
        }
        reader.endObject(); // JSON অবজেক্টের শেষ
    }
}

আউটপুট:

Written JSON: {"user":{"name":"John Doe","age":30,"friends":["Mike","Sara"]}}
User Name: John Doe
Age: 30
Friend: Mike
Friend: Sara

ব্যাখ্যা:

  • এখানে JsonWriter এবং JsonReader উভয়ের মাধ্যমে একটি nested অবজেক্ট এবং অ্যারে লেখা এবং পড়া হয়েছে।
  • beginArray() এবং endArray() ব্যবহার করা হয়েছে nested অ্যারে পার্স করার জন্য।

Gson এর Streaming API (যেমন JsonReader এবং JsonWriter) আপনাকে খুব বড় JSON ডাটা ফাইল বা স্ট্রিংগুলিকে মেমোরির মধ্যে পুরোপুরি লোড না করে, একের পর এক অংশে (streaming) প্রসেস করতে সাহায্য করে। এর মাধ্যমে আপনি:

  • বড় JSON ডাটা পার্স করতে পারবেন,
  • JSON ডাটা লেখার সময় মেমোরি অপটিমাইজ করতে পারবেন,
  • Nested অবজেক্ট বা অ্যারে পার্স এবং লেখার সুবিধা পাবেন।

এটি বিশেষ করে যখন আপনি বড় ডাটা সেটের সাথে কাজ করছেন, তখন এটি খুবই কার্যকরী।

Content added By

Gson এর Streaming API একটি শক্তিশালী ফিচার যা আপনাকে খুব বড় JSON ডেটা ফাইলগুলিকে খুবই কম মেমরি ব্যবহার করে পার্স করতে এবং জেনারেট করতে সাহায্য করে। Gson এর স্ট্রিমিং API আপনাকে একটি SAX-like পদ্ধতি অনুসরণ করতে দেয়, যেখানে আপনি JSON ডেটা গুলি এক্সট্রাক্ট বা প্রসেস করতে পারেন ধারাবাহিকভাবে (streaming)। এটি বিশেষভাবে সুবিধাজনক যখন আপনি বড় JSON ফাইল বা ডেটা সেট কাজ করছেন।

Gson এর স্ট্রিমিং API দ্বারা, আপনি JSON ফাইলের প্রতিটি অংশ (যেমন, ক্ষেত্র বা উপাদান) আলাদাভাবে প্রসেস করতে পারবেন, যাতে এটি কম মেমরি খরচে কাজ করতে পারে। এটি একটি "লিনিয়ার" পদ্ধতিতে JSON পার্সিং সম্পন্ন করে, যেখানে ডেটার সবগুলো এলিমেন্ট একে একে পড়া হয়, এবং পুরো JSON অবজেক্ট বা অ্যারে একবারে মেমরিতে লোড করা হয় না।

Gson Streaming API এর মূল উপাদান:

  • JsonReader: JSON ডেটা থেকে তথ্য পড়ার জন্য ব্যবহার করা হয়।
  • JsonWriter: JSON ডেটা লেখার জন্য ব্যবহার করা হয়।

1. JsonReader দিয়ে JSON পড়া (Streaming API ব্যবহার করে)**

JsonReader ক্লাস ব্যবহার করে আপনি JSON ডেটা ধারাবাহিকভাবে (stream) পড়তে পারেন। এর মাধ্যমে আপনি JSON ফাইল বা স্ট্রিংটি পুরোপুরি মেমরিতে লোড না করে, একে একে এর উপাদানগুলো প্রক্রিয়া করতে পারবেন।

উদাহরণ (JsonReader দিয়ে JSON পড়া):

import com.google.gson.stream.JsonReader;
import com.google.gson.stream.JsonToken;
import java.io.StringReader;

public class Main {
    public static void main(String[] args) throws Exception {
        String json = "{\"name\":\"John Doe\", \"age\":30, \"city\":\"New York\"}";

        // JsonReader ব্যবহার করে JSON স্ট্রিং পড়া
        JsonReader reader = new JsonReader(new StringReader(json));

        reader.beginObject(); // JSON অবজেক্ট শুরু

        while (reader.hasNext()) {
            String name = reader.nextName(); // নাম পড়া

            if (name.equals("name")) {
                System.out.println("Name: " + reader.nextString());
            } else if (name.equals("age")) {
                System.out.println("Age: " + reader.nextInt());
            } else if (name.equals("city")) {
                System.out.println("City: " + reader.nextString());
            }
        }

        reader.endObject(); // JSON অবজেক্ট শেষ
        reader.close();
    }
}

আউটপুট:

Name: John Doe
Age: 30
City: New York

2. JsonWriter দিয়ে JSON লেখা (Streaming API ব্যবহার করে)**

JsonWriter ক্লাস ব্যবহার করে আপনি JSON ডেটা তৈরি এবং লিখতে পারেন। এই ক্লাসটি JSON অবজেক্ট এবং অ্যারে সঠিকভাবে তৈরি করতে স্ট্রিমিং পদ্ধতি ব্যবহার করে।

উদাহরণ (JsonWriter দিয়ে JSON লেখা):

import com.google.gson.stream.JsonWriter;
import java.io.StringWriter;
import java.io.IOException;

public class Main {
    public static void main(String[] args) throws IOException {
        // StringWriter তৈরি
        StringWriter stringWriter = new StringWriter();
        
        // JsonWriter তৈরি
        JsonWriter writer = new JsonWriter(stringWriter);

        writer.beginObject(); // JSON অবজেক্ট শুরু

        writer.name("name").value("John Doe");
        writer.name("age").value(30);
        writer.name("city").value("New York");

        writer.endObject(); // JSON অবজেক্ট শেষ

        writer.close();
        
        // JSON আউটপুট প্রিন্ট করা
        System.out.println(stringWriter.toString());
    }
}

আউটপুট:

{
  "name": "John Doe",
  "age": 30,
  "city": "New York"
}

3. প্রধান বৈশিষ্ট্যসমূহ:

  • Memory Efficiency: স্ট্রিমিং API কম মেমরি ব্যবহার করে বড় JSON ডেটা ফাইলগুলি প্রসেস করতে সাহায্য করে। এটি JSON ডেটা পুরোপুরি মেমরিতে লোড না করে ধারাবাহিকভাবে (streaming) পড়ার সুযোগ দেয়।
  • Efficient Parsing and Writing: JsonReader এবং JsonWriter ক্লাসগুলির মাধ্যমে JSON ডেটা খুব দ্রুত এবং কার্যকরীভাবে পঠন এবং লেখা সম্ভব। JSON ডেটা খুব বড় হলে পুরো ডেটা একবারে মেমরিতে লোড না করেই কাজ করতে পারা সুবিধা।
  • Streaming: স্ট্রিমিং API শুধুমাত্র প্রয়োজনীয় তথ্য একে একে অ্যাক্সেস করে, ফলে এটি গন্তব্য ডেটা সংরক্ষণে সহায়ক হয়।

4. কিভাবে ব্যবহার করবেন:

  • JsonReader ব্যবহার করে আপনি JSON ডেটা পড়তে পারেন একটি স্ট্রিমে, যেখানে আপনাকে JSON ডেটার প্রতিটি উপাদান (যেমন নাম, মান) আলাদাভাবে পড়ে প্রক্রিয়া করতে হবে।
  • JsonWriter ব্যবহার করে আপনি একটি JSON ডেটা স্ট্রিম তৈরি করতে পারেন যেখানে আপনি উপাদানগুলি একে একে লিখবেন।

5. উপকারিতা:

  • বড় JSON ডেটা বা ফাইল হ্যান্ডল করতে সাহায্য করে।
  • মেমরি ব্যবহারের পরিমাণ কমায়, বিশেষ করে যখন বড় JSON ফাইল থাকে।
  • দ্রুত পার্সিং এবং লেখার জন্য সুবিধাজনক।

6. প্রয়োজনীয় ক্ষেত্র:

  • বড় JSON ফাইলগুলি প্রসেস করার জন্য, যেখানে পুরো ফাইল একবারে মেমরিতে লোড করা সম্ভব নয়।
  • যখন আপনি JSON ডেটাকে ধাপে ধাপে পড়তে বা লিখতে চান।

Gson এর Streaming API খুবই কার্যকরী এবং মেমরি-প্রভাবিত ডেটা প্রক্রিয়াকরণের জন্য আদর্শ। এটি বিশেষভাবে দরকারি যখন আপনি খুব বড় JSON ডেটা ফাইল বা স্ট্রিং নিয়ে কাজ করছেন, এবং আপনাকে পুরো ডেটা একবারে মেমরিতে লোড না করে একে একে প্রক্রিয়া করতে হচ্ছে।

Content added By

Gson-এ JsonReader এবং JsonWriter ক্লাসগুলি সরাসরি JSON ডেটা পঠন (parsing) এবং লেখা (writing) এর জন্য ব্যবহৃত হয়। এগুলি ব্যবহার করলে আপনি JSON ডেটাকে স্ট্রীম আকারে রিড এবং রাইট করতে পারেন, যা বড় JSON ডেটা প্রসেস করার জন্য কার্যকরী হতে পারে কারণ এটি মেমরি প্রয়োজনীয়তা কমায়।

1. JsonReader ব্যবহার

JsonReader একটি স্ট্রীম-ভিত্তিক ক্লাস যা JSON ডেটা পাঠ করার জন্য ব্যবহৃত হয়। এটি আপনার JSON ডেটাকে একটি নির্দিষ্ট স্ট্রীমে (যেমন: ফাইল বা ইনপুট স্ট্রীম) পঠন করতে সহায়ক। JsonReader JSON ডেটাকে token-by-token পড়ে, যা বড় JSON ডেটা প্রক্রিয়াকরণের জন্য একটি মেমরি-সাশ্রয়ী উপায়।

1.1 JsonReader ব্যবহার করার উদাহরণ

import com.google.gson.stream.JsonReader;
import java.io.StringReader;
import java.io.IOException;

public class Main {
    public static void main(String[] args) {
        String json = "{\"name\":\"John\", \"age\":30, \"city\":\"New York\"}";

        // JsonReader ব্যবহার করে JSON ডেটা পঠন
        try (JsonReader reader = new JsonReader(new StringReader(json))) {
            reader.beginObject();  // JSON অবজেক্ট শুরু
            while (reader.hasNext()) {
                String name = reader.nextName();
                if (name.equals("name")) {
                    String value = reader.nextString();  // String value পড়া
                    System.out.println("Name: " + value);
                } else if (name.equals("age")) {
                    int value = reader.nextInt();  // Integer value পড়া
                    System.out.println("Age: " + value);
                } else if (name.equals("city")) {
                    String value = reader.nextString();  // String value পড়া
                    System.out.println("City: " + value);
                } else {
                    reader.skipValue();  // অন্য যেকোনো অজানা value স্কিপ করা
                }
            }
            reader.endObject();  // JSON অবজেক্ট শেষ
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

আউটপুট:

Name: John
Age: 30
City: New York

2. JsonWriter ব্যবহার

JsonWriter ক্লাসটি JSON ডেটা লিখতে ব্যবহৃত হয়। এটি একটি স্ট্রীম-ভিত্তিক ক্লাস যা JSON অবজেক্ট বা অ্যারে রচনা করতে সাহায্য করে।

2.1 JsonWriter ব্যবহার করার উদাহরণ

import com.google.gson.stream.JsonWriter;
import java.io.StringWriter;
import java.io.IOException;

public class Main {
    public static void main(String[] args) {
        // JSON লিখতে StringWriter তৈরি করা
        StringWriter stringWriter = new StringWriter();
        try (JsonWriter writer = new JsonWriter(stringWriter)) {
            writer.beginObject();  // JSON অবজেক্ট শুরু
            writer.name("name").value("John");
            writer.name("age").value(30);
            writer.name("city").value("New York");
            writer.endObject();  // JSON অবজেক্ট শেষ
        } catch (IOException e) {
            e.printStackTrace();
        }

        // JSON স্ট্রিং আউটপুট
        System.out.println("Serialized JSON: " + stringWriter.toString());
    }
}

আউটপুট:

Serialized JSON: {"name":"John","age":30,"city":"New York"}

3. JsonReader এবং JsonWriter এর তুলনা

ফিচারJsonReaderJsonWriter
মূল উদ্দেশ্যJSON ডেটা পড়া (parsing)JSON ডেটা লেখা (writing)
প্রকৃতিস্ট্রীম-ভিত্তিক রিডারস্ট্রীম-ভিত্তিক রাইটার
ডেটা পঠনJSON ডেটা টোকেন-ভিত্তিক পড়াJSON অবজেক্ট বা অ্যারে রচনা করা
ব্যবহারইনপুট স্ট্রীম থেকে JSON ডেটা পড়ার জন্য ব্যবহৃতJSON অবজেক্ট তৈরি করার জন্য ব্যবহৃত

4. বড় JSON ডেটা প্রক্রিয়াকরণের জন্য JsonReader এবং JsonWriter এর সুবিধা

  • মেমরি দক্ষতা: JsonReader এবং JsonWriter স্ট্রীম-বেসড হওয়ায় পুরো JSON ডেটা একসাথে মেমরিতে লোড করতে হয় না। এটি বড় JSON ডেটা ব্যবস্থাপনা করার জন্য কার্যকরী হতে পারে।
  • কাস্টম প্রসেসিং: এই ক্লাসগুলো আপনাকে JSON ডেটাকে টোকেন বা নাম-মানের পেয়ার হিসেবে পড়তে এবং লিখতে দেয়, যা কাস্টম প্রসেসিং এবং ফিল্টারিং সম্ভব করে তোলে।

5. অন্য উদাহরণ: Nested JSON অবজেক্ট পাঠানো

import com.google.gson.stream.JsonReader;
import java.io.StringReader;
import java.io.IOException;

public class Main {
    public static void main(String[] args) {
        String json = "{\"name\":\"John\", \"address\":{\"street\":\"123 Main St\", \"city\":\"New York\"}}";

        // Nested JSON অবজেক্ট পড়ার উদাহরণ
        try (JsonReader reader = new JsonReader(new StringReader(json))) {
            reader.beginObject();  // JSON অবজেক্ট শুরু
            while (reader.hasNext()) {
                String name = reader.nextName();
                if (name.equals("name")) {
                    String value = reader.nextString();
                    System.out.println("Name: " + value);
                } else if (name.equals("address")) {
                    reader.beginObject();  // Nested অবজেক্ট শুরু
                    while (reader.hasNext()) {
                        String addressField = reader.nextName();
                        if (addressField.equals("street")) {
                            String street = reader.nextString();
                            System.out.println("Street: " + street);
                        } else if (addressField.equals("city")) {
                            String city = reader.nextString();
                            System.out.println("City: " + city);
                        }
                    }
                    reader.endObject();  // Nested অবজেক্ট শেষ
                }
            }
            reader.endObject();  // মূল অবজেক্ট শেষ
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

আউটপুট:

Name: John
Street: 123 Main St
City: New York

সারাংশ

  • JsonReader: JSON ডেটা টোকেন-বাই-টোকেন পড়তে ব্যবহার করা হয়, যা মেমরি দক্ষ এবং বড় JSON ডেটা প্রসেস করতে সহায়ক।
  • JsonWriter: JSON অবজেক্ট বা অ্যারে লেখার জন্য ব্যবহার করা হয়, যা স্ট্রীম-ভিত্তিক এবং কাস্টম JSON ফরম্যাট তৈরির জন্য উপযোগী।

এভাবে, JsonReader এবং JsonWriter ব্যবহার করে আপনি JSON ডেটা স্ট্রীম আকারে পড়তে এবং লিখতে পারেন, যা বড় JSON ডেটার জন্য কার্যকরী।

Content added By

Gson লাইব্রেরি Streaming API প্রদান করে, যা large JSON files বা large JSON data streams প্রসেস করার জন্য খুবই কার্যকরী। এই পদ্ধতিটি memory efficiency বৃদ্ধি করে এবং performance উন্নত করে, কারণ এটি JSON ডেটার পুরো কন্টেন্ট একবারে মেমরিতে লোড না করে, ডেটা স্ট্রিম আকারে প্রসেস করে।

Gson Streaming API

Gson-এর Streaming API দুটি মূল ক্লাসের মাধ্যমে কাজ করে:

  • JsonReader (ডেটা পড়ার জন্য)
  • JsonWriter (ডেটা লেখার জন্য)

এই API গুলি আপনাকে JSON file বা JSON data stream এর মধ্যে token-based অ্যাক্সেস দেয়, যার মাধ্যমে ডেটা প্রক্রিয়া করা হয় একে একে। অর্থাৎ, পুরো JSON ডেটা একবারে মেমরিতে লোড করার পরিবর্তে, শুধুমাত্র প্রয়োজনীয় অংশগুলি পাঠ করা বা লেখা হয়।

Streaming API এর সুবিধা:

  1. Memory Efficiency: খুব বড় JSON ডেটা ফাইল গুলি একসাথে মেমরিতে লোড না করে ধীরে ধীরে পড়া হয়, ফলে মেমরি ব্যবহারে কার্যকরী হয়।
  2. Performance: বড় JSON ফাইলগুলি একে একে পড়ে এবং লেখে, তাই কম মেমরি ব্যবহারের ফলে প্রক্রিয়াকরণের গতি দ্রুত হয়।
  3. Scalability: বড় JSON ডেটা সেট হ্যান্ডল করার জন্য এটি অত্যন্ত উপযোগী।

JsonReader ব্যবহার করে Large JSON File পড়া

JsonReader কনটেক্সটে স্ট্রিমিং অপারেশন করে, যা আপনাকে JSON ফাইলের প্রতিটি টোকেনের উপর একে একে কাজ করার সুযোগ দেয়। এটা পুরো JSON একবারে মেমরিতে লোড না করে ধীরে ধীরে পড়ে।

উদাহরণ: JsonReader দিয়ে Large JSON File পড়া

ধরা যাক, আমাদের কাছে একটি বড় JSON ফাইল রয়েছে যা অনেকগুলো Person অবজেক্ট ধারণ করে, এবং আমাদের তা streaming এর মাধ্যমে পড়তে হবে।

import com.google.gson.stream.JsonReader;
import java.io.FileReader;
import java.io.IOException;

public class Main {
    public static void main(String[] args) {
        try (JsonReader reader = new JsonReader(new FileReader("largeFile.json"))) {
            reader.beginArray();  // Start reading the JSON array

            while (reader.hasNext()) {
                reader.beginObject();  // Start reading the next object

                String name = null;
                int age = 0;

                while (reader.hasNext()) {
                    String fieldName = reader.nextName();

                    if (fieldName.equals("name")) {
                        name = reader.nextString();
                    } else if (fieldName.equals("age")) {
                        age = reader.nextInt();
                    } else {
                        reader.skipValue();  // Skip unknown fields
                    }
                }

                System.out.println("Name: " + name + ", Age: " + age);

                reader.endObject();  // End the current object
            }

            reader.endArray();  // End the JSON array

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

কোডের ব্যাখ্যা:

  1. JsonReader এর মাধ্যমে largeFile.json ফাইলটি ওপেন করা হয়েছে।
  2. beginArray() এবং endArray() দিয়ে JSON এর অ্যারে শুরু এবং শেষ করা হচ্ছে।
  3. প্রতিটি JSON object পড়তে, beginObject() এবং endObject() ব্যবহার করা হচ্ছে।
  4. প্রতিটি fieldName এর জন্য nextString(), nextInt(), বা skipValue() এর মাধ্যমে প্রয়োজনীয় ডেটা অ্যাক্সেস করা হচ্ছে।

এই পদ্ধতিতে JSON data একে একে পড়া হয়, যার ফলে মেমরি ব্যবহারের পরিমাণ অনেক কম হয় এবং বড় JSON ফাইল প্রক্রিয়া করা সহজ হয়।


JsonWriter ব্যবহার করে Large JSON File লেখা

JsonWriter ব্যবহার করে আপনি JSON ফাইল বা স্ট্রিমে একে একে ডেটা লেখার কাজ করতে পারেন।

উদাহরণ: JsonWriter দিয়ে JSON ফাইল লেখা

import com.google.gson.stream.JsonWriter;
import java.io.FileWriter;
import java.io.IOException;

public class Main {
    public static void main(String[] args) {
        try (JsonWriter writer = new JsonWriter(new FileWriter("outputFile.json"))) {
            writer.beginArray();  // Start JSON array

            writer.beginObject();
            writer.name("name").value("John");
            writer.name("age").value(30);
            writer.endObject();  // End first object

            writer.beginObject();
            writer.name("name").value("Jane");
            writer.name("age").value(28);
            writer.endObject();  // End second object

            writer.endArray();  // End JSON array

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

কোডের ব্যাখ্যা:

  1. JsonWriter ব্যবহার করে একটি নতুন JSON ফাইল outputFile.json তৈরি করা হয়েছে।
  2. beginArray() এবং endArray() দিয়ে JSON অ্যারে শুরু এবং শেষ করা হয়েছে।
  3. প্রতিটি JSON object তৈরি করতে beginObject() এবং endObject() ব্যবহার করা হয়েছে, এবং name()value() মেথড ব্যবহার করে JSON এর ক্ষেত্রগুলি লেখা হয়েছে।

এই পদ্ধতিতে একে একে JSON ডেটা লেখা হচ্ছে, যা বড় JSON ডেটা ফাইলগুলিতে মেমরি ব্যবহারের পরিমাণ কমিয়ে আনে।


JsonReader এবং JsonWriter এর মধ্যে পার্থক্য:

AspectJsonReaderJsonWriter
PurposeJSON ডেটা পড়ার জন্যJSON ডেটা লেখার জন্য
UsageJSON ফাইল থেকে ডেটা স্ট্রিম আকারে পড়াJSON ফাইল বা স্ট্রিমে ডেটা লেখা
Performanceকম মেমরি ব্যবহার করে ডেটা পড়তে সহায়ককম মেমরি ব্যবহার করে ডেটা লেখতে সহায়ক

Gson Streaming API ব্যবহার করে আপনি large JSON files বা data streams খুবই কার্যকরীভাবে এবং কম মেমরি ব্যবহারে প্রক্রিয়া করতে পারেন। JsonReader এবং JsonWriter আপনাকে JSON ডেটা একে একে পড়া বা লেখা সম্ভব করে, যা বড় JSON ডেটা ফাইল প্রক্রিয়া করার জন্য অত্যন্ত উপকারী। এভাবে আপনি memory efficiency বজায় রেখে large-scale JSON data প্রক্রিয়া করতে পারবেন।

Content added By

Gson লাইব্রেরি ব্যবহার করার সময় efficiency এবং memory optimization গুরুত্বপূর্ণ বিষয়, বিশেষত যখন বড় বা জটিল JSON ডেটা প্রসেস করা হয়। এখানে কিছু কৌশল এবং কনফিগারেশন দেওয়া হলো, যা আপনার Gson ব্যবহারের পারফরম্যান্স এবং মেমরি ব্যবহারের দক্ষতা বাড়াতে সহায়তা করবে।

1. Gson এর Efficient Serialization/Deserialization

Gson এর serialization (Java Object থেকে JSON) এবং deserialization (JSON থেকে Java Object) প্রক্রিয়াগুলি কার্যকরভাবে পরিচালনা করা হলে মেমরি এবং প্রসেসিং সময় কমাতে সাহায্য করে। কিছু পদ্ধতি রয়েছে যা উন্নত কার্যকারিতা ও কম মেমরি খরচের জন্য সাহায্য করে:

এ. JsonReader এবং JsonWriter ব্যবহার করুন:

Streaming API (JsonReader এবং JsonWriter) ব্যবহার করলে আপনি বড় JSON ডেটা এক্সেস করতে পারেন, যেটি পুরো ডেটাকে একসাথে মেমরিতে লোড না করে একটি স্ট্রিম হিসেবে প্রক্রিয়া করবে। এটি বড় JSON ফাইল বা নেটওয়ার্ক থেকে ডেটা প্রসেস করার ক্ষেত্রে কার্যকর।

Example:

import com.google.gson.stream.JsonReader;
import com.google.gson.stream.JsonWriter;

import java.io.StringReader;
import java.io.StringWriter;

public class Main {
    public static void main(String[] args) {
        String json = "{\"name\":\"John\", \"age\":30}";

        // JsonReader দিয়ে JSON ডেটা পড়া
        JsonReader reader = new JsonReader(new StringReader(json));
        try {
            reader.beginObject();
            while (reader.hasNext()) {
                String name = reader.nextName();
                if (name.equals("name")) {
                    System.out.println(reader.nextString());
                } else if (name.equals("age")) {
                    System.out.println(reader.nextInt());
                } else {
                    reader.skipValue();
                }
            }
            reader.endObject();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

এখানে JsonReader পুরো JSON ডেটা একবারে মেমরিতে লোড না করে স্ট্রিম আকারে একে একে JSON অবজেক্টে রূপান্তরিত করে, যা মেমরি ব্যবহারে অনেক দক্ষ।

B. Partial Parsing:

যখন বড় JSON ডেটার মধ্যে শুধু কিছু নির্দিষ্ট অংশ প্রয়োজন হয়, তখন পুরো ডেটা ডেসিরিয়ালাইজ করার বদলে সেই নির্দিষ্ট অংশগুলোকে সরাসরি নির্বাচন করে মেমরি অপ্টিমাইজ করা যায়।

2. Gson Configuration for Memory Efficiency

A. Avoid serializeNulls() unless necessary:

Gson এর serializeNulls() মেথড যদি না ব্যবহার করেন, তবে null মানগুলো JSON থেকে বাদ দেওয়া হবে। এতে মেমরি ব্যবহারের দিক থেকে উন্নতি হয়, কারণ null মানগুলোর জন্য অতিরিক্ত মেমরি বরাদ্দ করা হয় না।

Example without serializeNulls():

Gson gson = new Gson(); // No null serialization
Person person = new Person("John", null); // null will be omitted
String json = gson.toJson(person);

B. Use GsonBuilder with excludeFieldsWithoutExposeAnnotation:

আপনি যদি শুধুমাত্র নির্দিষ্ট ফিল্ডগুলো JSON এ অন্তর্ভুক্ত করতে চান, তবে @Expose অ্যানোটেশন ব্যবহার করতে পারেন এবং excludeFieldsWithoutExposeAnnotation() কনফিগারেশন করতে পারেন। এতে অপ্রয়োজনীয় ফিল্ডগুলো JSON ডেটায় অন্তর্ভুক্ত হবে না, যা মেমরি ব্যবহারে সাশ্রয়ী।

Example:

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;

class Person {
    @Expose
    String name;
    int age;

    // Constructor, Getter, Setter
}

Gson gson = new GsonBuilder()
                .excludeFieldsWithoutExposeAnnotation() // Exclude fields without @Expose annotation
                .create();

Person person = new Person("John", 30);
String json = gson.toJson(person); // Only 'name' will be included

এখানে age ফিল্ডটি @Expose অ্যানোটেশন না থাকার কারণে JSON-এ অন্তর্ভুক্ত হবে না, যা মেমরি অপ্টিমাইজ করবে।

C. Reusing Gson Instances:

যেহেতু Gson-এ অবজেক্ট তৈরি করার জন্য বেশ কিছু রিসোর্স খরচ হয়, তাই একবার Gson অবজেক্ট তৈরি করার পর বারবার সেটা ব্যবহার করা উচিত। প্রতিটি Serialization বা Deserialization এর জন্য নতুন Gson অবজেক্ট তৈরি না করে একটি একক Gson ইনস্ট্যান্স ব্যবহার করুন।

Example:

Gson gson = new Gson(); // Reuse the same Gson instance

// Serialization and Deserialization
String json = gson.toJson(person);
Person personDeserialized = gson.fromJson(json, Person.class);

এটি মেমরি এবং প্রসেসিং সময় কমানোর জন্য সাহায্য করে।

3. Gson Optimization with Custom TypeAdapter

যখন আপনি custom serialization/deserialization করতে চান, তখন আপনি TypeAdapter ব্যবহার করতে পারেন। এটি Gson-এর ডিফল্ট serialization/deserialization মেকানিজমের পরিবর্তে কাস্টম লজিক প্রয়োগ করার সুযোগ দেয়। কাস্টম TypeAdapter ব্যবহার করলে আপনি অপ্রয়োজনীয় তথ্য বাদ দিতে বা ভিন্নভাবে ডেটা প্রসেস করতে পারেন, ফলে মেমরি ব্যবহারে সাশ্রয় হয়।

Example for LocalDate:

import com.google.gson.*;

import java.lang.reflect.Type;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;

class LocalDateAdapter implements JsonSerializer<LocalDate>, JsonDeserializer<LocalDate> {
    private final DateTimeFormatter formatter = DateTimeFormatter.ISO_LOCAL_DATE;

    @Override
    public JsonElement serialize(LocalDate src, Type typeOfSrc, JsonSerializationContext context) {
        return new JsonPrimitive(src.format(formatter)); // LocalDate কে String-এ রূপান্তর
    }

    @Override
    public LocalDate deserialize(JsonElement json, Type typeOfT, JsonDeserializationContext context) throws JsonParseException {
        return LocalDate.parse(json.getAsString(), formatter); // String থেকে LocalDate-এ রূপান্তর
    }
}

এই কাস্টম Adapter তৈরি করে আপনি LocalDate টাইপের ডেটা JSON এর সাথে সম্পূর্ণ কার্যকরভাবে এবং মেমরি অপ্টিমাইজ করে হ্যান্ডল করতে পারবেন।

4. Efficient Memory Usage with Streaming vs. In-Memory Parsing

যদি আপনার JSON ডেটা খুব বড় হয় এবং আপনি চাইছেন মেমরি ব্যবহার কমাতে, তাহলে Streaming API ব্যবহার করুন। যেমন JsonReader এবং JsonWriter স্ট্রিমিং অপারেশনগুলোর জন্য খুবই উপযোগী।

  • In-Memory Parsing: পুরো JSON ডেটা মেমরিতে একযোগে লোড করা।
  • Streaming Parsing: JSON ডেটাকে একে একে, স্ট্রিম আকারে পড়া, যা মেমরি অপ্টিমাইজড।

Example of Streaming:

import com.google.gson.stream.JsonReader;
import java.io.StringReader;

String json = "{\"name\":\"John\", \"age\":30}";
JsonReader reader = new JsonReader(new StringReader(json));
reader.beginObject();
while (reader.hasNext()) {
    String name = reader.nextName();
    if (name.equals("name")) {
        System.out.println(reader.nextString());
    } else {
        reader.skipValue();
    }
}
reader.endObject();

এখানে JsonReader দিয়ে স্ট্রিমিং পার্সিং করা হচ্ছে, যা মেমরি ব্যবহার কমাবে।


সংক্ষেপে: Gson-এর Efficiency এবং Memory Optimization:

  1. Streaming API (JsonReader, JsonWriter) ব্যবহার করুন বড় JSON ডেটার ক্ষেত্রে।
  2. serializeNulls() ব্যবহার না করে null মানগুলো বাদ দিন।
  3. GsonBuilder দিয়ে কাস্টম কনফিগারেশন করুন, যেমন excludeFieldsWithoutExposeAnnotation()
  4. Reuse Gson instances: একবার Gson ইনস্ট্যান্স তৈরি করে বারবার ব্যবহার করুন।
  5. Custom TypeAdapter ব্যবহার করে ডেটা কাস্টমাইজ এবং অপটিমাইজ করুন।

এই পদ্ধতিগুলো ব্যবহার করে আপনি Gson এর পারফরম্যান্স এবং মেমরি ব্যবহারে উন্নতি করতে পারেন।

Content added By
Promotion

Are you sure to start over?

Loading...