উদাহরণ সহ Spring Batch এবং NoSQL Integration

Spring Batch একটি শক্তিশালী ফ্রেমওয়ার্ক যা ব্যাচ প্রসেসিংয়ের জন্য ব্যবহৃত হয়, এবং এটি বিভিন্ন ডেটাবেস সিস্টেমের সাথে সহজে ইন্টিগ্রেট করতে সক্ষম। বর্তমানে, অনেক অ্যাপ্লিকেশন NoSQL ডেটাবেস ব্যবহারের দিকে ঝুঁকছে, কারণ তারা স্কেলেবল এবং বেশি পারফরম্যান্স প্রদান করে। Spring Batch এর মাধ্যমে আপনি NoSQL ডেটাবেস, যেমন MongoDB, Cassandra, এবং Redis এর সাথে ব্যাচ প্রসেসিং করতে পারেন।

এখানে, আমরা দেখব কীভাবে Spring Batch এবং MongoDB (একটি জনপ্রিয় NoSQL ডেটাবেস) কে ইন্টিগ্রেট করে একটি ব্যাচ প্রসেসিং কাজ সম্পন্ন করা যায়। আমরা একটি সাধারণ উদাহরণ দেখব, যেখানে MongoDB থেকে ডেটা রিড করে এবং সেই ডেটা প্রক্রিয়া করে আবার MongoDB তে রাইট করা হবে।

Spring Batch এবং MongoDB Integration

Spring Batch এবং MongoDB ইন্টিগ্রেশন করতে আপনাকে কিছু কনফিগারেশন এবং কম্পোনেন্ট ব্যবহার করতে হবে, যেমন MongoItemReader, ItemProcessor, এবং MongoItemWriter। এখানে MongoDB থেকে ডেটা রিড এবং লেখার কাজগুলো সম্পন্ন হবে।

MongoDB এর জন্য Spring Data MongoDB Dependency

প্রথমেই, আপনাকে আপনার প্রোজেক্টে MongoDB সমর্থন যোগ করতে হবে। এজন্য, আপনাকে spring-boot-starter-data-mongodb ডিপেন্ডেন্সি pom.xml ফাইলে যোগ করতে হবে।

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.batch</groupId>
    <artifactId>spring-batch-core</artifactId>
</dependency>

MongoDB Configuration

MongoDB এর সাথে সংযোগ স্থাপনের জন্য, application.properties (বা application.yml) ফাইলে MongoDB এর কনফিগারেশন সেট করতে হবে:

spring.data.mongodb.uri=mongodb://localhost:27017/mydatabase

এখানে mydatabase হলো MongoDB ডেটাবেসের নাম, এবং localhost:27017 হলো MongoDB সার্ভারের লোকেশন।

MongoDB থেকে ডেটা রিড করার জন্য MongoItemReader

Spring Batch এ MongoDB থেকে ডেটা রিড করতে MongoItemReader ব্যবহার করা হয়। এটি MongoDB ডেটাবেস থেকে নির্দিষ্ট ডকুমেন্ট পড়ার জন্য ব্যবহৃত হয়।

@Bean
public MongoItemReader<MyDocument> reader(MongoTemplate mongoTemplate) {
    MongoItemReader<MyDocument> reader = new MongoItemReader<>();
    reader.setTemplate(mongoTemplate);
    reader.setTargetType(MyDocument.class);  // Define your target document class
    reader.setQuery("{}"); // Empty query to fetch all documents
    reader.setSort(new HashMap<>()); // Optional: specify sorting if needed
    return reader;
}

এখানে:

• MongoItemReader: MongoDB থেকে ডেটা রিড করে। MyDocument হচ্ছে MongoDB এর ডকুমেন্ট মডেল ক্লাস।
• Query: {} মানে সব ডকুমেন্ট রিড করা হবে। আপনি যদি কোনো বিশেষ কন্ডিশন চান তবে এখানে MongoDB কোয়েরি দিতে পারেন।

MongoDB তে ডেটা লেখার জন্য MongoItemWriter

MongoDB তে ডেটা লেখার জন্য MongoItemWriter ব্যবহার করা হয়। এটি MongoDB তে ডেটা ইনসার্ট বা আপডেট করতে সক্ষম।

@Bean
public MongoItemWriter<MyDocument> writer(MongoTemplate mongoTemplate) {
    MongoItemWriter<MyDocument> writer = new MongoItemWriter<>();
    writer.setTemplate(mongoTemplate);
    writer.setCollection("mycollection");  // Specify the collection name
    return writer;
}

এখানে:

• MongoItemWriter: MongoDB তে ডেটা লিখে।
• Collection: এটি MongoDB তে যে কনক্রিট কলাম্বেশন এ ডেটা লেখা হবে তা নির্দিষ্ট করে।

ItemProcessor (Data Processing)

ItemProcessor একটি অপশনাল কম্পোনেন্ট যা ডেটার উপর কিছু প্রক্রিয়া বা ট্রান্সফরমেশন করতে ব্যবহৃত হয়। MongoDB থেকে রিড করা ডেটা সাধারণত কোনো কাস্টম প্রসেসিংয়ের মাধ্যমে পরিবর্তিত হয়। এখানে একটি সাধারণ ItemProcessor উদাহরণ দেওয়া হল:

@Bean
public ItemProcessor<MyDocument, MyDocument> processor() {
    return new ItemProcessor<MyDocument, MyDocument>() {
        @Override
        public MyDocument process(MyDocument item) throws Exception {
            // Example of data transformation (e.g., convert all names to uppercase)
            item.setName(item.getName().toUpperCase());
            return item;
        }
    };
}

এখানে, MyDocument একটি MongoDB ডকুমেন্ট মডেল ক্লাস, এবং ItemProcessor তার নামটি uppercase করে দিবে।

Step এবং Job কনফিগারেশন

এখন, আপনি MongoItemReader, ItemProcessor, এবং MongoItemWriter ব্যবহার করে একটি Step এবং একটি Job কনফিগার করতে পারবেন।

@Bean
public Step step1(StepBuilderFactory stepBuilderFactory, ItemReader<MyDocument> reader, ItemProcessor<MyDocument, MyDocument> processor, ItemWriter<MyDocument> writer) {
    return stepBuilderFactory.get("step1")
        .<MyDocument, MyDocument>chunk(10)  // Batch size of 10
        .reader(reader)
        .processor(processor)
        .writer(writer)
        .build();
}

@Bean
public Job mongoJob(JobBuilderFactory jobBuilderFactory, Step step1) {
    return jobBuilderFactory.get("mongoJob")
        .start(step1)
        .build();
}

এখানে:

• chunk(10): ব্যাচ সাইজ ১০ নির্ধারণ করা হয়েছে। অর্থাৎ প্রতি ১০টি ডকুমেন্টে একবার প্রসেসিং এবং লেখা হবে।

Complete Example of Spring Batch with MongoDB Integration

@Configuration
@EnableBatchProcessing
public class BatchConfig {

    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    @Bean
    public MongoItemReader<MyDocument> reader(MongoTemplate mongoTemplate) {
        MongoItemReader<MyDocument> reader = new MongoItemReader<>();
        reader.setTemplate(mongoTemplate);
        reader.setTargetType(MyDocument.class);
        reader.setQuery("{}");
        reader.setSort(new HashMap<>());
        return reader;
    }

    @Bean
    public ItemProcessor<MyDocument, MyDocument> processor() {
        return new ItemProcessor<MyDocument, MyDocument>() {
            @Override
            public MyDocument process(MyDocument item) throws Exception {
                item.setName(item.getName().toUpperCase());  // Example transformation
                return item;
            }
        };
    }

    @Bean
    public MongoItemWriter<MyDocument> writer(MongoTemplate mongoTemplate) {
        MongoItemWriter<MyDocument> writer = new MongoItemWriter<>();
        writer.setTemplate(mongoTemplate);
        writer.setCollection("mycollection");
        return writer;
    }

    @Bean
    public Step step1(ItemReader<MyDocument> reader, ItemProcessor<MyDocument, MyDocument> processor, ItemWriter<MyDocument> writer) {
        return stepBuilderFactory.get("step1")
            .<MyDocument, MyDocument>chunk(10)
            .reader(reader)
            .processor(processor)
            .writer(writer)
            .build();
    }

    @Bean
    public Job mongoJob(Step step1) {
        return jobBuilderFactory.get("mongoJob")
            .start(step1)
            .build();
    }
}

সারাংশ

Spring Batch এবং NoSQL (এক্ষেত্রে MongoDB) ইন্টিগ্রেশন ব্যাচ প্রসেসিংয়ের জন্য একটি শক্তিশালী সমাধান প্রদান করে। আপনি MongoItemReader ব্যবহার করে MongoDB থেকে ডেটা রিড করতে পারেন, ItemProcessor দিয়ে ডেটা প্রসেসিং করতে পারেন এবং MongoItemWriter ব্যবহার করে MongoDB তে ডেটা লিখতে পারেন। এই প্রক্রিয়া থেকে আপনি ব্যাচ প্রসেসিংয়ের কাজগুলো কার্যকরীভাবে সম্পন্ন করতে পারেন, বিশেষ করে যখন বড় আকারের ডেটা এবং স্কেলেবল সমাধান প্রয়োজন হয়।