উদাহরণ সহ Remote Chunking

রিমোট চাংকিং (Remote Chunking) হলো স্প্রিং ব্যাচের একটি কৌশল, যেখানে ডেটা রিড এবং ডেটা রাইট প্রসেসগুলি মাস্টার (Master) নোডে সম্পন্ন হয় এবং প্রসেসর (Processor) অংশটি এক বা একাধিক স্লেভ (Slave) নোডে সম্পন্ন হয়। এটি ডিস্ট্রিবিউটেড প্রসেসিংয়ের জন্য কার্যকর একটি কৌশল।

কীভাবে রিমোট চাংকিং কাজ করে?

1. মাস্টার নোড (Master Node):
   • ডেটা রিড করে।
   • চাংক (Chunk) গুলোকে এক বা একাধিক স্লেভে পাঠায়।
   • প্রক্রিয়াজাত চাংক স্লেভ থেকে গ্রহণ করে এবং ডেটা রাইট করে।
2. স্লেভ নোড (Slave Node):
   • মাস্টার নোড থেকে চাংক গ্রহণ করে।
   • চাংকের ডেটা প্রসেস করে।
   • প্রক্রিয়াজাত ডেটা মাস্টারে পাঠায়।

উদাহরণ: রিমোট চাংকিং কনফিগারেশন

নিচে একটি উদাহরণ দেখানো হয়েছে যেখানে রিমোট চাংকিং ব্যবহৃত হয়েছে।

Step 1: ডিপেনডেন্সি যোগ করা

spring-batch এবং spring-integration এর জন্য প্রয়োজনীয় ডিপেনডেন্সি যোগ করুন:

<dependency>
    <groupId>org.springframework.batch</groupId>
    <artifactId>spring-batch-integration</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.integration</groupId>
    <artifactId>spring-integration-core</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.integration</groupId>
    <artifactId>spring-integration-jms</artifactId>
</dependency>

Step 2: মাস্টার নোড কনফিগারেশন

MasterNodeConfiguration.java

@Configuration
@EnableBatchProcessing
public class MasterNodeConfiguration {

    @Bean
    public Step masterStep(StepBuilderFactory stepBuilderFactory, 
                           ItemReader<String> reader,
                           ItemWriter<String> writer,
                           ChunkMessageChannelItemWriter<String> chunkWriter) {
        return stepBuilderFactory.get("masterStep")
                .<String, String>chunk(10)
                .reader(reader)
                .writer(chunkWriter) // রিমোট চাংক রাইটার ব্যবহার করা হয়েছে
                .build();
    }

    @Bean
    public ChunkMessageChannelItemWriter<String> chunkWriter(JmsTemplate jmsTemplate) {
        ChunkMessageChannelItemWriter<String> writer = new ChunkMessageChannelItemWriter<>();
        writer.setMessagingOperations(jmsTemplate);
        writer.setReplyChannelName("replies");
        return writer;
    }

    @Bean
    public Job remoteChunkingJob(JobBuilderFactory jobBuilderFactory, Step masterStep) {
        return jobBuilderFactory.get("remoteChunkingJob")
                .start(masterStep)
                .build();
    }
    
    @Bean
    public JmsTemplate jmsTemplate(ConnectionFactory connectionFactory) {
        return new JmsTemplate(connectionFactory);
    }
}

Step 3: স্লেভ নোড কনফিগারেশন

SlaveNodeConfiguration.java

@Configuration
@EnableBatchProcessing
public class SlaveNodeConfiguration {

    @Bean
    public IntegrationFlow inboundFlow(ConnectionFactory connectionFactory,
                                       ItemProcessor<String, String> processor,
                                       ItemWriter<String> writer) {
        return IntegrationFlows
                .from(Jms.messageDrivenChannelAdapter(connectionFactory)
                        .destination("requests"))
                .<String, String>chunk(10)
                .processor(processor)
                .writer(writer)
                .get();
    }

    @Bean
    public ItemProcessor<String, String> itemProcessor() {
        return item -> item.toUpperCase();
    }

    @Bean
    public ItemWriter<String> itemWriter() {
        return items -> items.forEach(System.out::println);
    }
}

Step 4: জব রানার কনফিগার করা

JobRunner.java

@SpringBootApplication
public class JobRunner {

    public static void main(String[] args) {
        SpringApplication.run(JobRunner.class, args);
    }
}

কর্মপদ্ধতি ব্যাখ্যা

1. মাস্টার নোড:
   • ডেটা রিড করে এবং JMS এর মাধ্যমে চাংক গুলো স্লেভ নোডে পাঠায়।
   • স্লেভ থেকে প্রক্রিয়াজাত চাংক গ্রহণ করে ডেটা রাইট সম্পন্ন করে।
2. স্লেভ নোড:
   • JMS চ্যানেল থেকে ডেটা গ্রহণ করে।
   • প্রসেসিং সম্পন্ন করে।
   • প্রক্রিয়াজাত ডেটা মাস্টার নোডে পাঠায়।

আউটপুট

এই কনফিগারেশনে, মাস্টার নোড ডেটা রিড এবং রাইটের জন্য দায়িত্ব পালন করবে, এবং স্লেভ নোড শুধুমাত্র প্রসেসিং সম্পন্ন করবে। এটি বড় ডেটাসেটের দ্রুত প্রসেসিং নিশ্চিত করবে।