Spring Batch কি?

Spring Batch একটি শক্তিশালী ফ্রেমওয়ার্ক যা বATCH Processing এর জন্য ডিজাইন করা হয়েছে। এটি বড় আকারের ডেটা সেটগুলো প্রক্রিয়া করতে ব্যবহৃত হয়, যেমন ডেটাবেস থেকে বড় পরিমাণ ডেটা পড়া, প্রক্রিয়া করা, এবং পুনরায় স্টোর করা। Spring Batch অ্যাপ্লিকেশনগুলো সহজে স্কেলেবল এবং পারফর্ম্যান্ট হয়ে থাকে, যেখানে বেশ কয়েকটি ধাপে ডেটা প্রক্রিয়া করতে হয় (যেমন রিড, প্রসেস এবং রাইট অপারেশন)। Spring Batch মূলত Spring Framework এর উপরে নির্মিত এবং এটি জাভা ভিত্তিক বATCH প্রক্রিয়া সম্পাদন করতে সাহায্য করে।

Spring Batch কে অনেক সময় ETL (Extract, Transform, Load) প্রক্রিয়ার জন্য ব্যবহার করা হয়, যেখানে ডেটা এক জায়গা থেকে অন্য জায়গায় স্থানান্তরিত হয় এবং প্রয়োজনীয় পরিবর্তন করা হয়।

Spring Batch এর বৈশিষ্ট্য

Spring Batch অনেকগুলি শক্তিশালী বৈশিষ্ট্য প্রদান করে, যার মাধ্যমে বড় আকারের ডেটা প্রক্রিয়া করার কাজ সহজ হয়ে যায়।

1. Chunk-Oriented Processing:
   • Spring Batch ডেটা একসাথে (chunks) প্রক্রিয়া করে, যা খুব বড় ডেটাসেটের জন্য খুবই কার্যকরী। প্রতি chunk-এ নির্দিষ্ট সংখ্যক রেকর্ড প্রক্রিয়া করা হয় এবং প্রক্রিয়া শেষ হলে commit করা হয়।
2. Batch Jobs:
   • Spring Batch-এ একটি Batch Job হল একটি প্রক্রিয়া যা বিভিন্ন স্টেপ নিয়ে গঠিত, যেমন ডেটা রিডিং, প্রসেসিং এবং রাইটিং। প্রতিটি স্টেপ নির্দিষ্ট কাজ সম্পাদন করে।
3. ItemReader, ItemProcessor, ItemWriter:
   • ItemReader ডেটা পড়ে, ItemProcessor ডেটা প্রসেস করে, এবং ItemWriter প্রসেস করা ডেটা লেখে। এগুলো Spring Batch এর মূল উপাদান এবং যেকোনো batch job-এ ব্যবহৃত হয়।
4. Job Parameters:
   • Spring Batch-এ JobParameters ব্যবহার করে কাস্টম ডেটা পাস করা হয়, যেমন, অ্যাপ্লিকেশন চলাকালে ইনপুট ফাইল বা ডেটাবেসের টেবিল নাম।
5. Transaction Management:
   • Spring Batch টান্সাকশন ম্যানেজমেন্ট প্রদান করে, যাতে বড় পরিমাণ ডেটা প্রক্রিয়ার সময় সম্পূর্ণ ট্রানজেকশন সফল না হলে কোনো ডেটা লস না হয়।
6. Retry and Skip Logic:
   • Spring Batch-এ ডেটা প্রক্রিয়ার সময় কোনো ত্রুটি হলে retry এবং skip লজিক ব্যবহৃত হয়, যাতে ত্রুটিপূর্ণ রেকর্ডগুলো বাদ দেওয়া বা পুনরায় চেষ্টা করা যায়।
7. Parallel Processing:
   • Spring Batch কয়েকটি স্টেপ বা একাধিক জব একসাথে চালানোর সুবিধা প্রদান করে, যা পারফরম্যান্স উন্নত করতে সাহায্য করে।
8. Metadata Tracking:
   • Spring Batch সব ধরনের মেটাডেটা ট্র্যাক করতে সক্ষম, যেমন সফলভাবে প্রক্রিয়া করা রেকর্ড, ত্রুটিপূর্ণ রেকর্ড, এবং কাজের অবস্থা।

Spring Batch এর সাধারণ ব্যবহার

Spring Batch মূলত বড় আকারের ডেটা প্রক্রিয়াকরণ (যেমন ট্রান্সফর্মেশন, লোডিং, এবং এক্সট্র্যাকশন) করার জন্য ব্যবহৃত হয়। এর কিছু সাধারণ ব্যবহার উদাহরণ হলো:

1. ডেটা মাইগ্রেশন (Data Migration):
   • বড় ডেটাসেট এক ডেটাবেস থেকে অন্য ডেটাবেসে স্থানান্তর করা।
2. বিলিং এবং ইনভয়েস জেনারেশন:
   • বড় পরিমাণ ট্রানজেকশন ডেটা নিয়ে বিলিং এবং ইনভয়েস জেনারেট করা।
3. ফাইল প্রসেসিং (File Processing):
   • CSV, Excel, XML ফাইল থেকে ডেটা রিড এবং প্রসেসিং করা এবং ডেটাবেসে সেভ করা।
4. ট্রান্সফরমেশন এবং রিপোর্টিং:
   • ডেটা ট্রান্সফর্ম করে রিপোর্ট তৈরি করা এবং তা বিভিন্ন ফরম্যাটে আউটপুট করা।

Spring Batch এর কিভাবে কাজ করে?

Spring Batch তিনটি প্রধান অংশে কাজ করে:

1. ItemReader:
   • ডেটা পড়ার কাজ করে। এটা কোনো ফাইল বা ডেটাবেস থেকে ডেটা পড়তে পারে।
2. ItemProcessor:
   • ডেটা পড়ার পর, সেটা প্রসেস করে বা পরিবর্তন করে, যেমন ফিল্টার বা ক্যালকুলেশন করা।
3. ItemWriter:
   • প্রসেস করা ডেটা স্টোর করে। এটি ডেটাবেস, ফাইল, বা অন্য কোনো আউটপুট ডেস্টিনেশনে ডেটা লেখে।

এই তিনটি উপাদান Spring Batch এর মাধ্যমে একসাথে কাজ করে এবং একটি batch job সম্পন্ন হয়।

উদাহরণ: Spring Batch Job

নিচে একটি সহজ Spring Batch job-এর উদাহরণ দেওয়া হলো, যেখানে CSV ফাইল থেকে ডেটা পড়ে, তা প্রসেস করে এবং ডেটাবেসে সেভ করা হয়।

১. Configuration Class:

@Configuration
@EnableBatchProcessing
public class BatchConfig {

    @Autowired
    public JobBuilderFactory jobBuilderFactory;

    @Autowired
    public StepBuilderFactory stepBuilderFactory;

    @Bean
    public FlatFileItemReader<User> reader() {
        FlatFileItemReader<User> reader = new FlatFileItemReader<>();
        reader.setResource(new ClassPathResource("users.csv"));
        reader.setLineMapper(new DefaultLineMapper<User>() {{
            setLineTokenizer(new DelimitedLineTokenizer() {{
                setNames("id", "name", "email");
            }});
            setFieldSetMapper(new BeanWrapperFieldSetMapper<User>() {{
                setTargetType(User.class);
            }});
        }});
        return reader;
    }

    @Bean
    public ItemProcessor<User, User> processor() {
        return new UserItemProcessor();
    }

    @Bean
    public ItemWriter<User> writer() {
        return new JdbcBatchItemWriterBuilder<User>()
                .dataSource(dataSource)
                .sql("INSERT INTO user (id, name, email) VALUES (:id, :name, :email)")
                .beanMapped()
                .build();
    }

    @Bean
    public Step step1() {
        return stepBuilderFactory.get("step1")
                .<User, User>chunk(10)
                .reader(reader())
                .processor(processor())
                .writer(writer())
                .build();
    }

    @Bean
    public Job importUserJob() {
        return jobBuilderFactory.get("importUserJob")
                .incrementer(new RunIdIncrementer())
                .flow(step1())
                .end()
                .build();
    }
}

২. Processor Class:

public class UserItemProcessor implements ItemProcessor<User, User> {
    @Override
    public User process(User item) throws Exception {
        item.setName(item.getName().toUpperCase());
        return item;
    }
}

৩. User Entity:

public class User {
    private Long id;
    private String name;
    private String email;

    // Getters and Setters
}

৪. CSV File (users.csv):

1,John,john@example.com
2,Jane,jane@example.com
3,David,david@example.com

সারাংশ

Spring Batch একটি শক্তিশালী ফ্রেমওয়ার্ক যা বড় আকারের ডেটা প্রক্রিয়া করার জন্য ডিজাইন করা হয়েছে। এটি জটিল ডেটা প্রসেসিং, ব্যাচের মাধ্যমে ডেটা রিড, প্রসেস, এবং রাইট করার কাজটি সহজে করতে সহায়তা করে। Spring Batch-এ রয়েছে Chunk-Oriented Processing, Job Parameters, Transaction Management, Retry and Skip Logic, এবং Parallel Processing এর মতো বৈশিষ্ট্য, যা বড় এবং জটিল ডেটাসেট প্রক্রিয়াকরণে সহায়তা করে। Spring Batch সাধারণত ETL, ডেটা মাইগ্রেশন, বিলিং সিস্টেম, এবং রিপোর্টিং সিস্টেম-এ ব্যবহৃত হয়।