Batch Processing কি এবং এর প্রয়োজনীয়তা

Batch Processing কি?

Batch Processing হলো একটি প্রক্রিয়া যেখানে একসঙ্গে একাধিক ডাটাবেজ অপারেশন সম্পন্ন করা হয়। এটি সাধারণত বড় পরিমাণ ডেটা আপডেট, ইন্সার্ট বা ডিলিট করার জন্য ব্যবহার করা হয়। Hibernate বা Spring ORM এ Batch Processing করে ডাটাবেজ অপারেশনগুলো আরও কার্যকর এবং দ্রুত সম্পন্ন করা যায়।

Batch Processing এর প্রয়োজনীয়তা

১. ডাটাবেজ অপারেশনের কর্মক্ষমতা বৃদ্ধি

প্রত্যেকটি অপারেশনের জন্য আলাদা সংযোগ না খুলে একবারে একাধিক অপারেশন চালিয়ে ডাটাবেজ লোড কমানো হয়।

২. নেটওয়ার্ক ট্রাফিক হ্রাস

একাধিক অপারেশন একত্রে প্রক্রিয়া করায় ডাটাবেজ এবং অ্যাপ্লিকেশনের মধ্যে কম সংখ্যক রিকোয়েস্ট পাঠানো হয়।

৩. বড় ডেটা সেট ব্যবস্থাপনা

বড় ডেটা সেট নিয়ে কাজ করার সময় Batch Processing ডাটাবেসের কার্যকারিতা এবং মেমোরি ব্যবহারে সহায়তা করে।

৪. ট্রানজেকশন ম্যানেজমেন্ট

একসঙ্গে একাধিক অপারেশন একটি ট্রানজেকশনে সম্পন্ন হওয়ায় ডেটা কনসিস্টেন্সি বজায় রাখা সহজ হয়।

Hibernate এবং Spring ORM এ Batch Processing এর উদাহরণ

উদাহরণ ১: Hibernate এর মাধ্যমে Batch Insert

Hibernate এ Batch Insert করার জন্য hibernate.jdbc.batch_size প্রোপার্টি কনফিগার করতে হবে।

hibernate.cfg.xml

<property name="hibernate.jdbc.batch_size">20</property>

EmployeeDAO.java

import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Repository;

@Repository
public class EmployeeDAO {

    @Autowired
    private SessionFactory sessionFactory;

    public void saveEmployeesInBatch(List<Employee> employees) {
        Session session = sessionFactory.openSession();
        session.beginTransaction();

        int batchSize = 20; // Batch size
        for (int i = 0; i < employees.size(); i++) {
            session.save(employees.get(i));
            if (i % batchSize == 0) {
                session.flush(); // Flush changes to the database
                session.clear(); // Clear session cache
            }
        }

        session.getTransaction().commit();
        session.close();
    }
}

উদাহরণ ২: Spring JdbcTemplate ব্যবহার করে Batch Update

Spring এর JdbcTemplate ব্যবহার করে Batch Processing করা যায়।

EmployeeDAO.java

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Repository;

@Repository
public class EmployeeDAO {

    @Autowired
    private JdbcTemplate jdbcTemplate;

    public void batchUpdateEmployees(List<Employee> employees) {
        String sql = "INSERT INTO Employee (id, name, department) VALUES (?, ?, ?)";

        jdbcTemplate.batchUpdate(sql, employees, 20, (ps, employee) -> {
            ps.setInt(1, employee.getId());
            ps.setString(2, employee.getName());
            ps.setString(3, employee.getDepartment());
        });
    }
}

উদাহরণ ৩: Hibernate Batch Delete

Hibernate এর মাধ্যমে Batch Delete অপারেশন করা যায়।

EmployeeDAO.java

import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Repository;

@Repository
public class EmployeeDAO {

    @Autowired
    private SessionFactory sessionFactory;

    public void deleteEmployeesInBatch(List<Integer> employeeIds) {
        Session session = sessionFactory.openSession();
        session.beginTransaction();

        String hql = "DELETE FROM Employee WHERE id = :id";
        for (int i = 0; i < employeeIds.size(); i++) {
            session.createQuery(hql)
                   .setParameter("id", employeeIds.get(i))
                   .executeUpdate();
            if (i % 20 == 0) { // Batch size
                session.flush();
                session.clear();
            }
        }

        session.getTransaction().commit();
        session.close();
    }
}

Batch Processing এর চ্যালেঞ্জ এবং সমাধান

চ্যালেঞ্জ:

• ডেটাবেসে Deadlock সৃষ্টি হতে পারে।
• অতিরিক্ত Memory Consumption হতে পারে।
• অপারেশনের সময় ডেটা কনসিস্টেন্সি বজায় রাখা কঠিন হতে পারে।

সমাধান:

• ব্যাচ সাইজ নির্ধারণ করে প্রক্রিয়াটি কার্যকর করা।
• ট্রানজেকশন ম্যানেজমেন্ট সঠিকভাবে প্রয়োগ করা।
• পর্যায়ক্রমে সেশন ফ্লাশ এবং ক্লিয়ার করা।

Batch Processing এর সুবিধা

1. বড় ডেটা সেটের ক্ষেত্রে পারফরম্যান্স বৃদ্ধি।
2. ডাটাবেস সার্ভারের উপর লোড হ্রাস।
3. দ্রুত এবং কার্যকর ডেটা ম্যানিপুলেশন।

Hibernate এবং Spring ORM এর মাধ্যমে Batch Processing সহজেই বাস্তবায়ন করা যায়, যা বড় অ্যাপ্লিকেশন বা ডেটা-ইনটেনসিভ প্রসেসের জন্য অপরিহার্য।