Efficient File Handling এবং Text Extraction এর জন্য কৌশল

অ্যাপাচি টিকা (Apache Tika) বিভিন্ন ধরনের ফাইল থেকে টেক্সট এবং মেটাডেটা এক্সট্র্যাক্ট করার জন্য ব্যবহৃত একটি শক্তিশালী টুল। তবে যখন বড় আকারের বা বিপুল পরিমাণ ডকুমেন্ট প্রসেস করতে হয়, তখন পারফরম্যান্সের উপর প্রভাব পড়তে পারে। এ কারণে Efficient File Handling এবং Text Extraction এর জন্য কিছু কৌশল ব্যবহার করা গুরুত্বপূর্ণ।

ফাইল প্রসেসিং এর জন্য কার্যকর কৌশল

১. ফাইল সাইজ এবং টাইপ চেক করা

• যেকোনো ফাইল প্রসেস করার আগে, এর সাইজ এবং টাইপ যাচাই করা উচিত যাতে খুব বড় বা অপ্রত্যাশিত ফাইল প্রসেসিং থেকে বিরত থাকা যায়। এতে Denial of Service (DoS) আক্রমণ প্রতিরোধ করতে সাহায্য করে।
• Input Validation এর মাধ্যমে মাত্রা ও অনুমোদিত ফাইল টাইপের উপর কন্ট্রোল রাখা যায়।

import os

# ফাইল সাইজ চেক
def check_file_size(file_path, max_size_mb=10):
    file_size = os.path.getsize(file_path) / (1024 * 1024)  # MB
    if file_size > max_size_mb:
        print(f"Error: File size ({file_size:.2f} MB) exceeds the allowed limit.")
        return False
    return True

২. ফাইল টাইপ রেস্ট্রিকশন

• কেবলমাত্র নির্দিষ্ট ধরনের ফাইল প্রসেস করার অনুমতি দেওয়া উচিত, যেমন PDF, DOCX, TXT, ইত্যাদি। এতে অপ্রত্যাশিত বা ম্যালিসিয়াস ফাইলগুলোকে বর্জন করা সম্ভব।

<tikaConfig>
    <parsers>
        <parser class="org.apache.tika.parser.pdf.PDFParser"/>
        <parser class="org.apache.tika.parser.microsoft.ooxml.OOXMLParser"/>
    </parsers>
</tikaConfig>

৩. ইন-মেমরি প্রসেসিং এবং স্ট্রিমিং

• বড় আকারের ফাইলের ক্ষেত্রে, একসাথে পুরো ফাইল মেমরিতে লোড না করে স্ট্রিমিং পদ্ধতি ব্যবহার করা উচিত। এতে মেমরি ব্যবহারের পরিমাণ কমানো যায় এবং পারফরম্যান্স উন্নত হয়। Tika API তে স্ট্রিমিং সমর্থিত।

import org.apache.tika.Tika;
import org.apache.tika.io.IOUtils;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

public class TikaStreamExample {
    public static void main(String[] args) throws IOException {
        Tika tika = new Tika();
        InputStream input = new FileInputStream("example.pdf");

        // স্ট্রিমিং করে টেক্সট এক্সট্র্যাক্ট করা
        String text = tika.parseToString(input);
        System.out.println(text);

        IOUtils.closeQuietly(input);
    }
}

৪. টেক্সট এক্সট্র্যাকশন অপটিমাইজেশন

• Tika দিয়ে টেক্সট এক্সট্র্যাকশন দ্রুততর করতে content handler ব্যবহার করা উচিত। এতে প্রসেসিংয়ের গতি বৃদ্ধি পায় এবং আউটপুটের আকারও ছোট হয়।
• Metadata এক্সট্র্যাকশনের জন্য কাস্টম ContentHandler ব্যবহার করে ফাইলের আউটপুট কাস্টমাইজ করা সম্ভব।

import org.apache.tika.sax.BodyContentHandler;
import org.apache.tika.parser.pdf.PDFParser;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.ParseContext;

import java.io.FileInputStream;
import java.io.InputStream;

public class OptimizedTextExtraction {
    public static void main(String[] args) throws Exception {
        InputStream input = new FileInputStream("example.pdf");
        BodyContentHandler handler = new BodyContentHandler();
        Metadata metadata = new Metadata();
        PDFParser parser = new PDFParser();
        parser.parse(input, handler, metadata, new ParseContext());

        // এক্সট্র্যাক্টেড টেক্সট প্রিন্ট করা
        System.out.println(handler.toString());
    }
}

৫. ব্লক প্রসেসিং ব্যবহার করা

• বড় আকারের ডকুমেন্ট প্রসেস করার জন্য ফাইলকে ছোট ব্লকে ভাগ করে প্রতি ব্লক আলাদা আলাদা প্রসেস করা যেতে পারে। এতে মেমরি ব্যবহারের পরিমাণ কমানো যায় এবং প্রসেসিং আরো দ্রুত হয়।
• ফাইল স্ট্রিমিংয়ের মাধ্যমে ব্লক ভিত্তিক প্রসেসিং করা যায়।

৬. প্যারালেল প্রসেসিং

• একাধিক ফাইল প্রসেস করার সময় multi-threading বা parallel processing ব্যবহার করা উচিত যাতে একাধিক ফাইল একসাথে প্রসেস করা যায়। এটি বড় আকারের ডেটা প্রসেসিংকে দ্রুততর করে।
• উদাহরণস্বরূপ, Python এর concurrent.futures মডিউল ব্যবহার করে একাধিক ফাইল প্রসেস করা যেতে পারে।

import concurrent.futures
import tika
from tika import parser

def extract_text(file_path):
    raw = parser.from_file(file_path)
    return raw.get("content", "")

# ফাইল লিস্ট
file_paths = ["file1.pdf", "file2.docx", "file3.pdf"]

# প্যারালেল প্রসেসিং
with concurrent.futures.ThreadPoolExecutor() as executor:
    results = list(executor.map(extract_text, file_paths))

print(results)

টেক্সট এক্সট্র্যাকশনের জন্য উন্নত কৌশল

১. পার্সার কাস্টমাইজেশন

• যদি নির্দিষ্ট ফাইল ফরম্যাটের জন্য default parser যথেষ্ট না হয়, তবে কাস্টম parser তৈরি করা যেতে পারে যা নির্দিষ্ট ধরনের ডেটা বা ফরম্যাটের জন্য আরও কার্যকরী হতে পারে।

২. মেটাডেটা এক্সট্র্যাকশন ফিল্টারিং

• এক্সট্র্যাক্টেড মেটাডেটার মধ্যে অপ্রয়োজনীয় তথ্য বাদ দিয়ে শুধুমাত্র প্রয়োজনীয় মেটাডেটা এক্সট্র্যাক্ট করা উচিত। এতে রেসপন্সের আকার ছোট হয় এবং প্রক্রিয়াকরণ দ্রুত হয়।

৩. টেক্সট ক্লিনিং এবং প্রিপ্রসেসিং

• এক্সট্র্যাক্ট করা টেক্সট থেকে অপ্রয়োজনীয় স্পেস, বিশেষ চিহ্ন এবং অক্ষর সরিয়ে ফেলা উচিত। এটি এক্সট্র্যাকশন প্রক্রিয়ার পরবর্তী ধাপ যেমন text classification বা sentiment analysis এর জন্য কার্যকরী।

import re

# টেক্সট ক্লিনিং
def clean_text(text):
    cleaned_text = re.sub(r'\s+', ' ', text)  # Extra spaces removal
    cleaned_text = re.sub(r'[^A-Za-z0-9 ]', '', cleaned_text)  # Remove special characters
    return cleaned_text

# এক্সট্র্যাক্ট করা টেক্সট
raw_text = "This is an example text...!!"
cleaned_text = clean_text(raw_text)
print(cleaned_text)

সারাংশ

অ্যাপাচি টিকা (Apache Tika) এর কার্যক্ষমতা বাড়ানোর জন্য ফাইল সাইজ এবং টাইপ যাচাই, স্ট্রিমিং প্রসেসিং, টেক্সট ক্লিনিং, এবং প্যারালেল প্রসেসিং এর মতো কৌশলগুলি গুরুত্বপূর্ণ। এর মাধ্যমে efficient file handling এবং fast text extraction নিশ্চিত করা সম্ভব, বিশেষ করে বড় আকারের বা বহু সংখ্যক ডকুমেন্ট প্রসেস করার সময়।