Apache Lucene হল একটি শক্তিশালী এবং জনপ্রিয় লাইব্রেরি যা টেক্সট সারণী বা ডকুমেন্ট সার্চ এবং ইনডেক্সিংয়ের জন্য ব্যবহৃত হয়। এটি একটি ওপেন সোর্স প্রোজেক্ট, যা মূলত টেক্সট-ভিত্তিক ডেটা অনুসন্ধান এবং বিশ্লেষণ করতে ব্যবহৃত হয়। Lucene তে সঠিকভাবে সার্চ রেজাল্ট বের করতে স্কোরিং গুরুত্বপূর্ণ ভূমিকা পালন করে। Custom Scoring Model তৈরি করার মাধ্যমে আপনি আপনার সার্চ রেজাল্টকে আরও উপযোগী এবং নির্দিষ্ট প্রয়োজনে কাস্টমাইজ করতে পারেন।
১. Lucene তে Scoring Model কি?
Scoring হল প্রক্রিয়া যার মাধ্যমে Lucene নির্ধারণ করে কোন ডকুমেন্টটি সার্চ রেজাল্টে উচ্চতর অবস্থানে থাকবে। Lucene, TF-IDF (Term Frequency - Inverse Document Frequency) এবং BM25 এর মতো স্কোরিং মডেল ব্যবহার করে ডকুমেন্টগুলির মধ্যে সম্পর্ক বের করতে।
স্কোরিং মডেল ব্যবহারকারীকে কাস্টম রেটিং তৈরি করতে সাহায্য করে, যা সার্চের ফলাফলগুলি আরও নির্দিষ্ট এবং প্রাসঙ্গিক করে তোলে।
২. Lucene তে Custom Scoring Model তৈরি করা
Lucene তে কাস্টম স্কোরিং তৈরি করতে হলে আপনাকে একটি Custom Similarity Class তৈরি করতে হবে যা Lucene এর ডিফল্ট স্কোরিং মডেলগুলিকে প্রতিস্থাপন করবে। Similarity ক্লাসটি Lucene এর মূল শ্রেণী যা স্কোরিংয়ের জন্য ব্যবহৃত হয়। এটি বিভিন্ন প্রক্রিয়া যেমন term frequency, document frequency, এবং field length normalization পরিচালনা করে।
২.১ Custom Similarity Class তৈরি করা
আপনার কাস্টম স্কোরিং মডেল তৈরি করতে, Similarity ক্লাসটিকে বিস্তৃত (extend) করতে হবে এবং নির্দিষ্ট মেথডগুলিকে পুনঃসংজ্ঞায়িত করতে হবে। যেমন, computeNorm(), idf(), tf(), এবং score() ইত্যাদি।
import org.apache.lucene.search.similarities.Similarity;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.DocIdSetIterator;
import org.apache.lucene.search.Weight;
public class CustomSimilarity extends Similarity {
@Override
public float score(long docId, float freq, float norm) {
// কাস্টম স্কোর ক্যালকুলেশন
return (freq / (1 + freq)) * norm;
}
@Override
public float idf(int docFreq, int numDocs) {
// কাস্টম IDF ক্যালকুলেশন
return (float) Math.log(1 + (numDocs / (docFreq + 1)));
}
@Override
public float tf(float freq) {
// কাস্টম TF ক্যালকুলেশন
return (float) Math.sqrt(freq);
}
@Override
public float computeNorm(String field, FieldInvertState state) {
// কাস্টম নর্ম ক্যালকুলেশন
return super.computeNorm(field, state);
}
}
এখানে, CustomSimilarity ক্লাসটি Similarity ক্লাসটিকে বিস্তৃত (extend) করেছে এবং score(), idf(), tf() ইত্যাদি পদ্ধতিগুলিকে কাস্টমাইজ করা হয়েছে।
২.২ Custom Scoring ব্যবহার করা
একবার আপনি কাস্টম স্কোরিং মডেল তৈরি করলে, আপনি এটি IndexWriter এর সাথে ব্যবহার করতে পারেন।
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;
public class CustomScoringExample {
public static void main(String[] args) throws Exception {
Directory directory = new RAMDirectory();
IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(new StandardAnalyzer()));
// Custom Similarity Set করা হচ্ছে
writer.setSimilarity(new CustomSimilarity());
// ইনডেক্সিং এবং অন্যান্য কার্যক্রম
writer.close();
}
}
এখানে, CustomSimilarity ক্লাসকে IndexWriter এর মাধ্যমে ব্যবহার করা হয়েছে, যার ফলে সমস্ত ইনডেক্সড ডকুমেন্টের জন্য কাস্টম স্কোরিং প্রক্রিয়া প্রয়োগ হবে।
৩. Custom Scoring Model এ Advanced ফিচার
Lucene তে আরও উন্নত স্কোরিং মডেল তৈরি করার জন্য আপনি কিছু অন্যান্য কাস্টমাইজড ফিচার ব্যবহার করতে পারেন। যেমন:
- Field-Specific Scoring: আপনি যদি কোন নির্দিষ্ট ফিল্ডে (যেমন title, content ইত্যাদি) আলাদা স্কোরিং অ্যাপ্লাই করতে চান, তবে আপনাকে Custom Similarity ক্লাসে computeNorm() মেথডে কাস্টম নর্ম ক্যালকুলেশন করতে হবে।
- Boosting Documents: Lucene এর Boost ফিচার ব্যবহার করে, আপনি নির্দিষ্ট ডকুমেন্ট বা ফিল্ডকে বেশি গুরুত্ব দিতে পারেন।
- Custom Term Weighting: বিভিন্ন টার্মের ওজন পরিবর্তন করতে পারেন এবং প্রতিটি টার্মের জন্য আলাদা কাস্টম আইডিএফ (IDF) মান নির্ধারণ করতে পারেন।
৪. Lucene তে Custom Scoring Model এর উদাহরণ
ধরা যাক, আপনি Term Frequency (TF) এবং Document Frequency (DF) এর উপর ভিত্তি করে কাস্টম স্কোরিং করতে চান, যেখানে টার্ম ফ্রিকোয়েন্সি বেশি হলে স্কোর বাড়বে, এবং ডকুমেন্ট ফ্রিকোয়েন্সি কম হলে স্কোর বাড়বে।
public class TFIDFCustomSimilarity extends Similarity {
@Override
public float score(long docId, float freq, float norm) {
// TF * IDF স্কোর ক্যালকুলেশন
float tf = freq / (1 + freq);
float idf = (float) Math.log(1 + (docId + 1)); // Custom IDF Logic
return tf * idf * norm;
}
@Override
public float idf(int docFreq, int numDocs) {
// কাস্টম IDF ক্যালকুলেশন
return (float) Math.log(1 + (numDocs / (docFreq + 1)));
}
@Override
public float tf(float freq) {
// কাস্টম TF ক্যালকুলেশন
return freq / (1 + freq);
}
@Override
public float computeNorm(String field, FieldInvertState state) {
// কাস্টম নর্ম ক্যালকুলেশন
return super.computeNorm(field, state);
}
}
এখানে, TFIDFCustomSimilarity ক্লাসে score(), idf(), এবং tf() পদ্ধতিগুলিকে কাস্টমাইজ করা হয়েছে।
৫. Conclusion
Lucene তে Custom Scoring Model তৈরি করা আপনাকে আপনার সার্চ রেজাল্ট কাস্টমাইজ করতে এবং আপনার প্রয়োজনে আরও উপযোগী করতে সাহায্য করে। কাস্টম স্কোরিং মডেল তৈরি করতে Similarity ক্লাসটিকে বিস্তৃত (extend) করে এবং বিভিন্ন স্কোরিং পদ্ধতি কাস্টমাইজ করা হয়। এর মাধ্যমে আপনি term frequency, document frequency, এবং অন্যান্য মেট্রিক্সের উপর ভিত্তি করে স্কোরিং পরিবর্তন করতে পারবেন। Lucene এর কাস্টম স্কোরিং মডেল আপনাকে আরও স্পেসিফিক এবং কার্যকরী সার্চ রেজাল্ট প্রদান করতে সহায়ক।
Read more
