Scoring এবং Ranking

Lucene হল একটি ওপেন সোর্স তথ্য অনুসন্ধান লাইব্রেরি যা টেক্সট ভিত্তিক অনুসন্ধান এবং ইনডেক্সিং প্রদান করে। এটি ব্যবহৃত হয় মূলত ডকুমেন্ট সার্চিং, ইনডেক্সিং এবং র‌্যাঙ্কিংয়ের জন্য। Scoring এবং Ranking হল লুসিনের দুটি গুরুত্বপূর্ণ অংশ, যা ডকুমেন্টের রিলেভেন্সি বা প্রাসঙ্গিকতা নির্ধারণ করে।

এই টিউটোরিয়ালে, আমরা Lucene Scoring এবং Lucene Ranking এর ধারণা এবং প্রক্রিয়া আলোচনা করব।

১. Lucene Scoring: প্রাসঙ্গিকতা স্কোরিং

Scoring হল লুসিনের একটি প্রক্রিয়া যা অনুসন্ধানকৃত ডকুমেন্টের মধ্যে কোন ডকুমেন্টটি সার্চ কোয়েরির সাথে সবচেয়ে বেশি প্রাসঙ্গিক (relevant) তা নির্ধারণ করে। লুসিন এর স্কোরিং সিস্টেম ডকুমেন্টের সাথে কোয়েরির মিলের উপর ভিত্তি করে কাজ করে। এই প্রক্রিয়াটি সাধারণত TF-IDF (Term Frequency-Inverse Document Frequency) এবং BM25 (Best Matching 25) অ্যালগরিদমের মাধ্যমে কাজ করে।

১.১ Term Frequency (TF)

TF হল একটি টার্ম বা শব্দের ফ্রিকোয়েন্সি, অর্থাৎ, একটি ডকুমেন্টে কোনো নির্দিষ্ট শব্দের কতবার উপস্থিতি রয়েছে। এই ফ্রিকোয়েন্সি যত বেশি, ডকুমেন্টটি ঐ শব্দের জন্য তত বেশি প্রাসঙ্গিক হবে।

১.২ Inverse Document Frequency (IDF)

IDF হল একটি পরিমাপ যা নির্দেশ করে, একটি শব্দ কতটা বিরল বা সাধারণ। যদি একটি শব্দ অনেক ডকুমেন্টে থাকে, তবে তার IDF কম হবে, এবং যেটি খুব কম ডকুমেন্টে থাকে, তার IDF বেশি হবে।

১.৩ Scoring Formula (TF-IDF)

Lucene সাধারণত TF-IDF ফর্মুলা ব্যবহার করে ডকুমেন্টের স্কোর হিসাব করে, যেখানে:

Score = TF * IDF

এখানে:

• TF হল টার্ম ফ্রিকোয়েন্সি।
• IDF হল ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি।

১.৪ Lucene Scoring Example

Lucene এ একটি বেসিক query (যেমন "java programming") এর জন্য স্কোর কিভাবে গণনা করা হয় তা নিম্নরূপ:

Query query = new QueryParser("content", new StandardAnalyzer()).parse("java programming");
TopDocs topDocs = searcher.search(query, 10);

for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
    Document doc = searcher.doc(scoreDoc.doc);
    System.out.println("Score: " + scoreDoc.score + " Doc: " + doc.get("content"));
}

এখানে:

• scoreDoc.score হল প্রত্যেকটি ডকুমেন্টের স্কোর, যা অনুসন্ধান শব্দের সাথে প্রাসঙ্গিকতার ভিত্তিতে গণনা করা হয়।

২. Lucene Ranking: র‌্যাঙ্কিং এবং ফলাফল সাজানো

Ranking হল স্কোরিং এর প্রক্রিয়া যা অনুসন্ধান ফলাফল সাজানোর জন্য ব্যবহৃত হয়। Lucene ডকুমেন্টগুলি স্কোরের ভিত্তিতে সাজায়, যেখানে উচ্চ স্কোরযুক্ত ডকুমেন্টগুলি প্রথমে আসে। Ranking বা ফলাফল সাজানোর জন্য বেশ কিছু কৌশল ব্যবহার করা হয়।

২.১ BM25 (Best Matching 25)

BM25 হল একটি জনপ্রিয় র‌্যাঙ্কিং অ্যালগরিদম যা Lucene-এ ব্যবহার করা হয়। এটি TF-IDF এর উন্নত সংস্করণ এবং এটিতে term frequency এবং document length এর উপর ভিত্তি করে স্কোর নির্ধারণ করা হয়।

BM25 এর মূল ধারণা হল:

• ডকুমেন্টে একটি নির্দিষ্ট টার্মের উপস্থিতি এবং সেই টার্মের প্রাসঙ্গিকতার উপর ডকুমেন্টের স্কোর নির্ভরশীল।
• এটি ডকুমেন্টের দৈর্ঘ্যকে স্বাভাবিক করার জন্য অতিরিক্ত একটি কনস্ট্যান্ট ফ্যাক্টর ব্যবহার করে।

২.২ Lucene Ranking Example

Lucene এর র‌্যাঙ্কিং এবং স্কোরিং সিস্টেমটি ডকুমেন্টগুলিকে প্রাসঙ্গিকতার ভিত্তিতে সাজাতে সাহায্য করে। একটি বেসিক query অনুসন্ধান এবং র‌্যাঙ্কিং উদাহরণ:

Query query = new QueryParser("content", new StandardAnalyzer()).parse("java programming");
TopDocs topDocs = searcher.search(query, 10); // Retrieve top 10 results

for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
    Document doc = searcher.doc(scoreDoc.doc);
    System.out.println("Score: " + scoreDoc.score + " Doc: " + doc.get("content"));
}

এখানে, TopDocs ক্লাসটি সর্বোচ্চ স্কোরযুক্ত ডকুমেন্টগুলি রিটার্ন করে, এবং scoreDoc.score এর মাধ্যমে প্রতিটি ডকুমেন্টের প্রাসঙ্গিকতা স্কোর প্রদর্শিত হয়।

৩. Lucene Ranking টিউনিং এবং কাস্টমাইজেশন

Lucene এর স্কোরিং এবং র‌্যাঙ্কিং প্রক্রিয়াগুলির মাধ্যমে আপনি আরও উন্নত এবং কাস্টমাইজড ফলাফল পেতে পারেন। কিছু কাস্টমাইজেশন বা টিউনিং কৌশল:

1. Boosting Terms: আপনি নির্দিষ্ট টার্মগুলির স্কোর বাড়ানোর জন্য boost করতে পারেন, যাতে সেগুলি অধিক গুরুত্ব পায়।

   Query query = new BoostQuery(new TermQuery(new Term("content", "java")), 2.0f);
   

   এখানে "java" টার্মের স্কোর 2.0x বৃদ্ধি পেয়েছে।

2. Custom Scoring: Custom scoring ফাংশন ব্যবহার করে আপনি নিজের মতো স্কোরিং কৌশল তৈরি করতে পারেন।

   public class CustomScoreQuery extends Query {
       // Custom scoring logic here
   }
   

3. Phrase Query: একাধিক শব্দের জন্য ফ্রেজ অনুসন্ধান করতে PhraseQuery ব্যবহার করতে পারেন, যা পুরো ফ্রেজের মিলের উপর ভিত্তি করে স্কোর নির্ধারণ করে।

৪. Lucene Scoring এবং Ranking এর প্রয়োজনীয়তা

Scoring এবং Ranking হল Lucene এর মূল সুবিধা, কারণ:

1. এটি ডকুমেন্টের প্রাসঙ্গিকতা নির্ধারণ করে এবং ব্যবহারকারীদের দ্রুত এবং সঠিক ফলাফল সরবরাহ করে।
2. এটি relevance ভিত্তিক ফলাফল প্রদানে সাহায্য করে, যার ফলে সার্চ ইঞ্জিন ব্যবহারকারীদের তাদের প্রয়োজনীয় তথ্য দ্রুত পায়।
3. এটি customization এর মাধ্যমে সার্চ ফলাফলকে আরও সুসম্পূর্ণ ও উপযুক্ত করে তোলে, যেমন boosting বা custom scoring ব্যবহার করে।

সারাংশ

Lucene Scoring এবং Ranking হল একটি শক্তিশালী টেক্সট অনুসন্ধান লাইব্রেরির অন্যতম মৌলিক বৈশিষ্ট্য, যা ডকুমেন্টের প্রাসঙ্গিকতা বা রিলেভেন্সি নির্ধারণ করতে সাহায্য করে। Scoring প্রক্রিয়ায় TF-IDF এবং BM25 অ্যালগরিদম ব্যবহৃত হয়, এবং Ranking প্রক্রিয়ায় উচ্চ স্কোরযুক্ত ডকুমেন্ট প্রথমে প্রদর্শিত হয়। এটি সার্চ ইঞ্জিনের কার্যকারিতা এবং ব্যবহারকারীর অভিজ্ঞতা উন্নত করতে সহায়তা করে।

Lucene হল একটি উচ্চ পারফরম্যান্স, full-text search লাইব্রেরি যা Java প্রোগ্রামিং ভাষায় তৈরি করা হয়েছে। এটি ডকুমেন্ট ইনডেক্সিং এবং টেক্সট অনুসন্ধানের জন্য ব্যবহৃত হয়। Lucene Scoring এমন একটি প্রক্রিয়া যা অনুসন্ধান ফলাফলের জন্য প্রতিটি ডকুমেন্টের র‌্যাঙ্ক বা স্কোর নির্ধারণ করে, এবং এটি অনুসন্ধান ফলাফল প্রদর্শন করার ক্ষেত্রে গুরুত্বপূর্ণ ভূমিকা পালন করে। Scoring এর মাধ্যমে, Lucene অনুসন্ধানে সবচেয়ে প্রাসঙ্গিক ডকুমেন্টগুলোকে শীর্ষে তুলে আনে।

এই টিউটোরিয়ালে, আমরা Lucene Scoring এর ধারণা এবং কিভাবে এটি কাজ করে তা বিস্তারিতভাবে আলোচনা করব।

১. Lucene Scoring Overview

Lucene Scoring হল একটি প্রক্রিয়া যার মাধ্যমে Lucene অনুসন্ধান ফলাফলের জন্য একটি স্কোর গণনা করে। স্কোরটি ডকুমেন্টের প্রাসঙ্গিকতা বা relevance নির্দেশ করে, অর্থাৎ, একটি ডকুমেন্ট অনুসন্ধান কোয়েরি (query) এর সাথে কতটা সম্পর্কিত। Lucene Scoring সিস্টেমটি সাধারণত TF-IDF (Term Frequency - Inverse Document Frequency) এবং Normalization ব্যবহার করে স্কোর হিসাব করে।

২. Lucene Scoring এর মূল উপাদানসমূহ

Lucene তে Scoring গণনা করার জন্য প্রধানত দুটি মূল উপাদান ব্যবহার করা হয়:

1. Term Frequency (TF):

   • এটি একটি নির্দিষ্ট টার্ম (শব্দ) এর কতবার উপস্থিতি একটি ডকুমেন্টে তা নির্দেশ করে।
   • টার্মের ফ্রিকোয়েন্সি যত বেশি হবে, ডকুমেন্টের স্কোর তত বেশি হবে।

   Formula:

   $$\text{TF}(t, d) = \frac{\text{Number of occurrences of term t in document d}}{\text{Total number of terms in document d}}$$

2. Inverse Document Frequency (IDF):

   • এটি একটি টার্মের গুরুত্ব নির্ধারণ করে, এবং প্রক্রিয়াটি টার্মের কমনেস বা রেয়ারনেস এর উপর ভিত্তি করে স্কোরের মান দেয়।
   • যদি কোনো টার্ম খুব বেশি ডকুমেন্টে থাকে, তার স্কোর কম হয়। আবার, যদি টার্মটি খুব কম ডকুমেন্টে থাকে, তার স্কোর বেশি হয়।

   Formula:

   $$\text{IDF}(t) = \log \left(\frac{N}{df(t)}\right)$$

   যেখানে, $N$ হল ডকুমেন্টের মোট সংখ্যা এবং $df(t)$ হল টার্ম $t$-এর উপস্থিতি সংখ্যা।

3. Normalization:
   • এটি ডকুমেন্টের স্কোরকে সমন্বয় করে, যাতে খুব বড় বা ছোট ডকুমেন্টগুলির স্কোর সঠিকভাবে প্রতিফলিত হয়।

৩. Lucene Scoring Formula

Lucene সাধারণত TF-IDF মডেল ব্যবহার করে স্কোর গণনা করে, তবে এটি কাস্টম স্কোরিং মেকানিজম ব্যবহার করারও সুযোগ দেয়। একটি সাধারণ Lucene Scoring Formula হবে:

$$\text{Score}(d, q) = \sum_{t \in q} \text{TF}(t, d) \times \text{IDF}(t) \times \text{Field Weight}(t)$$

এখানে:

• Score(d, q): ডকুমেন্ট $d$ এবং কোয়েরি $q$ এর মধ্যে স্কোর।
• TF(t, d): ডকুমেন্ট $d$ তে টার্ম $t$-এর ফ্রিকোয়েন্সি।
• IDF(t): টার্ম $t$-এর ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি।
• Field Weight: যদি একটি ডকুমেন্টে বিভিন্ন ফিল্ড থাকে (যেমন, title, content), তবে Lucene স্কোর গণনা করার সময় প্রতিটি ফিল্ডের গুরুত্ব (weight) নির্ধারণ করে।

৪. Lucene Scoring Example

ধরা যাক, আপনার কাছে একটি ডকুমেন্ট এবং একটি কোয়েরি আছে:

Document:

Lucene is a powerful text search library. It is used for indexing and searching text in applications.

Query:

text search

এখন, Lucene এই কোয়েরি থেকে দুটি টার্ম (text এবং search) বের করবে এবং তার TF এবং IDF ব্যবহার করে স্কোর গণনা করবে। যদি text টার্ম ডকুমেন্টে 2 বার এবং search 1 বার উপস্থিত থাকে, তবে TF হিসাব করা হবে, এবং IDF এর মাধ্যমে তাদের গুরুত্ব বিবেচনা করা হবে।

৫. Lucene Scoring Algorithm

Lucene তে স্কোরিং সাধারণত BooleanQuery এবং PhraseQuery এর মতো বিভিন্ন কোয়েরি টাইপে আলাদা হতে পারে। তবে সাধারণত এটি TF-IDF ভিত্তিক স্কোরিং ব্যবহার করে।

Example: BooleanQuery Scoring

ধরা যাক, আপনি একটি BooleanQuery ব্যবহার করছেন, যেখানে দুটি টার্ম রয়েছে: lucene এবং search. যদি lucene ডকুমেন্টের মধ্যে 3 বার এবং search 1 বার উপস্থিত থাকে, তাহলে:

• TF(lucene) = 3
• TF(search) = 1

এখন IDF হিসাব করার পরে, স্কোর হবে:

$$\text{Score} = (\text{TF(lucene)} \times \text{IDF(lucene)}) + (\text{TF(search)} \times \text{IDF(search)})$$

৬. Lucene Scoring Customization

Lucene আপনাকে স্কোরিং কাস্টমাইজ করার জন্য একটি Custom Similarity ক্লাস তৈরি করার সুযোগ দেয়, যেখানে আপনি নিজস্ব scoring logic নির্ধারণ করতে পারেন।

Example: Custom Similarity

import org.apache.lucene.search.similarities.Similarity;
import org.apache.lucene.index.FieldInvertState;
import org.apache.lucene.search.similarities.DefaultSimilarity;

public class CustomSimilarity extends Similarity {
    private final Similarity delegate = new DefaultSimilarity();

    @Override
    public float tf(float freq) {
        return delegate.tf(freq) * 2; // Custom scaling factor
    }

    @Override
    public float idf(int docFreq, int docCount) {
        return delegate.idf(docFreq, docCount); // Custom IDF logic can be added here
    }

    @Override
    public float lengthNorm(FieldInvertState state) {
        return delegate.lengthNorm(state);
    }
}

এখানে, tf() এবং idf() মেথডে কাস্টম লজিক প্রয়োগ করা হয়েছে যা Lucene স্কোরিং এর বেসিক ফর্মুলাতে কিছু পরিবর্তন এনেছে।

৭. Lucene Scoring এবং Relevance

Lucene তে scoring এর মাধ্যমে ডকুমেন্টের relevance (প্রাসঙ্গিকতা) নির্ধারণ করা হয়। স্কোর যত বেশি হবে, ডকুমেন্টটি কোয়েরির সাথে তত বেশি সম্পর্কিত এবং সেটি অনুসন্ধান ফলাফলের শীর্ষে থাকবে। Lucene তে স্কোরিং numeric ভ্যালু দিয়ে রিটার্ন করা হয়, যা ডকুমেন্টের প্রাসঙ্গিকতার পরিমাপ।

সারাংশ

Lucene Scoring হল একটি গুরুত্বপূর্ণ প্রক্রিয়া যা অনুসন্ধান ফলাফলের জন্য ডকুমেন্টের প্রাসঙ্গিকতা নির্ধারণ করে। এটি TF-IDF এবং Normalization ভিত্তিক স্কোরিং মেকানিজম ব্যবহার করে এবং বিভিন্ন কোয়েরি টাইপের জন্য আলাদা স্কোরিং পদ্ধতি প্রয়োগ করা হয়। Lucene তে কাস্টম স্কোরিং সেটআপ করতে Custom Similarity ব্যবহার করা যায়, যা আপনার অনুসন্ধান ফলাফলকে আরও সূক্ষ্মভাবে নিয়ন্ত্রণ করতে সহায়তা করে।

Lucene হল একটি শক্তিশালী ওপেন সোর্স টেক্সট সার্চ ইঞ্জিন লাইব্রেরি যা Java প্রোগ্রামিং ভাষায় লেখা হয়েছে। এটি ব্যবহৃত হয় তথ্য খোঁজার (searching) জন্য এবং ডকুমেন্ট র‌্যাঙ্কিংয়ের জন্য বিশেষভাবে ডিজাইন করা হয়েছে। TF-IDF (Term Frequency-Inverse Document Frequency) এবং BM25 হল দুটি জনপ্রিয় র‌্যাঙ্কিং অ্যালগরিদম, যেগুলি লুসিনের মাধ্যমে ডকুমেন্ট র‌্যাঙ্কিং করতে ব্যবহৃত হয়।

এই টিউটোরিয়ালে, আমরা Lucene এ TF-IDF এবং BM25 এর মাধ্যমে ডকুমেন্ট র‌্যাঙ্কিং কিভাবে কাজ করে তা আলোচনা করব।

১. TF-IDF (Term Frequency-Inverse Document Frequency) এর ধারণা

TF-IDF হল একটি টেক্সট মিনিং টেকনিক যা একটি শব্দের গুরুত্ব নির্ধারণে ব্যবহৃত হয়। এটি দুটি অংশে বিভক্ত:

1. Term Frequency (TF): এটি একটি নির্দিষ্ট ডকুমেন্টে একটি শব্দ কতবার এসেছে তা পরিমাপ করে। সাধারণত, এটি ওই শব্দটির রূপান্তরিত সংখ্যা হিসেবে গণনা করা হয়।

   $$\text{TF} = \frac{\text{শব্দের উপস্থিতি সংখ্যা}}{\text{ডকুমেন্টের মোট শব্দ সংখ্যা}}$$

2. Inverse Document Frequency (IDF): এটি একটি শব্দের গুরুত্ব নির্দেশ করে, যা প্রতিটি ডকুমেন্টে শব্দটির উপস্থিতির উপর ভিত্তি করে। যদি একটি শব্দ সমস্ত ডকুমেন্টে উপস্থিত থাকে, তাহলে তার IDF কম হবে, এবং যদি এটি খুব কম ডকুমেন্টে উপস্থিত থাকে, তাহলে তার IDF বেশি হবে।

   $$\text{IDF} = \log\left(\frac{\text{মোট ডকুমেন্ট সংখ্যা}}{\text{ডকুমেন্ট সংখ্যা যেখানে শব্দটি রয়েছে}}\right)$$

TF-IDF হল TF এবং IDF এর গুণফল। এটি একটি শব্দের গুরুত্ব পরিমাপ করতে ব্যবহৃত হয়, এবং এটি একাধিক ডকুমেন্টের মধ্যে শব্দের অনন্যতা এবং গুরুত্ব নির্ধারণ করে।

$$\text{TF-IDF} = \text{TF} \times \text{IDF}$$

২. BM25 এর ধারণা

BM25 হল একটি উন্নত র‌্যাঙ্কিং ফাংশন যা TF-IDF এর একটি উন্নত সংস্করণ। এটি একটি ** probabilistic information retrieval model**, যা ডকুমেন্টের র‌্যাঙ্কিং নির্ধারণে ব্যবহৃত হয়। BM25 মূলত term frequency (TF) এবং document length normalization এর একটি ভার্সন। BM25 অ্যালগরিদমে কিছু অতিরিক্ত ফ্যাক্টর ব্যবহৃত হয়, যেমন k1 (term frequency tuning parameter) এবং b (document length normalization).

BM25 এর মূল সমীকরণ হল:

$$\text{Score}(d, q) = \sum_{i=1}^{n} \text{IDF}(w_i) \times \frac{f(w_i, d) \times (k_1 + 1)}{f(w_i, d) + k_1 \times (1 - b + b \times \frac{|d|}{\text{avgdoclen}})}$$

এখানে:

• IDF(w_i): শব্দের ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি।
• f(w_i, d): ডকুমেন্ট d তে শব্দ w_i এর ফ্রিকোয়েন্সি।
• k_1: শব্দের পুনরাবৃত্তির প্রভাব কন্ট্রোল করার জন্য একটি কনস্ট্যান্ট (সাধারণত 1.2 থেকে 2 এর মধ্যে থাকে)।
• b: ডকুমেন্টের দৈর্ঘ্য নির্ধারণকারী ফ্যাক্টর।
• |d|: ডকুমেন্ট d এর শব্দ সংখ্যা।
• avgdoclen: সমস্ত ডকুমেন্টের গড় দৈর্ঘ্য।

৩. Lucene তে TF-IDF এবং BM25 ব্যবহার

Lucene ডিফল্টভাবে TF-IDF ব্যবহার করে র‌্যাঙ্কিং করার জন্য, তবে Lucene 7.0 থেকে BM25 র‌্যাঙ্কিং ফাংশনটিও অন্তর্ভুক্ত করা হয়েছে। আপনি Lucene এ TF-IDF বা BM25 ব্যবহার করতে পারেন, এবং এটি ডকুমেন্ট অনুসন্ধানে ব্যবহৃত হয়।

৩.১ Lucene তে TF-IDF ব্যবহার

Lucene এ TF-IDF এর মাধ্যমে ডকুমেন্ট র‌্যাঙ্কিং করতে, এটি স্বয়ংক্রিয়ভাবে ব্যবহৃত হয়। আপনি IndexSearcher এবং Query ব্যবহার করে টেক্সট অনুসন্ধান এবং র‌্যাঙ্কিং করতে পারবেন।

উদাহরণ:

// Create an index and searcher
IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get("indexPath")));
IndexSearcher searcher = new IndexSearcher(reader);

// Define the query
Query query = new TermQuery(new Term("content", "lucene"));

// Perform the search
TopDocs topDocs = searcher.search(query, 10); // Top 10 results

// Display results
for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
    Document doc = searcher.doc(scoreDoc.doc);
    System.out.println("Document: " + doc.get("filename") + " Score: " + scoreDoc.score);
}

এই উদাহরণে, Lucene ডিফল্টভাবে TF-IDF ব্যবহার করে TermQuery এর মাধ্যমে র‌্যাঙ্কিং করবে।

৩.২ Lucene তে BM25 ব্যবহার

Lucene এ BM25 র‌্যাঙ্কিং ব্যবহার করতে, আপনাকে BM25Similarity ক্লাসটি ব্যবহার করতে হবে। এটি Lucene 7.0 এর পর থেকে সমর্থিত।

উদাহরণ:

// Set BM25 as the similarity model
IndexWriterConfig config = new IndexWriterConfig(new StandardAnalyzer());
config.setSimilarity(new BM25Similarity(1.2f, 0.75f));

// Create an index and writer
IndexWriter writer = new IndexWriter(directory, config);

// Add documents to the index
Document doc = new Document();
doc.add(new TextField("content", "Lucene search engine", Field.Store.YES));
writer.addDocument(doc);
writer.close();

// Search using BM25 similarity
IndexReader reader = DirectoryReader.open(directory);
IndexSearcher searcher = new IndexSearcher(reader);
searcher.setSimilarity(new BM25Similarity(1.2f, 0.75f));

// Define the query
Query query = new TermQuery(new Term("content", "lucene"));
TopDocs topDocs = searcher.search(query, 10);

// Display results
for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
    Document docResult = searcher.doc(scoreDoc.doc);
    System.out.println("Document: " + docResult.get("content") + " Score: " + scoreDoc.score);
}

এখানে, BM25Similarity ক্লাসের মাধ্যমে BM25 র‌্যাঙ্কিং ব্যবহার করা হয়েছে এবং একটি কাস্টম কনফিগারেশন তৈরি করা হয়েছে।

৪. TF-IDF এবং BM25 এর মধ্যে পার্থক্য

সারাংশ

Lucene এ TF-IDF এবং BM25 দুটি জনপ্রিয় র‌্যাঙ্কিং অ্যালগরিদম যা ডকুমেন্ট র‌্যাঙ্কিংয়ের জন্য ব্যবহৃত হয়। TF-IDF একটি সিম্পল মডেল যা টার্ম ফ্রিকোয়েন্সি এবং ডকুমেন্টের উপস্থিতির উপর ভিত্তি করে র‌্যাঙ্কিং করে, তবে BM25 একটি উন্নত এবং প্রোবাবিলিস্টিক মডেল যা ডকুমেন্টের দৈর্ঘ্য ও শব্দের পুনরাবৃত্তি কম্পিউট করে এবং পারফরম্যান্সে উন্নতি আনে। Lucene এ এই দুটি র‌্যাঙ্কিং মডেল ব্যবহার করা সহজ এবং তা আপনার অনুসন্ধান প্রক্রিয়া আরও দক্ষ করে তোলে।

Apache Lucene হল একটি শক্তিশালী এবং জনপ্রিয় লাইব্রেরি যা টেক্সট সারণী বা ডকুমেন্ট সার্চ এবং ইনডেক্সিংয়ের জন্য ব্যবহৃত হয়। এটি একটি ওপেন সোর্স প্রোজেক্ট, যা মূলত টেক্সট-ভিত্তিক ডেটা অনুসন্ধান এবং বিশ্লেষণ করতে ব্যবহৃত হয়। Lucene তে সঠিকভাবে সার্চ রেজাল্ট বের করতে স্কোরিং গুরুত্বপূর্ণ ভূমিকা পালন করে। Custom Scoring Model তৈরি করার মাধ্যমে আপনি আপনার সার্চ রেজাল্টকে আরও উপযোগী এবং নির্দিষ্ট প্রয়োজনে কাস্টমাইজ করতে পারেন।

১. Lucene তে Scoring Model কি?

Scoring হল প্রক্রিয়া যার মাধ্যমে Lucene নির্ধারণ করে কোন ডকুমেন্টটি সার্চ রেজাল্টে উচ্চতর অবস্থানে থাকবে। Lucene, TF-IDF (Term Frequency - Inverse Document Frequency) এবং BM25 এর মতো স্কোরিং মডেল ব্যবহার করে ডকুমেন্টগুলির মধ্যে সম্পর্ক বের করতে।

স্কোরিং মডেল ব্যবহারকারীকে কাস্টম রেটিং তৈরি করতে সাহায্য করে, যা সার্চের ফলাফলগুলি আরও নির্দিষ্ট এবং প্রাসঙ্গিক করে তোলে।

২. Lucene তে Custom Scoring Model তৈরি করা

Lucene তে কাস্টম স্কোরিং তৈরি করতে হলে আপনাকে একটি Custom Similarity Class তৈরি করতে হবে যা Lucene এর ডিফল্ট স্কোরিং মডেলগুলিকে প্রতিস্থাপন করবে। Similarity ক্লাসটি Lucene এর মূল শ্রেণী যা স্কোরিংয়ের জন্য ব্যবহৃত হয়। এটি বিভিন্ন প্রক্রিয়া যেমন term frequency, document frequency, এবং field length normalization পরিচালনা করে।

২.১ Custom Similarity Class তৈরি করা

আপনার কাস্টম স্কোরিং মডেল তৈরি করতে, Similarity ক্লাসটিকে বিস্তৃত (extend) করতে হবে এবং নির্দিষ্ট মেথডগুলিকে পুনঃসংজ্ঞায়িত করতে হবে। যেমন, computeNorm(), idf(), tf(), এবং score() ইত্যাদি।

import org.apache.lucene.search.similarities.Similarity;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.DocIdSetIterator;
import org.apache.lucene.search.Weight;

public class CustomSimilarity extends Similarity {

    @Override
    public float score(long docId, float freq, float norm) {
        // কাস্টম স্কোর ক্যালকুলেশন
        return (freq / (1 + freq)) * norm;
    }

    @Override
    public float idf(int docFreq, int numDocs) {
        // কাস্টম IDF ক্যালকুলেশন
        return (float) Math.log(1 + (numDocs / (docFreq + 1)));
    }

    @Override
    public float tf(float freq) {
        // কাস্টম TF ক্যালকুলেশন
        return (float) Math.sqrt(freq);
    }

    @Override
    public float computeNorm(String field, FieldInvertState state) {
        // কাস্টম নর্ম ক্যালকুলেশন
        return super.computeNorm(field, state);
    }
}

এখানে, CustomSimilarity ক্লাসটি Similarity ক্লাসটিকে বিস্তৃত (extend) করেছে এবং score(), idf(), tf() ইত্যাদি পদ্ধতিগুলিকে কাস্টমাইজ করা হয়েছে।

২.২ Custom Scoring ব্যবহার করা

একবার আপনি কাস্টম স্কোরিং মডেল তৈরি করলে, আপনি এটি IndexWriter এর সাথে ব্যবহার করতে পারেন।

import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;

public class CustomScoringExample {

    public static void main(String[] args) throws Exception {
        Directory directory = new RAMDirectory();
        IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(new StandardAnalyzer()));

        // Custom Similarity Set করা হচ্ছে
        writer.setSimilarity(new CustomSimilarity());

        // ইনডেক্সিং এবং অন্যান্য কার্যক্রম

        writer.close();
    }
}

এখানে, CustomSimilarity ক্লাসকে IndexWriter এর মাধ্যমে ব্যবহার করা হয়েছে, যার ফলে সমস্ত ইনডেক্সড ডকুমেন্টের জন্য কাস্টম স্কোরিং প্রক্রিয়া প্রয়োগ হবে।

৩. Custom Scoring Model এ Advanced ফিচার

Lucene তে আরও উন্নত স্কোরিং মডেল তৈরি করার জন্য আপনি কিছু অন্যান্য কাস্টমাইজড ফিচার ব্যবহার করতে পারেন। যেমন:

1. Field-Specific Scoring: আপনি যদি কোন নির্দিষ্ট ফিল্ডে (যেমন title, content ইত্যাদি) আলাদা স্কোরিং অ্যাপ্লাই করতে চান, তবে আপনাকে Custom Similarity ক্লাসে computeNorm() মেথডে কাস্টম নর্ম ক্যালকুলেশন করতে হবে।
2. Boosting Documents: Lucene এর Boost ফিচার ব্যবহার করে, আপনি নির্দিষ্ট ডকুমেন্ট বা ফিল্ডকে বেশি গুরুত্ব দিতে পারেন।
3. Custom Term Weighting: বিভিন্ন টার্মের ওজন পরিবর্তন করতে পারেন এবং প্রতিটি টার্মের জন্য আলাদা কাস্টম আইডিএফ (IDF) মান নির্ধারণ করতে পারেন।

৪. Lucene তে Custom Scoring Model এর উদাহরণ

ধরা যাক, আপনি Term Frequency (TF) এবং Document Frequency (DF) এর উপর ভিত্তি করে কাস্টম স্কোরিং করতে চান, যেখানে টার্ম ফ্রিকোয়েন্সি বেশি হলে স্কোর বাড়বে, এবং ডকুমেন্ট ফ্রিকোয়েন্সি কম হলে স্কোর বাড়বে।

public class TFIDFCustomSimilarity extends Similarity {

    @Override
    public float score(long docId, float freq, float norm) {
        // TF * IDF স্কোর ক্যালকুলেশন
        float tf = freq / (1 + freq);
        float idf = (float) Math.log(1 + (docId + 1)); // Custom IDF Logic
        return tf * idf * norm;
    }

    @Override
    public float idf(int docFreq, int numDocs) {
        // কাস্টম IDF ক্যালকুলেশন
        return (float) Math.log(1 + (numDocs / (docFreq + 1)));
    }

    @Override
    public float tf(float freq) {
        // কাস্টম TF ক্যালকুলেশন
        return freq / (1 + freq);
    }

    @Override
    public float computeNorm(String field, FieldInvertState state) {
        // কাস্টম নর্ম ক্যালকুলেশন
        return super.computeNorm(field, state);
    }
}

এখানে, TFIDFCustomSimilarity ক্লাসে score(), idf(), এবং tf() পদ্ধতিগুলিকে কাস্টমাইজ করা হয়েছে।

৫. Conclusion

Lucene তে Custom Scoring Model তৈরি করা আপনাকে আপনার সার্চ রেজাল্ট কাস্টমাইজ করতে এবং আপনার প্রয়োজনে আরও উপযোগী করতে সাহায্য করে। কাস্টম স্কোরিং মডেল তৈরি করতে Similarity ক্লাসটিকে বিস্তৃত (extend) করে এবং বিভিন্ন স্কোরিং পদ্ধতি কাস্টমাইজ করা হয়। এর মাধ্যমে আপনি term frequency, document frequency, এবং অন্যান্য মেট্রিক্সের উপর ভিত্তি করে স্কোরিং পরিবর্তন করতে পারবেন। Lucene এর কাস্টম স্কোরিং মডেল আপনাকে আরও স্পেসিফিক এবং কার্যকরী সার্চ রেজাল্ট প্রদান করতে সহায়ক।

Apache Lucene হল একটি শক্তিশালী ওপেন সোর্স ইন্ডেক্সিং এবং সার্চ লাইব্রেরি যা দ্রুত এবং দক্ষ সার্চ অপারেশন পরিচালনা করতে ব্যবহৃত হয়। এটি প্রধানত text searching এর জন্য ব্যবহৃত হয়, তবে এটি অনেক ধরনের ডেটার জন্য সার্চ সমাধান প্রদান করে। Result Ranking এবং Custom Scoring লুসিনের গুরুত্বপূর্ণ বৈশিষ্ট্য, যার মাধ্যমে সার্চ রেজাল্টের গুণগত মান উন্নত করা হয়।

এই গাইডে, আমরা দেখব কীভাবে Lucene ব্যবহার করে Result Ranking এবং Custom Scoring প্রক্রিয়া সম্পাদন করা যায়।

১. Lucene Indexing এবং Searching এর মূল ধারণা

Lucene তে ইন্ডেক্স এবং সার্চিং একটি শক্তিশালী পদ্ধতি যা ব্যবহারকারীর কুয়েরি অনুযায়ী ডেটা খুঁজে বের করতে সাহায্য করে। এটি Inverted Indexing ব্যবহার করে, যেখানে প্রতিটি শব্দের জন্য একটি ইনডেক্স তৈরি করা হয় এবং এটি দ্রুত সার্চ রেজাল্ট পাওয়ার জন্য ব্যবহৃত হয়।

Indexing (ইন্ডেক্সিং):

Lucene ইন্ডেক্সিংয়ের মাধ্যমে ডকুমেন্টগুলির মধ্যে থেকে Term এর মেমরি মডেল তৈরি করে যা সার্চিংয়ে ব্যবহৃত হয়। এই ইন্ডেক্সটিতে শব্দের উপস্থিতি এবং প্রতিটি শব্দের অবস্থান সংরক্ষিত থাকে।

Searching (সার্চিং):

Lucene সার্চ অপারেশন চলানোর জন্য কুয়েরি (Query) ব্যবহার করে ইন্ডেক্সের মধ্যে শব্দের জন্য অনুসন্ধান করে এবং রেটিং বা স্কোরিং এর মাধ্যমে সবচেয়ে প্রাসঙ্গিক রেজাল্ট প্রদান করে।

২. Lucene Query Types এর ধারণা

Lucene তে বিভিন্ন ধরনের কুয়েরি আছে যা সার্চ রেজাল্টের নির্ভুলতা এবং কার্যকারিতা বাড়ায়। কিছু সাধারণ কুয়েরি টাইপ হলো:

1. Term Query: একক শব্দ অনুসন্ধান।
2. Phrase Query: একাধিক শব্দের মধ্যে সঠিক ক্রমে মিল খোঁজা।
3. Boolean Query: বিভিন্ন কুয়েরি একত্রিত করে অনুসন্ধান (AND, OR, NOT)।
4. Range Query: একটি নির্দিষ্ট রেঞ্জের মধ্যে ফলাফল অনুসন্ধান করা।

৩. Lucene Result Ranking এবং Custom Scoring

Result Ranking এবং Custom Scoring হল সেই প্রক্রিয়া যা সার্চ রেজাল্টের মান নির্ধারণ করে। সাধারণত, Lucene একটি TF-IDF (Term Frequency - Inverse Document Frequency) মডেল ব্যবহার করে রেজাল্ট র‍্যাংকিং এবং স্কোরিং সম্পন্ন করে, যেখানে প্রতিটি শব্দের frequency এবং তার document frequency (বা inverse document frequency) নির্ধারণ করা হয়।

Custom Scoring:

Lucene আপনাকে Custom Scoring নির্ধারণ করার সুযোগ দেয়, যেখানে আপনি নির্দিষ্ট কুয়েরি বা স্কোরিং ফাংশন অনুযায়ী স্কোর কাস্টমাইজ করতে পারেন। উদাহরণস্বরূপ, আপনি একটি নির্দিষ্ট শব্দের গুরুত্ব বাড়াতে বা কমাতে পারেন।

৩.১ Result Ranking এর উদাহরণ

Lucene ডিফল্টভাবে TF-IDF স্কোরিং ব্যবস্থার মাধ্যমে রেজাল্ট র‍্যাংকিং করে। তবে, যদি আপনি কাস্টম স্কোরিং ব্যবহারের মাধ্যমে রেজাল্ট র‍্যাংকিং কাস্টমাইজ করতে চান, তাহলে আপনাকে Custom Similarity ক্লাস তৈরি করতে হবে।

Custom Scoring Example:

import org.apache.lucene.index.IndexReader;
import org.apache.lucene.search.Scorer;
import org.apache.lucene.search.Similarity;
import org.apache.lucene.search.Explanation;
import org.apache.lucene.index.LeafReaderContext;

public class CustomSimilarity extends Similarity {

    @Override
    public float score(int doc, float freq) {
        // Custom scoring logic based on term frequency (freq)
        return freq * 2;  // Example: Doubling the term frequency as a custom factor
    }

    @Override
    public Explanation explain(LeafReaderContext context, int doc) {
        // Explanation for scoring
        return Explanation.match(1.0f, "Custom scoring explanation");
    }

    @Override
    public float idf(long docFreq, long numDocs) {
        // Use default idf logic or implement custom
        return super.idf(docFreq, numDocs);
    }

    @Override
    public float lengthNorm(String fieldName, int numTerms) {
        // Normalize the length of the field
        return super.lengthNorm(fieldName, numTerms);
    }
}

এখানে, CustomSimilarity ক্লাস একটি কাস্টম স্কোরিং কৌশল তৈরি করে যেখানে আমরা term frequency (freq) এর উপর ভিত্তি করে স্কোরিং পরিবর্তন করেছি।

Using Custom Similarity in a Query:

import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.BooleanQuery;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.index.Term;

public class CustomScoringExample {
    public static void main(String[] args) throws Exception {
        // Create an index searcher
        IndexSearcher searcher = new IndexSearcher(IndexReader.open(directory));

        // Create a query
        Query query = new TermQuery(new Term("content", "lucene"));

        // Set the custom similarity
        searcher.setSimilarity(new CustomSimilarity());

        // Search and get top documents
        TopDocs topDocs = searcher.search(query, 10);
        for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
            System.out.println("Doc ID: " + scoreDoc.doc + ", Score: " + scoreDoc.score);
        }
    }
}

এখানে, searcher.setSimilarity(new CustomSimilarity()) লাইনটি কাস্টম স্কোরিং ফাংশন সেট করে এবং অনুসন্ধানের ফলাফলকে কাস্টম স্কোরের ভিত্তিতে র‍্যাংক করা হয়।

৪. Lucene Query and Custom Scoring: Complete Example

এই উদাহরণে, আমরা একটি BooleanQuery এবং CustomSimilarity ব্যবহার করছি, যাতে সার্চ রেজাল্ট র‍্যাংকিং কাস্টমাইজ করা যায়:

import org.apache.lucene.search.*;
import org.apache.lucene.index.*;
import org.apache.lucene.store.*;
import org.apache.lucene.document.*;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class LuceneSearchWithCustomScoring {
    public static void main(String[] args) throws Exception {
        // Open a directory
        Directory directory = FSDirectory.open(Paths.get("index"));

        // Create an index reader and searcher
        IndexReader reader = DirectoryReader.open(directory);
        IndexSearcher searcher = new IndexSearcher(reader);
        
        // Apply custom similarity
        searcher.setSimilarity(new CustomSimilarity());

        // Create a boolean query
        BooleanQuery.Builder booleanQuery = new BooleanQuery.Builder();
        booleanQuery.add(new TermQuery(new Term("content", "lucene")), BooleanClause.Occur.MUST);
        booleanQuery.add(new TermQuery(new Term("content", "search")), BooleanClause.Occur.MUST);

        // Perform the search
        TopDocs results = searcher.search(booleanQuery.build(), 10);

        // Print the results
        for (ScoreDoc doc : results.scoreDocs) {
            Document document = searcher.doc(doc.doc);
            System.out.println("Doc ID: " + doc.doc + ", Score: " + doc.score);
            System.out.println("Content: " + document.get("content"));
        }
    }
}

এই উদাহরণে, আমরা BooleanQuery এবং CustomSimilarity ব্যবহার করছি। সার্চ ফলাফলগুলোর স্কোর কাস্টম লজিক অনুযায়ী নির্ধারণ হবে।

সারাংশ

Lucene তে Result Ranking এবং Custom Scoring ব্যবহারের মাধ্যমে আপনি আপনার সার্চ রেজাল্টগুলির প্রাসঙ্গিকতা এবং গুরুত্ব কাস্টমাইজ করতে পারেন। CustomSimilarity ক্লাস তৈরি করে আপনি নির্দিষ্ট কুয়েরি বা ডকুমেন্টের উপর ভিত্তি করে স্কোরিং এবং র‍্যাংকিং লজিক পরিবর্তন করতে পারবেন। এই কাস্টম স্কোরিং আপনি Term Frequency, Document Frequency বা অন্য কোনো কাস্টম লজিকের ভিত্তিতে করতে পারেন।

Lucene তে কাস্টম স্কোরিং এবং র‍্যাংকিং কার্যক্রম আপনার সার্চ ফিচারের কার্যকারিতা বাড়াতে এবং ব্যবহারকারীর অভিজ্ঞতা উন্নত করতে সহায়ক।