মডেল সার্ভিং এবং ইন্টিগ্রেশন একটি কৃত্রিম বুদ্ধিমত্তা (AI) মডেলকে বাস্তব বিশ্বে ব্যবহারযোগ্য করার জন্য অত্যন্ত গুরুত্বপূর্ণ। এতে মডেলটি একটি API বা সার্ভিস হিসেবে প্রস্তুত করা হয়, যা অন্যান্য অ্যাপ্লিকেশন বা সিস্টেমের সাথে সংযোগ স্থাপন করে। এখানে একটি উদাহরণসহ মডেল সার্ভিং এবং ইন্টিগ্রেশন প্রক্রিয়া আলোচনা করা হলো।
প্রজেক্টের উদ্দেশ্য: একটি কাস্টম চ্যাটবট সার্ভ করা
আমরা একটি পূর্ব প্রশিক্ষিত LLaMA মডেল কাস্টমাইজ করে একটি চ্যাটবট তৈরি করবো এবং সেটিকে FastAPI ব্যবহার করে একটি API হিসেবে সার্ভ করবো। এটি অন্য অ্যাপ্লিকেশন থেকে ইনপুট নিয়ে এবং মডেল থেকে আউটপুট প্রদান করবে।
ধাপ ১: FastAPI ইনস্টল করা
প্রথমে FastAPI এবং Uvicorn ইনস্টল করুন:
pip install fastapi uvicorn
ধাপ ২: মডেল লোড করা
from transformers import AutoTokenizer, AutoModelForCausalLM
# LLaMA বা অন্য মডেল লোড করা
model_name = "meta-llama/LLaMA-7b" # উদাহরণস্বরূপ
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
ধাপ ৩: FastAPI অ্যাপ তৈরি করা
FastAPI ব্যবহার করে একটি অ্যাপ তৈরি করুন যা ব্যবহারকারীর প্রশ্ন গ্রহণ করবে এবং মডেল থেকে উত্তর প্রদান করবে।
from fastapi import FastAPI
from pydantic import BaseModel
app = FastAPI()
class Question(BaseModel):
question: str
@app.post("/ask")
async def get_answer(question: Question):
input_ids = tokenizer.encode(question.question, return_tensors='pt')
output = model.generate(input_ids, max_length=100)
answer = tokenizer.decode(output[0], skip_special_tokens=True)
return {"answer": answer}
ধাপ ৪: সার্ভার চালানো
FastAPI অ্যাপ্লিকেশন চালানোর জন্য Uvicorn ব্যবহার করুন:
uvicorn app:app --reload
এখানে app হল আপনার স্ক্রিপ্টের নাম (যেমন app.py) এবং app হল FastAPI ইনস্ট্যান্স।
ধাপ ৫: API ব্যবহার করা
API ব্যবহার করার জন্য আপনি HTTP POST অনুরোধ পাঠাতে পারেন। উদাহরণস্বরূপ, Python ব্যবহার করে API-তে প্রশ্ন পাঠানো।
import requests
url = "http://127.0.0.1:8000/ask"
data = {"question": "What is AI?"}
response = requests.post(url, json=data)
print(response.json()) # {'answer': 'AI stands for Artificial Intelligence.'}
ধাপ ৬: ইন্টিগ্রেশন
এই API অন্য অ্যাপ্লিকেশনে সংযোগ স্থাপন করতে পারে। উদাহরণস্বরূপ, একটি ওয়েব অ্যাপ্লিকেশন বা মোবাইল অ্যাপ্লিকেশন যেখানে ব্যবহারকারী প্রশ্ন পাঠাতে পারে এবং AI-এর উত্তর পেতে পারে।
সারসংক্ষেপ
মডেল সার্ভিং এবং ইন্টিগ্রেশন প্রক্রিয়ার মাধ্যমে একটি কাস্টম চ্যাটবট তৈরি করা হয়েছে যা FastAPI ব্যবহার করে একটি API হিসেবে কাজ করে। ব্যবহারকারী প্রশ্ন পাঠাতে পারে এবং মডেল থেকে স্বয়ংক্রিয়ভাবে উত্তর পেতে পারে। এটি বাস্তব বিশ্বে কৃত্রিম বুদ্ধিমত্তার প্রয়োগকে সহজ করে এবং অন্য অ্যাপ্লিকেশনের সাথে সংযোগ স্থাপন করতে সাহায্য করে।
Read more
