ONNX (Open Neural Network Exchange) হল একটি ওপেন ফরম্যাট যা মেশিন লার্নিং মডেলগুলির জন্য বিভিন্ন ফ্রেমওয়ার্কের মধ্যে স্থানান্তর ও ব্যবহারকে সহজতর করে। ONNX মডেলগুলি বিভিন্ন হার্ডওয়্যার প্ল্যাটফর্মে কার্যকরভাবে ইনফারেন্স করার জন্য OpenVINO এবং TensorRT এর মতো প্রযুক্তির সাথে ইন্টিগ্রেশন করা যায়। নিচে এই ইন্টিগ্রেশনের প্রক্রিয়া এবং ব্যবহার সম্পর্কিত বিস্তারিত আলোচনা করা হলো।
ONNX Integration with OpenVINO
OpenVINO (Open Visual Inference and Neural Network Optimization) হল Intel-এর একটি টুলকিট যা CPU, GPU, VPU, এবং FPGA-তে AI মডেলগুলির ইনফারেন্সের জন্য অপ্টিমাইজেশন সরবরাহ করে।
পদক্ষেপ ১: OpenVINO ইনস্টল করা
OpenVINO ইনস্টল করার জন্য Intel-এর অফিসিয়াল ডকুমেন্টেশন অনুসরণ করুন।
পদক্ষেপ ২: ONNX মডেল রূপান্তর করা
OpenVINO ব্যবহার করে ONNX মডেলকে OpenVINO ফরম্যাটে রূপান্তর করতে Model Optimizer ব্যবহার করুন।
mo --input_model model.onnx --output_dir ./output
পদক্ষেপ ৩: OpenVINO Runtime ব্যবহার করে ইনফারেন্স
from openvino.runtime import Core
import numpy as np
# OpenVINO রানটাইম তৈরি করুন
core = Core()
# মডেল লোড করুন
model = core.read_model("output/model.xml")
compiled_model = core.compile_model(model, "CPU") # বা "GPU" বা "MYRIAD" ইত্যাদি
# ইনপুট তৈরি করুন
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32) # উদাহরণস্বরূপ ইনপুট
# ইনফারেন্স চালানো
infer_request = compiled_model.create_infer_request()
infer_request.set_input_tensor(input_data)
infer_request.infer()
output = infer_request.get_output_tensor().data
print(output)
ONNX Integration with TensorRT
TensorRT হল NVIDIA-এর একটি ডিপ লার্নিং ইনফারেন্স লাইব্রেরি, যা GPU-তে উচ্চ কার্যকারিতার জন্য মডেলগুলিকে অপ্টিমাইজ করে।
পদক্ষেপ ১: TensorRT ইনস্টল করা
TensorRT ইনস্টল করার জন্য NVIDIA-এর অফিসিয়াল ডকুমেন্টেশন অনুসরণ করুন।
পদক্ষেপ ২: ONNX মডেল TensorRT-এ রূপান্তর করা
TensorRT-এর সাহায্যে ONNX মডেল রূপান্তর করার জন্য নিম্নলিখিত কোড ব্যবহার করুন:
import tensorrt as trt
# TensorRT Logger তৈরি করুন
logger = trt.Logger(trt.Logger.WARNING)
# ONNX মডেল লোড করুন
with open("model.onnx", "rb") as f:
onnx_model = f.read()
# TensorRT Builder তৈরি করুন
builder = trt.Builder(logger)
network = builder.create_network()
parser = trt.OnnxParser(network, logger)
# ONNX মডেল পার্স করুন
if not parser.parse(onnx_model):
for error in range(parser.num_errors):
print(parser.get_error(error))
# মডেল তৈরি করুন
engine = builder.build_cuda_engine(network)
পদক্ষেপ ৩: TensorRT Runtime ব্যবহার করে ইনফারেন্স
import pycuda.driver as cuda
import pycuda.autoinit
# ইনপুট ডেটা তৈরি করুন
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
# CUDA পামেন্টে ডেটা কপি করুন
d_input = cuda.mem_alloc(input_data.nbytes)
cuda.memcpy_htod(d_input, input_data)
# ইনফারেন্স করার জন্য প্রসেস চালান
context = engine.create_execution_context()
output = np.empty([1, 1000], dtype=np.float32) # আউটপুট সাইজ
d_output = cuda.mem_alloc(output.nbytes)
# ইনফারেন্স চালানো
context.execute_v2(bindings=[int(d_input), int(d_output)])
cuda.memcpy_dtoh(output, d_output)
print(output)
উপসংহার
ONNX মডেলগুলিকে OpenVINO এবং TensorRT এর সাথে ইন্টিগ্রেশন করা সহজ এবং কার্যকর। এই প্রযুক্তিগুলি ইনফারেন্সের সময় গতি এবং কার্যকারিতা বৃদ্ধি করতে সহায়ক। ONNX Runtime এবং মডেল অপ্টিমাইজেশন কৌশলগুলি ব্যবহার করে, গবেষক এবং ডেভেলপাররা তাদের মডেলগুলিকে বিভিন্ন হার্ডওয়্যার প্ল্যাটফর্মে সহজেই রান করতে পারেন।
Read more
