Hive একটি SQL-এর মতো কুয়েরি ভাষা প্রদান করে, যা ব্যবহারকারীদের জন্য ডেটা বিশ্লেষণ এবং প্রসেসিং খুব সহজ করে তোলে। যদিও Hive অনেক ইনবিল্ট ফাংশন সরবরাহ করে, তবে কখনও কখনও আপনার প্রয়োজন হতে পারে কাস্টম ফাংশন তৈরি করার, যা Hive-এর স্ট্যান্ডার্ড ফাংশন থেকে আলাদা। এই ধরনের কাস্টম ফাংশনগুলিকে User Defined Functions (UDFs) বলা হয়।
UDF (User Defined Functions) হল সেই ফাংশন যা ব্যবহারকারী নিজের প্রয়োজন অনুযায়ী তৈরি করে এবং Hive-এ রান টাইমে ব্যবহার করতে পারে। এটি HiveQL কুয়েরি ভাষার মধ্যে স্ট্যান্ডার্ড ফাংশনগুলির বাইরে একটি কাস্টম লজিক প্রয়োগ করার জন্য ব্যবহৃত হয়। Hive-এ UDF তৈরি করা এবং ব্যবহার করা যায় Java ভাষায়।
UDF কী?
UDF (User Defined Functions) হল Hive-এর জন্য কাস্টম ফাংশন যা ব্যবহারকারী Java কোড লিখে তৈরি করে। এই ফাংশনগুলি HiveQL কুয়েরি ভাষায় সাধারণত একটি বিশেষ কাজের জন্য প্রয়োগ করা হয়, যেমন ডেটা ট্রান্সফর্মেশন বা কাস্টম ক্যালকুলেশন।
UDF তৈরি করার মাধ্যমে আপনি Hive-এর বিল্ট-ইন ফাংশনের মধ্যে যেসব ফিচার নেই, সেগুলিও অন্তর্ভুক্ত করতে পারেন।
UDF তৈরি করার প্রক্রিয়া
Hive-এ একটি UDF তৈরি করতে কিছু নির্দিষ্ট ধাপ অনুসরণ করতে হয়:
১. Java ক্লাস তৈরি করা
প্রথমে, একটি Java ক্লাস তৈরি করতে হবে যা org.apache.hadoop.hive.ql.exec.UDF ক্লাস থেকে বংশপরিচিত হবে। এই ক্লাসটি evaluate() মেথড অন্তর্ভুক্ত করবে, যা কাস্টম লজিক সম্পাদন করবে এবং ফলাফল প্রদান করবে।
উদাহরণ:
package com.example.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class UpperCaseUDF extends UDF {
public Text evaluate(Text input) {
if (input == null) {
return null;
}
return new Text(input.toString().toUpperCase());
}
}
এটি একটি খুব সাধারণ UDF, যা ইনপুট হিসাবে একটি Text গ্রহণ করে এবং তা Uppercase করে ফেরত দেয়।
২. কম্পাইল করা
Java কোডটি কম্পাইল করতে হবে এবং এটি একটি JAR ফাইল হিসেবে তৈরি করতে হবে, যা Hive-এ ব্যবহার করা যাবে।
javac -classpath `hadoop classpath`:`hive classpath` UpperCaseUDF.java
jar -cf UpperCaseUDF.jar UpperCaseUDF.class
৩. Hive-এ JAR ফাইল লোড করা
আপনার তৈরি করা JAR ফাইলটি Hive-এ লোড করতে হবে। এটি করার জন্য Hive-এর ADD JAR কমান্ড ব্যবহার করা হয়।
ADD JAR /path/to/UpperCaseUDF.jar;
৪. UDF রেজিস্টার করা
একবার JAR ফাইলটি লোড হয়ে গেলে, Hive-এ সেই UDF ব্যবহারের জন্য CREATE FUNCTION কমান্ড ব্যবহার করতে হবে।
CREATE FUNCTION upper_case AS 'com.example.hive.UpperCaseUDF' USING JAR 'hdfs:///user/hive/udfs/UpperCaseUDF.jar';
৫. UDF ব্যবহার করা
এখন আপনি HiveQL কুয়েরি ভাষায় আপনার UDF ব্যবহার করতে পারবেন।
SELECT upper_case(name) FROM employee;
এই কুয়েরিটি employee টেবিলের name কলামের প্রতিটি মানকে Uppercase করে দেখাবে।
UDF তৈরি করার জন্য কিছু গুরুত্বপূর্ণ বিষয়:
- UDF এক্সটেনশন: Hive-এর UDF তৈরি করার জন্য আপনাকে Java ক্লাসের মধ্যে
UDFকনটেইনার এক্সটেন্ড করতে হবে। এটি একটি সাধারণ অভ্যন্তরীণ কাঠামো প্রদান করে যা Hive-এর জন্য ফাংশন তৈরি সহজ করে তোলে। - Input/Output টাইপ: UDF তৈরি করার সময় ইনপুট এবং আউটপুট টাইপ সঠিকভাবে নির্ধারণ করতে হবে। এই টাইপগুলি Hive-এর বিল্ট-ইন ডেটা টাইপগুলির মতো হতে পারে যেমন
Text,IntWritable,DoubleWritableইত্যাদি। - Null Handling: UDF-এ null ভ্যালুর সঠিক হ্যান্ডলিং করতে হবে। যখন ইনপুট হিসেবে null আসে, তখন উপযুক্ত আচরণ নিশ্চিত করতে হবে। উদাহরণস্বরূপ, আমাদের উপরের উদাহরণে null ইনপুট পেলে null ফেরত দেওয়ার ব্যবস্থা রয়েছে।
- পারফরম্যান্স: UDF গুলি যখন খুব বড় ডেটাসেটের উপর প্রয়োগ করা হয়, তখন পারফরম্যান্সে প্রভাব ফেলতে পারে। সুতরাং, UDF তৈরি করার সময় এর কার্যকারিতা এবং অপ্টিমাইজেশন গুরুত্বপূর্ন।
UDF এর অন্যান্য ধরণ
- UDAF (User Defined Aggregation Function): এই ধরনের ফাংশনগুলি অ্যাগ্রিগেট ফাংশন হিসেবে ব্যবহৃত হয়, যেমন SUM, AVG ইত্যাদির মতো।
- UDTF (User Defined Table-Generating Function): এই ধরনের ফাংশনগুলি একাধিক আউটপুট রেকর্ড তৈরি করে এবং সাধারণত একটি একক ইনপুট রেকর্ডের উপর ভিত্তি করে একাধিক আউটপুট রেকর্ড প্রদান করে।
উপসংহার
User Defined Functions (UDFs) Hive-এ কাস্টম লজিক প্রয়োগের জন্য অত্যন্ত গুরুত্বপূর্ণ একটি টুল। এটি ব্যবহারকারীদের স্ট্যান্ডার্ড Hive ফাংশনগুলির বাইরে গিয়ে তাদের নিজের প্রয়োজন অনুযায়ী ফাংশন তৈরি করার সুযোগ দেয়। UDF তৈরি করতে Java ভাষা ব্যবহার করা হয়, এবং একটি JAR ফাইল তৈরি করে Hive-এ লোড করতে হয়। এটি ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য অত্যন্ত উপকারী হতে পারে, বিশেষত যখন ডেটার নির্দিষ্ট কাস্টম ফাংশনের প্রয়োজন হয়।
Read more
