Hive Data Model গাইড ও নোট

Hive Data Model Hadoop-এর উপরে একটি ডেটা ওয়্যারহাউজিং লেয়ারের কাজ করে এবং এটি বড় ডেটাসেটের উপর SQL-অনুরূপ কুয়েরি চালাতে ব্যবহৃত হয়। Hive ডেটা মডেলটি বেশিরভাগ ডেটাবেস সিস্টেমের মতো হলেও, এতে কিছু বিশেষ পার্থক্য রয়েছে, কারণ এটি Hadoop প্ল্যাটফর্মের ডিস্ট্রিবিউটেড স্টোরেজ এবং প্রসেসিং ক্ষমতা ব্যবহার করে। Hive-এর ডেটা মডেলটি মূলত ডেটাবেস, টেবিল, কলাম এবং পার্টিশন ভিত্তিক, যা ডেটাকে স্টোর এবং প্রসেস করার একটি কাঠামো প্রদান করে।

Hive Data Model এর প্রধান উপাদান

১. ডেটাবেস (Database)

Hive ডেটাবেস একটি লজিকাল নেমস্পেস যা ডেটার সংগঠনে সাহায্য করে। Hive ডেটাবেসে টেবিল, ভিউ, এবং অন্যান্য ডেটা অবজেক্ট রাখা হয়। Hive তে একাধিক ডেটাবেস থাকতে পারে এবং প্রতিটি ডেটাবেস তার নিজস্ব টেবিল ধারণ করে।

উদাহরণ:

CREATE DATABASE Sales;

২. টেবিল (Table)

Hive টেবিল হলো ডেটার মূল স্টোরেজ ইউনিট। প্রতিটি টেবিল একটি নির্দিষ্ট ডেটা স্কিমা অনুসারে সজ্জিত হয়, যেখানে কেবল কলাম এবং তাদের ডেটা টাইপের বিবরণ থাকে। Hive টেবিলের ডেটা মূলত HDFS (Hadoop Distributed File System)-এ সংরক্ষিত থাকে। Hive টেবিল দুটি প্রধান ধরনের হতে পারে:

• Managed Tables: যখন Hive টেবিল তৈরি করা হয়, তখন এটি ডেটা সঞ্চয় এবং পরিচালনা (Manage) করে।
• External Tables: Hive যখন External Table তৈরি করে, তখন এটি শুধু টেবিল স্কিমা পরিচালনা করে, ডেটা অন্য কোথাও সংরক্ষিত থাকে (যেমন HDFS এর বাইরের কোনো ফাইল সিস্টেমে)।

উদাহরণ:

CREATE TABLE Employee (
    ID INT,
    Name STRING,
    Age INT,
    Salary FLOAT
);

৩. কলাম (Column)

Hive টেবিলের প্রতিটি কলাম ডেটার একটি নির্দিষ্ট ধরনের মান ধারণ করে, যেমন STRING, INT, FLOAT, BOOLEAN ইত্যাদি। কলামগুলি HiveQL (Hive Query Language) ব্যবহার করে নির্দিষ্ট কুয়েরি চালাতে ব্যবহৃত হয়। Hive-এ সাধারণত ডেটা স্কিমা ফিক্সড থাকে, তবে কিছু ক্ষেত্রে Dynamic Partitioning বা Schema on Read এর মাধ্যমে স্কিমা পরিবর্তন করা সম্ভব।

৪. পার্টিশন (Partition)

পার্টিশনিং হল Hive-এর একটি শক্তিশালী বৈশিষ্ট্য, যা বড় ডেটাসেটকে ছোট ছোট ভাগে ভাগ করে ডেটা প্রক্রিয়াকরণের সময় পারফরম্যান্স উন্নত করে। Hive টেবিলগুলো পার্টিশন করে স্টোরেজে বিভক্ত করা হয়। প্রতিটি পার্টিশন একটি নির্দিষ্ট কলামের (যেমন Date, Region) ভিত্তিতে গঠন করা হয়। পার্টিশনিং ব্যবহার করে ডেটা খুব দ্রুত প্রক্রিয়া করা সম্ভব হয়।

উদাহরণ:

CREATE TABLE Employee (
    ID INT,
    Name STRING,
    Age INT,
    Salary FLOAT
)
PARTITIONED BY (Department STRING);

৫. ক্লাস্টারিং (Clustering)

Hive টেবিলগুলোকে ক্লাস্টারও করা যায়, যা কলামের মধ্যে ডেটাকে সমানভাবে বিতরণ করতে সাহায্য করে। এটি সাধারণত ডেটাকে আরও বেশি কার্যকরভাবে প্রক্রিয়াকরণে সাহায্য করে।

উদাহরণ:

CREATE TABLE Employee (
    ID INT,
    Name STRING,
    Age INT,
    Salary FLOAT
)
CLUSTERED BY (Department) INTO 4 BUCKETS;

৬. ফাইল ফরম্যাট (File Format)

Hive একাধিক ফাইল ফরম্যাট সমর্থন করে, যেমন Text, CSV, Parquet, Avro, এবং ORC। ফাইল ফরম্যাট নির্বাচন ডেটা প্রসেসিং এবং স্টোরেজের কার্যকারিতাকে প্রভাবিত করে। যেমন, ORC (Optimized Row Columnar) ফরম্যাটের মাধ্যমে কম ডেটা স্ক্যান করা হয়, যা পারফরম্যান্স বৃদ্ধি করে।

উদাহরণ:

CREATE TABLE Employee (
    ID INT,
    Name STRING,
    Age INT,
    Salary FLOAT
)
STORED AS ORC;

৭. ভিউ (View)

Hive-এ ভিউ একটি লজিক্যাল টেবিল যা আসলে কোনো স্থায়ী ডেটা ধারণ করে না। এটি সাধারণত একটি কুয়েরি বা সিলেক্ট স্টেটমেন্টের মাধ্যমে তৈরি হয় এবং সেগুলি ব্যবহারকারীদের ডেটা দেখানোর জন্য ব্যবহৃত হয়। ভিউ ব্যবহার করে কুয়েরি কমপ্লেক্সিটি কমানো যায় এবং ডেটাকে সহজে ব্যাখ্যা করা যায়।

উদাহরণ:

CREATE VIEW Employee_Salary AS
SELECT Name, Salary FROM Employee WHERE Salary > 50000;

Hive Data Model এর বিশেষ বৈশিষ্ট্য

১. স্কিমা অন রিড (Schema on Read)

Hive টেবিল সাধারণত Schema on Read পদ্ধতি ব্যবহার করে, অর্থাৎ ডেটা ফাইলটি যখন Hive তে লোড করা হয়, তখন স্কিমা প্রয়োগ করা হয়। এটি Schema on Write পদ্ধতির তুলনায় ফ্লেক্সিবল, যেখানে ডেটা লেখার সময় স্কিমা নির্ধারণ করা হয়।

২. স্টোরেজ ও অপ্টিমাইজেশন

Hive, Hadoop-এর HDFS বা অন্যান্য স্টোরেজ সিস্টেম (যেমন HBase) ব্যবহার করে ডেটা স্টোর করে। Hive-এর ORC এবং Parquet ফাইল ফরম্যাটগুলো ডেটা কম্প্রেশন এবং স্টোরেজ অপ্টিমাইজেশন জন্য ব্যবহৃত হয়, যা ডেটা স্টোরেজের খরচ কমাতে সাহায্য করে।

৩. ডেটা লোড এবং এক্সট্রাকশন

Hive সাধারণত ETL (Extract, Transform, Load) প্রক্রিয়ায় ব্যবহৃত হয়। এটি ডেটাকে বিভিন্ন উৎস থেকে একত্রিত করে Hive টেবিল বা পার্টিশনে লোড করতে সাহায্য করে। Hive ব্যবহারকারীদের বিশাল ডেটাসেট লোড এবং বিশ্লেষণ করতে সক্ষম করে।

উপসংহার

Hive Data Model Hadoop এর একটি গুরুত্বপূর্ণ অংশ, যা ডেটাকে একটি স্ট্রাকচারড এবং স্কেলেবল ফর্মে স্টোর এবং প্রক্রিয়া করার জন্য ডিজাইন করা হয়েছে। Hive-এর ডেটা মডেলটি ডেটাবেস টেবিল, কলাম, পার্টিশন, এবং ফাইল ফরম্যাটের মাধ্যমে একটি সুসংগঠিত কাঠামো প্রদান করে, যা বড় ডেটাসেটের উপর দ্রুত এবং কার্যকর কুয়েরি চালানোর সুবিধা দেয়। Hive-এর এই মডেলটি Big Data বিশ্লেষণের জন্য অত্যন্ত কার্যকরী এবং খুবই জনপ্রিয়।

Apache Hive এর Data Model Hadoop-এ বিশাল পরিমাণ ডেটা পরিচালনা করার জন্য একটি কাঠামো প্রদান করে। Hive Data Model ব্যবহারকারীদের ডেটাকে সংরক্ষণ, প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য একটি সহজ এবং কার্যকরী উপায় প্রদান করে। Hive-এর ডেটা মডেল মূলত রিলেশনাল ডেটাবেস মডেলের অনুরূপ, তবে এটি Hadoop-এর ডিসট্রিবিউটেড প্রকৃতির সাথে খাপ খাইয়ে ডিজাইন করা হয়েছে। Hive Data Model-এর মাধ্যমে Hadoop-এর বিশাল ডেটাসেটকে স্ট্রাকচারড এবং অ্যানালিটিক্যাল কাজের জন্য প্রস্তুত করা হয়।

Hive Data Model এর মূল ধারণা

Hive Data Model কিছু গুরুত্বপূর্ণ উপাদানের মাধ্যমে কাজ করে। এই উপাদানগুলো হল Databases, Tables, Partitions, Buckets, Columns, এবং File Formats। প্রতিটি উপাদান Hive-এর ডেটা মডেলের জন্য অপরিহার্য এবং ডেটা সংরক্ষণ ও পরিচালনার জন্য ব্যবহৃত হয়।

১. Databases (ডেটাবেস)

Hive-এ ডেটা সংরক্ষণ এবং সংগঠিত করার জন্য Database ব্যবহার করা হয়। Hive-এর ডেটাবেস মূলত একটি namespace (নেমস্পেস) হিসেবে কাজ করে, যার মাধ্যমে ডেটার বিভিন্ন টেবিলকে পৃথক করা যায়। একটি Hive ডেটাবেসের মধ্যে একাধিক টেবিল থাকতে পারে।

২. Tables (টেবিল)

Hive-এর Tables হল ডেটা সংরক্ষণের মূল কাঠামো। Hive-এর টেবিলগুলি HDFS-এ ফাইল হিসেবে সংরক্ষিত থাকে এবং HiveQL কুয়েরি ভাষার মাধ্যমে তাদের সাথে কাজ করা যায়। Hive টেবিল সাধারণত দুটি ধরণের হতে পারে:

• Managed Tables (Internal Tables): এই টেবিলগুলো সম্পূর্ণভাবে Hive দ্বারা পরিচালিত হয়। ডেটা Hive থেকে ডিলিট করলে টেবিলের ডেটা ও মুছে যায়।
• External Tables: এই টেবিলগুলোতে ডেটা Hive-এর বাইরেও থাকতে পারে, এবং Hive শুধু তাদের মেটাডেটা পরিচালনা করে। Hive থেকে ডিলিট করলে টেবিলের ডেটা মুছে যায় না।

৩. Partitions (পার্টিশন)

Hive টেবিলকে Partition এর মাধ্যমে বিভক্ত করা হয়। Partition মূলত ডেটাকে একাধিক ফাইল বা সাব-ফোল্ডারে ভাগ করে রাখে, যা ডেটার প্রক্রিয়াকরণ এবং অনুসন্ধানকে দ্রুততর করে। একটি Hive টেবিলের জন্য বিভিন্ন ধরনের partition তৈরি করা যেতে পারে, যেমন date, region, country ইত্যাদি। Partitioned tables ডেটার উন্নত পারফরম্যান্স প্রদান করে, কারণ কুয়েরি তখন নির্দিষ্ট partitionের উপর কাজ করে।

৪. Buckets (বাকেট)

Hive-এর Buckets হল আরও ছোট ডেটা বিভাজন, যা Partitioned টেবিলের মধ্যে ডেটাকে আরো সরল ও দ্রুতভাবে অ্যাক্সেস করতে সাহায্য করে। Bucketing মূলত একটি হ্যাশিং কৌশল ব্যবহার করে ডেটাকে সমানভাবে ভাগ করে। Bucketing বড় ডেটাসেটের জন্য প্রক্রিয়াকরণকে দ্রুততর করে এবং কুয়েরি অপ্টিমাইজেশন সহায়তা করে। সাধারণত একটি পার্টিশন করা টেবিলের মধ্যে বিভিন্ন buckets তৈরি করা হয়।

৫. Columns (কলাম)

Hive টেবিলের Columns হল ডেটার বিভিন্ন বৈশিষ্ট্য বা ক্ষেত্র, যেমন একটি টেবিলের মধ্যে id, name, address, ইত্যাদি। Hive টেবিলের প্রতিটি কলাম একটি নির্দিষ্ট ডেটা টাইপ (যেমন, STRING, INT, FLOAT, DATE) ধারণ করে এবং এটি Hive Query Language (HiveQL) ব্যবহার করে কুয়েরি করা হয়।

৬. File Formats (ফাইল ফরম্যাট)

Hive বিভিন্ন ধরনের File Formats সমর্থন করে, যার মাধ্যমে ডেটা সঞ্চয় করা হয়। Hive-এর ফাইল ফরম্যাটের মধ্যে জনপ্রিয় ফরম্যাটগুলো হল:

• TextFile: সাধারণ টেক্সট ফাইল হিসেবে ডেটা সংরক্ষণ।
• Parquet: কলাম-অরিয়েন্টেড ফাইল ফরম্যাট, যা সঞ্চয়ের ক্ষেত্রে অধিক কার্যকর।
• ORC (Optimized Row Columnar): কম্প্রেশন এবং দ্রুত ডেটা অ্যাক্সেসের জন্য একটি উন্নত কলাম-অরিয়েন্টেড ফরম্যাট।
• Avro: সিরিয়ালাইজড ফাইল ফরম্যাট, যা সাধারণত HDFS-এ ডেটা স্টোর করতে ব্যবহৃত হয়।

Hive Data Model এর সুবিধা

১. স্কেলেবিলিটি

Hive Data Model Hadoop-এর স্কেলিং ক্ষমতা ব্যবহার করে বড় ডেটাসেটের সাথে কাজ করার সুবিধা প্রদান করে। পার্টিশন এবং বাকেটিং ব্যবস্থার মাধ্যমে ডেটাকে বিভিন্ন ফাইল সিস্টেমে বিভক্ত করে, যা ডেটা প্রক্রিয়াকরণকে আরও দ্রুত ও কার্যকরী করে তোলে।

২. SQL অনুরূপ কুয়েরি ভাষা (HiveQL)

Hive Data Model SQL-অনুরূপ কুয়েরি ভাষা ব্যবহার করে ডেটাকে সহজে অ্যাক্সেস এবং বিশ্লেষণ করতে সহায়তা করে। HiveQL SQL-এর মতো হলেও Hadoop প্ল্যাটফর্মের জন্য আরও উপযোগী কাস্টমাইজেশন সহ রয়েছে।

৩. ডিস্ট্রিবিউটেড ডেটা প্রসেসিং

Hive Data Model Hadoop-এর HDFS এবং MapReduce এর শক্তি কাজে লাগিয়ে ডেটা প্রক্রিয়া করতে সক্ষম, যা তাৎক্ষণিক পারফরম্যান্সের জন্য সুবিধাজনক।

৪. ডেটা ইন্টিগ্রেশন

Hive বিভিন্ন ধরনের ডেটা ফরম্যাট সমর্থন করে, যেমন Parquet, ORC, Avro, CSV, JSON, ইত্যাদি, যা ডেটা ইন্টিগ্রেশন এবং সঞ্চয় প্রক্রিয়াকে আরো সহজ করে তোলে।

উপসংহার

Hive Data Model Hadoop-এ ডেটা পরিচালনা করার জন্য একটি শক্তিশালী কাঠামো প্রদান করে। এটি SQL-অনুরূপ কুয়েরি ভাষা ব্যবহার করে ডেটাকে আরও কার্যকরভাবে প্রক্রিয়া করতে সহায়তা করে। Hive-এর বিভিন্ন কম্পোনেন্ট যেমন Databases, Tables, Partitions, Buckets, Columns, এবং File Formats একে একটি স্কেলেবল এবং দক্ষ ডেটা মডেল হিসেবে তৈরি করেছে, যা বড় ডেটাসেটের বিশ্লেষণ এবং স্টোরেজের জন্য আদর্শ।

Apache Hive, Hadoop এর উপরে তৈরি একটি ডেটাবেস ম্যানেজমেন্ট সিস্টেম (DBMS), যা বড় ডেটাসেটের জন্য কার্যকরী বিশ্লেষণ এবং ডেটা স্টোরেজ প্রক্রিয়া সহজ করে তোলে। Hive বিভিন্ন ডেটা স্টোরেজ পদ্ধতি এবং সংরক্ষণ কাঠামো সরবরাহ করে, যার মধ্যে Database, Tables, Partitions, এবং Buckets অন্তর্ভুক্ত। এই ধারণাগুলোর মাধ্যমে Hive ডেটাকে আরও ভালোভাবে সংগঠিত এবং পরিচালনা করতে সাহায্য করে।

Database

Hive-এ Database হল একটি লজিক্যাল কাঠামো যা টেবিল এবং তাদের মেটাডেটার সংগঠন ও বিভাজন করতে ব্যবহৃত হয়। Hive-এ একটি ডেটাবেসের মধ্যে একাধিক টেবিল থাকতে পারে, যা ডেটা সংরক্ষণ এবং পরিচালনার জন্য ব্যবহৃত হয়।

• Hive-এ একাধিক ডেটাবেস তৈরি করা সম্ভব, এবং প্রতিটি ডেটাবেসের মধ্যে আলাদা টেবিল থাকতে পারে।
• ডেটাবেস ব্যবহারের মাধ্যমে ডেটাকে বিভিন্ন প্রকল্প বা বিভাগের মধ্যে ভাগ করা যায়।

উদাহরণ:

CREATE DATABASE SalesDB;

এটি একটি নতুন ডেটাবেস SalesDB তৈরি করবে।

Tables

Hive-এ Tables হল ডেটা সংরক্ষণের জন্য প্রধান কাঠামো। একটি টেবিল তৈরি করার সময়, এটি নির্দিষ্ট কলাম এবং তাদের ডেটা টাইপের সমন্বয়ে গঠিত হয়। Hive-এ টেবিল দুটি প্রধান ধরনের হতে পারে: Managed Table এবং External Table।

• Managed Table: এই ধরনের টেবিলের ডেটা Hive দ্বারা সম্পূর্ণভাবে পরিচালিত হয়। যখন টেবিলটি ড্রপ করা হয়, তখন টেবিলের ডেটাও মুছে ফেলা হয়।
• External Table: এই ধরনের টেবিলের ডেটা Hive দ্বারা পরিচালিত হয় না, বরং এটি বাইরের একটি ফাইল সিস্টেমের অংশ হতে পারে। যখন এই টেবিলটি ড্রপ করা হয়, তখন শুধু টেবিলের স্কিমা মুছে যায়, ডেটা থাকে।

উদাহরণ:

CREATE TABLE employee (
    id INT,
    name STRING,
    department STRING
);

এটি একটি সাধারণ employee টেবিল তৈরি করবে।

Partitions

Hive-এ Partitions হল টেবিলের একটি লজিক্যাল বিভাজন, যা ডেটাকে ছোট ছোট অংশে ভাগ করে। এটি ডেটা প্রক্রিয়া এবং বিশ্লেষণে পারফরম্যান্স উন্নত করতে সহায়তা করে। প্রতিটি পার্টিশন একটি নির্দিষ্ট কলামের মান অনুযায়ী ডেটাকে ভাগ করে।

• Partitioning ডেটা স্টোরেজ এবং অনুসন্ধান প্রক্রিয়া দ্রুত করতে সাহায্য করে, কারণ Hive একবারে একটি নির্দিষ্ট পার্টিশন পড়তে পারে।
• পার্টিশনগুলি সাধারণত সময়, স্থান বা অন্যান্য গুণের ওপর ভিত্তি করে তৈরি করা হয়।

উদাহরণ:

CREATE TABLE sales (
    id INT,
    amount DOUBLE,
    date STRING
)
PARTITIONED BY (year INT, month INT);

এটি sales টেবিলটি year এবং month পার্টিশনের ভিত্তিতে পার্টিশন করবে।

Partitioning এর সুবিধা:

• পার্টিশনিং ডেটা প্রক্রিয়াকরণ দ্রুত করে, কারণ নির্দিষ্ট পার্টিশন থেকেই ডেটা পড়া হয়।
• পার্টিশনগুলিকে আলাদা করে সংরক্ষণ করা হয়, তাই ডেটার অ্যাক্সেস দ্রুত এবং আরও কার্যকরী হয়।

Buckets

Hive-এ Buckets হল আরও সূক্ষ্মভাবে ডেটা ভাগ করার একটি পদ্ধতি। পার্টিশনের পরেও, ডেটাকে Buckets এর মধ্যে ভাগ করা যেতে পারে। Bucketing ডেটাকে সমান আকারের ভাগে বিভক্ত করে, এবং এটি সাধারণত কলামের উপর ভিত্তি করে করা হয়।

• Bucketing প্রক্রিয়া Hive-এর পারফরম্যান্স আরও উন্নত করে, বিশেষ করে যখন একই ধরনের ডেটা বিভিন্ন ভাগে স্টোর করা হয় এবং সেগুলি বিভিন্ন কাজের জন্য ব্যবহৃত হয়।

উদাহরণ:

CREATE TABLE employee (
    id INT,
    name STRING,
    department STRING
)
CLUSTERED BY (department) INTO 4 BUCKETS;

এটি employee টেবিলের department কলামের ওপর ভিত্তি করে ৪টি bucket এ ডেটা ভাগ করবে।

Bucketing এর সুবিধা:

• Bucketing ডেটাকে আরও সমানভাবে ভাগ করে, যা ডেটা প্রক্রিয়াকরণে পারফরম্যান্স উন্নত করে।
• এটি ডেটার সংরক্ষণ এবং পারফরম্যান্সের ওপর আরও নিয়ন্ত্রণ প্রদান করে।

Database, Tables, Partitions, এবং Buckets এর সম্পর্ক

1. Database: ডেটাবেস Hive-এ একটি লজিক্যাল কাঠামো, যেখানে একাধিক টেবিল থাকতে পারে।
2. Tables: ডেটাবেসের অধীনে টেবিল থাকে, যা ডেটার প্রধান স্টোরেজ।
3. Partitions: টেবিলের পার্টিশন ডেটাকে আরও ছোট ছোট অংশে ভাগ করে, যা ডেটার অ্যাক্সেস এবং প্রসেসিং দ্রুত করে।
4. Buckets: পার্টিশন করা ডেটাকে আরও ছোট ভাগে ভাগ করে, যা ডেটার প্রক্রিয়াকরণে আরও বেশি সহায়ক হয়।

উপসংহার

Hive এর Database, Tables, Partitions, এবং Buckets ধারণাগুলি ডেটা সঞ্চয়ন এবং বিশ্লেষণকে আরও কার্যকরী এবং স্কেলেবল করে তোলে। Hive-এর পার্টিশনিং এবং bucketing কৌশলগুলি বিশেষভাবে বড় ডেটাসেটের প্রক্রিয়াকরণের সময় পারফরম্যান্স বৃদ্ধি করে। এটি ডেটা ব্যবস্থাপনা এবং বিশ্লেষণের জন্য একটি শক্তিশালী এবং স্কেলেবল প্ল্যাটফর্ম তৈরিতে সহায়তা করে।

Hive একটি ডেটা ওয়্যারহাউজ সিস্টেম যা Hadoop এর উপর তৈরি হয়েছে এবং এটি বিভিন্ন ধরনের ডেটা বিশ্লেষণের জন্য ব্যবহৃত হয়। Hive মূলত বড় ডেটাসেটের উপর কাজ করে, এবং ডেটাকে row-based এবং column-based উভয় ধরনে সংরক্ষণ করতে পারে। Hive-এর ডেটা সংগঠন কিভাবে কার্যকরীভাবে কাজ করে এবং এর row এবং column ভিত্তিক সংগঠনের পার্থক্য কী, তা বুঝতে হলে এর ডেটা মডেল এবং পারফরম্যান্সের উপর গভীরভাবে নজর দিতে হবে।

Row-Based Data Organization

Row-based data organization একটি প্রচলিত ডেটা স্টোরেজ পদ্ধতি, যেখানে ডেটা row-wise (লাইন অনুযায়ী) সঞ্চিত থাকে। এর মাধ্যমে প্রতিটি row আলাদা একটি ইউনিট হিসেবে সংরক্ষিত হয় এবং এই রো-এর মধ্যে সব কলামের ডেটা একই জায়গায় রাখা হয়।

Hive-এ Row-Based Storage

Hive-এ row-based স্টোরেজ মূলত Text File বা RCFile (Record Columnar File) ফরম্যাটে সংরক্ষিত হয়। এই ফরম্যাটে, ডেটার প্রতিটি রো একসাথে সংরক্ষিত থাকে, এবং প্রতি রো একটি লাইন হিসেবে বিবেচিত হয়। এতে ডেটার প্রতিটি রো আলাদা আলাদা ভাবে ডিস্ট্রিবিউটেড ফাইল সিস্টেমে সঞ্চিত থাকে।

Row-based storage এর কিছু বৈশিষ্ট্য:

• ডেটা ইনসার্ট এবং আপডেট: Row ভিত্তিক সঞ্চয় ব্যবস্থায় ডেটা ইনসার্ট বা আপডেট করা সহজ, কারণ পুরো রো একসাথে সঞ্চিত থাকে এবং সহজেই আপডেট করা যায়।
• উপযুক্ত সিলেকশন: ছোট ছোট ডেটাসেটের জন্য, যেখানে প্রতিটি রো-এর মধ্যে অনেক কলাম থাকে না, এটি বেশ কার্যকরী।
• পারফরম্যান্স: যখন খুব বড় ডেটাসেট থাকে এবং বিশেষভাবে সিলেকশনে একাধিক কলাম থেকে তথ্য বের করা হয় না, তখন Row-based স্টোরেজ পারফরম্যান্সে কিছুটা পিছিয়ে পড়তে পারে।

যখন Row-based স্টোরেজ ব্যবহার করবেন:

• ট্রানজেকশনাল ডেটা: যদি আপনি প্রায়ই ডেটার ইনসার্ট, আপডেট বা ডিলিট করতে চান তবে row-based স্টোরেজ ভালো কাজ করে।
• ছোট ডেটাসেট: যদি ডেটাসেট ছোট হয়, যেখানে একাধিক কলামের তথ্য সিলেকশন প্রক্রিয়ায় ব্যবহার হয় না, তবে এটি উপযুক্ত।

Column-Based Data Organization

Column-based data organization এমন একটি স্টোরেজ পদ্ধতি যেখানে ডেটা column-wise (কলাম অনুযায়ী) সঞ্চিত থাকে। এই পদ্ধতিতে প্রতিটি কলামের ডেটা আলাদা করে সঞ্চিত হয়, এবং এই কলামগুলো আলাদা আলাদা ব্লকে রাখা হয়।

Hive-এ Column-Based Storage

Hive-এ column-based storage মূলত ORC (Optimized Row Columnar) বা Parquet ফরম্যাটে সঞ্চিত হয়। এই ফরম্যাটগুলো বড় ডেটাসেটের জন্য খুবই কার্যকরী, কারণ এগুলো ডেটার বিভিন্ন কলাম একত্রিতভাবে সঞ্চয় করে, যা দ্রুত ডেটা রিডিং এবং প্রসেসিংয়ের জন্য উপযুক্ত।

Column-based storage এর কিছু বৈশিষ্ট্য:

• ডেটা কম্প্রেশন: কলাম ভিত্তিক ডেটা স্টোরেজ ডেটা কম্প্রেশনে সাহায্য করে, কারণ একই ধরনের ডেটা একসাথে সঞ্চিত থাকে এবং এটি কম্প্রেস করা সহজ।
• পাঠযোগ্যতা: শুধুমাত্র প্রয়োজনীয় কলাম রিড করা হয়, তাই এটি বড় ডেটাসেটের ক্ষেত্রে পারফরম্যান্স অনেক উন্নত করে।
• অ্যাগ্রিগেশন অপারেশন: যখন ডেটার শুধুমাত্র এক বা কয়েকটি কলাম থেকে অ্যাগ্রিগেশন করতে হয়, তখন column-based storage অনেক দ্রুত কাজ করে।
• প্যারালাল প্রসেসিং: এটি বড় ডেটাসেটের উপর প্যারালাল প্রসেসিং পরিচালনা করতে সাহায্য করে।

যখন Column-based স্টোরেজ ব্যবহার করবেন:

• বড় ডেটাসেট: যখন বিশাল ডেটাসেটের সাথে কাজ করতে হয় এবং বিশেষত যখন অনেক কলাম থেকে অ্যাগ্রিগেশন বা সিলেকশন করা হয়, তখন column-based স্টোরেজ খুবই কার্যকরী।
• ডেটা রিডিং: যদি ডেটার নির্দিষ্ট কিছু কলাম প্রয়োজন হয়, তখন columnar ফরম্যাট ডেটা রিডিংয়ে অনেক দ্রুত এবং কার্যকরী হয়।
• বিশ্লেষণাত্মক কাজ: যখন খুব বড় ডেটাসেটের উপর বিশ্লেষণমূলক কাজ করা হয়, যেমন, অ্যাগ্রিগেশন বা ফিল্টারিং, তখন columnar স্টোরেজ সিস্টেম সবচেয়ে উপযুক্ত।

Row এবং Column ভিত্তিক Data Organization এর মধ্যে পার্থক্য

উপসংহার

Hive-এর row-based এবং column-based স্টোরেজ পদ্ধতিতে ডেটা সঞ্চয়ের নিজস্ব সুবিধা এবং ব্যবহার রয়েছে। Row-based storage সাধারণত ছোট ডেটাসেট এবং ট্রানজেকশনাল কাজের জন্য উপযুক্ত, যেখানে ডেটার ইনসার্ট, আপডেট, বা ডিলিট বেশি প্রয়োজন। অন্যদিকে, column-based storage বড় ডেটাসেটের জন্য উপযুক্ত, বিশেষত যখন বিশ্লেষণাত্মক কাজ বা অ্যাগ্রিগেশন পরিচালনা করা হয়। Hive ব্যবহারকারীকে উভয় ধরনের ডেটা স্টোরেজ সিস্টেমের সুবিধা প্রদান করে, এবং এটি Hadoop-এর শক্তিশালী স্কেলেবিলিটি এবং বিশ্লেষণ ক্ষমতা কাজে লাগায়।

Hive-এ টেবিল দুটি প্রধানভাবে বিভক্ত: Internal Tables এবং External Tables। এই দুটি টেবিলের মধ্যে ব্যবহারের দিক থেকে কিছু গুরুত্বপূর্ণ পার্থক্য রয়েছে। Internal এবং External Tables ব্যবহারের সময় কোন ধরনের ডেটা সংরক্ষণ, ম্যানেজমেন্ট এবং অপারেশন হবে, তা নির্ধারণ করা গুরুত্বপূর্ণ।

Internal Table (Managed Table)

Internal Table (বা Managed Table) এমন একটি টেবিল যেখানে Hive সম্পূর্ণভাবে ডেটার সঞ্চয় এবং লাইফসাইকেল পরিচালনা করে। যখন আপনি একটি Internal Table তৈরি করেন, Hive টেবিলটি এবং তার ডেটা উভয়ই নিজস্বভাবে পরিচালনা করে। এটি মূলত Hive-এর ডেটাবেস-এ অন্তর্ভুক্ত থাকে এবং Hive-এর সাথে সম্পর্কিত HDFS তে ডেটা সংরক্ষণ করা হয়।

Internal Table এর বৈশিষ্ট্য

• ডেটার ম্যানেজমেন্ট: Hive Internal Table তৈরি করার সময়, Hive ডেটা এবং টেবিলের লাইফসাইকেল পুরোপুরি নিয়ন্ত্রণ করে। এর মানে হল, যখন আপনি Internal Table ড্রপ করেন, তখন টেবিলের সাথে সংযুক্ত ডেটাও ডিলিট হয়ে যায়।
• ডেটা সংরক্ষণ: Internal Table-এর ডেটা Hive-এর HDFS-এ সংরক্ষিত থাকে এবং Hive নিজে এটি ম্যানেজ করে।
• ড্রপ করলে ডেটা মুছে যায়: Internal Table যদি ড্রপ করা হয়, তবে টেবিলের সমস্ত ডেটা এবং স্কিমাও HDFS থেকে সরিয়ে নেওয়া হয়।

উদাহরণ:

CREATE TABLE employees (id INT, name STRING, salary FLOAT);

External Table

External Table এমন একটি টেবিল, যা Hive এর বাইরের একটি ডেটা ফাইলের উপর কাজ করে। External Table তৈরির সময়, Hive ডেটা ম্যানেজমেন্ট বা লাইফসাইকেল পরিচালনা করে না, বরং এটি শুধুমাত্র ডেটার অবস্থান (উল্লেখযোগ্যভাবে HDFS অথবা অন্য স্টোরেজ) এবং স্কিমা সম্পর্কে জানায়। এটি ব্যবহারকারীকে ডেটা উত্স (data source) এর উপর নিয়ন্ত্রণ দিতে সহায়তা করে।

External Table এর বৈশিষ্ট্য

• ডেটার ম্যানেজমেন্ট: Hive External Table-এর ডেটার ম্যানেজমেন্ট Hive-এর বাইরে হয়, অর্থাৎ ডেটার লাইফসাইকেল Hive দ্বারা পরিচালিত হয় না। Hive শুধু স্কিমা এবং ফাইলের অবস্থানকে ট্র্যাক করে।
• ডেটা সংরক্ষণ: External Table-এ ডেটা বাইরের ফাইল সিস্টেমে সংরক্ষিত থাকে (যেমন HDFS বা অন্য কোথাও), এবং Hive কেবলমাত্র সেই ডেটাকে রিড করতে পারে।
• ড্রপ করলে ডেটা মুছে যায় না: যদি একটি External Table ড্রপ করা হয়, তখন ফাইল সিস্টেমে সংরক্ষিত ডেটা সুরক্ষিত থাকে, কারণ Hive কেবলমাত্র স্কিমা পরিচালনা করে।

উদাহরণ:

CREATE EXTERNAL TABLE external_employees (id INT, name STRING, salary FLOAT)
LOCATION '/user/hive/external/employees';

Internal এবং External Tables এর মধ্যে পার্থক্য

উপসংহার

Internal Tables এবং External Tables এর মধ্যে পার্থক্য বুঝে সঠিক সময় এবং প্রয়োজন অনুযায়ী সঠিক টেবিল ধরন নির্বাচন করা জরুরি। যদি ডেটার সম্পূর্ণ ম্যানেজমেন্ট Hive দ্বারা প্রয়োজন হয় এবং আপনি চান যে ডেটা Hive দ্বারা নিয়ন্ত্রিত হোক, তাহলে Internal Table নির্বাচন করা উচিত। অন্যদিকে, যদি আপনি বাইরের ডেটা ফাইলগুলিকে Hive-এর মাধ্যমে বিশ্লেষণ করতে চান এবং Hive সিস্টেমে ডেটা সংরক্ষণ করতে না চান, তবে External Table ব্যবহার করা সবচেয়ে উপযুক্ত।