MariaDB এর জন্য পার্টিশনিং এবং শার্ডিং

পার্টিশনিং (Partitioning) এবং শার্ডিং (Sharding) হল দুটি গুরুত্বপূর্ণ কৌশল যা MariaDB ডেটাবেসের পারফরম্যান্স বৃদ্ধি এবং স্কেলেবিলিটি অর্জন করতে ব্যবহৃত হয়। এগুলি ডেটাবেসকে বিভিন্ন অংশে ভাগ করে, যা ডেটা ম্যানেজমেন্ট এবং প্রশ্নের পারফরম্যান্সের উন্নতি করে।

MariaDB পার্টিশনিং (Partitioning)

পার্টিশনিং হল একটি কৌশল যা একটি টেবিলের ডেটাকে ছোট ছোট অংশে ভাগ করে, যাতে ডেটাবেস পরিচালনা এবং অনুসন্ধান আরও দ্রুত এবং কার্যকরী হয়। এতে মূলত প্রশ্নের কার্যকারিতা (query performance) এবং ডেটাবেস ম্যানেজমেন্ট সহজ করা হয়। MariaDB তে, আপনি একটি টেবিলের ডেটাকে বিভিন্ন পার্টিশনে ভাগ করতে পারেন, যেমন রেঞ্জ পার্টিশনিং, লিস্ট পার্টিশনিং, হ্যাশ পার্টিশনিং, এবং রাউন্ড রবিন পার্টিশনিং।

পার্টিশনিং কৌশলসমূহ

1. Range Partitioning (রেঞ্জ পার্টিশনিং): এই কৌশলে, ডেটাকে একটি নির্দিষ্ট রেঞ্জের ভিত্তিতে ভাগ করা হয়। উদাহরণস্বরূপ, আপনি বছরের ভিত্তিতে পার্টিশন করতে পারেন।

   CREATE TABLE sales (
       id INT,
       sale_date DATE,
       amount DECIMAL(10,2)
   )
   PARTITION BY RANGE (YEAR(sale_date)) (
       PARTITION p0 VALUES LESS THAN (2015),
       PARTITION p1 VALUES LESS THAN (2016),
       PARTITION p2 VALUES LESS THAN (2017),
       PARTITION p3 VALUES LESS THAN (MAXVALUE)
   );
   

   এখানে, sale_date এর বছর অনুযায়ী ডেটা পার্টিশন করা হয়েছে।

2. List Partitioning (লিস্ট পার্টিশনিং): লিস্ট পার্টিশনিং এ, আপনি নির্দিষ্ট মানের একটি তালিকার ভিত্তিতে ডেটা ভাগ করতে পারেন। উদাহরণস্বরূপ, নির্দিষ্ট শহরের ভিত্তিতে ডেটা ভাগ করা।

   CREATE TABLE employees (
       id INT,
       name VARCHAR(100),
       city VARCHAR(100)
   )
   PARTITION BY LIST (city) (
       PARTITION p1 VALUES IN ('New York', 'Los Angeles'),
       PARTITION p2 VALUES IN ('Chicago', 'Houston'),
       PARTITION p3 VALUES IN ('Phoenix', 'San Francisco')
   );
   

3. Hash Partitioning (হ্যাশ পার্টিশনিং): হ্যাশ পার্টিশনিং তে, টেবিলের ডেটা একটি হ্যাশ ফাংশনের মাধ্যমে ভাগ করা হয়। এটি ডেটা সমানভাবে ভাগ করতে সাহায্য করে।

   CREATE TABLE users (
       id INT,
       name VARCHAR(100)
   )
   PARTITION BY HASH(id) PARTITIONS 4;
   

   এখানে, id এর উপর ভিত্তি করে ৪টি পার্টিশনে ডেটা ভাগ করা হয়েছে।

4. Round Robin Partitioning (রাউন্ড রবিন পার্টিশনিং): রাউন্ড রবিন পার্টিশনিং তে, ডেটা সরলভাবে পার্টিশনের মধ্যে বিভক্ত হয়। এটি সাধারণত ছোট ডেটাসেটের জন্য উপযুক্ত।

   CREATE TABLE logs (
       id INT,
       message VARCHAR(255)
   )
   PARTITION BY ROUND ROBIN (4);
   

   এখানে ডেটা চারটি সমান অংশে ভাগ করা হয়েছে।

MariaDB পার্টিশনিং এর সুবিধা

• পারফরম্যান্স বৃদ্ধি: বড় টেবিলের জন্য প্রশ্নগুলি দ্রুততর হতে পারে, কারণ MariaDB শুধুমাত্র প্রাসঙ্গিক পার্টিশনে প্রশ্ন চালাবে।
• ডেটা ম্যানেজমেন্ট: পার্টিশনিং দিয়ে, আপনি আলাদা আলাদা অংশে ডেটা ম্যানেজ করতে পারেন, যেমন একটি নির্দিষ্ট সময়ের মধ্যে ডেটা মুছে ফেলা।
• ইনডেক্সিং এবং সার্চ অপটিমাইজেশন: প্রতিটি পার্টিশনের জন্য আলাদা ইনডেক্স থাকতে পারে, যা অনুসন্ধানকে দ্রুত করে তোলে।

MariaDB শার্ডিং (Sharding)

শার্ডিং হল একটি কৌশল যা MariaDB তে ডেটাবেসকে ফিজিক্যালি বিভক্ত করে একাধিক সার্ভারে রাখা হয়। এখানে ডেটা ভাগ করা হয় এমনভাবে যে একটি নির্দিষ্ট শার্ডে একটি নির্দিষ্ট ডেটা subset থাকে। যখন আপনার ডেটাবেস খুব বড় হয় এবং একক সার্ভারে রাখতে পারেন না, তখন শার্ডিং ব্যবহার করে ডেটাবেসের পারফরম্যান্স উন্নত করা হয়।

শার্ডিং কৌশল

1. Horizontal Sharding (হরাইজন্টাল শার্ডিং): এখানে, ডেটা সারি (rows) ভাগ করা হয়। এটি সাধারণত বড় ডেটাবেস বা টেবিলের ক্ষেত্রে ব্যবহৃত হয়, যেখানে ডেটা সঠিকভাবে শার্ডে বিভক্ত করা হয়।

   উদাহরণস্বরূপ, আপনি ব্যবহারকারীদের ডেটাকে বিভিন্ন সার্ভারে ভাগ করতে পারেন:

   • Sharding by User ID: ব্যবহারকারীদের user_id এর উপর ভিত্তি করে ডেটা ভাগ করা।
   • Sharding by Geographic Region: ডেটা নির্দিষ্ট এলাকার ভিত্তিতে ভাগ করা (যেমন, ইউরোপ, এশিয়া, মার্কিন যুক্তরাষ্ট্র)।
2. Vertical Sharding (ভারটিকাল শার্ডিং): এখানে, ডেটাবেসের কলামগুলো শার্ডে ভাগ করা হয়। উদাহরণস্বরূপ, আপনি ব্যবহারকারীদের ডেটা এবং অর্ডার ডেটা আলাদা শার্ডে রাখতে পারেন।
3. Directory-Based Sharding (ডিরেক্টরি-বেসড শার্ডিং): এখানে, শার্ডিং লজিক একটি ডিরেক্টরি সিস্টেম ব্যবহার করে পরিচালিত হয়, যা ডেটার অবস্থান নির্দেশ করে। উদাহরণস্বরূপ, আপনি একটি ডিরেক্টরি টেবিল ব্যবহার করে ডেটা কোথায় সংরক্ষিত হবে তা চিহ্নিত করতে পারেন।

MariaDB শার্ডিং এর সুবিধা

• স্কেলেবিলিটি: শার্ডিং ডেটাবেসের পরিসর এবং ট্রাফিক হ্যান্ডলিং ক্ষমতা বৃদ্ধি করতে সহায়ক।
• লোড ব্যালান্সিং: ডেটাকে একাধিক সার্ভারে ভাগ করার মাধ্যমে লোড ব্যালান্সিং করতে পারে।
• পারফরম্যান্স বৃদ্ধি: বড় টেবিলের ক্ষেত্রে শার্ডিং পারফরম্যান্স সুনিশ্চিত করে, কারণ প্রতি সার্ভার ছোট অংশে কাজ করে।

MariaDB তে পার্টিশনিং এবং শার্ডিং বাস্তবায়ন

MariaDB তে পার্টিশনিং ও শার্ডিং বাস্তবায়ন করতে কিছু চ্যালেঞ্জের সম্মুখীন হতে পারেন, বিশেষ করে শার্ডিং যখন একাধিক সার্ভারে প্রয়োগ করা হয়। তবে, MariaDB তে তৃতীয় পক্ষের টুলস যেমন ProxySQL, Vitess, বা Shard-Query ব্যবহার করে শার্ডিং সহজতর করা যেতে পারে।

সারাংশ

MariaDB তে পার্টিশনিং এবং শার্ডিং দুটি গুরুত্বপূর্ণ কৌশল, যা ডেটাবেসের স্কেলেবিলিটি এবং পারফরম্যান্স উন্নত করতে ব্যবহৃত হয়। পার্টিশনিং ডেটাকে ছোট অংশে ভাগ করে, বিভিন্ন প্রশ্নের কার্যকারিতা বৃদ্ধি করতে সাহায্য করে। অন্যদিকে, শার্ডিং ডেটাবেসের ডেটাকে একাধিক সার্ভারে বিভক্ত করে, যা বড় ডেটাবেসের ক্ষেত্রে কার্যকরী। সঠিকভাবে পার্টিশনিং ও শার্ডিং ব্যবহার করে আপনি ডেটাবেসের লোড ব্যালান্সিং, পারফরম্যান্স এবং ফাউল্ট টলারেন্স নিশ্চিত করতে পারবেন।

ডেটা পার্টিশনিং (Data Partitioning) এবং শার্ডিং (Sharding) হল ডেটাবেস স্কেলিং কৌশল যা বড় এবং বৃদ্ধি পাওয়া ডেটাবেসের পারফরম্যান্স এবং ম্যানেজেবিলিটি উন্নত করতে ব্যবহৃত হয়। মারিয়া ডিবি (MariaDB) তে এই কৌশলগুলি ব্যবহার করে ডেটাবেসের কার্যকারিতা, স্কেলেবিলিটি এবং রিড/রাইট অপারেশনগুলো আরও দক্ষ করা সম্ভব।

Data Partitioning: পার্টিশনিং কী এবং কেন এটি প্রয়োজন

পার্টিশনিং হল ডেটাবেসের একটি টেবিলকে ছোট ছোট অংশে ভাগ করার প্রক্রিয়া। এটি একে একাধিক অংশে (partition) বিভক্ত করে, যেগুলো প্রতিটি পার্টিশনে আলাদাভাবে সঞ্চিত থাকে, তবে তারা যৌথভাবে একটি একক লজিক্যাল টেবিল হিসেবে কাজ করে। এর মাধ্যমে ডেটা পরিচালনা সহজ হয় এবং পারফরম্যান্স বৃদ্ধি পায়।

পার্টিশনিংয়ের প্রকার

1. Range Partitioning: এখানে ডেটা একটি নির্দিষ্ট পরিসরে ভাগ করা হয়, যেমন তারিখ বা নম্বরের রেঞ্জের উপর ভিত্তি করে। উদাহরণস্বরূপ, কোনো ট্রানজেকশন টেবিলকে মাস বা বছরের ভিত্তিতে ভাগ করা যেতে পারে।
2. List Partitioning: এখানে ডেটা বিভিন্ন নির্দিষ্ট মানের ভিত্তিতে ভাগ করা হয়। যেমন, কোনো কলামের মানের ভিত্তিতে বিভিন্ন অংশে ডেটা বিভক্ত করা হয়।
3. Hash Partitioning: এই প্রকারে ডেটা হ্যাশ ফাংশনের মাধ্যমে ভাগ করা হয়, যাতে ডেটার বিভাজন অনেক বেশি সমানভাবে হয়। এটি সাধারণত ব্যবহার হয় যখন আপনি ডেটার মধ্যে কোনো নির্দিষ্ট রেঞ্জ বা তালিকা নীতির মাধ্যমে পার্টিশন করতে চান না।
4. Key Partitioning: এই পার্টিশনিং স্ট্রাটেজিটি হ্যাশ পার্টিশনিংয়ের মতো, তবে এটি কোনো নির্দিষ্ট কী (key) ব্যবহার করে ডেটা ভাগ করে। এটি স্বয়ংক্রিয়ভাবে পার্টিশন তৈরি করে, তবে আরও কম কনফিগারেশন প্রয়োজন হয়।

পার্টিশনিংয়ের প্রয়োজনীয়তা

1. পারফরম্যান্স উন্নয়ন: যখন টেবিলের আকার বড় হয়, তখন একটি ছোট পার্টিশনে কাজ করা অনেক দ্রুত হয়। রিড/রাইট অপারেশনগুলো পার্টিশন দ্বারা সীমাবদ্ধ করা হলে, তাদের পারফরম্যান্স দ্রুত বৃদ্ধি পায়।
2. কোয়ারি অপটিমাইজেশন: পার্টিশনিংয়ের মাধ্যমে ডেটার একটি নির্দিষ্ট অংশে কোয়ারি পাঠানো সহজ হয়। এক পার্টিশনের মধ্যে কোয়ারি করার ফলে সার্চ টাইম কমে যায়, কারণ সার্ভার পুরো টেবিল না দেখে শুধুমাত্র প্রয়োজনীয় পার্টিশনে কাজ করে।
3. ম্যানেজেবিলিটি: পার্টিশনিং ডেটাবেস ম্যানেজমেন্ট সহজ করে। বিশেষ করে ডেটা আর্কাইভিং বা ডেটা মুছতে সহজ হয়, কারণ পার্টিশন অনুযায়ী ডেটা পরিচালনা করা হয়।
4. ডেটাবেসে লোড ভারসাম্য: পার্টিশনিংয়ের মাধ্যমে বড় ডেটাবেসগুলো একাধিক সার্ভারে ভাগ করা যায়, ফলে লোড ব্যালান্সিং সম্ভব হয়।

Sharding: শার্ডিং কী এবং কেন এটি প্রয়োজন

শার্ডিং হল ডেটাবেসে একটি টেবিল বা ডেটার অংশগুলিকে আলাদা সার্ভারে (বা শার্ডে) ভাগ করা। প্রতিটি শার্ড একটি পৃথক সার্ভার বা ডেটাবেস হতে পারে। শার্ডিং সাধারণত তখন ব্যবহৃত হয় যখন ডেটাবেস খুব বড় হয়ে যায় এবং একক সার্ভারে রাখতে সমস্যা হয়। এটি ডেটাকে লজিক্যালভাবে ভাগ করে, যাতে প্রতিটি শার্ডের আকার ক্ষুদ্র থাকে এবং ম্যানেজমেন্ট সহজ হয়।

শার্ডিংয়ের প্রকার

1. Horizontal Sharding: এই প্রকার শার্ডিংয়ে ডেটার সারি বা রেকর্ডগুলো বিভিন্ন শার্ডে ভাগ করা হয়। অর্থাৎ, একই টেবিলের ডেটা বিভিন্ন সার্ভারে অবস্থান করে। যেমন, একটি ব্যবহারকারীর তথ্য এক শার্ডে, অন্য একটি ব্যবহারকারীর তথ্য অন্য শার্ডে রাখা হতে পারে।
2. Vertical Sharding: এই প্রকার শার্ডিংয়ে ডেটাবেসের কলামগুলো ভাগ করা হয়। একটি শার্ডে কিছু কলাম থাকতে পারে এবং অন্য শার্ডে অন্যান্য কলাম থাকতে পারে। এটি সাধারণত খুব বড় টেবিলের ক্ষেত্রে ব্যবহৃত হয়, যেখানে কলামের সংখ্যা অনেক বেশি থাকে।
3. Directory-Based Sharding: এখানে একটি ডিরেক্টরি সার্ভার থাকে যা নির্দেশনা দেয় যে কোন শার্ডে কোন ডেটা থাকবে। ডেটার শার্ডিং কৌশল পূর্বনির্ধারিত নিয়মের উপর ভিত্তি করে হয়ে থাকে।
4. Hash-Based Sharding: এই শার্ডিং পদ্ধতিতে ডেটা একটি হ্যাশ ফাংশনের মাধ্যমে শার্ডে ভাগ করা হয়। হ্যাশ মানের ভিত্তিতে ডেটা নির্দিষ্ট শার্ডে চলে যায়। এটি সাধারনত উন্নত পারফরম্যান্সের জন্য ব্যবহৃত হয়।

শার্ডিংয়ের প্রয়োজনীয়তা

1. স্কেলেবিলিটি: শার্ডিংয়ের মাধ্যমে ডেটাবেসকে স্কেল করা সহজ হয়। যখন ডেটার পরিমাণ বেড়ে যায়, তখন নতুন শার্ড যোগ করে স্কেলিং করা সম্ভব। এটি বড় ডেটাবেস অ্যাপ্লিকেশনগুলোতে দ্রুত পারফরম্যান্স নিশ্চিত করে।
2. লোড ব্যালান্সিং: শার্ডিংয়ের মাধ্যমে আপনি ডেটা একাধিক সার্ভারে ভাগ করতে পারেন, যার ফলে লোডের ভারসাম্য বজায় থাকে। প্রতিটি শার্ড শুধুমাত্র তার নিজস্ব ডেটা পরিচালনা করে, ফলে লোড কম হয়।
3. ফেইলওভার এবং রেডানডেন্সি: শার্ডিং ব্যবহৃত হলে, একটি শার্ডের ডাউন হওয়া অন্য শার্ডের কার্যক্রমে কোনো প্রভাব ফেলবে না। এতে সিস্টেমের উচ্চ প্রাপ্যতা বজায় থাকে এবং ফেইলওভার সহজ হয়।
4. ডেটার সেন্ট্রালাইজেশন: শার্ডিং ডেটাকে বিভিন্ন ভৌগলিক অবস্থানে (যেমন, বিভিন্ন সার্ভারে বা বিভিন্ন ডেটা সেন্টারে) বিভক্ত করতে পারে। এতে করে ল্যাটেন্সি কমানো যায় এবং সার্ভারের কার্যক্ষমতা উন্নত হয়।

Data Partitioning এবং Sharding এর মধ্যে পার্থক্য

• ডেটা পার্টিশনিং সাধারণত একটি একক ডেটাবেস সার্ভারে ব্যবহৃত হয়, যেখানে টেবিলগুলোকে ছোট অংশে ভাগ করা হয়। এটি সাধারনত ডেটার আকার বড় হলে ব্যবহৃত হয় এবং একাধিক পার্টিশন সার্ভার বা ডিস্কে ভাগ করা হয় না।
• শার্ডিং হল একাধিক সার্ভারে ডেটা ভাগ করার প্রক্রিয়া, যা পারফরম্যান্স এবং স্কেলেবিলিটি নিশ্চিত করতে ব্যবহৃত হয়। শার্ডিংয়ে একটি টেবিল বা ডেটার অংশ আলাদা সার্ভারে বিভক্ত করা হয়, যার ফলে সিস্টেমের লোড ভারসাম্য বজায় থাকে।

সারাংশ

Data Partitioning এবং Sharding উভয়ই বড় ডেটাবেস সিস্টেমে স্কেলেবিলিটি এবং পারফরম্যান্স উন্নত করার জন্য গুরুত্বপূর্ণ কৌশল। পার্টিশনিং ডেটাকে একক সার্ভারে ভাগ করার মাধ্যমে পারফরম্যান্স এবং ম্যানেজেবিলিটি সহজ করে, আর শার্ডিং একাধিক সার্ভারে ডেটা ভাগ করার মাধ্যমে সিস্টেমের স্কেলিং এবং লোড ব্যালান্সিং নিশ্চিত করে। এই কৌশলগুলো ডেটাবেস সিস্টেমের সক্ষমতা বাড়ানোর জন্য প্রয়োজনীয়, বিশেষ করে যখন ডেটাবেসের পরিমাণ অনেক বড় হয়ে যায় এবং একক সার্ভারে সেগুলি ম্যানেজ করা কঠিন হয়ে পড়ে।

ডেটাবেস পার্টিশনিং একটি পদ্ধতি যেখানে একটি বড় ডেটাবেস টেবিলকে ছোট ছোট অংশে বিভক্ত করা হয়, যাতে ডেটার ব্যবস্থাপনা সহজ এবং কার্যকর হয়। মারিয়া ডিবি (MariaDB)-তে পার্টিশনিং দুটি প্রধান পদ্ধতিতে করা হয়: Horizontal Partitioning এবং Vertical Partitioning।

Horizontal Partitioning

Horizontal Partitioning বা Row-based Partitioning হলো একটি পদ্ধতি যেখানে একটি টেবিলের রো (row) গুলোর মধ্যে ডেটাকে ভাগ করা হয়। প্রতিটি পার্টিশন একই টেবিলের অংশ থাকে, তবে ডেটার ভিন্ন ভিন্ন অংশ ধারণ করে। এটি মূলত তখন ব্যবহার করা হয় যখন টেবিলটি খুব বড় হয় এবং কিছু নির্দিষ্ট রো (যেমন, সময়ভিত্তিক ডেটা) বেশি ব্যবহার হয়। এই পার্টিশনিং পদ্ধতিতে, টেবিলের ডেটাকে বিভিন্ন পার্টিশনে ভাগ করা হয়, যেখানে প্রতিটি পার্টিশন আলাদা ডেটা ধারন করে এবং প্রতিটি পার্টিশনের স্টোরেজ আলাদা হতে পারে।

Horizontal Partitioning এর উদাহরণ

ধরা যাক, আপনি একটি orders টেবিলের ডেটা পার্টিশন করতে চান, যেখানে প্রতিটি অর্ডারের order_date দিয়ে ডেটা ভাগ করা হবে। এ ক্ষেত্রে, বিভিন্ন মাস বা বছরের জন্য পার্টিশন তৈরি করা যাবে।

CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    customer_id INT,
    order_date DATE,
    total_amount DECIMAL(10, 2)
)
PARTITION BY RANGE (YEAR(order_date)) (
    PARTITION p2019 VALUES LESS THAN (2020),
    PARTITION p2020 VALUES LESS THAN (2021),
    PARTITION p2021 VALUES LESS THAN (2022)
);

এখানে:

• PARTITION BY RANGE: এটি একটি রেঞ্জ ভিত্তিক পার্টিশনিং, যেখানে ডেটার ভিত্তিতে বিভিন্ন পার্টিশন তৈরি হয়।
• YEAR(order_date): order_date কলামের বছর অনুযায়ী পার্টিশনিং করা হবে।

এভাবে, অর্ডারের ডেটা বিভিন্ন পার্টিশনে ভাগ হয়ে যাবে, যা ইন্ডেক্সিং এবং কোয়েরি পারফরম্যান্সের জন্য উপকারী।

Horizontal Partitioning এর সুবিধা

• পারফরম্যান্স উন্নতি: বড় টেবিলের জন্য পারফরম্যান্স উন্নত হয়, কারণ শুধুমাত্র নির্দিষ্ট পার্টিশনের ডেটা স্ক্যান করা হয়।
• ডেটা ম্যানেজমেন্ট সহজ করা: কিছু নির্দিষ্ট অংশের ডেটা রিট্রিভ করা এবং ম্যানেজ করা সহজ হয়।
• বিকল্প স্টোরেজ: প্রতিটি পার্টিশন আলাদা স্টোরেজ ডিভাইসে রাখা যেতে পারে, যা হাই পারফরম্যান্স এবং লোড ব্যালান্সিংয়ে সাহায্য করে।

Horizontal Partitioning এর অসুবিধা

• কমপ্লেক্স কোয়েরি: কিছু সময় পার্টিশনিং পদ্ধতির কারণে কোয়েরি করা জটিল হতে পারে।
• পার্টিশন রিভিউ: যখন নতুন পার্টিশন যোগ করা হয় বা পুরনো পার্টিশন মুছে ফেলা হয়, তখন ডেটার পুনঃপার্টিশনিং করা প্রয়োজন হতে পারে।

Vertical Partitioning

Vertical Partitioning বা Column-based Partitioning হলো একটি পদ্ধতি যেখানে একটি টেবিলের কলামগুলোকে বিভিন্ন পার্টিশনে ভাগ করা হয়। এটি মূলত তখন ব্যবহার করা হয় যখন কিছু কলাম খুব বেশি ডেটা ধারণ করে এবং অন্যান্য কলামগুলোর তুলনায় কম ব্যবহৃত হয়। কলামভিত্তিক পার্টিশনিংয়ের মাধ্যমে, কম ব্যবহৃত কলামগুলো আলাদা স্টোরেজে রাখা যেতে পারে, যা ডেটা অ্যাক্সেসের জন্য কার্যকরী হতে পারে।

Vertical Partitioning এর উদাহরণ

ধরা যাক, আপনি একটি employees টেবিলের ডেটা পার্টিশন করতে চান, যেখানে কিছু কলাম (যেমন, address বা phone_number) খুব বেশি ব্যবহার হয় না। আপনি এই কলামগুলোর জন্য আলাদা পার্টিশন তৈরি করতে পারেন:

CREATE TABLE employees_main (
    employee_id INT PRIMARY KEY,
    name VARCHAR(100),
    department VARCHAR(100)
);

CREATE TABLE employees_additional (
    employee_id INT PRIMARY KEY,
    address VARCHAR(255),
    phone_number VARCHAR(50),
    FOREIGN KEY (employee_id) REFERENCES employees_main(employee_id)
);

এখানে:

• employees_main টেবিলে শুধুমাত্র প্রধান তথ্য রাখা হয়েছে, যেমন employee_id, name, এবং department।
• employees_additional টেবিলটি কলামভিত্তিক ডেটা রাখবে, যেমন address এবং phone_number।

এভাবে, ডেটার দুটি অংশ আলাদা টেবিলে রাখা হয়েছে। যখন কোনো একটি কলাম প্রয়োজন হয়, তখন শুধুমাত্র সেই পার্টিশন (অথবা টেবিল) থেকে ডেটা আনা হয়।

Vertical Partitioning এর সুবিধা

• পারফরম্যান্স বৃদ্ধি: কিছু কলাম কম ব্যবহৃত হলে তাদের আলাদা রাখা যেতে পারে, যা সঞ্চয়ের জন্য কার্যকরী।
• ডেটার কার্যকরী ব্যবহার: কম ব্যবহৃত ডেটার জন্য আলাদা স্টোরেজ ব্যবহার করা যায়, যা আরও কার্যকরী হতে পারে।
• বড় টেবিল কমপ্লেক্সিটি কমানো: একাধিক ছোট টেবিল তৈরি করে বড় টেবিলের কমপ্লেক্সিটি কমানো যায়।

Vertical Partitioning এর অসুবিধা

• জটিলতা: কোয়েরি করার সময় আলাদা টেবিলগুলোর সাথে যুক্ত থাকতে হয়, যা কিছুটা জটিল হতে পারে।
• রেফারেনশিয়াল ইন্টেগ্রিটি: আলাদা টেবিলগুলোর মধ্যে রেফারেনশিয়াল ইন্টেগ্রিটি বজায় রাখা কিছুটা কঠিন হতে পারে, বিশেষ করে FOREIGN KEY ব্যবহারের ক্ষেত্রে।

Horizontal এবং Vertical Partitioning এর তুলনা

সারাংশ

Horizontal Partitioning এবং Vertical Partitioning উভয় পদ্ধতিই ডেটাবেসের পারফরম্যান্স এবং ম্যানেজমেন্ট উন্নত করতে সাহায্য করে, তবে তাদের ব্যবহারের উপযুক্ত পরিস্থিতি ভিন্ন। Horizontal Partitioning বড় টেবিলের ডেটাকে ছোট ছোট ভাগে ভাগ করতে সাহায্য করে, যেখানে প্রতিটি ভাগ আলাদা ডেটা ধারণ করে। অন্যদিকে, Vertical Partitioning কলামভিত্তিক ডেটা বিভক্ত করতে সহায়তা করে, যাতে কম ব্যবহৃত কলামগুলো আলাদা স্টোরেজে রাখা যায়। দুটি পদ্ধতিরই সুবিধা এবং অসুবিধা রয়েছে, এবং সঠিক সিদ্ধান্ত গ্রহণের জন্য সঠিক ব্যবহারকারীর কেস বিশ্লেষণ করা প্রয়োজন।

Sharding হলো একটি ডেটাবেস কনফিগারেশন কৌশল, যা বড় ডেটাবেসকে একাধিক ছোট ছোট অংশে বিভক্ত করার মাধ্যমে ডেটার পারফরম্যান্স এবং স্কেলেবিলিটি বাড়ায়। যখন ডেটাবেসের আকার খুব বড় হয়ে যায় এবং একক সার্ভারে সেটি ম্যানেজ করা কঠিন হয়ে পড়ে, তখন Sharding ব্যবহার করা হয়। এই প্রক্রিয়ায়, ডেটা বিভিন্ন সার্ভারে বিভক্ত করে রাখা হয়, যাকে Shards বলা হয়। MariaDB-তে Sharding সেটআপ করা হলে, প্রত্যেক শার্ডে কিছু নির্দিষ্ট ডেটা রাখা হয় এবং কুয়েরিগুলি সঠিক শার্ডে রুট করা হয়।

1. Sharding কনফিগারেশন এবং উপকারিতা

Sharding এর মাধ্যমে ডেটাবেসের লোড ভারসাম্য সৃষ্টি হয়, ফলে এটি বড় পরিসরে ব্যবহৃত হয়। MariaDB তে Sharding কনফিগারেশন করার ফলে নিম্নলিখিত সুবিধা পাওয়া যায়:

• পারফরম্যান্স বৃদ্ধি: একক সার্ভারে বড় পরিমাণ ডেটা সংরক্ষণ করার বদলে, ডেটা বিভিন্ন সার্ভারে বিভক্ত করা হয়, যার ফলে দ্রুত ডেটা অ্যাক্সেস সম্ভব হয়।
• স্কেলেবিলিটি: নতুন সার্ভার যোগ করার মাধ্যমে ডেটাবেসের পরিসর বাড়ানো যায়, অর্থাৎ স্কেল করা সহজ হয়।
• লোড ব্যালান্সিং: ডেটাবেসের মধ্যে লোড সমানভাবে ভাগ করা হয়, যা সার্ভারের উপর অতিরিক্ত চাপ কমায়।

2. MariaDB তে Sharding কনফিগারেশন

MariaDB তে Sharding কনফিগার করার জন্য বিশেষ ধরনের টুলস এবং কৌশল প্রয়োজন। MariaDB সরাসরি Sharding সমর্থন না করলেও, কিছু টুল এবং কৌশল ব্যবহার করে এটি বাস্তবায়ন করা যায়।

Sharding কনফিগারেশনের জন্য ব্যবহৃত টুলস

1. ProxySQL: ProxySQL একটি শক্তিশালী লোড ব্যালান্সার এবং রাউটার যা MariaDB তে Sharding কনফিগারেশনের জন্য ব্যবহৃত হতে পারে। এটি ক্লায়েন্ট কুয়েরিগুলিকে সঠিক শার্ডে রুট করে এবং একাধিক সার্ভারে ডেটার বিভাজন নিশ্চিত করে।

   • ProxySQL ইনস্টলেশন:

     sudo apt-get install proxysql
     

   • ProxySQL কনফিগারেশন: ProxySQL ব্যবহার করে, আপনি ডেটার শার্ডিং কনফিগার করতে পারেন, যেখানে বিভিন্ন ডেটাবেস বা টেবিল একাধিক সার্ভারে ভাগ করা হয়।
2. Vitess: Vitess একটি ওপেন সোর্স স্কেলিং সলিউশন, যা MariaDB-এর সাথে কাজ করতে পারে এবং শার্ডিং ও লোড ব্যালান্সিং পরিচালনা করতে সাহায্য করে। Vitess MariaDB ক্লাস্টারকে শার্ডিং সিস্টেমে রূপান্তরিত করতে পারে এবং স্বয়ংক্রিয়ভাবে শার্ডগুলোর মধ্যে ডেটা বিতরণ করে।
   • Vitess ইনস্টলেশন: Vitess ইনস্টল করার জন্য আপনাকে MariaDB-তে কিছু কনফিগারেশন পরিবর্তন করতে হবে এবং Vitess-এর নিজস্ব কনফিগারেশন ফাইল ব্যবহার করতে হবে।
3. MySQL Router: MySQL Router MariaDB-তে শার্ডিং সেটআপের জন্য একটি বিকল্প টুল। এটি রাউটিং এবং লোড ব্যালান্সিংয়ের জন্য ব্যবহৃত হয়।

3. Sharding প্রক্রিয়া

MariaDB তে Sharding প্রক্রিয়া দুটি প্রধান ধাপে বিভক্ত:

1. ডেটার বিভাজন (Data Partitioning): এই ধাপে, ডেটাকে নির্দিষ্ট ক্রাইটেরিয়া অনুসারে বিভিন্ন সার্ভারে ভাগ করা হয়। সাধারণত, ডেটাকে বিভিন্ন শার্ডে ভাগ করতে Range Partitioning বা Hash Partitioning ব্যবহার করা হয়।

   • Range Partitioning: এই পদ্ধতিতে ডেটা নির্দিষ্ট রেঞ্জের ভিত্তিতে ভাগ করা হয়, যেমন একটি তারিখের বা কোনো নাম্বারের রেঞ্জ।
   • Hash Partitioning: এখানে ডেটাকে কিছু নির্দিষ্ট ফাংশন বা কলামের মানের উপর ভিত্তি করে ভাগ করা হয়।

   উদাহরণ:

   CREATE TABLE user_data (
       id INT NOT NULL,
       name VARCHAR(100),
       created_at DATE,
       PRIMARY KEY(id)
   )
   PARTITION BY RANGE (YEAR(created_at)) (
       PARTITION p0 VALUES LESS THAN (2010),
       PARTITION p1 VALUES LESS THAN (2015),
       PARTITION p2 VALUES LESS THAN (2020)
   );
   

2. Sharding কৌশল নির্ধারণ (Sharding Strategy): ডেটা কিভাবে শার্ডে বিভক্ত হবে তা নির্ধারণ করতে হবে। এতে বিভিন্ন শার্ডিং কৌশল ব্যবহার করা হতে পারে, যেমন:
   • Horizontal Sharding: ডেটাকে সারি (Row) অনুযায়ী শার্ডে বিভক্ত করা হয়।
   • Vertical Sharding: ডেটাকে কলাম (Column) অনুযায়ী বিভক্ত করা হয়।

4. MariaDB তে Sharding ব্যবস্থাপনা

MariaDB তে Sharding ব্যবস্থাপনা কঠিন হতে পারে, কারণ ডেটা শার্ডিংয়ের সময় কিছু চ্যালেঞ্জ আসতে পারে যেমন:

• ডেটা সিঙ্ক্রোনাইজেশন: একাধিক সার্ভারের মধ্যে ডেটা সিঙ্ক্রোনাইজ রাখাটা কঠিন হতে পারে, বিশেষত যদি ডেটা দ্রুত পরিবর্তিত হয়।
• কুয়েরি রাউটিং: কুয়েরিগুলিকে সঠিক শার্ডে রাউট করতে কঠিন হতে পারে যদি কনফিগারেশন সঠিকভাবে করা না হয়।

Sharding ব্যবস্থাপনা করতে MariaDB তে কিছু টুলস এবং স্ক্রিপ্ট ব্যবহার করা যেতে পারে। যেমন:

1. কাস্টম রাউটিং স্ক্রিপ্ট: কাস্টম স্ক্রিপ্ট ব্যবহার করে কুয়েরি রাউটিং এবং শার্ড নির্বাচন করা যেতে পারে।
2. ডেটা সিঙ্ক্রোনাইজেশন স্ক্রিপ্ট: শার্ডগুলোর মধ্যে ডেটার সিঙ্ক্রোনাইজেশন বজায় রাখার জন্য স্ক্রিপ্ট তৈরি করা যেতে পারে।

5. Sharding এর জন্য কিছু ভালো অভ্যাস

• শার্ডের আকার ছোট রাখা: শার্ডের আকার বড় হলে তা সঠিকভাবে ম্যানেজ করা কঠিন হয়ে পড়ে। তাই শার্ডের আকার ছোট রাখতে হবে।
• স্ট্রং কুয়েরি অপটিমাইজেশন: শার্ডিং সিস্টেমে কুয়েরি অপটিমাইজেশন খুবই গুরুত্বপূর্ণ। কুয়েরি যদি সঠিকভাবে অপটিমাইজ না হয়, তবে সিস্টেমের পারফরম্যান্স খারাপ হতে পারে।
• প্রতিরোধমূলক মনিটরিং: শার্ডিং সিস্টেমে বিভিন্ন শার্ডের স্থিতিশীলতা এবং পারফরম্যান্স মনিটর করা উচিত, যাতে সমস্যা ঘটলে দ্রুত সমাধান করা যায়।

সারাংশ

MariaDB তে Sharding ডেটাবেসের স্কেলেবিলিটি এবং পারফরম্যান্স বৃদ্ধির জন্য একটি শক্তিশালী কৌশল। যদিও MariaDB সরাসরি শার্ডিং সমর্থন না করে, তবে ProxySQL, Vitess, এবং MySQL Router এর মতো টুলস ব্যবহার করে শার্ডিং কনফিগার এবং পরিচালনা করা সম্ভব। শার্ডিং প্রক্রিয়া ডেটা বিভাজন এবং শার্ডিং কৌশল নির্ধারণের মাধ্যমে কার্যকরী হয়, এবং এটি সঠিকভাবে ব্যবস্থাপনা ও মনিটরিং করতে সক্ষম হলে, এটি MariaDB সিস্টেমে পারফরম্যান্স এবং স্কেলেবিলিটি বৃদ্ধি করতে সাহায্য করে।