Skewness হল একটি অবস্থা যেখানে টেবিলের ডেটা অসমভাবে ভাগ হয়ে থাকে। অর্থাৎ, টেবিলের কিছু অ্যাম্প (AMP) বা ডিস্কে অতিরিক্ত ডেটা জমে যায়, আর কিছু অ্যাম্পে খুব কম ডেটা থাকে। এটি ডেটাবেসের পারফরম্যান্সে সমস্যা তৈরি করতে পারে কারণ ডেটার অসম বণ্টন কাজের গতি কমিয়ে দেয়। Skewness এর কারণে অ্যাম্পগুলোর মধ্যে লোড ব্যালেন্স ঠিকভাবে কাজ না করলে, সিস্টেমের কাজের গতি ধীর হতে পারে এবং প্রসেসিং টাইম বাড়ে।
ডেটার skewness টেরাডেটা সিস্টেমে কিছু সমস্যা তৈরি করতে পারে, যেমন:
- পারফরম্যান্সের অবনতি
- লোড ব্যালান্সিংয়ের অভাব
- অপ্রয়োজনীয় প্রসেসর এবং ডিস্কে অতিরিক্ত লোড
তবে কিছু প্রযুক্তি এবং কৌশল ব্যবহারের মাধ্যমে এই skewness দূর করা সম্ভব। নিচে কিছু skewness দূর করার কৌশল দেওয়া হলো।
Skewness দূর করার Techniques
১. সঠিক Primary Index নির্বাচন করা
Primary Index (PI) টেবিলের ডেটাকে অ্যাম্প (AMP) গুলোর মধ্যে সঠিকভাবে ভাগ করার জন্য অত্যন্ত গুরুত্বপূর্ণ। যদি PI সঠিকভাবে নির্বাচন না করা হয়, তাহলে ডেটা অসমভাবে বিভক্ত হয়ে যাবে এবং skewness তৈরি হবে।
Best Practice:
- Unique Primary Index (UPI) ব্যবহার করুন, যদি ডেটায় ইউনিক কোলাম থাকে। এটি ডেটাকে সঠিকভাবে ভাগ করে এবং skewness কমাতে সহায়তা করে।
- Non-Unique Primary Index (NUPI) এ ধ্যান দিন যখন অনেক ডুপ্লিকেট ভ্যালু থাকে, তবে এটি স্কিউনেস সৃষ্টি করতে পারে যদি ইনডেক্স সঠিকভাবে নির্বাচিত না হয়।
২. Partitioned Primary Index (PPI) ব্যবহার করা
Partitioned Primary Index (PPI) ব্যবহার করলে ডেটা একাধিক অংশে ভাগ হয়ে যায়, যা ডেটার skewness কমায়। PPI ব্যবহার করা হলে, ডেটা নির্দিষ্ট পার্টিশনে বিভক্ত হয়ে যায় এবং প্রতিটি পার্টিশনের জন্য আলাদা ইনডেক্স তৈরি করা হয়।
Best Practice:
- PPI ব্যবহারে, ডেটাকে বিভিন্ন পার্টিশনে ভাগ করুন (যেমন সময়ের ভিত্তিতে বা ক্যাটেগরি অনুযায়ী), যাতে সিস্টেমে ডেটার ভারসাম্য বজায় থাকে এবং skewness কমে যায়।
৩. Data Skewness Analyzation এবং Rebalancing
Skewness দূর করার জন্য ডেটার analytical analysis প্রয়োজন। Teradata এ Skewness Analyzer ব্যবহার করে আপনি ডেটা স্ক্যান করে বুঝতে পারবেন কোন অ্যাম্পগুলিতে বেশি লোড পড়ছে এবং সেই অনুযায়ী ডেটার পুনর্বিন্যাস (Rebalancing) করা যেতে পারে।
Best Practice:
- Teradata Viewpoint বা Teradata Index Analyzer ব্যবহার করুন স্কিউনেস বিশ্লেষণ করার জন্য।
- ডেটা ব্যালান্স করার জন্য প্রয়োজনে Redistribution এবং Rebalance করুন।
৪. Use of Multicolumn Primary Index
Multicolumn Primary Index ব্যবহৃত হলে একটি টেবিলের জন্য একাধিক কলামের উপর ভিত্তি করে ডেটা বিভক্ত করা হয়, যা skewness কমাতে সাহায্য করে। এটি বিশেষত ব্যবহার হয় যখন ডেটা একক কলামের উপর ফিল্টার হতে পারে না।
Best Practice:
- যখন একাধিক কলাম কম্বিনেশনে ফিল্টার করা হয়, তখন Multicolumn PI ব্যবহার করুন।
- তবে, খুব বেশি কলাম যুক্ত করলে পারফরম্যান্স ক্ষতিগ্রস্ত হতে পারে, তাই শুধু প্রয়োজনীয় কলামগুলো অন্তর্ভুক্ত করুন।
৫. Data Load Optimization এবং Distribution Strategy
ডেটা লোড করার সময় Skewness দূর করার জন্য কিছু কৌশল ব্যবহার করা যায়। যদি ডেটা সঠিকভাবে লোড না হয়, তাহলে তা অসমভাবে বিতরণ হতে পারে। Teradata তে load optimization এবং distribution strategy খুবই গুরুত্বপূর্ণ।
Best Practice:
- FastLoad অথবা MultiLoad ব্যবহার করুন ডেটা দ্রুত এবং সমানভাবে লোড করতে।
- যখন ডেটা লোড হয়, তখন partitioning এবং hashing স্ট্র্যাটেজি ব্যবহার করুন যাতে ডেটার ভারসাম্য বজায় থাকে।
৬. Data Redistribution
ডেটার skewness অনেক সময় অতিরিক্ত ডেটা এক অ্যাম্প বা ডিস্কে জমা হওয়ার কারণে ঘটে। Data Redistribution একটি পদ্ধতি যা ডেটাকে আবার নতুনভাবে পুনর্বিন্যস্ত (redistribute) করে, যাতে ডেটা অ্যাম্পগুলোর মধ্যে সমানভাবে ভাগ হয়ে যায়।
Best Practice:
- Redistribution এর মাধ্যমে ডেটাকে পুনর্বিন্যস্ত করুন। এটি ডেটাকে সমানভাবে বিভক্ত করতে সাহায্য করে এবং skewness দূর করতে কার্যকর।
- নিয়মিত ডেটার rebalancing করুন যখন নতুন ডেটা অ্যাড হয়, যাতে আগের skewness পরিস্থিতি এড়ানো যায়।
৭. Query Optimization
কখনো কখনো কোয়েরির সঠিকভাবে অপটিমাইজ না হওয়া বা সঠিক ফিল্টারিং না করার কারণেও skewness হতে পারে। কোয়েরি অপটিমাইজেশন দক্ষতার সাথে করা হলে, ডেটার প্রক্রিয়াকরণ দ্রুত হয় এবং skewness কমে যায়।
Best Practice:
- Join Indexes এবং Aggregate Join Indexes ব্যবহার করুন যাতে কোয়েরি পারফরম্যান্স আরও উন্নত হয়।
- কোয়েরি পরিকল্পনা (Query Plan) বিশ্লেষণ করে নিশ্চিত করুন যে, কোনো নির্দিষ্ট কলাম বা ইনডেক্স সঠিকভাবে ব্যবহৃত হচ্ছে।
সারাংশ
Skewness টেরাডেটা ডেটাবেসে একটি সমস্যা হতে পারে যদি ডেটা অসমভাবে বিতরণ হয়। তবে, বিভিন্ন কৌশল যেমন Primary Index সঠিকভাবে নির্বাচন করা, Partitioned Primary Index (PPI) ব্যবহার করা, Data Redistribution এবং Query Optimization এর মাধ্যমে এটি দূর করা সম্ভব। ডেটার সঠিকভাবে পারফরম্যান্স এবং লোড ব্যালান্সিং নিশ্চিত করার জন্য Skewness Analyzer এবং Rebalancing প্রক্রিয়া ব্যবহার করা যেতে পারে। এর ফলে, ডেটাবেসের পারফরম্যান্স উন্নত হবে এবং সিস্টেমের গতি বাড়বে।
Read more
