Apache Spark একটি শক্তিশালী ডিস্ট্রিবিউটেড ডেটা প্রসেসিং ফ্রেমওয়ার্ক যা RDD (Resilient Distributed Datasets) এবং DataFrame/Dataset ব্যবহারের মাধ্যমে ডেটা ট্রান্সফরমেশন এবং বিশ্লেষণ করতে সক্ষম। স্পার্কের রূপান্তরের (transformations) দুটি গুরুত্বপূর্ণ শ্রেণী রয়েছে: Narrow Transformations এবং Wide Transformations। এই দুটি রূপান্তরের মধ্যে পার্থক্য রয়েছে তাদের কার্যকারিতা, পারফরম্যান্স, এবং ডেটা শিফটের প্রক্রিয়ার ভিত্তিতে।
এই টিউটোরিয়ালে আমরা Narrow এবং Wide Transformations এর মধ্যে পার্থক্য এবং তাদের ব্যবহারিক প্রেক্ষাপট নিয়ে আলোচনা করব।
Narrow Transformations
Narrow Transformations হলো এমন রূপান্তর যেখানে একটি ইনপুট পার্টিশন থেকে একাধিক আউটপুট পার্টিশন তৈরি করা হয়, কিন্তু প্রতিটি আউটপুট পার্টিশন শুধুমাত্র একক ইনপুট পার্টিশন থেকে আসে। এটি সাধারণত লিনিয়ার ডেটা ট্রান্সফরমেশন এবং এটি শাফলিং বা ডেটা মুভমেন্ট ছাড়াই চলে।
Key Characteristics of Narrow Transformations:
- No Data Shuffling: Narrow transformations এ ডেটা শাফলিং প্রয়োজন হয় না, অর্থাৎ এক পার্টিশন থেকে অন্য পার্টিশনে ডেটা স্থানান্তরিত হয় না।
- In-memory Processing: এটি মেমরি-ভিত্তিক প্রসেসিং করে এবং দ্রুত কাজ করে।
- Fewer Stages: Narrow transformations সাধারণত এক বা দুটি স্টেজে সম্পন্ন হয়, যা কম কম্পিউটেশনাল সম্পদ ব্যবহার করে।
Examples of Narrow Transformations:
map(): একটি রেকর্ডের উপর কোন কাজ প্রক্রিয়া করে, যেমন একটি ফাংশন প্রয়োগ করা।
val rdd = sc.textFile("data.txt") val transformedRdd = rdd.map(line => line.split(" "))এখানে,
map()প্রত্যেকটি ইনপুট রেকর্ডকে একটি আউটপুট রেকর্ডে রূপান্তরিত করছে।filter(): কন্ডিশনাল ফিল্টারিং, যেখানে কিছু রেকর্ড ফিল্টার হয়ে থাকে এবং কিছু রেকর্ড রাখা হয়।
val filteredRdd = rdd.filter(line => line.contains("Spark"))union(): দুটি RDD এর মধ্যে ইউনিয়ন করে নতুন RDD তৈরি করা।
val rdd1 = sc.parallelize(Array(1, 2, 3)) val rdd2 = sc.parallelize(Array(4, 5, 6)) val unionRdd = rdd1.union(rdd2)
Narrow Transformations Advantages:
- Efficiency: Narrow transformations অধিকাংশ সময় কম কম্পিউটেশনাল সম্পদ এবং দ্রুত প্রক্রিয়ার জন্য উপযুক্ত।
- Low Latency: এটি সিস্টেমের মধ্যে কম লেটেন্সি প্রদান করে কারণ ডেটা শাফলিং বা মুভমেন্ট নেই।
Wide Transformations
Wide Transformations হল এমন রূপান্তর যেখানে একটি ইনপুট পার্টিশন থেকে একাধিক আউটপুট পার্টিশনে ডেটা স্থানান্তরিত হয়। এটি shuffling বা data movement এর প্রয়োজন হয়, যার ফলে অধিক কার্যক্রম এবং বেশি সময় প্রয়োজন হয়। এই ধরনের রূপান্তর সাধারণত বৃহৎ এবং জটিল অপারেশন সম্পাদন করতে ব্যবহৃত হয়।
Key Characteristics of Wide Transformations:
- Data Shuffling: Wide transformations ডেটা শাফলিং বা স্থানান্তরের প্রয়োজন হয়, যেখানে একাধিক ইনপুট পার্টিশন থেকে আউটপুট পার্টিশন তৈরি করা হয়।
- Increased Latency: শাফলিংয়ের কারণে, Wide transformations সাধারণত অধিক লেটেন্সি এবং বেশি সময় নেয়।
- Multiple Stages: Wide transformations সাধারণত একাধিক স্টেজে সম্পন্ন হয়।
Examples of Wide Transformations:
groupByKey(): ইনপুট কিপেয়ার গ্রুপ করে তাদের মানগুলিকে একত্রিত করা।
val rdd = sc.parallelize(Array(("a", 1), ("b", 2), ("a", 3))) val groupedRdd = rdd.groupByKey()এখানে, groupByKey() এর মাধ্যমে কিপেয়ার (key-value) গ্রুপিং হচ্ছে, যেখানে ডেটা শাফলিং হয়ে রেকর্ডগুলি ভিন্ন পার্টিশনে বিভক্ত হচ্ছে।
reduceByKey(): কিপেয়ার কম্বাইন বা রিডিউস করা।
val rdd = sc.parallelize(Array(("a", 1), ("b", 2), ("a", 3))) val reducedRdd = rdd.reduceByKey((x, y) => x + y)এখানে, reduceByKey() কিপেয়ার ডেটার উপর লজিক্যাল কম্বাইনিং করতে ব্যবহৃত হচ্ছে, যার ফলে ডেটা শাফলিং হয়।
join(): দুটি RDD বা DataFrame যোগ করা। এটি inner join বা outer join করতে পারে।
val rdd1 = sc.parallelize(Array(("a", 1), ("b", 2))) val rdd2 = sc.parallelize(Array(("a", 3), ("b", 4))) val joinedRdd = rdd1.join(rdd2)
Wide Transformations Advantages:
- Powerful Operations: Wide transformations জটিল ডেটা কম্বাইন বা এগ্রিগেট করতে সক্ষম।
- Grouping and Aggregation: এটি বিভিন্ন ডেটা গ্রুপিং এবং এগ্রিগেটিং অপারেশন সমর্থন করে, যা RDD এর জন্য অত্যন্ত প্রয়োজনীয়।
Wide Transformations Disadvantages:
- Higher Latency: Shuffling এবং ডেটা স্থানান্তরের কারণে Wide transformations বেশি সময় নেয়।
- Resource Intensive: Wide transformations অধিক রিসোর্স ব্যবহার করে, কারণ ডেটা শাফলিংয়ের জন্য বড় আকারের নেটওয়ার্ক ব্যান্ডউইথ এবং মেমরি প্রয়োজন হয়।
Narrow এবং Wide Transformations এর মধ্যে পার্থক্য
| Feature | Narrow Transformations | Wide Transformations |
|---|---|---|
| Data Shuffling | No, no shuffling occurs | Yes, data shuffling is required |
| Execution Time | Faster (low latency) | Slower (higher latency due to shuffling) |
| Parallelization | Operates within a single partition | Requires multiple partitions and stages |
| Examples | map(), filter(), union() | groupByKey(), reduceByKey(), join() |
| Resource Consumption | Low | High due to shuffling and network overhead |
| Use Cases | Simple transformations, filtering, mapping | Aggregation, grouping, and joining data |
Conclusion
Narrow Transformations হল দ্রুত এবং কম্পিউটেশনালভাবে দক্ষ, যেখানে ডেটা শাফলিং প্রয়োজন হয় না। এটি সাধারণত map(), filter(), এবং union() এর মত সহজ ট্রান্সফরমেশনগুলির জন্য ব্যবহৃত হয়। অন্যদিকে, Wide Transformations জটিল ডেটা অপারেশনগুলির জন্য ব্যবহৃত হয়, যেমন groupByKey(), reduceByKey(), এবং join(), যেখানে ডেটা শাফলিং বা স্থানান্তরের প্রয়োজন হয় এবং এটি অধিক রিসোর্স এবং লেটেন্সি ব্যবহার করে।
স্পার্কের কার্যকরী ডেটা প্রসেসিংয়ের জন্য আপনাকে সঠিক ট্রান্সফরমেশন টাইপ চয়ন করতে হবে, যাতে আপনি কার্যকারিতা এবং পারফরম্যান্সের সর্বোচ্চ উপকারিতা পেতে পারেন।
Read more
