Big Data and Analytics Hadoop এর পরিচিতি গাইড ও নোট

Hadoop একটি ওপেন-সোর্স ফ্রেমওয়ার্ক, যা ডিস্ট্রিবিউটেড ডেটা প্রসেসিং (Distributed Data Processing) এবং স্টোরেজের জন্য ব্যবহৃত হয়। এটি Apache Software Foundation দ্বারা উন্নত এবং পরিচালিত হয়। Hadoop বড় আকারের ডেটাসেট (Big Data) পরিচালনা করার জন্য অত্যন্ত কার্যকরী এবং এটি স্ট্যান্ডার্ড হার্ডওয়্যারের উপর কাজ করতে সক্ষম।

Hadoop কী?

Hadoop মূলত ডিস্ট্রিবিউটেড স্টোরেজ (Distributed Storage) এবং ডিস্ট্রিবিউটেড প্রসেসিং (Distributed Processing) করার জন্য তৈরি করা হয়েছে। এটি ক্লাস্টার (Cluster) ভিত্তিক একটি সিস্টেম, যেখানে ডেটা বিভিন্ন মেশিনে ভাগ করে সংরক্ষণ করা হয় এবং একাধিক মেশিন একসঙ্গে সেই ডেটা প্রসেস করতে পারে।

Hadoop এর মূল উপাদান

HDFS (Hadoop Distributed File System)

HDFS হলো একটি ডিস্ট্রিবিউটেড ফাইল সিস্টেম, যা বড় আকারের ডেটা স্টোরেজের জন্য ব্যবহৃত হয়। এটি ডেটাকে ছোট ছোট ব্লকে ভাগ করে বিভিন্ন নোডে সংরক্ষণ করে।

MapReduce

MapReduce একটি প্রোগ্রামিং মডেল, যা ডেটা প্রসেসিংয়ের কাজ সম্পন্ন করে। এটি মূলত দুটি ধাপের সমন্বয়ে কাজ করে— Map এবং Reduce।

YARN (Yet Another Resource Negotiator)

YARN সিস্টেমের জন্য রিসোর্স ম্যানেজমেন্ট এবং টাস্ক শিডিউলিংয়ের কাজ করে। এটি Hadoop এর প্রসেসিং এবং স্টোরেজ কার্যক্রমের মধ্যে সমন্বয় সাধন করে।

Hadoop Common

Hadoop Common হলো একটি লাইব্রেরি এবং ইউটিলিটি সেট, যা Hadoop এর অন্যান্য উপাদানগুলির জন্য প্রয়োজনীয় টুল সরবরাহ করে।

Hadoop এর বৈশিষ্ট্য

• স্কেলেবিলিটি (Scalability): নতুন হার্ডওয়্যার যোগ করার মাধ্যমে সহজেই সিস্টেমের ক্ষমতা বৃদ্ধি করা যায়।
• ডেটা রিপ্লিকেশন (Data Replication): ডেটার একাধিক কপি সংরক্ষণ করে ফাইল লস থেকে সুরক্ষা প্রদান করে।
• ডিস্ট্রিবিউটেড প্রসেসিং (Distributed Processing): বড় ডেটাসেট বিভিন্ন নোডে ভাগ করে দ্রুত প্রসেস করা যায়।
• কস্ট-এফেক্টিভ (Cost-Effective): সস্তা হার্ডওয়্যার ব্যবহার করে বড় ডেটা পরিচালনা করা যায়।
• ফল্ট টলারেন্স (Fault Tolerance): সিস্টেমের একটি অংশ ব্যর্থ হলেও বাকি অংশ কার্যকর থাকে।

Hadoop এর ব্যবহার

• ডেটা বিশ্লেষণ (Data Analytics): বড় আকারের ডেটা বিশ্লেষণ করার জন্য।
• মেশিন লার্নিং (Machine Learning): মডেল প্রশিক্ষণের জন্য।
• ডেটা স্টোরেজ এবং প্রসেসিং: ভিডিও, ছবি, টেক্সট ইত্যাদির বিশাল ডেটাসেট সংরক্ষণ এবং প্রসেস করার জন্য।
• IoT ডেটা প্রসেসিং: ইন্টারনেট অফ থিংস থেকে প্রাপ্ত ডেটা পরিচালনার জন্য।

Hadoop এর মাধ্যমে বড় আকারের ডেটা সহজে স্টোর এবং প্রসেস করা যায়, যা আধুনিক ডেটা-বেইসড প্রযুক্তির অন্যতম প্রধান চাহিদা পূরণ করে।

Hadoop হলো একটি ওপেন-সোর্স ফ্রেমওয়ার্ক, যা ডিস্ট্রিবিউটেড ডেটা স্টোরেজ এবং প্রসেসিংয়ের জন্য ব্যবহৃত হয়। Apache Software Foundation দ্বারা এটি তৈরি এবং রক্ষণাবেক্ষণ করা হয়। মূলত, বড় ডেটাসেট (Big Data) সংরক্ষণ এবং বিশ্লেষণের জন্য এটি একটি অত্যন্ত কার্যকরী প্রযুক্তি। Hadoop নিম্নমানের বা সস্তা হার্ডওয়্যারের উপর কাজ করতে সক্ষম, যেখানে এটি ডেটাকে বিভিন্ন মেশিনে ভাগ করে সংরক্ষণ ও প্রসেস করে।

Hadoop এর মূল বৈশিষ্ট্য

• ডিস্ট্রিবিউটেড স্টোরেজ (Distributed Storage): ডেটা ছোট ছোট ব্লকে ভাগ করে বিভিন্ন মেশিনে সংরক্ষণ করে।
• ডিস্ট্রিবিউটেড প্রসেসিং (Distributed Processing): একাধিক মেশিনে ডেটা একসঙ্গে প্রসেস করা যায়।
• ফল্ট টলারেন্স (Fault Tolerance): সিস্টেমের একটি অংশ ব্যর্থ হলেও ডেটা এবং প্রসেসিং অব্যাহত থাকে।
• স্কেলেবিলিটি (Scalability): সিস্টেমে নতুন মেশিন যোগ করে সহজেই ক্ষমতা বৃদ্ধি করা যায়।

কেন Hadoop ব্যবহার করা হয়?

বড় ডেটা পরিচালনা

Big Data, অর্থাৎ বড় আকারের এবং বৈচিত্র্যময় ডেটা সেট, প্রথাগত ডেটা ম্যানেজমেন্ট সিস্টেমের চেয়ে বেশি কার্যকরভাবে পরিচালনা করার জন্য Hadoop ব্যবহৃত হয়।

কম খরচে ডেটা স্টোরেজ

Hadoop সস্তা এবং কম ক্ষমতাসম্পন্ন হার্ডওয়্যার ব্যবহার করে বিশাল পরিমাণ ডেটা সংরক্ষণ করতে পারে।

দ্রুত ডেটা প্রসেসিং

Hadoop এর ডিস্ট্রিবিউটেড প্রসেসিং পদ্ধতি অনেক দ্রুত ডেটা প্রসেস করতে সক্ষম, যা বড় ডেটাসেট বিশ্লেষণে সময় সাশ্রয় করে।

ফল্ট টলারেন্স

Hadoop স্বয়ংক্রিয়ভাবে ডেটার কপি (Replication) তৈরি করে, যাতে কোনো একটি নোড ব্যর্থ হলেও ডেটা হারানোর ঝুঁকি থাকে না।

মেশিন লার্নিং এবং ডেটা অ্যানালিটিক্সে ব্যবহার

Hadoop মেশিন লার্নিং এবং ডেটা অ্যানালিটিক্সের কাজে গুরুত্বপূর্ণ ভূমিকা পালন করে, যেখানে বড় আকারের ডেটা সেট বিশ্লেষণ এবং মডেল তৈরি করা হয়।

রিয়েল-টাইম ডেটা প্রসেসিং

ইন্টারনেট অফ থিংস (IoT) এবং সোশ্যাল মিডিয়া থেকে আসা বিশাল পরিমাণ ডেটা দ্রুত প্রসেস করার জন্য Hadoop একটি উপযুক্ত সমাধান।

Hadoop ব্যবহার করা হয় তার সহজলভ্যতা, স্কেলেবিলিটি এবং ফল্ট টলারেন্স বৈশিষ্ট্যের কারণে। এটি বড় ডেটা পরিচালনা এবং বিশ্লেষণের জন্য একটি অপরিহার্য প্রযুক্তি।

Big Data (বিগ ডেটা) হলো এমন ডেটা সেট যা প্রচুর পরিমাণে, দ্রুতভাবে বৃদ্ধি পায় এবং বিভিন্ন ধরনের হতে পারে, যা সাধারণ ডেটাবেস ম্যানেজমেন্ট সিস্টেম (DBMS) দ্বারা সহজে পরিচালিত বা বিশ্লেষণ করা সম্ভব নয়। Big Data এর মধ্যে সাধারণত তিনটি বৈশিষ্ট্য থাকে, যা "3 Vs" নামে পরিচিত:

• ভলিউম (Volume): বিশাল পরিমাণ ডেটা, যেমন সোশ্যাল মিডিয়া, সেন্সর, ট্রানজেকশন ইত্যাদি থেকে প্রাপ্ত ডেটা।
• ভ্যারাইটি (Variety): বিভিন্ন ধরনের ডেটা, যেমন স্ট্রাকচারড (Structured), আনস্ট্রাকচারড (Unstructured), এবং সেমি-স্ট্রাকচারড (Semi-structured) ডেটা।
• ভেলোসিটি (Velocity): দ্রুত গতিতে তৈরি হওয়া ডেটা, যা রিয়েল-টাইম বা নear-রিয়েল-টাইম প্রক্রিয়া করা হয়।

Big Data এত বিশাল এবং জটিল হয়ে উঠেছে যে, পর tradiitional ডেটাবেস সিস্টেম বা সফটওয়্যার দ্বারা তা পরিচালনা করা সম্ভব নয়। এই সমস্যা সমাধানে Hadoop একটি কার্যকরী ফ্রেমওয়ার্ক হিসেবে কাজ করে।

Hadoop এর প্রয়োজনীয়তা

Hadoop প্রাথমিকভাবে Big Data পরিচালনা এবং বিশ্লেষণের জন্য একটি শক্তিশালী টুল। এটি বিভিন্ন কারণে Big Data প্রক্রিয়াকরণের জন্য অপরিহার্য হয়ে উঠেছে:

স্কেলেবিলিটি (Scalability)

Hadoop সহজেই স্কেল করা যায়। এর অর্থ হল, বড় ডেটাসেট বা আরও বেশি ডেটা প্রসেস করতে হলে সিস্টেমে নতুন মেশিন যোগ করা সম্ভব। Hadoop এর ডিস্ট্রিবিউটেড আর্কিটেকচার (Distributed Architecture) নতুন মেশিন যুক্ত করার মাধ্যমে দক্ষতার সাথে আরও বড় ডেটা প্রসেস করতে সক্ষম হয়।

কম খরচে স্টোরেজ (Cost-Effective Storage)

Hadoop কম খরচে সস্তা হার্ডওয়্যার ব্যবহার করে ডেটা স্টোরেজ করতে সক্ষম। এ কারণে এটি বড় ডেটাসেট স্টোর এবং প্রসেস করার জন্য আদর্শ, যেখানে প্রচুর খরচের প্রয়োজন হয় না।

দ্রুত ডেটা প্রসেসিং (Fast Data Processing)

Hadoop এর ডিস্ট্রিবিউটেড প্রসেসিং ক্ষমতা একাধিক মেশিনে ডেটা ভাগ করে প্রসেস করে দ্রুত ফলাফল প্রদান করতে সাহায্য করে। MapReduce এর মাধ্যমে ডেটা প্রসেসিং কর্মক্ষমতা অনেক দ্রুত হয়, বিশেষ করে যখন বিশাল পরিমাণ ডেটার কথা আসে।

ফল্ট টলারেন্স (Fault Tolerance)

Hadoop এর মধ্যে ডেটা রিপ্লিকেশন এবং ফল্ট টলারেন্স ব্যবস্থা থাকে, যা নিশ্চিত করে যে কোনো একটি মেশিন বা নোড ব্যর্থ হলেও ডেটা হারানো বা সিস্টেমের কোনো ক্ষতি হবে না। ডেটার একাধিক কপি সংরক্ষণ করা হয়, যাতে এক নোডে সমস্যা হলেও অন্য নোড থেকে ডেটা পুনরুদ্ধার করা যায়।

হাই পারফরম্যান্স (High Performance)

Hadoop বৃহৎ পরিমাণ ডেটা দ্রুত প্রক্রিয়া করতে সক্ষম, যার ফলে এটি অনেক শিল্পের জন্য গুরুত্বপূর্ণ, যেমন ফিনান্স, স্বাস্থ্য, ইকমার্স, এবং টেলিকমিউনিকেশন, যেখানে দ্রুত বিশ্লেষণ প্রয়োজন।

ডেটা অ্যানালিটিক্স এবং মেশিন লার্নিং (Data Analytics and Machine Learning)

Big Data এর বিশ্লেষণ এবং মডেল প্রশিক্ষণের জন্য Hadoop একটি কার্যকরী টুল। এটি মেশিন লার্নিং অ্যালগরিদম এবং ডেটা মাইনিং টেকনিক ব্যবহার করে বড় পরিমাণ ডেটা থেকে মূল্যবান তথ্য বের করতে সাহায্য করে।

সারাংশ

Big Data এর ধারণা হলো বিশাল পরিমাণ, দ্রুত গতির এবং বিভিন্ন ধরনের ডেটা যা সাধারণ টুল দ্বারা প্রক্রিয়া করা সম্ভব নয়। Hadoop এই চ্যালেঞ্জগুলি মোকাবেলা করতে ব্যবহৃত হয়, কারণ এটি সস্তা হার্ডওয়্যারের উপর কাজ করে, দ্রুত ডেটা প্রসেসিং সক্ষম করে, ফল্ট টলারেন্স প্রদান করে এবং সহজে স্কেল করা যায়। এর ফলে, Hadoop Big Data এর প্রসেসিং এবং বিশ্লেষণের জন্য একটি অপরিহার্য প্রযুক্তি হিসেবে দাঁড়িয়েছে।

Hadoop এর ইতিহাস

Hadoop এর যাত্রা শুরু হয় ২০০৫ সালে, যখন Google তাদের MapReduce এবং Google File System (GFS) এর ধারণা প্রকাশ করে, যা Big Data প্রসেসিং এর জন্য গুরুত্বপূর্ণ ছিল। এই ধারণাগুলি থেকে প্রেরণা নিয়ে Apache Hadoop প্রকল্প শুরু হয়। Hadoop এর মূল প্রতিষ্ঠাতা ছিলেন ডগ কאטলার (Doug Cutting) এবং মাইক কাওয়াজ (Mike Cafarella), যারা Apache Lucene এর সাথে কাজ করার সময় Hadoop এর ধারণা নিয়ে এসেছিলেন।

Hadoop এর নামকরণ

Hadoop এর নামটি আসলে ডগ কাটলারের পুত্রের একটি খেলনা হাতির নাম থেকে এসেছে। তিনি যখন এই প্রকল্পটি তৈরি করেছিলেন, তখন তার ছেলের খেলনা হাতির নাম ছিল 'Hadoop', এবং সেটি থেকেই এই প্রযুক্তির নামকরণ করা হয়।

Hadoop এর প্রথম প্রকাশ

২০০৬ সালে Apache Software Foundation Hadoop কে একটি ওপেন সোর্স প্রকল্প হিসেবে গ্রহণ করে এবং প্রথম প্রকাশ ঘটে ২০০৭ সালে। এর পর থেকে Hadoop একটি দ্রুত বিকাশ লাভ করে এবং বিভিন্ন প্রতিষ্ঠান এবং ডেভেলপারদের মধ্যে জনপ্রিয়তা অর্জন করতে থাকে।

Hadoop এর বিকাশ

Hadoop এর বিকাশের পথ ছিল অত্যন্ত দ্রুত এবং চ্যালেঞ্জিং। শুরুতে Hadoop কে শুধু একটি ফাইল সিস্টেম এবং ডেটা প্রসেসিং টুল হিসেবে ব্যবহার করা হলেও, পরবর্তীতে এটি বিশাল আকারের ডেটা ব্যবস্থাপনার জন্য একটি পূর্ণাঙ্গ ফ্রেমওয়ার্কে পরিণত হয়।

HDFS এবং MapReduce এর প্রাথমিক সংস্করণ

Hadoop এর প্রথম সংস্করণে দুটি প্রধান উপাদান ছিলঃ

1. HDFS (Hadoop Distributed File System): এটি একটি ডিস্ট্রিবিউটেড ফাইল সিস্টেম, যা বিশাল পরিমাণ ডেটা স্টোরেজ এবং একাধিক নোডে ডেটা বিভাজন নিশ্চিত করে।
2. MapReduce: এটি একটি প্রোগ্রামিং মডেল, যা ডেটা প্রসেসিং করার জন্য ব্যবহৃত হয়, বিশেষত বিশাল পরিমাণ ডেটা দ্রুত এবং কার্যকরভাবে বিশ্লেষণ করার জন্য।

YARN (Yet Another Resource Negotiator) এর অন্তর্ভুক্তি

২০১২ সালে Hadoop 2.x সংস্করণ চালু হয়, যেখানে একটি নতুন উপাদান যোগ করা হয়েছিল - YARN (Yet Another Resource Negotiator)। YARN হল একটি রিসোর্স ম্যানেজমেন্ট সিস্টেম, যা বিভিন্ন প্রক্রিয়া এবং অ্যাপ্লিকেশনকে আরও ভালভাবে পরিচালনা করতে সহায়ক। এর মাধ্যমে Hadoop আরো স্কেলেবল এবং শক্তিশালী হয়।

Hadoop 3.x সংস্করণ

২০১৭ সালে Hadoop 3.x সংস্করণ মুক্তি পায়, যেখানে নতুন কিছু বৈশিষ্ট্য যোগ করা হয়, যেমন:

• হাই-এভেইলেবিলিটি (High Availability): যা সিস্টেমের অটোমেটিক ফেইলওভার সমর্থন করে।
• ডেটা রিপ্লিকেশন: আরও উন্নত রিপ্লিকেশন মেকানিজম এবং নিরাপত্তা ব্যবস্থা।
• ফাইল সিস্টেম আপডেট: নতুন ফাইল সিস্টেমের মাধ্যমে আরও ভালো কর্মক্ষমতা এবং সংরক্ষণ ক্ষমতা।

Hadoop এর সম্প্রসারণ

Hadoop এর জনপ্রিয়তা বৃদ্ধি পাওয়ার সাথে সাথে বিভিন্ন প্রযুক্তি এবং টুলগুলি এর সাথে সংযুক্ত হতে থাকে, যেমন:

• Hive: SQL-এর মতো ভাষা ব্যবহার করে Hadoop ডেটা কিউরি করার জন্য।
• Pig: একটি উচ্চ-স্তরের ভাষা যা ডেটা ট্রান্সফরমেশন এবং প্রসেসিং সহজ করে তোলে।
• HBase: একটি NoSQL ডেটাবেস, যা Hadoop এর সাথে ডিস্ট্রিবিউটেড স্টোরেজের জন্য ব্যবহৃত হয়।
• Spark: একটি ফাস্ট ডেটা প্রসেসিং ইঞ্জিন যা Hadoop এর সাথে কাজ করে এবং অধিক কার্যকারিতা প্রদান করে।

সারাংশ

Hadoop এর ইতিহাস ২০০৫ সালে শুরু হয়েছিল এবং এটি মূলত Google এর প্রযুক্তি থেকে প্রেরণা গ্রহণ করে তৈরি হয়। প্রথমে এটি একটি ডিস্ট্রিবিউটেড ফাইল সিস্টেম এবং ডেটা প্রসেসিং মডেল হিসেবে ব্যবহৃত হলেও, পরবর্তীতে এটি একটি পূর্ণাঙ্গ Big Data ফ্রেমওয়ার্কে পরিণত হয়। YARN এর যোগ এবং Hadoop 3.x সংস্করণের উন্নতির মাধ্যমে, Hadoop এখন বিশ্বব্যাপী Big Data অ্যাপ্লিকেশন এবং বিশ্লেষণের জন্য একটি অন্যতম গুরুত্বপূর্ণ টুল।

Hadoop একটি ডিস্ট্রিবিউটেড সিস্টেম, যা মূলত তিনটি প্রধান উপাদান দিয়ে গঠিত: HDFS, YARN, এবং MapReduce। এই তিনটি উপাদান Hadoop এর কার্যকারিতা এবং ক্ষমতা নিশ্চিত করে, এবং বড় পরিমাণ ডেটা সঞ্চয় এবং প্রসেসিংয়ের জন্য অপরিহার্য।

HDFS (Hadoop Distributed File System)

HDFS হলো Hadoop এর ফাইল স্টোরেজ সিস্টেম, যা বড় আকারের ডেটা সংরক্ষণ করতে ব্যবহৃত হয়। HDFS ডেটাকে একাধিক ব্লকে ভাগ করে বিভিন্ন নোডে (Node) সংরক্ষণ করে, যা ডেটার স্টোরেজ এবং অ্যাক্সেসকে আরও দক্ষ এবং দ্রুত করে তোলে।

HDFS এর বৈশিষ্ট্য

• ডিস্ট্রিবিউটেড স্টোরেজ (Distributed Storage): ডেটাকে ব্লক আকারে বিভিন্ন মেশিনে ভাগ করে রাখা হয়, যাতে দ্রুত অ্যাক্সেস এবং প্রসেসিং করা যায়।
• ডেটা রিপ্লিকেশন (Data Replication): HDFS ডেটার একাধিক কপি তৈরি করে, যাতে একটি নোড ব্যর্থ হলে অন্য নোড থেকে ডেটা পুনরুদ্ধার করা যায়।
• ফল্ট টলারেন্স (Fault Tolerance): HDFS সিস্টেমের কোনো অংশ যদি ব্যর্থ হয়, তবে অন্যান্য কপি থেকে ডেটা পুনরুদ্ধার করা সম্ভব।

HDFS এর মাধ্যমে, বড় পরিমাণ ডেটা সহজে এবং নিরাপদে স্টোর করা যায়, যা Hadoop এর ডিস্ট্রিবিউটেড আর্কিটেকচারের মূল ভিত্তি।

YARN (Yet Another Resource Negotiator)

YARN হলো Hadoop এর রিসোর্স ম্যানেজমেন্ট সিস্টেম, যা সিস্টেমের সম্পদ (Resources) ম্যানেজ করতে এবং টাস্ক শিডিউল করতে ব্যবহৃত হয়। এটি Hadoop ক্লাস্টারে বিভিন্ন টাস্কের জন্য রিসোর্স বরাদ্দ করে এবং টাস্কগুলির কার্যকারিতা নিশ্চিত করে।

YARN এর কাজ

• রিসোর্স ম্যানেজমেন্ট (Resource Management): YARN ক্লাস্টারের বিভিন্ন মেশিনে রিসোর্স বরাদ্দ করে, যেমন CPU, মেমরি ইত্যাদি।
• টাস্ক শিডিউলিং (Task Scheduling): YARN বিভিন্ন কাজের জন্য সিস্টেমের রিসোর্স নির্ধারণ করে, যাতে ক্লাস্টারের দক্ষ ব্যবহার নিশ্চিত হয়।
• টাস্ক এক্সিকিউশন (Task Execution): YARN, হেডনোড থেকে নির্দেশনা নিয়ে ক্লাস্টারের বিভিন্ন নোডে কাজটি নির্বাহিত করে।

YARN, Hadoop এর কার্যক্ষমতা বাড়াতে সহায়তা করে এবং একটি ক্লাস্টারে সকল প্রক্রিয়া সুসংগতভাবে পরিচালনা করে।

MapReduce

MapReduce হলো Hadoop এর একটি প্রোগ্রামিং মডেল যা ডিস্ট্রিবিউটেড ডেটা প্রসেসিংয়ের জন্য ব্যবহৃত হয়। এটি বড় ডেটা সেটের উপর কাজ করার জন্য দুটি প্রধান ধাপ অনুসরণ করে: Map এবং Reduce। MapReduce ডেটা প্রসেসিংয়ের জন্য যে কোন ধরনের বিশ্লেষণ বা গণনা সহজ করে তোলে।

MapReduce এর দুটি প্রধান ধাপ

• Map: এই ধাপে ডেটাকে ইনপুট হিসেবে নিয়ে, সেটিকে ছোট ছোট অংশে বিভক্ত করা হয়। প্রতিটি ছোট অংশে নির্দিষ্ট কাজ সম্পন্ন করা হয়, যেমন ডেটার ফিল্টারিং বা মান পরিবর্তন।
• Reduce: Map ধাপের ফলাফলগুলো একটি সেন্ট্রালাইজড অবস্থানে নিয়ে এসে, তাদের সমন্বয় করে একটি উপসংহার বা ফলাফল তৈরি করা হয়, যেমন গাণিতিক যোগফল বা গড়।

MapReduce, Hadoop এর ডিস্ট্রিবিউটেড আর্কিটেকচারের সুবিধা নিয়ে বড় ডেটাসেটের উপর গণনা করতে সাহায্য করে।

সারাংশ

Hadoop এর প্রধান উপাদানগুলো হলো HDFS, YARN, এবং MapReduce। HDFS ডেটার স্টোরেজ ব্যবস্থা প্রদান করে, YARN রিসোর্স ম্যানেজমেন্ট এবং শিডিউলিংয়ের কাজ করে, এবং MapReduce ডিস্ট্রিবিউটেড ডেটা প্রসেসিংয়ের জন্য প্রোগ্রামিং মডেল সরবরাহ করে। এই তিনটি উপাদান Hadoop কে Big Data প্রসেসিংয়ের জন্য অত্যন্ত শক্তিশালী এবং দক্ষ একটি সিস্টেমে পরিণত করে।