HDFS (Hadoop Distributed File System) হাদুপের ফাইল সিস্টেম, যা বড় আকারের ডেটা স্টোর করতে এবং পরিচালনা করতে ব্যবহৃত হয়। HDFS এ ডেটা সংরক্ষণ এবং পরিচালনার জন্য কিছু নির্দিষ্ট কমান্ড এবং ফাইল অপারেশন রয়েছে। নিচে HDFS কমান্ড এবং ফাইল অপারেশনের কিছু মৌলিক ধারণা এবং কমান্ড দেয়া হলো।
HDFS এর মৌলিক কমান্ড
HDFS এর সাথে কাজ করার জন্য hadoop fs কমান্ড ব্যবহার করা হয়। এই কমান্ডের মাধ্যমে আপনি HDFS এ ফাইল অপারেশন পরিচালনা করতে পারেন, যেমন ফাইল কপি করা, ডিলিট করা, ফাইল তালিকা দেখানো, এবং অন্যান্য কাজ।
ফাইলের তালিকা দেখানো
HDFS এর মধ্যে কোনো ডিরেক্টরি বা ফাইলের তালিকা দেখতে নিম্নলিখিত কমান্ড ব্যবহার করুন:
hadoop fs -ls /path/to/directory
এই কমান্ডটি path/to/directory এর মধ্যে থাকা ফাইল এবং ডিরেক্টরি তালিকা দেখাবে।
ফাইল কপি করা
লোকাল সিস্টেম থেকে HDFS এ ফাইল কপি করতে:
hadoop fs -copyFromLocal /local/path/to/file /hdfs/path/to/destination
এবং HDFS থেকে লোকাল সিস্টেমে ফাইল কপি করতে:
hadoop fs -copyToLocal /hdfs/path/to/file /local/path/to/destination
ফাইল মুভ করা
HDFS এর মধ্যে ফাইল স্থানান্তর করতে:
hadoop fs -mv /hdfs/path/to/source /hdfs/path/to/destination
ফাইল ডিলিট করা
HDFS থেকে ফাইল বা ডিরেক্টরি মুছে ফেলার জন্য:
hadoop fs -rm /hdfs/path/to/file
এবং সম্পূর্ণ ডিরেক্টরি মুছে ফেলার জন্য:
hadoop fs -rm -r /hdfs/path/to/directory
ডিরেক্টরি তৈরি করা
HDFS এর মধ্যে নতুন ডিরেক্টরি তৈরি করতে:
hadoop fs -mkdir /hdfs/path/to/directory
ফাইল কনটেন্ট দেখা
HDFS এ থাকা ফাইলের কনটেন্ট দেখতে:
hadoop fs -cat /hdfs/path/to/file
ফাইলের আকার দেখতে
HDFS এ থাকা একটি ফাইলের আকার দেখতে:
hadoop fs -du /hdfs/path/to/file
HDFS File Operations
HDFS এ ফাইল অপারেশনগুলি সাধারণত স্থানীয় ফাইল সিস্টেমের মতোই কাজ করে, তবে কিছু বিশেষ বিষয় মনে রাখতে হয়, যেমন ডিস্ট্রিবিউটেড ফাইল স্টোরেজ এবং ডেটা রিপ্লিকেশন।
ফাইলের ডেটা রিপ্লিকেশন
HDFS ডেটাকে বিভিন্ন ব্লকে ভাগ করে এবং ব্লকের একাধিক কপি (রিপ্লিকেশন) তৈরি করে। ডিফল্টভাবে, HDFS একটি ব্লকের ৩টি কপি তৈরি করে। তবে, hadoop fs -setrep কমান্ড ব্যবহার করে আপনি ফাইলের রিপ্লিকেশন সংখ্যা পরিবর্তন করতে পারেন:
hadoop fs -setrep -w 2 /hdfs/path/to/file
এই কমান্ডটি ফাইলটির রিপ্লিকেশন সংখ্যা ২ করে দেবে।
ফাইল পাথ চেক করা
HDFS এ কোন ফাইল বা ডিরেক্টরি রয়েছে কিনা তা চেক করতে:
hadoop fs -test -e /hdfs/path/to/file
এটি ফাইল বা ডিরেক্টরি উপস্থিতি পরীক্ষা করবে এবং ফলাফল হিসেবে কিছু জানাবে।
ফাইলের পারমিশন পরিবর্তন করা
HDFS এ ফাইলের পারমিশন (read, write, execute) পরিবর্তন করার জন্য:
hadoop fs -chmod 755 /hdfs/path/to/file
এটি ফাইলের পারমিশন 755 এ সেট করবে।
সারাংশ
HDFS এ ফাইল অপারেশন এবং কমান্ডগুলি বড় ডেটা সেট পরিচালনা করতে অত্যন্ত গুরুত্বপূর্ণ। hadoop fs কমান্ড ব্যবহার করে আপনি ফাইল তালিকা দেখানো, কপি করা, মুভ করা, ডিলিট করা, এবং অন্যান্য অপারেশন করতে পারেন। HDFS এর মাধ্যমে ডিস্ট্রিবিউটেড ডেটা সিস্টেমে ফাইল পরিচালনা করা সহজ ও কার্যকরী হয়, যা Hadoop এর মূল বৈশিষ্ট্যগুলোর একটি।
Read more
