প্রোগ্রামিং ভাষায় স্ট্রিং এবং ক্যারেক্টার অ্যারে দুটি আলাদা ধারণা হলেও, উভয়েই টেক্সট (অক্ষর) ধারণ করার জন্য ব্যবহৃত হয়। তবে তাদের মধ্যে কিছু পার্থক্য রয়েছে, বিশেষ করে তাদের ব্যবহার এবং অভ্যন্তরীণ কাঠামো নিয়ে।
১. ক্যারেক্টার অ্যারে (Character Arrays)
ক্যারেক্টার অ্যারে এমন একটি ডেটা স্ট্রাকচার যা অক্ষর বা চরিত্রের একটি সিকোয়েন্স (অ্যারে) ধারণ করে। এটি স্ট্রিং ধরনের ডেটাকে একাধিক অক্ষরের আকারে সংরক্ষণ করে।
ম্যাটল্যাবে, ক্যারেক্টার অ্যারে তৈরি করতে '' (একক কোটেশন) ব্যবহার করা হয়। এটি একটি চরিত্রের অ্যারে হিসেবে কাজ করে এবং প্রতিটি চরিত্র একটি ইউনিকোড মান ধারণ করে।
উদাহরণ:
charArray = 'Hello'; % একটি ক্যারেক্টার অ্যারে
disp(charArray); % আউটপুট: Helloএখানে, 'Hello' একটি ক্যারেক্টার অ্যারে। এটি আসলে ৫টি আলাদা আলাদা অক্ষর, যেগুলোর একক কোটেশন দ্বারা পৃথকীকৃত।
ক্যারেক্টার অ্যারের বৈশিষ্ট্য:
- এটি একটি অক্ষরের তালিকা, যেগুলি একটি নির্দিষ্ট সিকোয়েন্স অনুসরণ করে।
- ক্যারেক্টার অ্যারে সাধারণত একক কোটেশন (
'') দিয়ে লেখা হয়। - এটি একটি স্থির আকারের অ্যারে, যার মধ্যে প্রতিটি অক্ষর এক ইউনিকোড মান ধারণ করে।
অ্যারে অ্যাক্সেস:
ক্যারেক্টার অ্যারে বা স্ট্রিংয়ের প্রতিটি অক্ষর অ্যাক্সেস করার জন্য ইন্ডেক্স ব্যবহার করা হয়।
charArray = 'Hello';
disp(charArray(1)); % আউটপুট: H
disp(charArray(2)); % আউটপুট: e২. স্ট্রিং (Strings)
ম্যাটল্যাবে, স্ট্রিং হল একটি বিশেষ ধরনের ডেটা টাইপ যা সাধারণত একাধিক অক্ষরের জন্য ব্যবহৃত হয়, এবং এটি একটি ডেটা টাইপ যা আন্ডারলাইনে (double quotes) লেখার মাধ্যমে তৈরি করা হয়।
ম্যাটল্যাবের ২০১৬b ভার্সন থেকে স্ট্রিং ডেটা টাইপ চালু হয়েছে, যা চরিত্র অ্যারের তুলনায় আরও শক্তিশালী এবং ব্যবহারকারী বান্ধব। স্ট্রিংগুলি ব্যবহারের জন্য আমরা " " (ডাবল কোটেশন) ব্যবহার করি।
উদাহরণ:
str = "Hello, World!"; % একটি স্ট্রিং
disp(str); % আউটপুট: Hello, World!স্ট্রিংগুলির কিছু অতিরিক্ত বৈশিষ্ট্য রয়েছে, যেমন:
- স্ট্রিং একটি অবজেক্ট টাইপ (object type)।
- স্ট্রিংগুলির মধ্যে বিশেষ কিছু পদ্ধতি রয়েছে, যা স্ট্রিং ম্যানিপুলেশনের জন্য ব্যবহৃত হয় (যেমন
append,split,replaceইত্যাদি)। - এটি সাধারণত গাণিতিক বা লজিক্যাল অপারেশন (যেমন যোগফল, তুলনা) করতে সাহায্য করে।
স্ট্রিং এবং ক্যারেক্টার অ্যারের মধ্যে পার্থক্য
| বৈশিষ্ট্য | ক্যারেক্টার অ্যারে | স্ট্রিং |
|---|---|---|
| সিঙ্গল কোটেশন | একক কোটেশন ('') ব্যবহার করা হয়। | ডাবল কোটেশন ("") ব্যবহার করা হয়। |
| ডেটা টাইপ | এটি একটি চরিত্রের অ্যারে (character array)। | এটি একটি স্ট্রিং অবজেক্ট (string object)। |
| সাইজ পরিবর্তন | স্থির আকার (Fixed size)। | আকার পরিবর্তনযোগ্য (Resizable)। |
| স্ট্রিং অপারেশন | কিছু সীমিত স্ট্রিং অপারেশন। | বিভিন্ন শক্তিশালী স্ট্রিং অপারেশন। |
| ফাংশন | কম ফাংশন সাপোর্ট করে। | অনেক স্ট্রিং-সংক্রান্ত ফাংশন রয়েছে। |
স্ট্রিং অপারেশন
ম্যাটল্যাবে স্ট্রিংসের সাথে বিভিন্ন ধরনের অপারেশন করা যেতে পারে, যেমন:
যোগ করা (Concatenation):
str1 = "Hello"; str2 = "World"; result = str1 + " " + str2; % আউটপুট: Hello Worldস্ট্রিং স্লাইস করা (Substring):
str = "Hello, World!"; subStr = str(1:5); % আউটপুট: Helloস্ট্রিং বিভাজন (Splitting):
str = "apple,orange,banana"; words = split(str, ','); % আউটপুট: ["apple", "orange", "banana"]স্ট্রিং প্রতিস্থাপন (Replace):
str = "I like apples"; newStr = replace(str, "apples", "bananas"); % আউটপুট: I like bananas
সারাংশ
- ক্যারেক্টার অ্যারে: এটি একটি সহজ এবং সাধারণ ডেটা টাইপ যা প্রতিটি অক্ষর আলাদা আলাদা ইউনিকোড হিসেবে সংরক্ষণ করে। এটি সাধারণত ছোট অ্যারে সাইজের জন্য ব্যবহৃত হয় এবং একক কোটেশন ব্যবহার করা হয়।
- স্ট্রিং: এটি ম্যাটল্যাবের নতুন ডেটা টাইপ, যা ডাবল কোটেশন দিয়ে লেখা হয় এবং এটি অনেক বেশি কার্যকরী। স্ট্রিং অপারেশনগুলির জন্য শক্তিশালী ফাংশন সাপোর্ট থাকে, যেমন যোগফল, বিভাজন, প্রতিস্থাপন ইত্যাদি।
স্ট্রিং এবং ক্যারেক্টার অ্যারে ব্যবহারে আপনার প্রয়োজন অনুসারে আপনি একটি বেছে নিতে পারেন। স্ট্রিং ডেটা টাইপটি ক্যারেক্টার অ্যারের তুলনায় বেশি সুবিধাজনক এবং শক্তিশালী।
ম্যাটল্যাব (MATLAB)-এ স্ট্রিং ব্যবহৃত হয় পাঠ্য বা টেক্সট ডেটা সংরক্ষণ এবং পরিচালনা করার জন্য। স্ট্রিং হলো একটি সিকোয়েন্স বা অ্যারে অক্ষর যা সাধারণত প্রোগ্রামের আউটপুট বা ইনপুট হিসেবে ব্যবহৃত হয়।
১. স্ট্রিং ডিক্লেয়ার (String Declaration)
ম্যাটল্যাব-এ স্ট্রিং দুটি প্রধান উপায়ে ডিক্লেয়ার করা যায়:
১.১. ক্যারেক্টার অ্যারে (Character Array)
ক্যারেক্টার অ্যারে (Character Array) ব্যবহার করে স্ট্রিং ডিক্লেয়ার করার ক্ষেত্রে, এটি প্রতিটি অক্ষরকে আলাদা একটি উপাদান হিসেবে ধারণ করে। এটির মধ্যে একটি স্ট্রিং ডিক্লেয়ার করতে হবে একক কোঠায় (single quotes)।
উদাহরণ:
str = 'Hello, World!';এখানে, 'Hello, World!' একটি ক্যারেক্টার অ্যারে, যেখানে প্রতিটি অক্ষর একটি উপাদান হিসেবে সংরক্ষিত থাকে।
১.২. স্ট্রিং ক্লাস (String Class)
ম্যাটল্যাব R2016b সংস্করণ থেকে স্ট্রিং ক্লাসও পরিচিত হয়েছে, যা স্ট্রিং ডিক্লেয়ার করতে সহজতর এবং আরও ক্ষমতাশালী। এই পদ্ধতিতে স্ট্রিং ডিক্লেয়ার করতে ডাবল কোট (double quotes) ব্যবহার করা হয়।
উদাহরণ:
str = "Hello, World!";এখানে, "Hello, World!" একটি স্ট্রিং ক্লাসের অবজেক্ট যা স্ট্রিং ধরনের ডেটা সংরক্ষণ করে।
২. স্ট্রিং ম্যানিপুলেশন (String Manipulation)
স্ট্রিং ম্যানিপুলেশন স্ট্রিংয়ের সাথে বিভিন্ন অপারেশন বা পরিবর্তন করতে সাহায্য করে। নিচে কিছু সাধারণ স্ট্রিং ম্যানিপুলেশনের উদাহরণ দেওয়া হল:
২.১. স্ট্রিং দৈর্ঘ্য (Length of a String)
স্ট্রিংয়ের দৈর্ঘ্য (অক্ষরের সংখ্যা) জানতে strlength (স্ট্রিং ক্লাসের জন্য) বা length (ক্যারেক্টার অ্যারের জন্য) ব্যবহার করা হয়।
উদাহরণ:
str = 'Hello, World!';
len = length(str); % ক্যারেক্টার অ্যারে
disp(len); % আউটপুট: 13
str2 = "Hello, World!";
len2 = strlength(str2); % স্ট্রিং ক্লাস
disp(len2); % আউটপুট: 13২.২. স্ট্রিংয়ের অংশ বের করা (Extracting Part of a String)
একটি স্ট্রিং থেকে নির্দিষ্ট অংশ বের করতে extractBetween বা সাধারণ ইন্ডেক্সিং ব্যবহার করা হয়।
উদাহরণ:
str = 'Hello, World!';
part = str(1:5); % প্রথম ৫টি অক্ষর
disp(part); % আউটপুট: Hello
str2 = "Hello, World!";
part2 = extractBetween(str2, 1, 5); % প্রথম ৫টি অক্ষর
disp(part2); % আউটপুট: Hello২.৩. স্ট্রিংয়ের সংযোজন (Concatenating Strings)
স্ট্রিংগুলো একত্রিত (concatenate) করতে + অপারেটর বা strcat ফাংশন ব্যবহার করা যায়।
উদাহরণ:
str1 = 'Hello, ';
str2 = 'World!';
result = str1 + str2; % স্ট্রিং ক্লাসে সংযোজন
disp(result); % আউটপুট: Hello, World!
str3 = 'Hello, ';
str4 = 'World!';
result2 = strcat(str3, str4); % ক্যারেক্টার অ্যারে
disp(result2); % আউটপুট: Hello, World!২.৪. স্ট্রিংয়ের বদল (Replacing Part of a String)
replace ফাংশন ব্যবহার করে একটি স্ট্রিংয়ের অংশ বদলানো যায়।
উদাহরণ:
str = 'Hello, World!';
new_str = replace(str, 'World', 'MATLAB');
disp(new_str); % আউটপুট: Hello, MATLAB!২.৫. স্ট্রিংয়ের মুদ্রণ (Printing Strings)
স্ট্রিং মুদ্রণ করতে disp বা fprintf ব্যবহার করা হয়।
উদাহরণ:
str = "Hello, World!";
disp(str); % আউটপুট: Hello, World!
fprintf('The message is: %s\n', str); % আউটপুট: The message is: Hello, World!২.৬. স্ট্রিংয়ের ছোট/বড় হাতের অক্ষরে পরিবর্তন (Changing Case)
স্ট্রিংয়ের অক্ষরের ক্যাস (case) পরিবর্তন করতে upper এবং lower ফাংশন ব্যবহার করা হয়।
উদাহরণ:
str = 'Hello, World!';
upper_str = upper(str); % বড় হাতের অক্ষর
disp(upper_str); % আউটপুট: HELLO, WORLD!
lower_str = lower(str); % ছোট হাতের অক্ষর
disp(lower_str); % আউটপুট: hello, world!২.৭. স্ট্রিংয়ের ট্রিমিং (Trimming Strings)
strtrim ফাংশন ব্যবহার করে স্ট্রিংয়ের অতিরিক্ত স্পেস মুছে ফেলা যায়।
উদাহরণ:
str = ' Hello, World! ';
trimmed_str = strtrim(str);
disp(trimmed_str); % আউটপুট: Hello, World!সারাংশ
ম্যাটল্যাবের স্ট্রিং ডিক্লেয়ার এবং ম্যানিপুলেশন স্ট্রিং তৈরি এবং তার সাথে বিভিন্ন কাজ করা সহজ করে তোলে। স্ট্রিং ডিক্লেয়ার করার জন্য আপনি ক্যারেক্টার অ্যারে বা স্ট্রিং ক্লাস ব্যবহার করতে পারেন। স্ট্রিং ম্যানিপুলেশনের মাধ্যমে আপনি স্ট্রিংয়ের দৈর্ঘ্য নির্ধারণ, অংশ বের করা, সংযোজন, বদলানো, ক্যাস পরিবর্তন এবং আরও অনেক কিছু করতে পারেন।
ম্যাটল্যাবে স্ট্রিং (String) হ্যান্ডলিং গুরুত্বপূর্ণ কাজ যা ডেটা ম্যানিপুলেশন ও প্রোগ্রামিংয়ের বিভিন্ন দিককে আরও কার্যকরী করে। এখানে স্ট্রিং কনক্যাটেনেশন, তুলনা এবং সাবস্ট্রিং এক্সট্র্যাকশনের বিস্তারিত আলোচনা করা হলো।
১. স্ট্রিং কনক্যাটেনেশন (String Concatenation)
স্ট্রিং কনক্যাটেনেশন মানে দুটি বা তার বেশি স্ট্রিংকে একত্রিত করা। ম্যাটল্যাবে এটি [] (ব্র্যাকেট) ব্যবহার করে করা হয়।
সিনট্যাক্স:
result = [string1, string2, ...];উদাহরণ:
str1 = 'Hello';
str2 = 'World';
result = [str1, ' ', str2]; % স্ট্রিং কনক্যাটেনেশন
disp(result);এটি আউটপুট হিসেবে 'Hello World' দেখাবে। এখানে দুটি স্ট্রিং 'Hello' এবং 'World' একত্রিত হয়েছে এবং মাঝে একটি স্পেস (' ') যোগ করা হয়েছে।
২. স্ট্রিং তুলনা (String Comparison)
স্ট্রিং তুলনা করার জন্য ম্যাটল্যাব strcmp এবং strcmpi ফাংশন ব্যবহার করে।
strcmp: এটি দুটি স্ট্রিং তুলনা করে এবং তাদের সমান হলে1(True) রিটার্ন করে, অন্যথায়0(False) রিটার্ন করে।strcmpi: এটি দুটি স্ট্রিং তুলনা করে এবং বড়/ছোট হাতের অক্ষরকে উপেক্ষা করে তুলনা করে। অর্থাৎ, এটি কেস ইনসেনসিটিভ (case-insensitive)।
সিনট্যাক্স:
is_equal = strcmp(str1, str2); % কেস সেনসিটিভ তুলনা
is_equal_ignore_case = strcmpi(str1, str2); % কেস ইনসেনসিটিভ তুলনাউদাহরণ:
str1 = 'Hello';
str2 = 'hello';
str3 = 'Hello';
result1 = strcmp(str1, str2); % False, কারণ কেস ভিন্ন
result2 = strcmpi(str1, str2); % True, কারণ কেস ইনসেনসিটিভ
result3 = strcmp(str1, str3); % True, কারণ স্ট্রিং দুটি সমান
disp(result1); % আউটপুট: 0
disp(result2); % আউটপুট: 1
disp(result3); % আউটপুট: 1৩. সাবস্ট্রিং এক্সট্র্যাকশন (Substring Extraction)
স্ট্রিংয়ের মধ্যে থেকে কিছু নির্দিষ্ট অংশ (সাবস্ট্রিং) বের করার জন্য ম্যাটল্যাবে str(n:m) বা extractBetween ফাংশন ব্যবহার করা হয়।
str(n:m): এটিnতম থেকেmতম চরিত্র পর্যন্ত সাবস্ট্রিং এক্সট্র্যাক্ট করে।extractBetween: এই ফাংশনটি দুটি নির্দিষ্ট পজিশন বা স্ট্রিংয়ের মধ্যে থেকে অংশ বের করতে ব্যবহৃত হয়।
সিনট্যাক্স:
substring = str(n:m); % চরিত্রের মধ্যে থেকে সাবস্ট্রিং বের করা
substring = extractBetween(str, start_str, end_str); % নির্দিষ্ট স্ট্রিং থেকে সাবস্ট্রিংউদাহরণ:
str = 'Hello, World!';
substring1 = str(1:5); % প্রথম 5টি চরিত্র বের করা
substring2 = extractBetween(str, 'Hello', 'World'); % 'Hello' এবং 'World' এর মধ্যে সাবস্ট্রিং বের করা
disp(substring1); % আউটপুট: Hello
disp(substring2); % আউটপুট: , এখানে substring1 থেকে 'Hello' সাবস্ট্রিংটি বের করা হয়েছে, এবং substring2 থেকে 'Hello' এবং 'World' এর মধ্যে থাকা অংশ ', ' বের করা হয়েছে।
সারাংশ
- স্ট্রিং কনক্যাটেনেশন: দুটি বা তার বেশি স্ট্রিংকে একত্রিত করা হয়
[]ব্যবহার করে। - স্ট্রিং তুলনা: স্ট্রিংয়ের মধ্যে সমতা পরীক্ষা করতে
strcmpবাstrcmpiব্যবহার করা হয়। - সাবস্ট্রিং এক্সট্র্যাকশন: স্ট্রিংয়ের মধ্যে থেকে নির্দিষ্ট অংশ বের করতে
str(n:m)বাextractBetweenফাংশন ব্যবহার করা হয়।
এই সব স্ট্রিং অপারেশন ম্যাটল্যাবে ডেটা ম্যানিপুলেশন এবং টেক্সট প্রসেসিংয়ের জন্য খুবই গুরুত্বপূর্ণ।
টেক্সট ডেটা বিশাল পরিমাণে থাকে, তবে এই ডেটার মধ্যে অনেক তথ্য অপ্রাসঙ্গিক বা অসংগঠিত থাকে। টেক্সট ডেটা থেকে দরকারী তথ্য নিষ্কাশন (Information Extraction - IE) হল এমন একটি প্রক্রিয়া যেখানে অপ্রাসঙ্গিক বা অগঠনমূলক ডেটা থেকে কাঙ্ক্ষিত, গুরুত্বপূর্ণ তথ্য খুঁজে বের করা হয়। এটি বিভিন্ন প্রক্রিয়ায় সম্পাদিত হতে পারে, যেমন Text Mining, Natural Language Processing (NLP), এবং Machine Learning।
টেক্সট ডেটা থেকে তথ্য নিষ্কাশনের উপায়
টেক্সট ডেটা থেকে দরকারী তথ্য নিষ্কাশন করতে সাধারণত নিচের পদক্ষেপগুলি অনুসরণ করা হয়:
১. টেক্সট প্রি-প্রসেসিং (Text Preprocessing)
টেক্সট ডেটা বিশ্লেষণ করার আগে, তার কিছু প্রাথমিক পরিচ্ছন্নতা করা জরুরি। টেক্সট প্রি-প্রসেসিং সাধারণত নিম্নলিখিত ধাপগুলো অন্তর্ভুক্ত করে:
- টেক্সট ক্লিনিং: অপ্রাসঙ্গিক চিহ্ন, স্পেশাল ক্যারেক্টার বা পাঙ্কচুয়েশন চিহ্ন সরানো।
- স্টপওয়ার্ড রিমুভাল: সাধারণ শব্দ যেমন "the", "is", "in", "and" ইত্যাদি সরানো, যেগুলি সাধারণত টেক্সট বিশ্লেষণে কোন মানে দেয় না।
- স্টেমিং (Stemming): শব্দের মূল রূপে রূপান্তর করা (যেমন "running" কে "run" এ পরিণত করা)।
- লেমাটাইজেশন (Lemmatization): শব্দের সঠিক রূপে রূপান্তর করা (যেমন "better" কে "good" এ রূপান্তর করা)।
- টোকেনাইজেশন: টেক্সটকে ছোট ছোট ইউনিটে বিভক্ত করা, যেমন শব্দ বা বাক্যাংশ।
উদাহরণ:
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
text = "This is an example sentence for text preprocessing."
# টোকেনাইজেশন
words = word_tokenize(text)
# স্টপওয়ার্ড রিমুভাল
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print(filtered_words)২. টেক্সট থেকে তথ্য নিষ্কাশন (Information Extraction - IE)
তথ্য নিষ্কাশন একটি গুরুত্বপূর্ণ প্রক্রিয়া যেখানে টেক্সট থেকে কাঙ্ক্ষিত তথ্য সংগ্রহ করা হয়। এটি প্রধানত নিম্নলিখিত উপায়ে করা হয়:
১. Named Entity Recognition (NER):
এটি টেক্সট থেকে সুনির্দিষ্ট সত্তা (Entities) যেমন ব্যক্তির নাম, স্থান, তারিখ, কোম্পানি ইত্যাদি চিহ্নিত করতে ব্যবহৃত হয়।
উদাহরণ:
import spacy
# spacy এর মাধ্যমে Named Entity Recognition (NER) করা
nlp = spacy.load('en_core_web_sm')
text = "Apple is looking to buy a startup in San Francisco for $1 billion."
doc = nlp(text)
for entity in doc.ents:
print(entity.text, entity.label_)আউটপুট:
Apple ORG
San Francisco GPE
$1 billion MONEY২. Text Classification:
এটি টেক্সটকে বিভিন্ন ক্যাটেগরিতে শ্রেণীবদ্ধ করতে ব্যবহৃত হয়। যেমন, ইমেইল স্প্যাম ফিল্টারিং বা রিভিউ বিশ্লেষণ।
উদাহরণ:
- Sentiment Analysis: রিভিউ বা টুইট থেকে পজিটিভ, নেগেটিভ বা নিউট্রাল মতামত নিষ্কাশন।
from textblob import TextBlob
text = "I love this product, it works amazing!"
blob = TextBlob(text)
sentiment = blob.sentiment.polarity # 0 = neutral, 1 = positive, -1 = negative
print(sentiment)৩. টেক্সট ক্লাস্টারিং (Text Clustering)
টেক্সট ক্লাস্টারিং একটি অপ্রতিষ্ঠিত লার্নিং পদ্ধতি যেখানে টেক্সট ডেটার মধ্যে সাদৃশ্যপূর্ণ (similar) ডকুমেন্টগুলো একত্রিত করা হয়। এটি সাধারণত K-means clustering অথবা Hierarchical clustering ব্যবহার করে।
উদাহরণ:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
# ডকুমেন্টের তালিকা
documents = [
"I love programming in Python.",
"Python is a great language.",
"The weather today is amazing.",
"I enjoy watching movies.",
"Movies and films are entertaining."
]
# TF-IDF ভেক্টরাইজেশন
vectorizer = TfidfVectorizer(stop_words='english')
X = vectorizer.fit_transform(documents)
# KMeans ক্লাস্টারিং
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)
print(kmeans.labels_)৪. টেক্সট থেকে সম্পর্ক বা প্যাটার্ন বের করা (Pattern Recognition)
এটি টেক্সট ডেটা থেকে সম্পর্ক বা নির্দিষ্ট প্যাটার্ন বের করার জন্য ব্যবহৃত হয়। উদাহরণস্বরূপ, নির্দিষ্ট কীওয়ার্ড অনুসারে ডেটা খোঁজা বা ফিচার এক্সট্র্যাকশন।
টেক্সট ডেটা থেকে তথ্য নিষ্কাশনের চ্যালেঞ্জ
- অসংগঠিত ডেটা: টেক্সট ডেটা সাধারণত খুবই অগঠনমূলক, যেমন প্রাসঙ্গিকতা নিশ্চিত করার জন্য অতিরিক্ত শব্দ বা অপ্রাসঙ্গিক অংশ থাকতে পারে।
- অভ্যন্তরীণ বিশ্লেষণ: টেক্সটের মধ্যে নিহিত বিভিন্ন রূপ, যেমন হাস্যরস, সরলতা বা নেগেটিভিটি চিহ্নিত করা বেশ কঠিন হতে পারে।
- বিভিন্ন ভাষা: অনেক ক্ষেত্রেই টেক্সট ডেটা একাধিক ভাষায় থাকে, যার কারণে একাধিক ভাষার প্রক্রিয়া ও বিশ্লেষণ করার প্রয়োজন হয়।
- নির্ভুলতা: Named Entity Recognition বা Text Classification-এর ক্ষেত্রে ভুল শনাক্তকরণ বা অতিরিক্ত শ্রেণীবিভাগ হতে পারে।
সারাংশ
টেক্সট ডেটা থেকে দরকারী তথ্য নিষ্কাশন একটি গুরুত্বপূর্ণ প্রক্রিয়া, যা বিভিন্ন প্রযুক্তি ও পদ্ধতির মাধ্যমে সম্পন্ন করা হয়, যেমন Preprocessing, Named Entity Recognition (NER), Text Classification, Clustering, এবং Pattern Recognition। এই প্রক্রিয়াগুলি ডেটা থেকে মূল তথ্য বের করে এনে সেটি বিশ্লেষণ বা ব্যবহারযোগ্য করে তোলে।
Regular Expressions (Regex) এবং Pattern Matching হল গাণিতিক এবং প্রোগ্রামিং কৌশল যা টেক্সট ডেটা বা স্ট্রিং এর মধ্যে নির্দিষ্ট প্যাটার্ন খুঁজে বের করতে ব্যবহৃত হয়। এটি বিশেষ করে ডেটা বিশ্লেষণ, টেক্সট প্রসেসিং, ডেটা ভ্যালিডেশন এবং অন্যান্য বিভিন্ন কাজের জন্য গুরুত্বপূর্ণ। ম্যাটল্যাবসহ অনেক প্রোগ্রামিং ভাষা ও টুলস-এ এই কৌশল ব্যবহৃত হয়।
Regular Expressions (Regex)
Regular Expressions (সংক্ষেপে Regex) হল একটি টুল যা স্ট্রিং এর মধ্যে নির্দিষ্ট প্যাটার্ন খুঁজে বের করার জন্য ব্যবহৃত হয়। এটি একটি বিশেষ সিনট্যাক্স বা ভাষা যা স্ট্রিং ম্যানিপুলেশন এবং ম্যাচিং কাজগুলো সহজে করতে সাহায্য করে।
Regex ব্যবহার করে আপনি বিভিন্ন ধরনের প্যাটার্ন তৈরি করতে পারেন যেমন:
- সংখ্যার একাধিক ডিজিট।
- নির্দিষ্ট অক্ষরের ধারা।
- একটি নির্দিষ্ট শর্তে একটি শব্দ বা বাক্য খুঁজে বের করা।
কিছু সাধারণ Regex প্যাটার্ন:
.: যেকোনো একটি চরিত্র (নতুন লাইন ছাড়া)\d: যেকোনো ডিজিট (0-9)\w: যেকোনো অক্ষর, সংখ্যা বা আন্ডারস্কোর\s: সাদা স্থান (space, tab, newline)*: পূর্ববর্তী উপাদান শূন্য বা তার বেশি বার পুনরাবৃত্তি হতে পারে+: পূর্ববর্তী উপাদান এক বা একাধিক বার পুনরাবৃত্তি হতে পারে^: স্ট্রিংয়ের শুরুর দিকে প্যাটার্ন ম্যাচ করবে$: স্ট্রিংয়ের শেষে প্যাটার্ন ম্যাচ করবে[]: একটি চিহ্নিত চরিত্রের সেটের মধ্যে ম্যাচ করবে (যেমন[a-z],\d)
উদাহরণ:
ধরা যাক, আপনি একটি টেলিফোন নম্বর চেক করতে চান যেটি 10 ডিজিটের। এজন্য আপনি নিচের মতো একটি regex ব্যবহার করতে পারেন:
^\d{10}$এটি শুধু 10 ডিজিটের নম্বর ম্যাচ করবে।
Pattern Matching
Pattern Matching হল একটি প্রক্রিয়া যার মাধ্যমে নির্দিষ্ট প্যাটার্ন বা নিয়ম অনুসারে টেক্সট ডেটার সাথে মিলানো হয়। এটি মূলত regular expressions এর সাথে সম্পর্কিত, তবে সাধারণত এটি আরেকটি বৃহত্তর কৌশল হিসেবে ব্যবহৃত হয় যা শুধুমাত্র স্ট্রিং ম্যানিপুলেশন ছাড়াও অন্যান্য ডেটা খুঁজে বের করতে ব্যবহৃত হয়।
Pattern matching মূলত দুটি গুরুত্বপূর্ণ কাজের জন্য ব্যবহৃত হয়:
- Search: প্যাটার্ন অনুসারে ডেটার মধ্যে নির্দিষ্ট উপাদান খোঁজা।
- Replace: প্যাটার্ন অনুসারে ডেটার মধ্যে কিছু অংশ প্রতিস্থাপন করা।
উদাহরণ:
ধরা যাক, একটি টেক্সটে একটি নির্দিষ্ট শব্দ বা ফ্রেজ খুঁজে বের করতে চান:
text = 'Hello, my name is Azizur and I live in Dhaka.';
pattern = 'Azizur';
matches = regexp(text, pattern, 'match');
disp(matches); % এটি 'Azizur' প্রদর্শন করবেএখানে, regexp ফাংশনটি "Azizur" শব্দটি খুঁজে বের করার জন্য ব্যবহার করা হয়েছে।
ম্যাটল্যাব-এ Regular Expressions এর ব্যবহার
ম্যাটল্যাবের মধ্যে regexp, regexpi, regexprep ইত্যাদি ফাংশনগুলো regex এবং pattern matching এর কাজ করে থাকে।
১. regexp ফাংশন
regexp ফাংশনটি টেক্সটের মধ্যে একটি নির্দিষ্ট প্যাটার্ন অনুসন্ধান করে। এটি কেস-সেন্সিটিভ (case-sensitive) এবং এর মাধ্যমে আপনি প্যাটার্ন খুঁজে বের করার সাথে সাথে ম্যাচ করা টেক্সট বা অবস্থানও পেতে পারেন।
উদাহরণ:
text = 'The price is 100 dollars and 200 pounds';
pattern = '\d+'; % যেকোনো সংখ্যার এক বা একাধিক ডিজিট
matches = regexp(text, pattern, 'match');
disp(matches); % ['100', '200']২. regexpi ফাংশন
regexpi ফাংশনটি regexp এর মতো, তবে এটি কেস-ইনসেন্সিটিভ (case-insensitive) থাকে, অর্থাৎ এটি বড় হাতের অক্ষর বা ছোট হাতের অক্ষর যেকোনো রূপে প্যাটার্ন ম্যাচ করবে।
উদাহরণ:
text = 'Hello, Hello World!';
pattern = 'hello';
matches = regexpi(text, pattern, 'match');
disp(matches); % {'Hello', 'Hello'}৩. regexprep ফাংশন
regexprep ফাংশনটি টেক্সটের মধ্যে প্যাটার্ন অনুসারে প্রতিস্থাপন করতে ব্যবহৃত হয়।
উদাহরণ:
text = 'The price is 100 dollars and 200 pounds';
pattern = '\d+'; % সংখ্যার প্যাটার্ন
replacement = 'XXX'; % প্রতিস্থাপন হবে
newText = regexprep(text, pattern, replacement);
disp(newText); % 'The price is XXX dollars and XXX pounds'Regular Expressions এবং Pattern Matching এর ব্যবহারিক ক্ষেত্র
- ডেটা ভ্যালিডেশন:
- ইনপুট ডেটা যেমন ইমেইল, ফোন নম্বর, পাসওয়ার্ডের গঠন সঠিক কিনা যাচাই করা।
- টেক্সট ম্যানিপুলেশন:
- টেক্সট ফাইল বা ডেটাবেস থেকে নির্দিষ্ট তথ্য খুঁজে বের করা এবং প্রক্রিয়া করা।
- ডেটা এক্সট্র্যাকশন:
- ওয়েব স্ক্র্যাপিং বা লগ ফাইল বিশ্লেষণ করে নির্দিষ্ট ডেটা বের করা।
- টেক্সট রি-প্লেসমেন্ট:
- কোনও টেক্সটে নির্দিষ্ট শব্দ বা প্যাটার্ন প্রতিস্থাপন করা (যেমন, পুরানো ফোন নম্বর নতুন নম্বর দিয়ে প্রতিস্থাপন করা)।
সারাংশ
- Regular Expressions (Regex) হল স্ট্রিং ম্যানিপুলেশন এবং প্যাটার্ন ম্যাচিংয়ের একটি শক্তিশালী টুল যা ডেটা খুঁজে বের করার জন্য ব্যবহৃত হয়।
- Pattern Matching হল একটি কৌশল যা টেক্সট বা ডেটাতে নির্দিষ্ট প্যাটার্নের খোঁজ করে এবং প্রয়োজনে সেগুলি প্রতিস্থাপন করতে সাহায্য করে।
- ম্যাটল্যাব-এ
regexp,regexpi, এবংregexprepফাংশনগুলো এর কার্যক্ষমতা প্রদান করে।
Read more
