ফ্লুম ইন্টারসেপ্টরগুলি ডেটার প্রসেসিংয়ের সময় বিভিন্ন ধরণের পরিবর্তন, ট্রান্সফরমেশন এবং ফিল্টারিং কার্যক্রম চালায়। Host Interceptor, Static Interceptor, এবং Timestamp Interceptor হল কিছু গুরুত্বপূর্ণ ইন্টারসেপ্টর যা ফ্লুম কনফিগারেশনে ব্যবহার করা হয়। এই ইন্টারসেপ্টরগুলি ডেটার আউটপুট পরিবর্তন করতে, মেটাডেটা যোগ করতে, বা ডেটা ফিল্টার করতে সাহায্য করে।
এই নিবন্ধে আমরা Host Interceptor, Static Interceptor, এবং Timestamp Interceptor এর পরিচিতি এবং ব্যবহার নিয়ে আলোচনা করবো।
Host Interceptor
Host Interceptor ফ্লুমের একটি ইন্টারসেপ্টর যা সোর্স থেকে আসা ডেটার মধ্যে হোস্টনেম (hostname) বা আইপি ঠিকানা (IP address) যোগ করতে ব্যবহার করা হয়। এটি বিশেষভাবে দরকারি যখন আপনি লগ ফাইল বা অন্যান্য ডেটার উৎস থেকে অ্যাক্সেসের উৎস শনাক্ত করতে চান।
ব্যবহার
Host Interceptor মূলত ডেটার সাথে উৎসের হোস্টনেম বা আইপি ঠিকানা যুক্ত করার জন্য ব্যবহৃত হয়, যাতে ডেটার উৎস সম্পর্কে অতিরিক্ত তথ্য পাওয়া যায়। এটি ফ্লুমের ইভেন্টের মধ্যে একটি ফিল্ড হিসেবে যোগ করা হয়।
কনফিগারেশন উদাহরণ
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /var/log/syslog
agent1.sources.source1.interceptors = hostInterceptor
agent1.sources.source1.interceptors.hostInterceptor.type = host
agent1.sources.source1.interceptors.hostInterceptor.hostname = true
agent1.sources.source1.channels = channel1
ব্যাখ্যা:
- এখানে,
hostInterceptorব্যবহার করা হয়েছে যাতে সোর্স থেকে আসা প্রতিটি ইভেন্টের সাথে হোস্টনেম যোগ করা হয়। hostname = trueসেটিংটি হোস্টনেম ফিল্ড যুক্ত করবে।
প্রয়োজনীয়তা
- ডেটার উৎস শনাক্তকরণ: প্রতিটি ডেটা প্যাকেটের সাথে উৎসের তথ্য (যেমন হোস্টনেম বা আইপি) সংযুক্ত করা, যাতে পরবর্তীতে সেই উৎস শনাক্ত করা যায়।
- ডেটার ট্র্যাকিং: ডেটা প্রক্রিয়াকরণের সময় সোর্স বা উৎসের ইতিহাস ট্র্যাক করা।
Static Interceptor
Static Interceptor ফ্লুমের একটি ইন্টারসেপ্টর যা ইনপুট ডেটাতে একটি স্থির (static) মান যোগ করতে ব্যবহৃত হয়। এই ইন্টারসেপ্টরটি ডেটার সাথে একটি নির্দিষ্ট ফিল্ড বা ভ্যালু যোগ করার জন্য ব্যবহৃত হয়, যা পরিবর্তনশীল নয় এবং পুরো ডেটা স্ট্রিমের জন্য একরকম থাকে।
ব্যবহার
Static Interceptor মূলত ডেটাতে একটি নির্দিষ্ট স্ট্যাটিক ভ্যালু (যেমন একটি কনস্ট্যান্ট ফিল্ড বা ট্যাগ) যোগ করতে ব্যবহৃত হয়। এটি খুবই কার্যকর যখন আপনি ডেটার সাথে কিছু একরকম তথ্য যুক্ত করতে চান, যেমন একটি নির্দিষ্ট ট্যাগ, ক্যাটেগরি, বা সোর্স সম্পর্কিত স্ট্যাটিক ডেটা।
কনফিগারেশন উদাহরণ
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /var/log/syslog
agent1.sources.source1.interceptors = staticInterceptor
agent1.sources.source1.interceptors.staticInterceptor.type = static
agent1.sources.source1.interceptors.staticInterceptor.key = source
agent1.sources.source1.interceptors.staticInterceptor.value = syslog_server
agent1.sources.source1.channels = channel1
ব্যাখ্যা:
- এখানে,
staticInterceptorব্যবহার করা হয়েছে, যা ডেটার সাথে"source=syslog_server"যোগ করবে। key = sourceএবংvalue = syslog_serverনির্দেশ করে যে এই ফিল্ডটি সব ইভেন্টে যোগ হবে।
প্রয়োজনীয়তা
- ডেটাতে স্ট্যাটিক তথ্য যোগ করা: ডেটাতে ট্যাগ, ক্যাটেগরি বা অন্য কোনো নির্দিষ্ট স্ট্যাটিক তথ্য যোগ করার জন্য।
- ডেটার উৎস শনাক্তকরণ: নির্দিষ্ট সোর্স বা সিস্টেমের তথ্য ডেটার সাথে যুক্ত করতে, যাতে পরবর্তী বিশ্লেষণে সহজে শনাক্ত করা যায়।
Timestamp Interceptor
Timestamp Interceptor ফ্লুমের একটি ইন্টারসেপ্টর যা ইনপুট ডেটার সাথে একটি টাইমস্ট্যাম্প (timestamp) যোগ করে। এটি ফ্লুমের সোর্সে আসা প্রতিটি ইভেন্টের সাথে বর্তমান টাইমস্ট্যাম্প যুক্ত করতে ব্যবহৃত হয়, যা ডেটার সময় সিলেকশন বা পরবর্তীতে বিশ্লেষণ করতে সহায়ক।
ব্যবহার
Timestamp Interceptor ডেটার সাথে একটি টাইমস্ট্যাম্প যোগ করতে ব্যবহৃত হয়, যা প্রাথমিক সোর্সের ডেটাকে প্রসেস করার সময়ে ডেটার টাইমিং সম্পর্কিত তথ্য প্রদান করে। এটি খুবই দরকারি যখন আপনি ডেটার সময় ভিত্তিক বিশ্লেষণ করতে চান।
কনফিগারেশন উদাহরণ
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /var/log/syslog
agent1.sources.source1.interceptors = timestampInterceptor
agent1.sources.source1.interceptors.timestampInterceptor.type = timestamp
agent1.sources.source1.channels = channel1
ব্যাখ্যা:
- এখানে,
timestampInterceptorব্যবহার করা হয়েছে যাতে প্রতিটি ইভেন্টের সাথে টাইমস্ট্যাম্প যুক্ত করা হয়।
প্রয়োজনীয়তা
- টাইমস্ট্যাম্পিং ডেটা: ডেটার সাথে টাইমস্ট্যাম্প যুক্ত করা, যাতে ডেটার সময় ট্র্যাক করা যায়।
- ডেটার সময় নির্ভর বিশ্লেষণ: বিশেষ করে লগ ফাইল বা অন্যান্য সময় সম্পর্কিত ডেটা বিশ্লেষণে টাইমস্ট্যাম্প অত্যন্ত গুরুত্বপূর্ণ।
সারাংশ
Host Interceptor, Static Interceptor, এবং Timestamp Interceptor ফ্লুমের গুরুত্বপূর্ণ ইন্টারসেপ্টর যা ডেটার প্রসেসিং সময় বিভিন্ন গুরুত্বপূর্ণ তথ্য যোগ করার জন্য ব্যবহৃত হয়।
- Host Interceptor ডেটার সাথে সোর্সের হোস্টনেম বা আইপি যোগ করে।
- Static Interceptor ডেটাতে একটি স্থির মান বা ট্যাগ যোগ করে।
- Timestamp Interceptor ডেটার সাথে টাইমস্ট্যাম্প যুক্ত করে।
এই ইন্টারসেপ্টরগুলি ডেটার বিশ্লেষণ এবং ট্র্যাকিংয়ের জন্য অত্যন্ত গুরুত্বপূর্ণ, বিশেষ করে যখন ডেটার উৎস এবং সময় সম্পর্কিত তথ্যের প্রয়োজন হয়।
Read more
