Forwarder Deployment এবং Configuration

স্প্লাঙ্কের Forwarder হল একটি কম্পোনেন্ট যা মূলত ডেটা সংগ্রহ এবং প্রসেসিংয়ের জন্য ব্যবহৃত হয়। Forwarder ডেটাকে Indexer এ পাঠায় যেখানে ডেটার ইনডেক্সিং করা হয়। এটি একটি গুরুত্বপূর্ণ অংশ, বিশেষত তখন যখন স্প্লাঙ্কে ডিস্ট্রিবিউটেড আর্কিটেকচার ব্যবহৃত হয় এবং একাধিক উৎস থেকে ডেটা সংগ্রহ করা প্রয়োজন।

স্প্লাঙ্কে দুটি প্রধান ধরনের Forwarder রয়েছে:

1. Universal Forwarder (UF)
2. Heavy Forwarder (HF)

এগুলি ব্যবহার করে আপনি ডেটা সংগ্রহ এবং সেন্ট্রালাইজড প্রসেসিং করতে পারেন।

Forwarder Deployment কী?

Forwarder Deployment হল সেই প্রক্রিয়া, যেখানে স্প্লাঙ্ক ফরওয়ার্ডারগুলো বিভিন্ন মেশিন বা ডিভাইসে ইনস্টল করা হয়, যাতে সেগুলি ডেটা সংগ্রহ করে স্প্লাঙ্ক সার্ভারে পাঠাতে পারে। এটি ডিস্ট্রিবিউটেড আর্কিটেকচারে কাজ করার জন্য খুবই গুরুত্বপূর্ণ, যেখানে একাধিক ডেটা উৎস থেকে ডেটা সংগ্রহ এবং সেন্ট্রালাইজড প্রসেসিং প্রয়োজন।

Forwarder ডিপ্লয়মেন্টের মাধ্যমে, আপনি বিভিন্ন উৎস (যেমন, সার্ভার, ডিভাইস, অ্যাপ্লিকেশন) থেকে ডেটা সংগ্রহ করতে পারেন এবং সেটি Indexer বা Search Head এ প্রেরণ করতে পারেন।

Universal Forwarder (UF)

Universal Forwarder (UF) একটি হালকা এবং দ্রুত Forwarder যা শুধুমাত্র ডেটা সংগ্রহ এবং প্রেরণের কাজ করে। এটি কোনো ধরনের ডেটা প্রসেসিং বা বিশ্লেষণ করে না, কেবলমাত্র ইনডেক্সার বা অন্য কোনো ডিভাইসে ডেটা পাঠিয়ে দেয়।

UF Deployment এবং Configuration

1. Install Universal Forwarder:
   • প্রথমে স্প্লাঙ্কের Universal Forwarder ইনস্টল করুন। এটি স্প্লাঙ্কের অফিসিয়াল ওয়েবসাইট থেকে ডাউনলোড করা যায়।
   • ইনস্টলেশন প্রক্রিয়া সম্পন্ন হলে, এটি অটোমেটিকভাবে splunk ব্যবহারকারীর অধীনে ইনস্টল হয় এবং রেডি হয়ে যায় ডেটা ফরওয়ার্ড করতে।

2. Configure Data Input:

   • ডেটা সংগ্রহ করতে inputs.conf ফাইলে প্রয়োজনীয় কনফিগারেশন করুন। এটি নির্ধারণ করবে কোন ফাইল, ডিরেক্টরি বা প্রক্রিয়া থেকে ডেটা সংগ্রহ করা হবে।
   • উদাহরণ:

   [monitor:///var/log]
   disabled = false
   index = main
   sourcetype = syslog
   

3. Configure Outputs:

   • ডেটা পাঠানোর জন্য outputs.conf ফাইলে কনফিগারেশন করুন। এটি নির্ধারণ করবে যে ফরওয়ার্ড করা ডেটা কোথায় পাঠানো হবে, যেমন Indexer এর IP ঠিকানা।
   • উদাহরণ:

   [tcpout]
   defaultGroup = indexers
   
   [tcpout:indexers]
   server = indexer1.example.com:9997
   

4. Start the Universal Forwarder:
   • ইনস্টলেশন এবং কনফিগারেশন শেষে, UF শুরু করতে splunk start কমান্ড ব্যবহার করুন।
5. Verify Forwarder Connection:
   • এটি নিশ্চিত করতে যে ফরওয়ার্ডার ডেটা পাঠাচ্ছে, splunk list forward-server কমান্ড ব্যবহার করুন।

Heavy Forwarder (HF)

Heavy Forwarder (HF) স্প্লাঙ্কের একটি পূর্ণাঙ্গ ভার্সন যা ডেটা সংগ্রহ এবং প্রক্রিয়াজাত করতে সক্ষম। এটি ডেটা প্রেরণের আগে প্রক্রিয়াজাত করতে পারে, যেমন ফিল্টারিং, রিপ্লেসমেন্ট, বা ট্রান্সফর্মেশন।

HF Deployment এবং Configuration

1. Install Heavy Forwarder:
   • Heavy Forwarder ইনস্টল করতে, স্প্লাঙ্কের পূর্ণ সংস্করণ ইনস্টল করুন, কারণ HF স্প্লাঙ্কের পূর্ণ ভার্সন এবং এটি Universal Forwarder এর মতো হালকা নয়।

2. Configure Data Inputs:

   • inputs.conf ফাইলে ডেটার উৎস কনফিগার করুন। এখানে আপনি ফাইল, ডিরেক্টরি, অথবা অ্যাপ্লিকেশন থেকে ডেটা সংগ্রহ করতে পারবেন।
   • উদাহরণ:

   [monitor:///opt/app/logs]
   disabled = false
   index = main
   sourcetype = app_logs
   

3. Configure Outputs:

   • outputs.conf ফাইলে ডেটা কোথায় পাঠাতে হবে তা কনফিগার করুন। এটি Indexer বা অন্য কোনো সার্ভারে ডেটা পাঠানোর জন্য কনফিগার করা হবে।
   • উদাহরণ:

   [tcpout]
   defaultGroup = indexers
   
   [tcpout:indexers]
   server = indexer1.example.com:9997
   

4. Enable Parsing:

   • Heavy Forwarder ডেটা প্রসেসিংয়ের জন্য বিভিন্ন ফিল্টার বা ট্রান্সফরমেশন সঞ্চালিত করতে পারে। এর জন্য props.conf এবং transforms.conf ফাইল ব্যবহার করা হয়।
   • উদাহরণ:

   [syslog]
   TRANSFORMS-set= set_sourcetype
   

5. Start the Heavy Forwarder:
   • ইনস্টল এবং কনফিগারেশন শেষে, splunk start কমান্ড ব্যবহার করে HF চালু করুন।

Forwarder Deployment Best Practices

1. Centralized Management:
   • একাধিক ফরওয়ার্ডার পরিচালনার জন্য Deployment Server ব্যবহার করুন। এটি একটি স্প্লাঙ্ক ইনস্ট্যান্স যা ফরওয়ার্ডারদের কনফিগারেশন ফাইল সরবরাহ করে।
   • ফরওয়ার্ডারগুলোকে deployment-client হিসেবে কনফিগার করে সেটি ডিপ্লয়মেন্ট সার্ভারের সঙ্গে সংযুক্ত করা হয়।
2. Load Balancing:
   • একাধিক Indexer সেটআপ থাকলে, ফরওয়ার্ডারগুলোকে লোড ব্যালেন্সিং করতে হবে, যাতে ডেটা সমানভাবে ভাগ হয়ে যায়। এর জন্য load balancing কনফিগারেশন ব্যবহার করুন।
3. Data Filtering:
   • ফরওয়ার্ডারের মাধ্যমে ডেটা পাঠানোর আগে প্রয়োজনীয় ফিল্টারিং এবং প্রক্রিয়াজাতকরণ করা উচিত, যাতে কম অপরিহার্য ডেটা পাঠানো হয় এবং নেটওয়ার্কে চাপ কম থাকে।
4. Security:
   • ফরওয়ার্ডার এবং Indexer এর মধ্যে SSL encryption ব্যবহার করে ডেটা সুরক্ষিত করুন।
   • সঠিক firewall rules কনফিগার করুন যাতে ফরওয়ার্ডার এবং Indexer এর মধ্যে নিরাপদ সংযোগ হয়।

সারাংশ

স্প্লাঙ্কের Forwarder Deployment এবং Configuration হল ডেটা সংগ্রহ এবং সেন্ট্রালাইজড ইনডেক্সিংয়ের জন্য অত্যন্ত গুরুত্বপূর্ণ প্রক্রিয়া। Universal Forwarder (UF) হালকা এবং দ্রুত ডেটা প্রেরণের জন্য ব্যবহৃত হয়, যেখানে Heavy Forwarder (HF) ডেটা প্রক্রিয়াজাত করার জন্য ব্যবহৃত হয়। এগুলির কনফিগারেশন ফাইল যেমন inputs.conf, outputs.conf, props.conf, এবং transforms.conf এর মাধ্যমে ডেটা ইনপুট এবং আউটপুট কনফিগার করা যায়। ফরওয়ার্ডার ব্যবস্থাপনা, লোড ব্যালেন্সিং এবং নিরাপত্তা নিশ্চিত করার জন্য কিছু সেরা প্র্যাকটিস অনুসরণ করা উচিত, যাতে ডেটার সুরক্ষা এবং কার্যকারিতা নিশ্চিত করা যায়।