Anomaly Detection এর জন্য Autoencoders

Autoencoders এবং Dimensionality Reduction - টেন্সরফ্লো (TensorFlow) - Machine Learning

305

অ্যানোমালি ডিটেকশন (Anomaly Detection) এর জন্য অটোএনকোডার (Autoencoder) ব্যবহার করা একটি শক্তিশালী পদ্ধতি। অটোএনকোডার একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার, যা ইনপুট ডেটার একটি কম্প্রেসড রিপ্রেজেন্টেশন তৈরি করে এবং সেই রিপ্রেজেন্টেশন থেকে ডেটাকে পুনরুদ্ধার করে। এটি মূলত অ্যানোমালি ডিটেকশনের জন্য ব্যবহৃত হয়, যেখানে মডেলটি সাধারণ ডেটার বৈশিষ্ট্য শিখে এবং অস্বাভাবিক (অ্যানোমালাস) ডেটা শনাক্ত করতে সক্ষম হয়, যেগুলি কম্প্রেসড রিপ্রেজেন্টেশনে ভালোভাবে পুনরুদ্ধার করা যায় না।

এখানে আমরা অটোএনকোডার ব্যবহার করে অ্যানোমালি ডিটেকশন করার একটি সাধারণ উদাহরণ দেখব।


অটোএনকোডার কি?

অটোএনকোডার একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার যার দুটি প্রধান অংশ:

  1. এনকোডার: এটি ইনপুট ডেটার কম্প্রেসড রিপ্রেজেন্টেশন তৈরি করে।
  2. ডিকোডার: এটি কম্প্রেসড রিপ্রেজেন্টেশন থেকে ইনপুট ডেটার পুনরুদ্ধার করে।

অ্যানোমালি ডিটেকশনে, অটোএনকোডার সাধারণ (নরমাল) ডেটার উপর প্রশিক্ষিত হয় এবং অস্বাভাবিক (অ্যানোমালাস) ডেটা পুনরুদ্ধার করার সময় উচ্চ রিকনস্ট্রাকশন লস (Reconstruction Loss) প্রদর্শন করে, যা অ্যানোমালি শনাক্ত করে।


অটোএনকোডার দিয়ে অ্যানোমালি ডিটেকশন করার ধাপসমূহ

  1. লাইব্রেরি ইনস্টলেশন: প্রথমে, টেনসরফ্লো এবং কেরাস ইনস্টল করা উচিত, যদি এটি ইতিমধ্যেই ইনস্টল না থাকে।

    pip install tensorflow
    
  2. ডেটাসেট লোডিং: এখানে আমরা সাধারণ একটি ডেটাসেট ব্যবহার করব (যেমন স্কিকিট-লার্ন বা কাস্টম ডেটাসেট)। উদাহরণস্বরূপ, আমরা MNIST ডেটাসেট ব্যবহার করতে পারি।

    import tensorflow as tf
    from tensorflow.keras.datasets import mnist
    import numpy as np
    
    # MNIST ডেটাসেট লোড করা
    (x_train, _), (x_test, _) = mnist.load_data()
    
    # ডেটা নরমালাইজেশন
    x_train = x_train.astype('float32') / 255.0
    x_test = x_test.astype('float32') / 255.0
    
    # ডেটার আকার পরিবর্তন
    x_train = np.reshape(x_train, (x_train.shape[0], 28, 28, 1))
    x_test = np.reshape(x_test, (x_test.shape[0], 28, 28, 1))
    
  3. অটোএনকোডার মডেল তৈরি: এখন, একটি সিম্পল অটোএনকোডার মডেল তৈরি করব, যাতে এনকোডার এবং ডিকোডার অংশ থাকবে।

    from tensorflow.keras.models import Model
    from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, UpSampling2D, Flatten, Reshape
    
    input_img = Input(shape=(28, 28, 1))
    
    # এনকোডার
    x = Conv2D(32, (3, 3), activation='relu', padding='same')(input_img)
    x = MaxPooling2D((2, 2), padding='same')(x)
    x = Conv2D(64, (3, 3), activation='relu', padding='same')(x)
    encoded = MaxPooling2D((2, 2), padding='same')(x)
    
    # ডিকোডার
    x = Conv2D(64, (3, 3), activation='relu', padding='same')(encoded)
    x = UpSampling2D((2, 2))(x)
    x = Conv2D(32, (3, 3), activation='relu', padding='same')(x)
    x = UpSampling2D((2, 2))(x)
    decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)
    
    # মডেল তৈরি
    autoencoder = Model(input_img, decoded)
    
    # মডেল সংকলন
    autoencoder.compile(optimizer='adam', loss='binary_crossentropy')
    
  4. মডেল প্রশিক্ষণ: আমরা অটোএনকোডার মডেলটি প্রশিক্ষণ দেব, যেখানে শুধুমাত্র ইনপুট ডেটা দেওয়া হবে, কারণ আমরা ডেটার পুনরুদ্ধার শিখাচ্ছি।

    autoencoder.fit(x_train, x_train, epochs=50, batch_size=128, validation_data=(x_test, x_test))
    
  5. অ্যানোমালি শনাক্তকরণ: মডেলটি প্রশিক্ষণ হয়ে গেলে, আমরা এটি পরীক্ষা করব এবং মডেলের রিকনস্ট্রাকশন লস ব্যবহার করে অ্যানোমালি শনাক্ত করব।

    # রিকনস্ট্রাকশন লস গণনা
    decoded_imgs = autoencoder.predict(x_test)
    reconstruction_loss = np.mean(np.abs(x_test - decoded_imgs), axis=(1, 2, 3))
    
    # থ্রেশহোল্ড সেট করা
    threshold = np.percentile(reconstruction_loss, 95)  # 95% কনফিডেন্স লেভেল
    
    # অ্যানোমালি শনাক্তকরণ
    anomalies = reconstruction_loss > threshold
    
    print(f"Detected anomalies: {np.sum(anomalies)}")
    

সারাংশ

অটোএনকোডার একটি শক্তিশালী পদ্ধতি যা অ্যানোমালি ডিটেকশন কাজে ব্যবহৃত হয়। সাধারণ ডেটার উপর প্রশিক্ষিত হওয়া এই মডেলটি অস্বাভাবিক ডেটা বা অ্যানোমালিকে চিহ্নিত করে, যেখানে রিকনস্ট্রাকশন লস বেশি হবে। এটি বিশেষ করে এমন পরিস্থিতিতে কার্যকর যেখানে অ্যানোমালির সংখ্যা খুব কম, এবং আপনি সাধারিত থেকে বিচ্যুত কিছু ডেটা খুঁজে বের করতে চান।

Content added By
Promotion

Are you sure to start over?

Loading...