এআই কীভাবে অসঙ্গতি সনাক্ত করে?

ডেটা অপারেশনের নীরব নায়ক হলো অ্যানোমালি ডিটেকশন - আগুন লাগার আগে ফিসফিস করে বাজানো ধোঁয়ার অ্যালার্ম।

সহজ ভাষায়: AI "স্বাভাবিক" দেখতে কেমন তা শিখে, নতুন ইভেন্টগুলিকে একটি অ্যানোমালি স্কোর এবং তারপর একটি থ্রেশহোল্ডের । যখন আপনার ডেটা মৌসুমী, অগোছালো, প্রবাহিত হয় এবং মাঝে মাঝে আপনার কাছে মিথ্যা বলে তখন আপনি "স্বাভাবিক" কে কীভাবে সংজ্ঞায়িত করেন তাতেই শয়তান থাকে। [1]

এর পরে আপনি যে প্রবন্ধগুলি পড়তে পছন্দ করতে পারেন:

🔗 কেন AI সমাজের জন্য ক্ষতিকর হতে পারে
ব্যাপক AI গ্রহণের নৈতিক, অর্থনৈতিক এবং সামাজিক ঝুঁকি পরীক্ষা করে।

🔗 AI সিস্টেম আসলে কতটা জল ব্যবহার করে তা
ডেটা সেন্টার কুলিং, প্রশিক্ষণের চাহিদা এবং পরিবেশগত জলের প্রভাব ব্যাখ্যা করে।

🔗 একটি AI ডেটাসেট কী এবং কেন এটি গুরুত্বপূর্ণ
ডেটাসেট, লেবেলিং, উৎস এবং মডেল পারফরম্যান্সে তাদের ভূমিকা সংজ্ঞায়িত করে।

🔗 জটিল তথ্য থেকে AI কীভাবে প্রবণতার পূর্বাভাস দেয়
প্যাটার্ন স্বীকৃতি, মেশিন লার্নিং মডেল এবং বাস্তব-বিশ্বের পূর্বাভাসের ব্যবহার কভার করে।

"কীভাবে AI অসঙ্গতি সনাক্ত করে?"

একটি ভালো উত্তরের কাজ কেবল তালিকাভুক্ত অ্যালগরিদম নয়, বরং আরও বেশি কিছু করা উচিত। এটি বাস্তব, অসম্পূর্ণ তথ্যের উপর প্রয়োগ করার সময় এর মেকানিক্স এবং চেহারা কেমন তা ব্যাখ্যা করবে। সেরা ব্যাখ্যা:

মৌলিক উপাদানগুলি দেখাও: বৈশিষ্ট্য , ভিত্তিরেখা , স্কোর এবং প্রান্তিক মান । [1]
ব্যবহারিক পরিবারের তুলনা: দূরত্ব, ঘনত্ব, এক-শ্রেণী, বিচ্ছিন্নতা, সম্ভাব্যতা, পুনর্গঠন। [1]
টাইম-সিরিজের অদ্ভুততাগুলি পরিচালনা করুন: "স্বাভাবিক" দিনের সময়, সপ্তাহের দিন, প্রকাশ এবং ছুটির দিনের উপর নির্ভর করে। [1]
মূল্যায়নকে একটি বাস্তব প্রতিবন্ধকতা হিসেবে বিবেচনা করুন: মিথ্যা সতর্কতা কেবল বিরক্তিকর নয় - তারা বিশ্বাসকে পুড়িয়ে দেয়। [4]
ব্যাখ্যাযোগ্যতা + লুপের মধ্যে মানুষের উপস্থিতি অন্তর্ভুক্ত করুন, কারণ "এটি অদ্ভুত" মূল কারণ নয়। [5]

মূল বলবিদ্যা: ভিত্তিরেখা, স্কোর, থ্রেশহোল্ড 🧠

বেশিরভাগ অ্যানোমালি সিস্টেম - কল্পনাপ্রসূত হোক বা না হোক - তিনটি চলমান অংশে বিভক্ত:

১) উপস্থাপনা (ওরফে: মডেল যা দেখে )

কাঁচা সংকেত খুব কমই যথেষ্ট। আপনি হয় বৈশিষ্ট্যগুলি (রোলিং পরিসংখ্যান, অনুপাত, ল্যাগ, মৌসুমী ডেল্টা) তৈরি করেন অথবা উপস্থাপনা (এম্বেডিং, সাবস্পেস, পুনর্গঠন) শিখেন। [1]

২) স্কোরিং (ওরফে: এটা কতটা "অদ্ভুত"?)

সাধারণ স্কোরিং ধারণাগুলির মধ্যে রয়েছে:

দূরত্ব-ভিত্তিক : প্রতিবেশীদের থেকে দূরে = সন্দেহজনক। [1]
ঘনত্ব-ভিত্তিক : কম স্থানীয় ঘনত্ব = সন্দেহজনক (LOF হল পোস্টার চাইল্ড)। [1]
এক-শ্রেণীর সীমানা : "স্বাভাবিক" শিখুন, বাইরে কী পড়ে তা চিহ্নিত করুন। [1]
সম্ভাব্যতা : একটি লাগানো মডেলের অধীনে কম সম্ভাবনা = সন্দেহজনক। [1]
পুনর্গঠনের ত্রুটি : যদি স্বাভাবিকভাবে প্রশিক্ষিত কোনও মডেল এটি পুনর্নির্মাণ করতে না পারে, তবে সম্ভবত এটি বন্ধ। [1]

৩) থ্রেশহোল্ডিং (ওরফে: কখন ঘণ্টা বাজাতে হবে)

থ্রেশহোল্ডগুলি স্থির, কোয়ান্টাইল-ভিত্তিক, প্রতি-সেগমেন্ট, অথবা খরচ-সংবেদনশীল হতে পারে - তবে সেগুলিকে ক্যালিব্রেট , ভাইবস নয়। [4]

একটি খুবই বাস্তবসম্মত বিশদ: সাইকিট-লার্নের আউটলায়ার/নতুনত্ব সনাক্তকারীরা কাঁচা স্কোর এবং তারপর একটি থ্রেশহোল্ড (প্রায়শই একটি দূষণ-শৈলী অনুমানের মাধ্যমে নিয়ন্ত্রিত) প্রয়োগ করে স্কোরগুলিকে ইনলায়ার/আউটলায়ার সিদ্ধান্তে রূপান্তর করে। [2]

দ্রুত সংজ্ঞা যা পরে ব্যথা প্রতিরোধ করে 🧯

দুটি পার্থক্য যা আপনাকে সূক্ষ্ম ভুল থেকে রক্ষা করবে:

আউটলায়ার ডিটেকশন : আপনার প্রশিক্ষণের ডেটাতে ইতিমধ্যেই আউটলায়ার অন্তর্ভুক্ত থাকতে পারে; অ্যালগরিদম যাইহোক "ঘন স্বাভাবিক অঞ্চল" মডেল করার চেষ্টা করে।
নতুনত্ব সনাক্তকরণ : প্রশিক্ষণের তথ্য পরিষ্কার ধরে নেওয়া হয়েছে; আপনি বিচার করছেন যে নতুন পর্যবেক্ষণগুলি শেখা স্বাভাবিক প্যাটার্নের সাথে খাপ খায় কিনা। [2]

এছাড়াও: নতুনত্ব সনাক্তকরণ প্রায়শই এক-শ্রেণীর শ্রেণীবিভাগ - অস্বাভাবিক উদাহরণগুলি দুর্লভ বা অনির্ধারিত হওয়ায় স্বাভাবিক মডেলিং করা। [1]

তত্ত্বাবধানবিহীন ওয়ার্কহর্স যা আপনি আসলে ব্যবহার করবেন 🧰

যখন লেবেলগুলি দুষ্প্রাপ্য থাকে (যা মূলত সর্বদা হয়), তখন এই সরঞ্জামগুলি আসল পাইপলাইনে প্রদর্শিত হয়:

আইসোলেশন ফরেস্ট : অনেক ট্যাবুলার ক্ষেত্রে একটি শক্তিশালী ডিফল্ট, যা বাস্তবে ব্যাপকভাবে ব্যবহৃত হয় এবং সাইকিট-লার্নে বাস্তবায়িত হয়। [2]
এক-শ্রেণীর SVM : কার্যকর হতে পারে কিন্তু টিউনিং এবং অনুমানের প্রতি সংবেদনশীল; scikit-learn স্পষ্টভাবে সতর্ক হাইপারপ্যারামিটার টিউনিংয়ের প্রয়োজনীয়তার কথা বলে। [2]
লোকাল আউটলায়ার ফ্যাক্টর (LOF) : ক্লাসিক ঘনত্ব-ভিত্তিক স্কোরিং; যখন "স্বাভাবিক" একটি সুন্দর ব্লব না হয় তখন দুর্দান্ত। [1]

একটি ব্যবহারিক গোটচা দল সাপ্তাহিকভাবে পুনঃআবিষ্কার করে: LOF ভিন্নভাবে আচরণ করে যা আপনি প্রশিক্ষণ সেটে আউটলায়ার সনাক্তকরণ করছেন কিনা বনাম নতুন ডেটাতে নতুনত্ব সনাক্তকরণ করছেন কিনা তার উপর নির্ভর করে - scikit-learn এমনকি novelty=True-এর জন্য নিরাপদে অদেখা পয়েন্ট স্কোর করার প্রয়োজন হয়। [2]

একটি শক্তিশালী ভিত্তিরেখা যা ডেটার অস্থিরতার পরেও কাজ করে 🪓

যদি আপনি "আমাদের এমন কিছু দরকার যা আমাদের বিস্মৃতিতে ফেলে না দেয়" মোডে থাকেন, তাহলে শক্তিশালী পরিসংখ্যানকে অবমূল্যায়ন করা হয়।

পরিবর্তিত z-স্কোর চরম মানের প্রতি সংবেদনশীলতা কমাতে মধ্যমা এবং MAD (মধ্যমা পরম বিচ্যুতি) ব্যবহার করে 3.5 । [3]

এটি প্রতিটি অসঙ্গতি সমস্যার সমাধান করবে না - তবে এটি প্রায়শই একটি শক্তিশালী প্রথম সারির প্রতিরক্ষা, বিশেষ করে শব্দদূষণের মেট্রিক্স এবং প্রাথমিক পর্যায়ের পর্যবেক্ষণের জন্য। [3]

টাইম সিরিজের বাস্তবতা: "স্বাভাবিক" কখন ⏱️📈 এর উপর নির্ভর করে

সময় সিরিজের অসঙ্গতিগুলি জটিল কারণ প্রেক্ষাপটই মূল বিষয়: দুপুরে একটি স্পাইক প্রত্যাশিত হতে পারে; ভোর ৩ টায় একই স্পাইক হওয়ার অর্থ হতে পারে কিছু আগুনে জ্বলছে। তাই অনেক ব্যবহারিক সিস্টেম সময়-সচেতন বৈশিষ্ট্য (ল্যাগ, মৌসুমী ডেল্টা, ঘূর্ণায়মান উইন্ডো) এবং প্রত্যাশিত প্যাটার্নের সাপেক্ষে স্কোর বিচ্যুতি ব্যবহার করে স্বাভাবিকতার মডেল তৈরি করে। [1]

যদি আপনার কেবল একটি নিয়ম মনে থাকে: আপনার বেসলাইন (ঘন্টা/দিন/অঞ্চল/পরিষেবা স্তর) ভাগ করুন। [1]

মূল্যায়ন: বিরল-ঘটনার ফাঁদ 🧪

অনিয়ম সনাক্তকরণ প্রায়শই "খড়ের গাদায় সূঁচ" দিয়ে করা হয়, যা মূল্যায়নকে অদ্ভুত করে তোলে:

যখন ইতিবাচক দিকগুলি বিরল হয়, তখন ROC বক্ররেখাগুলি প্রতারণামূলকভাবে সূক্ষ্ম দেখাতে পারে।
ভারসাম্যহীন সেটিংসের জন্য প্রিসিশন-রিকল ভিউ প্রায়শই বেশি তথ্যবহুল হয় কারণ তারা ইতিবাচক শ্রেণীর কর্মক্ষমতার উপর ফোকাস করে। [4]
সতর্কতা বাজেটও প্রয়োজন : মানুষ রাগ না করে প্রতি ঘন্টায় কতগুলি সতর্কতা নির্ধারণ করতে পারে? [4]

ঘূর্ণায়মান উইন্ডো জুড়ে ব্যাকটেস্টিং আপনাকে ক্লাসিক ব্যর্থতা মোডটি ধরতে সাহায্য করে: "এটি সুন্দরভাবে কাজ করে... গত মাসের বিতরণে।" [1]

ব্যাখ্যাযোগ্যতা এবং মূল কারণ: আপনার কাজ দেখান 🪄

ব্যাখ্যা ছাড়া সতর্ক করা রহস্যময় পোস্টকার্ড পাওয়ার মতো। দরকারী, কিন্তু হতাশাজনক।

কোন বৈশিষ্ট্যগুলি একটি অ্যানোমালি স্কোরে সবচেয়ে বেশি অবদান রেখেছে তা নির্দেশ করে , অথবা "এটিকে স্বাভাবিক দেখাতে কী পরিবর্তন করতে হবে?" শৈলীর ব্যাখ্যা দিয়ে সাহায্য করতে পারে। ইন্টারপ্রেটেবল মেশিন লার্নিং বইটি সাধারণ পদ্ধতিগুলির (SHAP-শৈলীর বৈশিষ্ট্য সহ) এবং তাদের সীমাবদ্ধতার জন্য একটি দৃঢ়, সমালোচনামূলক নির্দেশিকা। [5]

লক্ষ্য কেবল অংশীদারদের সান্ত্বনা দেওয়া নয় - এটি দ্রুত ট্রায়েজ এবং কম পুনরাবৃত্তিমূলক ঘটনা।

স্থাপনা, প্রবাহ এবং প্রতিক্রিয়া লুপ 🚀

মডেলরা স্লাইডে বাস করে না, তারা পাইপলাইনে বাস করে।

"প্রথম মাসের উৎপাদন" গল্পের একটি সাধারণ তথ্য: ডিটেক্টরটি বেশিরভাগ ক্ষেত্রেই ডিপ্লয়, ব্যাচ জব এবং ডেটা অনুপস্থিতির বিষয়টি চিহ্নিত করে... যা এখনও কার্যকর কারণ এটি আপনাকে "ডেটা মানের ঘটনা" কে "ব্যবসায়িক অসঙ্গতি" থেকে আলাদা করতে বাধ্য করে।

বাস্তবে:

আচরণের পরিবর্তনের সাথে সাথে ড্রিফ্ট পর্যবেক্ষণ করুন
লগ স্কোর ইনপুট + মডেল ভার্সন যাতে আপনি পুনরুত্পাদন করতে পারেন কেন কিছু পৃষ্ঠা করা হয়েছে। [5]
সময়ের সাথে সাথে থ্রেশহোল্ড এবং বিভাগগুলি সুরক্ষিত করতে মানুষের প্রতিক্রিয়া (দরকারী বনাম শব্দের সতর্কতা) ক্যাপচার করুন

নিরাপত্তা কোণ: আইডিএস এবং আচরণগত বিশ্লেষণ 🛡️

নিরাপত্তা দলগুলি প্রায়শই নিয়ম-ভিত্তিক সনাক্তকরণের সাথে অস্বাভাবিক ধারণাগুলিকে মিশ্রিত করে: "স্বাভাবিক হোস্ট আচরণের" জন্য বেসলাইন, এবং পরিচিত খারাপ প্যাটার্নের জন্য স্বাক্ষর এবং নীতি। NIST-এর SP 800-94 (চূড়ান্ত) অনুপ্রবেশ সনাক্তকরণ এবং প্রতিরোধ ব্যবস্থা বিবেচনার জন্য একটি বহুল উদ্ধৃত কাঠামো হিসাবে রয়ে গেছে; এটি আরও উল্লেখ করে যে 2012 সালের একটি খসড়া "রেভ. 1" কখনও চূড়ান্ত হয়নি এবং পরে তা বাতিল করা হয়েছিল। [3]

অনুবাদ: যেখানে সাহায্য করে সেখানে ML ব্যবহার করুন, কিন্তু বিরক্তিকর নিয়মগুলো ফেলে দেবেন না - এগুলো কাজ করে বলেই বিরক্তিকর।

তুলনা সারণী: এক নজরে জনপ্রিয় পদ্ধতি 📊

টুল / পদ্ধতি	সেরা জন্য	কেন এটি কাজ করে (বাস্তবে)
শক্তিশালী / পরিবর্তিত z-স্কোর	সহজ মেট্রিক্স, দ্রুত বেসলাইন	যখন আপনার "যথেষ্ট ভালো" এবং কম মিথ্যা অ্যালার্মের প্রয়োজন হয় তখন শক্তিশালী প্রথম পাস। [3]
বিচ্ছিন্ন বন	সারণী, মিশ্র বৈশিষ্ট্য	দৃঢ় ডিফল্ট বাস্তবায়ন এবং বাস্তবে ব্যাপকভাবে ব্যবহৃত। [2]
এক-শ্রেণীর SVM	"স্বাভাবিক" অঞ্চলগুলি সংক্ষিপ্ত করুন	সীমানা-ভিত্তিক নতুনত্ব সনাক্তকরণ; টিউনিং অনেক গুরুত্বপূর্ণ। [2]
স্থানীয় বহির্মুখী ফ্যাক্টর	বহুমুখী স্বাভাবিকতা	প্রতিবেশীদের সাথে ঘনত্বের বৈসাদৃশ্য স্থানীয় অদ্ভুততাকে ধরে ফেলে। [1]
পুনর্গঠন ত্রুটি (যেমন, অটোএনকোডার-স্টাইল)	উচ্চ-মাত্রিক নিদর্শন	স্বাভাবিক অবস্থায় ট্রেন চালান; বড় পুনর্গঠন ত্রুটি বিচ্যুতি চিহ্নিত করতে পারে। [1]

চিট কোড: শক্তিশালী বেসলাইন + একটি বিরক্তিকর, তত্ত্বাবধানবিহীন পদ্ধতি দিয়ে শুরু করুন, তারপর শুধুমাত্র যেখানে ভাড়া দেওয়া হয় সেখানে জটিলতা যোগ করুন।

একটি ছোট প্লেবুক: শূন্য থেকে সতর্কতা পর্যন্ত 🧭

"অদ্ভুত" কে কার্যক্ষমতার দিক থেকে সংজ্ঞায়িত করুন (লেটেন্সি, জালিয়াতির ঝুঁকি, সিপিইউ থ্র্যাশ, ইনভেন্টরি ঝুঁকি)।
একটি বেসলাইন (শক্তিশালী পরিসংখ্যান বা খণ্ডিত থ্রেশহোল্ড) দিয়ে শুরু করুন। [3]
প্রথম পাস হিসেবে একটি অতত্ত্বাবধানী মডেল বেছে নিন
একটি সতর্কতামূলক বাজেটের মাধ্যমে থ্রেশহোল্ড নির্ধারণ করুন , এবং যদি ইতিবাচক দিকগুলি বিরল হয় তবে পিআর-স্টাইলের চিন্তাভাবনা দিয়ে মূল্যায়ন করুন। [4]
ব্যাখ্যা + লগিং যোগ করুন যাতে প্রতিটি সতর্কতা পুনরুৎপাদনযোগ্য এবং ডিবাগযোগ্য হয়। [5]
ব্যাকটেস্ট, শিপ, লার্ন, রিক্যালিব্রেট - ড্রিফট স্বাভাবিক। [1]

তুমি এক সপ্তাহের মধ্যে এটা করতে পারবে... ধরে নিচ্ছি তোমার টাইমস্ট্যাম্পগুলো ডাক্ট টেপ এবং আশার সাথে একসাথে আটকে নেই। 😅

শেষ মন্তব্য - অনেক লম্বা, আমি এটা পড়িনি🧾

"স্বাভাবিক" এর একটি বাস্তব চিত্র শেখার মাধ্যমে, বিচ্যুতি স্কোর করার মাধ্যমে এবং একটি সীমা অতিক্রমকারী বিষয় চিহ্নিত করার মাধ্যমে AI অসঙ্গতিগুলি সনাক্ত করে। সেরা সিস্টেমগুলি চটকদার হয়ে নয়, বরং ক্যালিব্রেটেড : সেগমেন্টেড বেসলাইন, সতর্কতা বাজেট, ব্যাখ্যাযোগ্য আউটপুট এবং একটি প্রতিক্রিয়া লুপ যা শব্দযুক্ত অ্যালার্মগুলিকে একটি বিশ্বাসযোগ্য সংকেতে পরিণত করে। [1]

তথ্যসূত্র

পিমেন্টেল এট আল. (২০১৪) - নতুনত্ব সনাক্তকরণের একটি পর্যালোচনা (পিডিএফ, অক্সফোর্ড বিশ্ববিদ্যালয়) আরও পড়ুন
scikit-learn ডকুমেন্টেশন - নতুনত্ব এবং বহিরাগত সনাক্তকরণ আরও পড়ুন
NIST/SEMATECH ই-হ্যান্ডবুক - বহিরাগতদের সনাক্তকরণ আরও পড়ুন এবং NIST CSRC - SP 800-94 (চূড়ান্ত): অনুপ্রবেশ সনাক্তকরণ এবং প্রতিরোধ ব্যবস্থার নির্দেশিকা (IDPS) আরও পড়ুন
সাইতো এবং রেহমসমেয়ার (২০১৫) - ভারসাম্যহীন ডেটাসেটগুলিতে বাইনারি ক্লাসিফায়ার মূল্যায়ন করার সময় প্রিসিশন-রিকল প্লটটি আরওসি প্লটের চেয়ে বেশি তথ্যবহুল (PLOS ONE) আরও পড়ুন
মোলনার - ইন্টারপ্রেটেবল মেশিন লার্নিং (ওয়েব বই) আরও পড়ুন

অফিসিয়াল এআই অ্যাসিস্ট্যান্ট স্টোরে সর্বশেষ এআই খুঁজুন

আমাদের সম্পর্কে

ব্লগে ফিরে যান

দেশ/অঞ্চল