এআই প্রিপ্রসেসিং কী?

এআই প্রিপ্রসেসিং বলতে কী বোঝায়? [ভিডিও এবং কুইজ]

সংক্ষিপ্ত উত্তর: এআই প্রিপ্রসেসিং হলো কিছু পুনরাবৃত্তিমূলক ধাপের সমষ্টি, যা কাঁচা ও উচ্চ-বৈচিত্র্যপূর্ণ ডেটাকে সামঞ্জস্যপূর্ণ মডেল ইনপুটে রূপান্তরিত করে। এর মধ্যে রয়েছে ডেটা পরিষ্কার করা, এনকোডিং, স্কেলিং, টোকেনাইজিং এবং ইমেজ ট্রান্সফর্ম। এটি গুরুত্বপূর্ণ কারণ যদি ট্রেনিং ইনপুট এবং প্রোডাকশন ইনপুট ভিন্ন হয়, তবে মডেল নীরবে ব্যর্থ হতে পারে। যদি কোনো ধাপ প্যারামিটার "শেখে", তবে লিকেজ এড়াতে সেটিকে শুধুমাত্র ট্রেনিং ডেটার উপর ফিট করুন।

প্রশিক্ষণের আগে (এবং কখনও কখনও সময়কালে) আপনি কাঁচা ডেটার জন্য যা করেন তা হল AI প্রিপ্রসেসিং, যাতে একজন মডেল আসলে এটি থেকে শিখতে পারে। কেবল "পরিষ্কার" নয়। এটি পরিষ্কার করা, আকার দেওয়া, স্কেলিং করা, এনকোডিং করা, বৃদ্ধি করা এবং ডেটা প্যাকেজিংকে একটি ধারাবাহিক উপস্থাপনায় পরিণত করা যা পরে আপনার মডেলকে চুপচাপ ট্রিপ করবে না। [1]

মূল বিষয়গুলি:

সংজ্ঞা: প্রিপ্রসেসিং কাঁচা টেবিল, টেক্সট, ছবি এবং লগগুলিকে মডেল-প্রস্তুত বৈশিষ্ট্যে রূপান্তর করে।

ধারাবাহিকতা: অমিল ব্যর্থতা রোধ করতে প্রশিক্ষণ এবং অনুমানের সময় একই রূপান্তর প্রয়োগ করুন।

লিকেজ: শুধুমাত্র প্রশিক্ষণ ডেটার উপর স্কেলার, এনকোডার এবং টোকেনাইজার ফিট করুন।

পুনরুৎপাদনযোগ্যতা: অ্যাড-হক নোটবুক সেল সিকোয়েন্স নয়, পরিদর্শনযোগ্য পরিসংখ্যান দিয়ে পাইপলাইন তৈরি করুন।

উৎপাদন পর্যবেক্ষণ: বিচ্যুতি এবং বিচ্যুতি ট্র্যাক করুন, যাতে ইনপুটগুলি ধীরে ধীরে কর্মক্ষমতা হ্রাস না করে।

এর পরে আপনি যে প্রবন্ধগুলি পড়তে পছন্দ করতে পারেন:

🔗 বাস্তব-বিশ্বের কর্মক্ষমতার জন্য AI মডেলগুলি কীভাবে পরীক্ষা করবেন
নির্ভুলতা, দৃঢ়তা এবং পক্ষপাত দ্রুত মূল্যায়নের ব্যবহারিক পদ্ধতি।.

🔗 টেক্সট-টু-স্পিচ এআই কি এবং এটি কীভাবে কাজ করে?
আজকের TTS-এর মূলনীতি, মূল ব্যবহার এবং সাধারণ সীমাবদ্ধতাগুলি ব্যাখ্যা করে।.

🔗 আজ কি কৃত্রিম বুদ্ধিমত্তা (এআই) সঠিকভাবে কার্সিভ হাতের লেখা পড়তে পারে?
শনাক্তকরণ চ্যালেঞ্জ, সেরা সরঞ্জাম এবং নির্ভুলতার টিপস কভার করে।.

🔗 সাধারণ কাজে AI কতটা সঠিক?
নির্ভুলতার কারণ, মানদণ্ড এবং বাস্তব-বিশ্বের নির্ভরযোগ্যতা ভেঙে দেয়।.


সহজ ভাষায় AI প্রিপ্রসেসিং (এবং এটি কী নয়) 🤝

এআই প্রিপ্রসেসিং হলো কাঁচা ইনপুট (টেবিল, টেক্সট, ছবি, লগ) কে মডেল-প্রস্তুত বৈশিষ্ট্যে রূপান্তর করা। যদি কাঁচা ডেটা একটি অগোছালো গ্যারেজ হয়, তাহলে প্রিপ্রসেসিং হলো বাক্সগুলিতে লেবেল লাগানো, ভাঙা আবর্জনা ফেলে দেওয়া এবং জিনিসপত্র স্ট্যাক করা যাতে আপনি আসলে কোনও আঘাত ছাড়াই চলতে পারেন।

এটি মডেল নিজেই নয়। এটি এমন জিনিস যা মডেলটিকে সম্ভব করে তোলে:

  • বিভাগগুলিকে সংখ্যায় রূপান্তর করা (এক-গরম, ক্রমিক, ইত্যাদি) [1]

  • বৃহৎ সংখ্যাসূচক পরিসরগুলিকে সুস্থ পরিসরে স্কেল করা (মানীকরণ, সর্বনিম্ন-সর্বোচ্চ, ইত্যাদি) [1]

  • ইনপুট আইডিতে টেক্সট টোকেনাইজ করা (এবং সাধারণত একটি মনোযোগ মুখোশ) [3]

  • ছবির আকার পরিবর্তন/ক্রপ করা এবং নির্ধারক বনাম এলোমেলো রূপান্তর যথাযথভাবে প্রয়োগ করা [4]

  • পুনরাবৃত্তিযোগ্য পাইপলাইন তৈরি করা যাতে প্রশিক্ষণ এবং "বাস্তব জীবনের" ইনপুটগুলি সূক্ষ্মভাবে ভিন্ন না হয় [2]

একটি ছোট ব্যবহারিক বিষয়: মডেল ইনপুট দেখার আগে ধারাবাহিকভাবে যা কিছু ঘটে, তার সবই। কিছু দল এটিকে “ফিচার ইঞ্জিনিয়ারিং” বনাম “ডেটা ক্লিনিং”-এ ভাগ করে, কিন্তু বাস্তবে এই সীমারেখাগুলো অস্পষ্ট হয়ে যায়। 

 

এআই প্রিপ্রসেসিং

কেন মানুষের স্বীকার করার চেয়ে AI প্রিপ্রসেসিং বেশি গুরুত্বপূর্ণ 😬

একজন মডেল একজন প্যাটার্ন-ম্যাচার, মাইন্ড রিডার নয়। যদি আপনার ইনপুটগুলি অসঙ্গত হয়, তাহলে মডেলটি অসঙ্গত নিয়ম শিখবে। এটা দার্শনিক নয়, এটা বেদনাদায়কভাবে আক্ষরিক।.

প্রিপ্রসেসিং আপনাকে সাহায্য করে:

  • অনুমানকারীরা নির্ভরযোগ্যভাবে ব্যবহার করতে পারে এমন উপস্থাপনাগুলিতে বৈশিষ্ট্যগুলি স্থাপন করে শেখার স্থিতিশীলতা উন্নত করুন (বিশেষ করে যখন স্কেলিং/এনকোডিং জড়িত থাকে)। [1]

  • শব্দ কমিয়ে দিন যা একজন মডেল সাধারণীকরণ করতে পারে (অদ্ভুত শিল্পকর্ম মুখস্থ করার পরিবর্তে)।

  • নীরব ব্যর্থতার ধরণগুলি প্রতিরোধ করুন (যেগুলি ভ্যালিডেশনে "আশ্চর্যজনক" দেখায় এবং তারপরে প্রোডাকশনে মুখ থুবড়ে পড়ে)। [2]

  • পুনরাবৃত্তির গতি বাড়ান কারণ পুনরাবৃত্তিযোগ্য রূপান্তরগুলি সপ্তাহের প্রতিদিন নোটবুক স্প্যাগেটিকে হারিয়ে ফেলে।

আর, এখান থেকেই অনেক "মডেল পারফর্মেন্স" আসে। যেমন... আশ্চর্যজনকভাবে অনেক। মাঝে মাঝে এটা অন্যায্য মনে হয়, কিন্তু এটাই বাস্তবতা 🙃


একটি ভালো AI প্রিপ্রসেসিং পাইপলাইন কী তৈরি করে ✅

প্রিপ্রসেসিংয়ের একটি "ভালো সংস্করণ" সাধারণত এই গুণাবলী ধারণ করে:

  • পুনরাবৃত্তিযোগ্য: একই ইনপুট → একই আউটপুট (কোনো রহস্যময় এলোমেলোভাব নেই, যদি না তা ইচ্ছাকৃত পরিবর্ধন হয়)।

  • ট্রেন-সার্ভিং ধারাবাহিকতা: প্রশিক্ষণের সময় আপনি যা কিছু করেন তা অনুমানের সময় একইভাবে প্রয়োগ করা হয় (একই ফিট করা প্যারামিটার, একই ক্যাটাগরি মানচিত্র, একই টোকেনাইজার কনফিগারেশন, ইত্যাদি)। [2]

  • লিকেজ-নিরাপদ: মূল্যায়ন/পরীক্ষার কোনও কিছুই কোনও ফিট ধাপকে প্রভাবিত করে না। (এই ফাঁদ সম্পর্কে আরও কিছুক্ষণ পরে।) [2]

  • পর্যবেক্ষণযোগ্য: এর মাধ্যমে কী পরিবর্তিত হয়েছে তা আপনি খতিয়ে দেখতে পারেন (ফিচারের পরিসংখ্যান, অনুপস্থিতি, ক্যাটাগরির সংখ্যা), ফলে ডিবাগিং আর অনুভূতি-নির্ভর ইঞ্জিনিয়ারিং থাকে না।

আপনার প্রিপ্রসেসিং যদি final_v7_really_final_ok … নামের একগাদা নোটবুক সেল হয়, তাহলে তো বুঝতেই পারছেন ব্যাপারটা কী। এটা কাজ করে, যতক্ষণ না পর্যন্ত কাজ করা বন্ধ করে দেয় 😬


এআই প্রিপ্রসেসিংয়ের মূল উপাদান 🧱

প্রিপ্রসেসিংকে একটি পাইপলাইনে একত্রিত করে তৈরি করা ব্লকের একটি সেট হিসেবে ভাবুন।.

১) পরিষ্কার এবং বৈধতা 🧼

সাধারণ কাজ:

  • ডুপ্লিকেটগুলি সরান

  • অনুপস্থিত মানগুলি পরিচালনা করুন (ড্রপ করুন, অনুমান করুন, অথবা স্পষ্টভাবে অনুপস্থিতি উপস্থাপন করুন)

  • প্রকার, ইউনিট এবং ব্যাপ্তি প্রয়োগ করুন

  • ত্রুটিপূর্ণ ইনপুট সনাক্ত করুন

  • টেক্সট ফরম্যাটের মান নির্ধারণ করুন (হোয়াইটস্পেস, কেসিং নিয়ম, ইউনিকোডের অদ্ভুততা)

এই অংশটি আকর্ষণীয় নয়, তবে এটি অত্যন্ত বোকা ভুলগুলি প্রতিরোধ করে। আমি ভালোবাসার সাথে বলছি।.

২) শ্রেণীবদ্ধ তথ্য এনকোডিং 🔤

বেশিরভাগ মডেল সরাসরি 'red' বা 'premium_user'-এর মতো র স্ট্রিং ব্যবহার করতে পারে না ।

সাধারণ পদ্ধতি:

  • ওয়ান-হট এনকোডিং (ক্যাটাগরি → বাইনারি কলাম) [1]

  • ক্রমিক এনকোডিং (বিভাগ → পূর্ণসংখ্যা আইডি) [1]

মূল বিষয় হল কোন এনকোডার বেছে নিচ্ছেন তা নয় - বরং ম্যাপিংটি সামঞ্জস্যপূর্ণ থাকে এবং প্রশিক্ষণ এবং ইনফারেন্সের মধ্যে "আকৃতি পরিবর্তন" করে না। এভাবেই আপনি এমন একটি মডেল পাবেন যা অফলাইনে ঠিক দেখায় কিন্তু অনলাইনে ভুতুড়ে আচরণ করে। [2]

৩) বৈশিষ্ট্য স্কেলিং এবং স্বাভাবিকীকরণ 📏

যখন বৈশিষ্ট্যগুলি সম্পূর্ণ ভিন্ন পরিসরে থাকে তখন স্কেলিং গুরুত্বপূর্ণ।.

দুটি ক্লাসিক:

  • মানীকরণ: গড় অপসারণ এবং একক প্রকরণে স্কেল [1]

  • সর্বনিম্ন-সর্বোচ্চ স্কেলিং: প্রতিটি বৈশিষ্ট্যকে একটি নির্দিষ্ট পরিসরে স্কেল করুন [1]

এমনকি যখন আপনি এমন মডেল ব্যবহার করেন যা "বেশিরভাগ ক্ষেত্রেই কাজ করে", তখন স্কেলিং প্রায়শই পাইপলাইনগুলিকে যুক্তি করা সহজ করে তোলে - এবং দুর্ঘটনাক্রমে ভেঙে ফেলা আরও কঠিন করে তোলে।.

৪) ফিচার ইঞ্জিনিয়ারিং (ওরফে দরকারী প্রতারণা) 🧪

এখানেই আপনি আরও ভালো সিগন্যাল তৈরি করে মডেলের কাজ সহজ করে তুলবেন:

  • অনুপাত (ক্লিক / ইমপ্রেশন)

  • জানালা ঘুরছে (গত N দিন)

  • গণনা (প্রতি ব্যবহারকারীর ইভেন্ট)

  • হেভি-টেইলড ডিস্ট্রিবিউশনের জন্য লগ ট্রান্সফর্ম

এখানে একটা শিল্প আছে। মাঝে মাঝে তুমি একটা ফিচার তৈরি করবে, গর্বিত বোধ করবে... আর সেটা কিছুই করবে না। অথবা আরও খারাপ, এটা কষ্ট দেয়। এটাই স্বাভাবিক। ফিচারের সাথে আবেগগতভাবে যুক্ত হও না - তারা তোমাকে ভালোবাসে না 😅

৫) সঠিক পদ্ধতিতে ডেটা বিভক্ত করা ✂️

এটি স্পষ্ট শোনাচ্ছে যতক্ষণ না এটি স্পষ্ট হয়:

  • আইআইডি ডেটার জন্য এলোমেলো বিভাজন

  • সময় সিরিজের জন্য সময়-ভিত্তিক বিভাজন

  • যখন সত্তা পুনরাবৃত্তি করে তখন গোষ্ঠীবদ্ধ বিভাজন (ব্যবহারকারী, ডিভাইস, রোগী)

এবং সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো: ফিটিং করার আগে ডেটা থেকে শেখে এমন প্রিপ্রসেসিং করুন। যদি আপনার প্রিপ্রসেসিং ধাপ প্যারামিটার (যেমন গড়, শব্দভান্ডার, ক্যাটাগরি ম্যাপ) "শেখে", তবে এটি অবশ্যই কেবল প্রশিক্ষণ থেকেই সেগুলি শিখতে হবে। [2]


ডেটা টাইপ অনুসারে এআই প্রিপ্রসেসিং: ট্যাবুলার, টেক্সট, ছবি 🎛️

আপনি মডেলটিকে কী খাওয়ান তার উপর নির্ভর করে প্রি-প্রসেসিং আকার পরিবর্তন করে।.

ট্যাবুলার ডেটা (স্প্রেডশিট, লগ, ডাটাবেস) 📊

সাধারণ পদক্ষেপ:

  • অনুপস্থিত মূল্য কৌশল

  • শ্রেণীবদ্ধ এনকোডিং [1]

  • সংখ্যাসূচক কলাম স্কেলিং [1]

  • আউটলায়ার হ্যান্ডলিং (ডোমেনের নিয়মগুলি বেশিরভাগ সময় "র্যান্ডম ক্লিপিং" কে ছাড়িয়ে যায়)

  • প্রাপ্ত বৈশিষ্ট্য (সমষ্টি, ল্যাগ, ঘূর্ণায়মান পরিসংখ্যান)

ব্যবহারিক পরামর্শ: কলাম গ্রুপগুলিকে স্পষ্টভাবে সংজ্ঞায়িত করুন (সংখ্যাসূচক বনাম শনাক্তকারী বনাম শনাক্তকারী)। আপনার ভবিষ্যৎ স্বয়ং আপনাকে ধন্যবাদ জানাবে।.

টেক্সট ডেটা (NLP) 📝

টেক্সট প্রিপ্রসেসিং-এ প্রায়শই অন্তর্ভুক্ত থাকে:

  • টোকেন/সাবওয়ার্ডে টোকেনাইজেশন

  • ইনপুট আইডিতে রূপান্তর

  • প্যাডিং/কাটা

  • তৈরির মুখোশ [3]

ছোট্ট নিয়ম যা কষ্ট কমায়: ট্রান্সফরমার-ভিত্তিক সেটআপের জন্য, মডেলের প্রত্যাশিত টোকেনাইজার সেটিংস অনুসরণ করুন এবং যদি আপনার কোনও কারণ না থাকে তবে ফ্রিস্টাইল করবেন না। ফ্রিস্টাইলিং হল এমন একটি পদ্ধতি যার মাধ্যমে আপনি "এটি প্রশিক্ষণ দেয় কিন্তু এটি অদ্ভুত" বলে শেষ করেন।

ছবি (কম্পিউটার ভিশন) 🖼️

সাধারণ প্রাক-প্রক্রিয়াকরণ:

  • সামঞ্জস্যপূর্ণ আকারে আকার পরিবর্তন / ক্রপ করুন

  • মূল্যায়নের জন্য নির্ধারক রূপান্তর

  • প্রশিক্ষণ বৃদ্ধির জন্য এলোমেলো রূপান্তর (যেমন, এলোমেলো ক্রপিং) [4]

একটা জিনিস মানুষ মিস করে: "র‍্যান্ডম ট্রান্সফর্মেশন" কেবল একটা ভাবনা নয় - প্রতিবার ডাকা হলেই এগুলো আক্ষরিক অর্থেই প্যারামিটারের নমুনা নেয়। প্রশিক্ষণের বৈচিত্র্যের জন্য দুর্দান্ত, যদি আপনি র‍্যান্ডমনেস বন্ধ করতে ভুলে যান তবে মূল্যায়নের জন্য খারাপ। [4]


সবাই যে ফাঁদে পা দেয়: তথ্য ফাঁস 🕳️🐍

লিকেজ হলো যখন মূল্যায়ন তথ্য থেকে তথ্য প্রশিক্ষণে প্রবেশ করে - প্রায়শই প্রি-প্রসেসিংয়ের মাধ্যমে। এটি যাচাইকরণের সময় আপনার মডেলকে জাদুকরী দেখাতে পারে, তারপর বাস্তব জগতে আপনাকে হতাশ করতে পারে।.

সাধারণ ফুটো ধরণ:

  • পূর্ণ-ডেটাসেট পরিসংখ্যান ব্যবহার করে স্কেলিং (শুধুমাত্র প্রশিক্ষণের পরিবর্তে) [2]

  • ট্রেন+টেস্ট একসাথে ব্যবহার করে ক্যাটাগরি ম্যাপ তৈরি করা [2]

  • যেকোনো fit() বা fit_transform() ধাপ যা পরীক্ষার সেট [2] "দেখতে পায়"

মূল নিয়ম (সহজ, নিষ্ঠুর, কার্যকর):

  • ফিট স্টেপযুক্ত যেকোনো জিনিস শুধুমাত্র প্রশিক্ষণের সময় ফিট হওয়া উচিত।

  • তারপর আপনি সেই লাগানো ট্রান্সফরমার ব্যবহার করে ভ্যালিডেশন/পরীক্ষা রূপান্তর করবেন । [2]

আর যদি আপনি "এটা কতটা খারাপ হতে পারে?" তা যাচাই করতে চান: scikit-learn-এর নিজস্ব ডক্স-এ একটি লিকেজ উদাহরণ দেখানো হয়েছে যেখানে একটি ভুল প্রিপ্রসেসিং অর্ডারের ফলে র‍্যান্ডম টার্গেটগুলিতে অ্যাকুরেসি প্রায় 0.76 হয় - তারপর লিকেজ ঠিক করার পরে তা আবার ~ 0.5- এ নেমে আসে । লিকেজ কতটা স্পষ্টভাবে ভুল দেখাতে পারে তা এভাবেই বোঝা যায়। [2]


বিশৃঙ্খলা ছাড়াই উৎপাদনের প্রাক-প্রক্রিয়াকরণ শুরু করা 🏗️

উৎপাদনে অনেক মডেল ব্যর্থ হয়, মডেলটি “খারাপ” বলে নয়, বরং ইনপুট বাস্তবতা বদলে যাওয়ার কারণে—অথবা আপনার পাইপলাইনে পরিবর্তন আসার কারণে।

উৎপাদন-মনস্ক প্রাক-প্রক্রিয়াকরণে সাধারণত অন্তর্ভুক্ত থাকে:

  • সংরক্ষিত আর্টিফ্যাক্ট (এনকোডার ম্যাপিং, স্কেলার প্যারামিটার, টোকেনাইজার কনফিগারেশন) তাই অনুমান ঠিক একই শেখা রূপান্তর ব্যবহার করে [2]

  • কঠোর ইনপুট চুক্তি (প্রত্যাশিত কলাম/প্রকার/পরিসর)

  • স্কিউ এবং ড্রিফট পর্যবেক্ষণ, কারণ উৎপাদন তথ্য হবে [5]

যদি আপনি সুনির্দিষ্ট সংজ্ঞা চান: Google-এর Vertex AI মডেল মনিটরিং প্রশিক্ষণ-পরিষেবা স্কিউ (উৎপাদন বিতরণ প্রশিক্ষণ থেকে বিচ্যুত হয়) এবং ইনফারেন্স ড্রিফট (উৎপাদন বিতরণ সময়ের সাথে সাথে পরিবর্তিত হয়) এর মধ্যে পার্থক্য করে এবং ক্যাটাগরিক্যাল এবং সংখ্যাসূচক উভয় বৈশিষ্ট্যের জন্য পর্যবেক্ষণ সমর্থন করে। [5]

কারণ চমক ব্যয়বহুল। আর মজার ধরণের নয়।.


তুলনা সারণী: সাধারণ প্রিপ্রসেসিং + পর্যবেক্ষণ সরঞ্জাম (এবং এগুলি কাদের জন্য) 🧰

টুল / লাইব্রেরি এর জন্য সেরা দাম কেন এটি কাজ করে (এবং কিছুটা সততা)
সাইকিট-লার্ন প্রিপ্রসেসিং ট্যাবুলার এমএল পাইপলাইন বিনামূল্যে সলিড এনকোডার + স্কেলার (OneHotEncoder, StandardScaler, ইত্যাদি) এবং অনুমানযোগ্য আচরণ [1]
আলিঙ্গন মুখ টোকেনাইজার এনএলপি ইনপুট প্রস্তুতি বিনামূল্যে রান/মডেল জুড়ে ধারাবাহিকভাবে ইনপুট আইডি + মনোযোগ মাস্ক তৈরি করে [3]
টর্চভিশন রূপান্তরিত করে দৃষ্টিশক্তি রূপান্তরিত করে + বৃদ্ধি বিনামূল্যে একটি পাইপলাইনে নির্ণায়ক এবং এলোমেলো রূপান্তর মিশ্রিত করার পরিষ্কার উপায় [4]
ভার্টেক্স এআই মডেল মনিটরিং প্রোডে ড্রিফট/স্কু সনাক্তকরণ পেইড (ক্লাউড) মনিটরে সীমা অতিক্রম করলে স্কিউ/ড্রিফ্ট এবং সতর্কতা বৈশিষ্ট্য থাকে [5]

(হ্যাঁ, টেবিলে এখনও মতামত আছে। কিন্তু অন্তত এটি সৎ মতামত 😅)


একটি ব্যবহারিক প্রিপ্রসেসিং চেকলিস্ট যা আপনি আসলে ব্যবহার করতে পারেন 📌

প্রশিক্ষণের আগে

  • একটি ইনপুট স্কিমা সংজ্ঞায়িত করুন (প্রকার, ইউনিট, অনুমোদিত পরিসর)

  • অনুপস্থিত মান এবং সদৃশগুলি অডিট করুন

  • ডেটা সঠিক উপায়ে বিভক্ত করুন (এলোমেলো / সময়-ভিত্তিক / গোষ্ঠীভুক্ত)

  • শুধুমাত্র প্রশিক্ষণের সময় ফিট প্রিপ্রসেসিং ( ফিট / ফিট_ট্রান্সফর্ম ট্রেনেই থাকে) [2]

  • প্রি-প্রসেসিং আর্টিফ্যাক্টগুলি সংরক্ষণ করুন যাতে অনুমান সেগুলি পুনরায় ব্যবহার করতে পারে [2]

প্রশিক্ষণের সময়

  • শুধুমাত্র উপযুক্ত স্থানে এলোমেলো বৃদ্ধি প্রয়োগ করুন (সাধারণত শুধুমাত্র প্রশিক্ষণ বিভক্ত) [4]

  • মূল্যায়নের প্রাক-প্রক্রিয়াকরণ নির্ধারণমূলক রাখুন [4]

  • মডেল পরিবর্তনের মতো প্রিপ্রসেসিং পরিবর্তনগুলি ট্র্যাক করুন (কারণ সেগুলি)

স্থাপনার আগে

  • নিশ্চিত করুন যে অনুমানটি অভিন্ন প্রিপ্রসেসিং পাথ এবং আর্টিফ্যাক্ট ব্যবহার করে [2]

  • ড্রিফ্ট/স্কু মনিটরিং সেট আপ করুন (এমনকি মৌলিক বৈশিষ্ট্য বিতরণ পরীক্ষাও অনেক দূর এগিয়ে যায়) [5]


গভীরে ডুব: প্রি-প্রসেসিংয়ের সাধারণ ভুল (এবং কীভাবে সেগুলি এড়ানো যায়) 🧯

ভুল ১: "আমি দ্রুত সবকিছু স্বাভাবিক করে ফেলব" 😵

যদি আপনি সম্পূর্ণ ডেটাসেটে স্কেলিং প্যারামিটার গণনা করেন, তাহলে আপনি মূল্যায়নের তথ্য ফাঁস করছেন। ট্রেনে ফিট করুন, বাকিগুলো রূপান্তর করুন। [2]

ভুল ২: বিশৃঙ্খলার দিকে ঝুঁকে পড়া বিভাগ 🧩

যদি আপনার ক্যাটাগরি ম্যাপিং প্রশিক্ষণ এবং অনুমানের মধ্যে পরিবর্তিত হয়, তাহলে আপনার মডেল নীরবে বিশ্বকে ভুল বুঝতে পারে। সংরক্ষিত শিল্পকর্মের মাধ্যমে ম্যাপিংগুলি স্থির রাখুন। [2]

ভুল ৩: মূল্যায়নের মধ্যে এলোমেলো বৃদ্ধি 🎲

প্রশিক্ষণের ক্ষেত্রে র‍্যান্ডম ট্রান্সফর্মেশন অসাধারণ, কিন্তু পারফরম্যান্স পরিমাপ করার সময় এগুলি "গোপনে" থাকা উচিত নয়। (র‍্যান্ডম মানে র‍্যান্ডম।) [4]


শেষ মন্তব্য 🧠✨

এআই প্রিপ্রসেসিং হল অগোছালো বাস্তবতাকে সামঞ্জস্যপূর্ণ মডেল ইনপুটে রূপান্তর করার একটি সুশৃঙ্খল শিল্প। এটি পরিষ্কার, এনকোডিং, স্কেলিং, টোকেনাইজেশন, চিত্র রূপান্তর এবং - সবচেয়ে গুরুত্বপূর্ণভাবে - পুনরাবৃত্তিযোগ্য পাইপলাইন এবং শিল্পকর্মগুলিকে অন্তর্ভুক্ত করে।

  • প্রাক-প্রক্রিয়াকরণ ইচ্ছাকৃতভাবে করুন, আকস্মিকভাবে নয়। [2]

  • প্রথমে বিভক্ত করুন, শুধুমাত্র প্রশিক্ষণের সময় রূপান্তর ফিট করুন, লিকেজ এড়ান। [2]

  • মোডালিটি-উপযুক্ত প্রিপ্রসেসিং ব্যবহার করুন (টেক্সটের জন্য টোকেনাইজার, ছবির জন্য ট্রান্সফর্ম)। [3][4]

  • উৎপাদনের স্কিউ/ড্রিফট পর্যবেক্ষণ করুন যাতে আপনার মডেল ধীরে ধীরে অর্থহীনতার দিকে না যায়। [5]

আর যদি কখনো আটকে যান, নিজেকে জিজ্ঞেস করুন:
“এই প্রিপ্রসেসিং ধাপটি যদি আমি আগামীকাল একদম নতুন ডেটার ওপর চালাই, তাহলেও কি এর কোনো মানে থাকবে?”
যদি উত্তর হয় “উমম… হয়তো?”, তাহলে সেটাই আপনার জন্য সূত্র 😬

বাস্তব উদাহরণ: গ্রাহক হারানোর পূর্বাভাসের জন্য একটি লিকেজ-সেফ প্রিপ্রসেসিং পাইপলাইন তৈরি করা

দৃশ্যকল্প

ধরুন, একটি ছোট SaaS টিম ভবিষ্যদ্বাণী করার চেষ্টা করছে যে আগামী ৩০ দিনের মধ্যে কোন গ্রাহকরা তাদের পরিষেবা বাতিল করতে পারে। তাদের প্রাথমিক ডেটা তিনটি জায়গায় সংরক্ষিত থাকে: বিলিং এক্সপোর্ট, প্রোডাক্ট ব্যবহারের লগ এবং সাপোর্ট টিকেট।.

মডেলটির প্রথম সংস্করণটি ভ্যালিডেশনে চমৎকার দেখালেও, নতুন এক মাসের গ্রাহকদের উপর পরীক্ষা করলে এর পারফরম্যান্স খারাপ হয়। সমস্যাটি মডেলের আর্কিটেকচারে নয়, বরং প্রিপ্রসেসিং-এ।.

দলটি ভুলবশত সম্পূর্ণ ডেটাসেট ব্যবহার করে সংখ্যাসূচক বৈশিষ্ট্যগুলিকে স্কেল করেছে, ট্রেন এবং টেস্ট ডেটা একসাথে ব্যবহার করে ক্যাটাগরি ম্যাপিং তৈরি করেছে এবং বাতিলের পরে যোগ করা সাপোর্ট-টিকেট ট্যাগগুলি অন্তর্ভুক্ত করেছে। এটি একটি ক্লাসিক ডেটা লিকেজ। কষ্টকর, কিন্তু সমাধানযোগ্য। [2]

পাইপলাইনের যা প্রয়োজন

একটি বাস্তবসম্মত সেটআপে অন্তর্ভুক্ত থাকবে:

  • একটি নির্দিষ্ট ইনপুট স্কিমা: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

  • সময়ভিত্তিক বিভাজন, যেমন জানুয়ারি–সেপ্টেম্বর পর্যন্ত প্রশিক্ষণ এবং অক্টোবরে পরীক্ষা।

  • সংখ্যাসূচক স্কেলিং শুধুমাত্র প্রশিক্ষণ স্প্লিটে ফিট করা হয়েছে।

  • ক্যাটেগরিক্যাল এনকোডারগুলো শুধুমাত্র ট্রেনিং স্প্লিটে ফিট করা হয়েছিল।

  • একটি সংরক্ষিত প্রিপ্রসেসিং পাইপলাইন, যাতে প্রোডাকশনে একই ম্যাপিং এবং স্কেলার মান ব্যবহৃত হয়।

  • ডেপ্লয়মেন্টের পরে অনুপস্থিত কলাম, অদৃশ্য ক্যাটাগরি এবং ডিস্ট্রিবিউশন পরিবর্তনের জন্য প্রাথমিক পর্যবেক্ষণ।

মূল নিয়মটি সহজ: প্রথমে বিভাজন, দ্বিতীয়ত ফিট প্রিপ্রসেসিং। ডেটা থেকে যা কিছু শেখে, তার কেবল প্রশিক্ষণ সময়কাল থেকেই শেখা উচিত। [2]

উদাহরণ নির্দেশাবলী

প্রিপ্রসেসিং ধাপের জন্য এটিকে কার্যকারী নির্দেশিকা হিসেবে ব্যবহার করুন:

গ্রাহকের বিলিং, ব্যবহার এবং সাপোর্ট ডেটা ব্যবহার করে একটি চর্ন প্রেডিকশন মডেলের জন্য একটি প্রিপ্রসেসিং পাইপলাইন তৈরি করুন। যেকোনো ট্রান্সফর্মার ফিট করার আগে সময় অনুযায়ী ডেটা ভাগ করুন। শুধুমাত্র ট্রেনিং ডেটার উপর নিউমেরিক স্কেলার এবং ক্যাটেগরিক্যাল এনকোডার ফিট করুন, তারপর সেই ফিট করা ট্রান্সফর্মগুলো ভ্যালিডেশন এবং টেস্ট ডেটাতে প্রয়োগ করুন। সমস্ত প্রিপ্রসেসিং আর্টিফ্যাক্ট সংরক্ষণ করুন যাতে প্রোডাকশন মডেল একই স্কিমা, ক্যাটাগরি ম্যাপিং এবং স্কেলিং প্যারামিটার ব্যবহার করে। প্রেডিকশনের আগে অনুপস্থিত কলাম, অপ্রত্যাশিত ডেটা টাইপ, অদেখা ক্যাটাগরি এবং বড় ধরনের ডিস্ট্রিবিউশন শিফট চিহ্নিত করুন।.

কীভাবে এটি পরীক্ষা করবেন

মডেলটিকে বিশ্বাস করার আগে, ইচ্ছাকৃতভাবে কয়েকটি অস্বাভাবিক রেকর্ড দিয়ে প্রিপ্রসেসিং পাইপলাইনটি পরীক্ষা করে দেখুন:

  • একজন গ্রাহক এমন একটি প্ল্যান টাইপের অধীনে ছিলেন যা প্রশিক্ষণে অন্তর্ভুক্ত ছিল না।

  • যে সারিতে অঞ্চল বা শেষ_পেমেন্টের_স্থিতি অনুপস্থিত

  • একজন গ্রাহক যার ব্যবহার অস্বাভাবিকভাবে বেশি, যেমন ৩০ দিনে ১০,০০০ বার লগইন।

  • একটি প্রোডাকশন-স্টাইল ফাইল যেখানে কলামগুলো ভুল ক্রমে সাজানো আছে।

  • ভবিষ্যতের মাসের জন্য একটি পরীক্ষামূলক সেট যা ফিটিংয়ের সময় কখনও ব্যবহার করা হয়নি

তারপর তিনটি জিনিস যাচাই করুন:

  • ফিচারের ক্রম পরিবর্তন না করে কি পাইপলাইনটি চলে?

  • অজানা বিভাগগুলো কি ধারাবাহিকভাবে পরিচালনা করা হয়?

  • লিকেজ অপসারণের পর ভ্যালিডেশন পারফরম্যান্স কি আরও বিশ্বাসযোগ্য পর্যায়ে নেমে আসে?

শেষের বিষয়টি গুরুত্বপূর্ণ। সন্দেহজনকভাবে উচ্চ ভ্যালিডেশন স্কোর প্রায়শই প্রিপ্রসেসিংয়ের ত্রুটি নির্দেশ করে, কোনো অলৌকিক ঘটনা নয়।.

ফলাফল

নোটবুকের ধাপগুলোকে সংরক্ষিত পাইপলাইনে রূপান্তর করার আগে ও পরে পাঁচটি নমুনা প্রিপ্রসেসিং রানের সময় পরিমাপের উপর ভিত্তি করে প্রাপ্ত দৃষ্টান্তমূলক ফলাফল:

  • প্রতি ডেটাসেট রিফ্রেশে ম্যানুয়াল প্রিপ্রসেসিংয়ের সময় ৫৫ মিনিট থেকে কমে ৮ মিনিটে নেমে এসেছে।.

  • ফিচার-অর্ডার সংক্রান্ত ত্রুটি ৫টি টেস্ট রিফ্রেশে ৩টি থেকে কমে ৫টি রিফ্রেশে ০টিতে নেমে এসেছে।.

  • লিকেজ অপসারণের পর ভ্যালিডেশন অ্যাকুরেসি ৯১% থেকে কমে ৭৪% হয়েছে, কিন্তু ফ্রেশ-মান্থ টেস্ট অ্যাকুরেসি ৬২% থেকে বেড়ে ৭১% হয়েছে।.

  • দলটি ৬টি স্বয়ংক্রিয় যাচাইকরণ ব্যবস্থা যুক্ত করেছে: অনুপস্থিত কলাম, অবৈধ টাইপ, অদেখা ক্যাটাগরি, নাল-রেট পরিবর্তন, সাংখ্যিক পরিসরের পরিবর্তন, এবং ট্রেন-সার্ভিং স্কিমার অমিল।.

এই সংখ্যাগুলো কোনো সার্বজনীন মানদণ্ড নয়। এগুলো হলো এমন এক ধরনের সাধারণ পূর্ববর্তী ও পরবর্তী পরিমাপ, যা একটি দল রিফ্রেশের সময় নির্ধারণ করে, ব্যর্থ রানগুলো গণনা করে এবং ভবিষ্যতের কোনো মাসের সাথে যাচাইকরণের ফলাফল তুলনা করে পুনরায় করতে পারে।.

কী ভুল হতে পারে

সবচেয়ে বড় ঝুঁকি হলো, পাইপলাইনটিকে ত্রুটিমুক্ত দেখানোর চেষ্টা করা এবং একই সাথে নীরবে তথ্য ফাঁসের সুযোগ বজায় রাখা। উদাহরণস্বরূপ, “শেষ বাতিলকরণ সতর্কীকরণ ইমেল পাঠানোর পর থেকে অতিবাহিত দিন” এই তথ্যটি মূল্যবান মনে হতে পারে, কিন্তু যদি সেই ইমেলটি শুধুমাত্র অভ্যন্তরীণ গ্রাহক হারানোর পর্যালোচনা (churn review) করার পরেই পাঠানো হয়, তবে তা থেকে ভবিষ্যতের তথ্য ফাঁস হয়ে যেতে পারে।.

অন্যান্য সাধারণ ফাঁদ:

  • সংরক্ষিত ম্যাপিং লোড করার পরিবর্তে উৎপাদনে এনকোডারগুলি পুনরায় স্থাপন করা

  • নতুন বিভাগগুলোকে নীরবে বৈশিষ্ট্যের অবস্থান পরিবর্তন করতে দেওয়া

  • যখন আসল কাজটি সময়-ভিত্তিক, তখন র‍্যান্ডম স্প্লিটে পরীক্ষা করা হচ্ছে।

  • প্রশিক্ষণের সময় অনুপস্থিত মান সহ সারিগুলি বাদ দেওয়া হচ্ছে কিন্তু ইনফারেন্সের সময় সেগুলি পরিচালনা করা হচ্ছে না।

  • ইনপুট ড্রিফট উপেক্ষা করে মডেলের নির্ভুলতা পর্যবেক্ষণ করা

ব্যবহারিক শিক্ষা

একটি ভালো প্রিপ্রসেসিং পাইপলাইন শুধু কাঁচা ডেটাকে পরিপাটি করার চেয়েও বেশি কিছু করে। এটি মডেলকে ভুল মূল্যায়ন, ত্রুটিপূর্ণ প্রোডাকশন ইনপুট এবং ধীর ও নীরব ড্রিফট থেকে রক্ষা করে। একটি চর্ন মডেলের ক্ষেত্রে, বুদ্ধিদীপ্ত প্রিপ্রসেসিং এবং নির্ভরযোগ্য প্রিপ্রসেসিংয়ের মধ্যে পার্থক্য প্রায়শই এই বিষয়ের উপর নির্ভর করে যে, প্রতিবার একই ফিটেড ট্রান্সফর্মগুলো পুনঃব্যবহার করা হচ্ছে কি না, বিশেষ করে যখন ডেটা এমন কোনো মাস থেকে আসে যা মডেলটি আগে কখনো দেখেনি।.


প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

সহজ ভাষায়, এআই প্রিপ্রসেসিং কী?

এআই প্রিপ্রসেসিং হল পুনরাবৃত্তিযোগ্য ধাপগুলির একটি সেট যা শব্দযুক্ত, উচ্চ-ভেরিয়েন্সের কাঁচা ডেটাকে একটি মডেল যেখান থেকে শিখতে পারে তার সামঞ্জস্যপূর্ণ ইনপুটে রূপান্তরিত করে। এর মধ্যে পরিষ্কারকরণ, বৈধতা, এনকোডিং বিভাগ, সংখ্যাসূচক মান স্কেল করা, পাঠ্য টোকেনাইজ করা এবং চিত্র রূপান্তর প্রয়োগ করা অন্তর্ভুক্ত থাকতে পারে। লক্ষ্য হল প্রশিক্ষণ এবং উৎপাদন অনুমান নিশ্চিত করা যাতে "একই ধরণের" ইনপুট দেখা যায়, যাতে মডেলটি পরে অপ্রত্যাশিত আচরণে না পড়ে।.

উৎপাদনে AI প্রিপ্রসেসিং এত গুরুত্বপূর্ণ কেন?

প্রিপ্রসেসিং গুরুত্বপূর্ণ কারণ মডেলগুলি ইনপুট উপস্থাপনার প্রতি সংবেদনশীল। যদি প্রশিক্ষণের ডেটা স্কেল করা হয়, এনকোড করা হয়, টোকেনাইজ করা হয়, অথবা উৎপাদন ডেটার চেয়ে ভিন্নভাবে রূপান্তরিত করা হয়, তাহলে আপনি ট্রেন/সার্ভ মিসম্যাচ ব্যর্থতা পেতে পারেন যা অফলাইনে ঠিক দেখায় কিন্তু অনলাইনে চুপচাপ ব্যর্থ হয়। শক্তিশালী প্রিপ্রসেসিং পাইপলাইনগুলি শব্দ কমায়, শেখার স্থিতিশীলতা উন্নত করে এবং পুনরাবৃত্তির গতি বাড়ায় কারণ আপনি নোটবুক স্প্যাগেটি জট ছাড়াচ্ছেন না।.

প্রি-প্রসেসিংয়ের সময় আমি কীভাবে ডেটা ফাঁস এড়াতে পারি?

একটি সহজ নিয়ম কাজ করে: ফিট স্টেপ আছে এমন যেকোনো কিছু শুধুমাত্র ট্রেনিং ডেটার উপর ফিট করতে হবে। এর মধ্যে স্কেলার, এনকোডার এবং টোকেনাইজার অন্তর্ভুক্ত, যেগুলো মিন, ক্যাটাগরি ম্যাপ বা ভোকাবুলারির মতো প্যারামিটার শেখে। প্রথমে স্প্লিট করতে হয়, ট্রেনিং স্প্লিটের উপর ফিট করতে হয়, তারপর ফিট করা ট্রান্সফর্মার ব্যবহার করে ভ্যালিডেশন/টেস্ট ট্রান্সফর্ম করতে হয়। লিকেজের কারণে ভ্যালিডেশন দেখতে "জাদুকরীভাবে" ভালো লাগতে পারে এবং প্রোডাকশন ব্যবহারের সময় তা ভেঙে পড়তে পারে।

ট্যাবুলার ডেটার জন্য সবচেয়ে সাধারণ প্রিপ্রসেসিং ধাপগুলি কী কী?

ট্যাবুলার ডেটার জন্য, স্বাভাবিক পাইপলাইনে পরিষ্কারকরণ এবং বৈধতা (প্রকার, পরিসর, অনুপস্থিত মান), শ্রেণীগত এনকোডিং (এক-গরম বা ক্রমিক), এবং সংখ্যাসূচক স্কেলিং (মানীকরণ বা সর্বনিম্ন-সর্বোচ্চ) অন্তর্ভুক্ত থাকে। অনেক পাইপলাইন ডোমেন-চালিত বৈশিষ্ট্য ইঞ্জিনিয়ারিং যেমন অনুপাত, রোলিং উইন্ডো বা গণনা যোগ করে। একটি ব্যবহারিক অভ্যাস হল কলাম গ্রুপগুলিকে স্পষ্টভাবে সংজ্ঞায়িত করা (সংখ্যাসূচক বনাম শনাক্তকারী) যাতে আপনার রূপান্তরগুলি সামঞ্জস্যপূর্ণ থাকে।.

টেক্সট মডেলের জন্য প্রিপ্রসেসিং কীভাবে কাজ করে?

টেক্সট প্রিপ্রসেসিং বলতে সাধারণত টোকেনাইজেশনকে টোকেন/সাবওয়ার্ডে রূপান্তর করা, ইনপুট আইডিতে রূপান্তর করা এবং ব্যাচিংয়ের জন্য প্যাডিং/ট্রাঙ্কেশন পরিচালনা করা বোঝায়। অনেক ট্রান্সফরমার ওয়ার্কফ্লো আইডির পাশাপাশি একটি মনোযোগ মুখোশও তৈরি করে। একটি সাধারণ পদ্ধতি হল ইম্প্রোভাইজিংয়ের পরিবর্তে মডেলের প্রত্যাশিত টোকেনাইজার কনফিগারেশন ব্যবহার করা, কারণ টোকেনাইজার সেটিংসের সামান্য পার্থক্য "এটি প্রশিক্ষণ দেয় কিন্তু এটি অপ্রত্যাশিতভাবে আচরণ করে" ফলাফলের দিকে নিয়ে যেতে পারে।.

মেশিন লার্নিংয়ের জন্য ছবি প্রিপ্রসেস করার মধ্যে পার্থক্য কী?

চিত্র প্রিপ্রসেসিং সাধারণত সামঞ্জস্যপূর্ণ আকার এবং পিক্সেল হ্যান্ডলিং নিশ্চিত করে: আকার পরিবর্তন/ক্রপিং, স্বাভাবিকীকরণ এবং নির্ধারক এবং এলোমেলো রূপান্তরের মধ্যে একটি স্পষ্ট বিভাজন। মূল্যায়নের জন্য, রূপান্তরগুলি নির্ধারক হওয়া উচিত যাতে মেট্রিক্স তুলনীয় হয়। প্রশিক্ষণের জন্য, এলোমেলো বৃদ্ধি (এলোমেলো ফসলের মতো) দৃঢ়তা উন্নত করতে পারে, তবে এলোমেলোতা ইচ্ছাকৃতভাবে প্রশিক্ষণ বিভাজনের সাথে সংযুক্ত করা উচিত, মূল্যায়নের সময় দুর্ঘটনাক্রমে ছেড়ে দেওয়া উচিত নয়।.

একটি প্রি-প্রসেসিং পাইপলাইন ভঙ্গুর না হয়ে "ভালো" কেন হয়?

একটি ভালো AI প্রিপ্রসেসিং পাইপলাইন পুনরুৎপাদনযোগ্য, লিকেজ-নিরাপদ এবং পর্যবেক্ষণযোগ্য। পুনরুৎপাদনযোগ্য মানে একই ইনপুট একই আউটপুট উৎপন্ন করে যদি না এলোমেলোতা ইচ্ছাকৃতভাবে বৃদ্ধি করা হয়। লিকেজ-নিরাপদ মানে ফিট ধাপগুলি কখনই বৈধতা/পরীক্ষা স্পর্শ করে না। পর্যবেক্ষণযোগ্য মানে আপনি অনুপস্থিতি, বিভাগ গণনা এবং বৈশিষ্ট্য বিতরণের মতো পরিসংখ্যান পরিদর্শন করতে পারেন তাই ডিবাগিং প্রমাণের উপর ভিত্তি করে, অন্ত্রের অনুভূতির উপর নয়। পাইপলাইনগুলি প্রতিবার অ্যাড-হক নোটবুক সিকোয়েন্সগুলিকে ছাড়িয়ে যায়।.

প্রশিক্ষণ এবং অনুমান প্রিপ্রসেসিং কীভাবে সামঞ্জস্যপূর্ণ রাখব?

মূল কথা হলো, ইনফারেন্স টাইমে একই শেখা জিনিসপত্র পুনঃব্যবহার করা: স্কেলার প্যারামিটার, এনকোডার ম্যাপিং এবং টোকেনাইজার কনফিগারেশন। আপনি একটি ইনপুট চুক্তি (প্রত্যাশিত কলাম, ধরণ এবং ব্যাপ্তি)ও চান যাতে উৎপাদন ডেটা চুপচাপ অবৈধ আকারে প্রবাহিত না হয়। ধারাবাহিকতা কেবল "একই ধাপগুলি করা" নয় - এটি "একই লাগানো প্যারামিটার এবং ম্যাপিং সহ একই ধাপগুলি করা"।

সময়ের সাথে সাথে ড্রিফট এবং স্কিউ-এর মতো প্রিপ্রসেসিং সমস্যাগুলি আমি কীভাবে পর্যবেক্ষণ করতে পারি?

এমনকি একটি শক্ত পাইপলাইন থাকা সত্ত্বেও, উৎপাদন তথ্য পরিবর্তিত হয়। একটি সাধারণ পদ্ধতি হল বৈশিষ্ট্য বিতরণের পরিবর্তনগুলি পর্যবেক্ষণ করা এবং প্রশিক্ষণ-পরিবেশন স্কিউ (প্রশিক্ষণ থেকে উৎপাদন বিচ্যুত হয়) এবং ইনফারেন্স ড্রিফ্ট (সময়ের সাথে সাথে উৎপাদন পরিবর্তন) সম্পর্কে সতর্ক করা। পর্যবেক্ষণ হালকা (মৌলিক বিতরণ পরীক্ষা) বা পরিচালিত (যেমন ভার্টেক্স এআই মডেল মনিটরিং) হতে পারে। লক্ষ্য হল ইনপুট শিফটগুলি ধীরে ধীরে মডেলের কর্মক্ষমতা নষ্ট করার আগে - তাড়াতাড়ি ধরা।.

তথ্যসূত্র

[1] স্কিকিট-লার্ন এপিআই: sklearn.preprocessing (এনকোডার, স্কেলার, নর্মালাইজেশন)
[2] স্কিকিট-লার্ন: সাধারণ ভুল - ডেটা লিকেজ এবং কীভাবে এটি এড়ানো যায়
[3] হাগিং ফেস ট্রান্সফর্মার ডক্স: টোকেনাইজার (ইনপুট আইডি, অ্যাটেনশন মাস্ক)
[4] পাইটর্চ টর্চভিশন ডক্স: ট্রান্সফর্ম (রিসাইজ/নর্মালাইজ + র‍্যান্ডম ট্রান্সফর্ম)
[5] গুগল ক্লাউড ভার্টেক্স এআই ডক্স: মডেল মনিটরিং ওভারভিউ (ফিচার স্কিউ এবং ড্রিফট)

অফিসিয়াল এআই অ্যাসিস্ট্যান্ট স্টোরে সর্বশেষ এআই খুঁজুন

আমাদের সম্পর্কে

কুইজ
১. মেশিন লার্নিং-এ এআই প্রিপ্রসেসিং-এর প্রধান উদ্দেশ্য কী?
২. একজন ডেটা সায়েন্টিস্ট কীভাবে প্রিপ্রসেসিংয়ের সময় নির্ভরযোগ্যভাবে ডেটা লিকেজ প্রতিরোধ করতে পারেন?
৩. ট্রান্সফরমার-ভিত্তিক মডেলের জন্য টেক্সট প্রিপ্রসেস করার ক্ষেত্রে একটি অত্যন্ত গুরুত্বপূর্ণ উত্তম অনুশীলন কোনটি?
৪. মডেল মূল্যায়নের সময় র‍্যান্ডম অগমেন্টেশন (যেমন র‍্যান্ডম ক্রপিং) চালু রাখা কেন বিপজ্জনক?
৫. প্রশিক্ষণের সময় মডেলটি যে ডেটা দেখেছিল, প্রোডাকশনের ইনপুট ডেটা যদি ধীরে ধীরে তার থেকে পরিবর্তিত হয়, তাহলে কী হবে?
ব্লগে ফিরে যান

অতিরিক্ত প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

  • এআই প্রিপ্রসেসিং কীভাবে মেশিন লার্নিং মডেলের উন্নতি ঘটায়?

    এআই প্রিপ্রসেসিং কাঁচা ডেটাকে সামঞ্জস্যপূর্ণ ও মডেল-উপযোগী ফিচারে রূপান্তরিত করার মাধ্যমে মেশিন লার্নিং মডেলের কার্যকারিতা বৃদ্ধি করে। এটি লার্নিং স্থিতিশীলতা বাড়াতে, অপ্রয়োজনীয় ডেটা (নয়েজ) কমাতে এবং নীরব ব্যর্থতার ঝুঁকি হ্রাস করতে সাহায্য করে, যা প্রশিক্ষণ ও প্রোডাকশন উভয় পরিবেশেই মডেলের নির্ভরযোগ্য কর্মক্ষমতা নিশ্চিত করে।.

  • এআই প্রিপ্রসেসিং প্রক্রিয়ায় কী কী ধাপ অন্তর্ভুক্ত রয়েছে?

    এআই প্রিপ্রসেসিং-এর মধ্যে সাধারণত ডেটা পরিষ্করণ ও যাচাইকরণ, ক্যাটাগরিক্যাল ভেরিয়েবল এনকোড করা, নিউমেরিক ডেটার স্কেলিং, টেক্সট টোকেনাইজ করা এবং ইমেজ ট্রান্সফরমেশন প্রয়োগ করা অন্তর্ভুক্ত থাকে। মডেলটি যাতে ইনপুট ডেটা থেকে কার্যকরভাবে শিখতে পারে, তা নিশ্চিত করার জন্য প্রতিটি ধাপই অপরিহার্য।.

  • এআই প্রিপ্রসেসিং-এ সামঞ্জস্যতা কেন গুরুত্বপূর্ণ?

    ট্রেনিং এবং প্রোডাকশন ডেটা ইনপুটের মধ্যে অমিল রোধ করার জন্য এআই প্রিপ্রসেসিং-এ সামঞ্জস্যতা অত্যন্ত গুরুত্বপূর্ণ। প্রিপ্রসেসিং ধাপগুলো ভিন্ন হলে, মডেলটি ভ্যালিডেশনের সময় ভালো পারফর্ম করলেও বাস্তব পরিস্থিতিতে নীরবে ব্যর্থ হতে পারে, যার ফলে ফলাফল অনির্ভরযোগ্য হয়ে পড়ে।.

  • এআই প্রিপ্রসেসিং-এর প্রেক্ষাপটে ডেটা লিকেজ বলতে কী বোঝায়?

    যখন মূল্যায়ন বা পরীক্ষার ডেটাসেট থেকে তথ্য অনিচ্ছাকৃতভাবে প্রশিক্ষণ প্রক্রিয়াকে প্রভাবিত করে, তখন ডেটা লিকেজ ঘটে। এটি এড়ানোর জন্য, প্যারামিটার শেখার সমস্ত প্রিপ্রসেসিং ধাপ শুধুমাত্র প্রশিক্ষণ ডেটার উপর প্রয়োগ করা উচিত, যা নিশ্চিত করে যে মডেলের মূল্যায়ন প্রকৃত পারফরম্যান্সকে প্রতিফলিত করে।.

  • আমি কীভাবে নিশ্চিত করতে পারি যে আমার এআই প্রিপ্রসেসিং পাইপলাইনটি পুনরুৎপাদনযোগ্য?

    আপনার এআই প্রিপ্রসেসিং পাইপলাইনে পুনরাবৃত্তিযোগ্যতা নিশ্চিত করতে, একই ইনপুট-আউটপুট ম্যাপিং বজায় রাখুন, স্কেলার এবং এনকোডারের মতো প্রিপ্রসেসিং আর্টিফ্যাক্টগুলো শুধুমাত্র ট্রেনিং ডেটার উপর ফিট করুন, এবং মডেল ইনফারেন্সের সময় ব্যবহারের জন্য এই আর্টিফ্যাক্টগুলো সংরক্ষণ করুন।.

  • মডেলের পারফরম্যান্স সমস্যা এড়াতে আমার এআই প্রিপ্রসেসিং-এ কী কী পর্যবেক্ষণ করা উচিত?

    সময়ের সাথে সাথে আপনার ডেটার মধ্যে বিচ্যুতি এবং অসামঞ্জস্যের দিকে নজর রাখা গুরুত্বপূর্ণ। এর জন্য ফিচার ডিস্ট্রিবিউশনের পরিবর্তন পরীক্ষা করতে হয় এবং প্রোডাকশন ডেটা যেন ট্রেনিং ডেটার সাথে সামঞ্জস্যপূর্ণ থাকে, তা নিশ্চিত করতে হয়। এই ধরনের সমস্যাগুলো আগেভাগে শনাক্ত করা গেলে মডেলের পারফরম্যান্স বজায় রাখতে সাহায্য হতে পারে।.

  • প্রাক-প্রক্রিয়াকরণের (preprocessing) সময় এড়িয়ে চলার মতো সাধারণ ভুলগুলোর কিছু উদাহরণ দিতে পারেন?

    সাধারণ প্রিপ্রসেসিং ভুলগুলোর মধ্যে রয়েছে পুরো ডেটাসেটের উপর প্রিপ্রসেসিং ধাপগুলো প্রয়োগ করা, যার ফলে ডেটা লিকেজ হয়; ট্রেনিং এবং ইনফারেন্সের মধ্যে ক্যাটাগরি ম্যাপিংয়ের অসামঞ্জস্যতা দেখা দেয়; এবং ইভ্যালুয়েশনের সময় যথেচ্ছ ট্রান্সফরমেশন সক্রিয় রাখা, যা পারফরম্যান্স মেট্রিকসকে বিকৃত করতে পারে।.