AI-এর জন্য অবজেক্ট স্টোরেজ: পছন্দ, পছন্দ, পছন্দ

যখন বেশিরভাগ মানুষ "কৃত্রিম বুদ্ধিমত্তা" শোনে, তখন তারা নিউরাল নেট, অভিনব অ্যালগরিদম, অথবা হয়তো সেই সামান্য অদ্ভুত মানবিক রোবটগুলির কল্পনা করে। যা খুব কমই আগে উল্লেখ করা হয় তা হল: AI প্রায় ততটাই হিংস্রভাবে স্টোরেজ খায় যতটা এটি গণনা করে । এবং কেবল কোনও স্টোরেজ-অবজেক্ট স্টোরেজই পটভূমিতে চুপচাপ বসে থাকে না, মডেলগুলিকে তাদের প্রয়োজনীয় ডেটা সরবরাহ করার অসম্মানজনক কিন্তু একেবারে অপরিহার্য কাজ করে।

আসুন জেনে নেওয়া যাক AI-এর জন্য অবজেক্ট স্টোরেজ কেন এত গুরুত্বপূর্ণ, স্টোরেজ সিস্টেমের "পুরাতন প্রহরী" থেকে এটি কীভাবে আলাদা এবং কেন এটি স্কেলেবিলিটি এবং কর্মক্ষমতার জন্য অন্যতম গুরুত্বপূর্ণ লিভার হয়ে ওঠে।.

এর পরে আপনি যে প্রবন্ধগুলি পড়তে পছন্দ করতে পারেন:

🔗 ব্যবসার জন্য বৃহৎ আকারের জেনারেটিভ এআই ব্যবহার করার জন্য কোন প্রযুক্তিগুলি অবশ্যই থাকা উচিত?
জেনারেটিভ এআই কার্যকরভাবে স্কেল করার জন্য ব্যবসাগুলির প্রয়োজনীয় মূল প্রযুক্তি।.

🔗 AI টুলের জন্য ডেটা ম্যানেজমেন্ট যা আপনার দেখা উচিত
এআই কর্মক্ষমতা অপ্টিমাইজ করার জন্য ডেটা পরিচালনার সর্বোত্তম অনুশীলন।.

🔗 ব্যবসায়িক কৌশলের জন্য কৃত্রিম বুদ্ধিমত্তার প্রভাব
ব্যবসায়িক কৌশল এবং দীর্ঘমেয়াদী সিদ্ধান্ত গ্রহণের উপর AI কীভাবে প্রভাব ফেলে।.

AI-এর জন্য অবজেক্ট স্টোরেজ টিক কী তৈরি করে? 🌟

বড় ধারণা: অবজেক্ট স্টোরেজ ফোল্ডার বা অনমনীয় ব্লক লেআউটের সাথে জড়িত নয়। এটি ডেটাকে "অবজেক্ট"-এ বিভক্ত করে, প্রতিটি মেটাডেটা দিয়ে ট্যাগ করা হয়। সেই মেটাডেটা সিস্টেম-স্তরের জিনিস (আকার, টাইমস্ট্যাম্প, স্টোরেজ ক্লাস) এবং ব্যবহারকারী-সংজ্ঞায়িত কী:মান ট্যাগ [1] হতে পারে। এটিকে প্রতিটি ফাইলের মতো ভাবুন যাতে স্টিকি নোটের একটি স্তুপ থাকে যা আপনাকে ঠিক কী, এটি কীভাবে তৈরি করা হয়েছিল এবং এটি আপনার পাইপলাইনে কোথায় ফিট করে তা বলে।

এআই দলগুলির জন্য, সেই নমনীয়তা একটি গেম-চেঞ্জার:

• মাইগ্রেন ছাড়াই স্কেল - ডেটা লেক পেটাবাইট পর্যন্ত বিস্তৃত, এবং অবজেক্ট স্টোরগুলি সহজেই এটি পরিচালনা করে। এগুলি প্রায় সীমাহীন বৃদ্ধি এবং বহু-AZ স্থায়িত্বের জন্য ডিজাইন করা হয়েছে (Amazon S3 ডিফল্টরূপে "11 নাইন" এবং ক্রস-জোন প্রতিলিপি সম্পর্কে গর্ব করে) [2]।

• মেটাডেটা সমৃদ্ধি - দ্রুত অনুসন্ধান, পরিষ্কার ফিল্টার এবং আরও স্মার্ট পাইপলাইন, কারণ প্রতিটি বস্তুর সাথে প্রসঙ্গও সংযুক্ত থাকে [1]।

• ক্লাউড-নেটিভ - HTTP(S)-এর মাধ্যমে ডেটা আসে, যার অর্থ আপনি টানগুলিকে সমান্তরাল করতে পারেন এবং বিতরণকৃত প্রশিক্ষণকে গুনগুন করে চালিয়ে যেতে পারেন।

• স্থিতিস্থাপকতা তৈরি - যখন আপনি কয়েকদিন ধরে প্রশিক্ষণ নিচ্ছেন, তখন আপনি একটি দূষিত শার্ডকে এপোক ১২ হত্যার ঝুঁকি নিতে পারবেন না। অবজেক্ট স্টোরেজ ডিজাইনের মাধ্যমে এটি এড়ায় [2]।

এটি মূলত একটি তলাবিহীন ব্যাকপ্যাক: হয়তো ভেতরে এলোমেলো, কিন্তু যখন আপনি এটির দিকে হাত দেবেন তখন সবকিছুই পুনরুদ্ধার করা সম্ভব।.

এআই অবজেক্ট স্টোরেজের জন্য দ্রুত তুলনা সারণী 🗂️

আপনার বাস্তব ব্যবহারের সাথে - বিশেষ করে বহির্গমন, অনুরোধের পরিমাণ এবং স্টোরেজ-শ্রেণীর মিশ্রণের সাথে - সর্বদা বিচক্ষণতা-পরীক্ষা করুন।.

কেন এআই প্রশিক্ষণ বস্তু সংরক্ষণ পছন্দ করে 🧠

প্রশিক্ষণ মানে "কয়েকটি ফাইল" নয়। এটি লক্ষ লক্ষ রেকর্ডকে সমান্তরালভাবে ভেঙে ফেলা। হায়ারার্কিকাল ফাইল সিস্টেমগুলি ভারী সম্মতির অধীনে আটকে থাকে। অবজেক্ট স্টোরেজ ফ্ল্যাট নেমস্পেস এবং পরিষ্কার API এর মাধ্যমে এটিকে এড়িয়ে যায়। প্রতিটি বস্তুর একটি অনন্য কী থাকে; কর্মীরা সমান্তরালভাবে ফ্যান আউট করে এবং আনে। ভাগ করা ডেটাসেট + সমান্তরাল I/O = GPU গুলি অপেক্ষা করার পরিবর্তে ব্যস্ত থাকে।

টিপস: কম্পিউট ক্লাস্টারের কাছে (একই অঞ্চল বা জোন) গরম শার্ড রাখুন এবং SSD-তে আক্রমণাত্মকভাবে ক্যাশে করুন। যদি আপনার GPU-তে সরাসরি ফিডের প্রয়োজন হয়, তাহলে NVIDIA GPUDirect স্টোরেজটি দেখার মতো - এটি CPU বাউন্স বাফারগুলিকে ছাঁটাই করে, ল্যাটেন্সি কমায় এবং সরাসরি অ্যাক্সিলারেটরে ব্যান্ডউইথ আপ করে [4]।

মেটাডেটা: অবমূল্যায়িত সুপারপাওয়ার 🪄

এখানেই অবজেক্ট স্টোরেজ কম স্পষ্টভাবে দেখা যায়। আপলোডের সময়, আপনি কাস্টম মেটাডেটা (যেমন x-amz-meta-… )। উদাহরণস্বরূপ, একটি ভিশন ডেটাসেট ছবিগুলিকে lighting=low বা blur=high raw ফাইলগুলি পুনরায় স্ক্যান না করেই ফিল্টার, ভারসাম্য বা স্তরবিন্যাস করতে দেয় [1]।

এবং তারপর আছে ভার্সনিং । অনেক অবজেক্ট স্টোর একটি অবজেক্টের একাধিক সংস্করণ পাশাপাশি রাখে - পুনরুৎপাদনযোগ্য পরীক্ষা-নিরীক্ষা বা শাসন নীতির জন্য নিখুঁত যা রোলব্যাকের প্রয়োজন [5]।

অবজেক্ট বনাম ব্লক বনাম ফাইল স্টোরেজ ⚔️

• ব্লক স্টোরেজ : লেনদেনের ডাটাবেসের জন্য দুর্দান্ত - দ্রুত এবং সুনির্দিষ্ট - কিন্তু পেটাবাইট-স্কেল আনস্ট্রাকচার্ড ডেটার জন্য খুব ব্যয়বহুল।

• ফাইল স্টোরেজ : পরিচিত, POSIX-বান্ধব, কিন্তু ডিরেক্টরিগুলি ব্যাপক সমান্তরাল লোডের কারণে দম বন্ধ হয়ে যায়।

• অবজেক্ট স্টোরেজ : স্কেল, সমান্তরালতা এবং মেটাডেটা-চালিত অ্যাক্সেসের জন্য প্রাথমিকভাবে ডিজাইন করা হয়েছে [1]।

যদি তুমি একটা আনাড়ি রূপক চাও: ব্লক স্টোরেজ হলো একটা ফাইলিং ক্যাবিনেট, ফাইল স্টোরেজ হলো একটা ডেস্কটপ ফোল্ডার, আর অবজেক্ট স্টোরেজ হলো... একটা অতল গর্ত যেখানে স্টিকি নোট আছে যা কোনো না কোনোভাবে এটিকে ব্যবহারযোগ্য করে তোলে।.

হাইব্রিড এআই ওয়ার্কফ্লো 🔀

এটা সবসময় কেবল মেঘের মতো হয় না। একটি সাধারণ মিশ্রণ দেখতে এরকম:

• সংবেদনশীল বা নিয়ন্ত্রিত ডেটার জন্য অন-প্রেম অবজেক্ট স্টোরেজ

• বার্স্ট ওয়ার্কলোড, পরীক্ষা-নিরীক্ষা, বা সহযোগিতার জন্য ক্লাউড অবজেক্ট স্টোরেজ

এই ভারসাম্য খরচ, সম্মতি এবং তত্পরতার উপর প্রভাব ফেলে। আমি দেখেছি যে দলগুলি আক্ষরিক অর্থেই একটি অস্থায়ী GPU ক্লাস্টার জ্বালানোর জন্য রাতারাতি একটি S3 বালতিতে টেরাবাইট ফেলে দেয় - তারপর স্প্রিন্ট শেষ হলে সবকিছুই পারমাণবিক শক্তি প্রয়োগ করে। কম বাজেটের জন্য, ওয়াসাবির ফ্ল্যাট-রেট/নো-ইগ্রেস মডেল [3] জীবনকে পূর্বাভাস দেওয়া সহজ করে তোলে।.

যে অংশটি নিয়ে কেউ বড়াই করে না 😅

বাস্তবতা যাচাই: এটি ত্রুটিহীন নয়।.

• লেটেন্সি - কম্পিউট এবং স্টোরেজকে অনেক দূরে রাখলে আপনার GPU গুলি ক্রল হয়ে যায়। GDS সাহায্য করে, কিন্তু আর্কিটেকচার এখনও গুরুত্বপূর্ণ [4]।

• অবাক করা খরচ - এগ্রেস এবং এপিআই-অনুরোধের চার্জ গোপনে মানুষের উপর চাপিয়ে দেয়। কিছু প্রোভাইডার এগুলি মওকুফ করে (ওয়াসাবি করে; অন্যরা করে না) [3]।

• স্কেলে মেটাডেটা বিশৃঙ্খলা - ট্যাগ এবং সংস্করণে "সত্য" কে সংজ্ঞায়িত করে? আপনার চুক্তি, নীতি এবং কিছু শাসনক্ষমতা প্রয়োজন হবে [5]।

অবকাঠামোগত প্লাম্বিং হল বস্তু সংরক্ষণ: গুরুত্বপূর্ণ, কিন্তু আকর্ষণীয় নয়।.

এটা কোন দিকে যাচ্ছে 🚀

• আরও স্মার্ট, এআই-সচেতন স্টোরেজ যা SQL-এর মতো কোয়েরি স্তরের মাধ্যমে ডেটা স্বয়ংক্রিয়ভাবে ট্যাগ করে এবং প্রকাশ করে [1]।

• হার্ডওয়্যার ইন্টিগ্রেশন (DMA পাথ, NIC অফলোড) আরও ঘনিষ্ঠ করা হয়েছে যাতে GPU গুলিতে I/O-অনাহার না হয় [4]।

• স্বচ্ছ, পূর্বাভাসযোগ্য মূল্য (সরলীকৃত মডেল, বহির্গমন ফি মওকুফ) [3]।

বাজেট নষ্ট না করে দ্রুত মডেলগুলিতে ডেটা সরবরাহ করাই মূল বাধা । এই কারণেই অবজেক্ট স্টোরেজের ভূমিকা কেবল বৃদ্ধি পাচ্ছে।

সারসংক্ষেপ 📝

বস্তু সংরক্ষণের ধরণ চটকদার নয়, তবে এটি মৌলিক। স্কেলেবল, মেটাডেটা-সচেতন, স্থিতিস্থাপক স্টোরেজ ছাড়া, বড় মডেলদের প্রশিক্ষণ দেওয়া স্যান্ডেল পরে ম্যারাথন দৌড়ানোর মতো মনে হয়।.

হ্যাঁ-জিপিইউ গুরুত্বপূর্ণ, ফ্রেমওয়ার্কও গুরুত্বপূর্ণ। কিন্তু যদি আপনি এআই সম্পর্কে সিরিয়াস হন, তাহলে আপনার ডেটা কোথায় থাকে তা উপেক্ষা করবেন না । সম্ভাবনা হল, অবজেক্ট স্টোরেজ ইতিমধ্যেই নীরবে পুরো অপারেশনটি ধরে রেখেছে।

তথ্যসূত্র

[1] AWS S3 – অবজেক্ট মেটাডেটা - সিস্টেম এবং কাস্টম মেটাডেটা
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 – স্টোরেজ ক্লাস - স্থায়িত্ব ("11 নাইন") + স্থিতিস্থাপকতা
https://aws.amazon.com/s3/storage-classes/

[3] ওয়াসাবি হট ক্লাউড – মূল্য নির্ধারণ - ফ্ল্যাট-রেট, কোনও বহির্গমন/এপিআই ফি নেই
https://wasabi.com/pricing

[4] NVIDIA GPUDirect স্টোরেজ – ডক্স - GPU-তে DMA পাথ
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 – সংস্করণ - শাসন/পুনরুৎপাদনযোগ্যতার জন্য একাধিক সংস্করণ
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

অফিসিয়াল এআই অ্যাসিস্ট্যান্ট স্টোরে সর্বশেষ এআই খুঁজুন

আমাদের সম্পর্কে