সংক্ষিপ্ত উত্তর: এআই ডেটা ইঞ্জিনিয়ারদের পুরোপুরি প্রতিস্থাপন করবে না; এটি এসকিউএল (SQL) খসড়া তৈরি, পাইপলাইন কাঠামো নির্মাণ, পরীক্ষা এবং ডকুমেন্টেশনের মতো পুনরাবৃত্তিমূলক কাজগুলোকে স্বয়ংক্রিয় করবে। যদি আপনার ভূমিকা মূলত কম দায়িত্বপূর্ণ এবং টিকেট-নির্ভর কাজ হয়, তবে এর ঝুঁকি বেশি; আর যদি নির্ভরযোগ্যতা, সংজ্ঞা, পরিচালনা এবং ঘটনা প্রতিক্রিয়ার দায়িত্ব আপনার থাকে, তবে এআই প্রধানত আপনাকে আরও দ্রুত কাজ করতে সাহায্য করবে।
মূল বিষয়গুলি:
মালিকানা: কেবল দ্রুত কোড তৈরি না করে ফলাফলের জন্য জবাবদিহিতাকে অগ্রাধিকার দিন।
গুণমান: পরীক্ষা, পর্যবেক্ষণযোগ্যতা এবং চুক্তি তৈরি করুন যাতে পাইপলাইনগুলি বিশ্বস্ত থাকে।
শাসনব্যবস্থা: গোপনীয়তা, প্রবেশাধিকার নিয়ন্ত্রণ, ধারণ এবং নিরীক্ষার পথগুলি মানুষের মালিকানাধীন রাখুন।
অপব্যবহার প্রতিরোধ: AI আউটপুটগুলিকে খসড়া হিসেবে বিবেচনা করুন; গোপন ভুল এড়াতে সেগুলি পর্যালোচনা করুন।
ভূমিকা পরিবর্তন: বয়লারপ্লেট টাইপ করার জন্য কম সময় ব্যয় করুন এবং টেকসই সিস্টেম ডিজাইন করার জন্য বেশি সময় ব্যয় করুন।
আপনি যদি ডেটা টিমের সাথে পাঁচ মিনিটের বেশি সময় কাটিয়ে থাকেন, তাহলে এই কথাটি নিশ্চয়ই শুনেছেন — কখনও ফিসফিস করে, কখনও বা মিটিংয়ে গল্পের মোড় ঘোরানোর মতো করে: এআই কি ডেটা ইঞ্জিনিয়ারদের জায়গা নিয়ে নেবে?
এবং… আমি ব্যাপারটা বুঝতে পারছি। AI অবিশ্বাস্য আত্মবিশ্বাসের সাথে SQL তৈরি করতে, পাইপলাইন বানাতে, স্ট্যাক ট্রেস ব্যাখ্যা করতে, dbt মডেলের খসড়া তৈরি করতে, এমনকি ডেটা ওয়্যারহাউস স্কিমাও সাজেস্ট করতে পারে। SQL-এর জন্য GitHub Copilot, dbt মডেল সম্পর্কে, GitHub Copilot।
ব্যাপারটা অনেকটা একটা ফর্কলিফ্টকে জাগলিং শিখতে দেখার মতো। চিত্তাকর্ষক, কিছুটা উদ্বেগজনক, এবং আপনার চাকরির জন্য এর মানে কী দাঁড়াবে, সে সম্পর্কে আপনি পুরোপুরি নিশ্চিত নন 😅
কিন্তু সত্যটা শিরোনামের চেয়ে কম পরিপাটি। AI ডেটা ইঞ্জিনিয়ারিংকে একেবারে বদলে দিচ্ছে। এটি নিস্তেজ, পুনরাবৃত্তিযোগ্য বিটগুলিকে স্বয়ংক্রিয় করে তুলছে। এটি "আমি কী চাই তা জানি কিন্তু বাক্য গঠন মনে রাখতে পারছি না" মুহূর্তগুলিকে দ্রুততর করছে। এটি একেবারে নতুন ধরণের বিশৃঙ্খলার জন্ম দিচ্ছে।.
তাই আসুন হাত নাড়ানোর আশাবাদ বা ধ্বংসাত্মক আতঙ্ক ছাড়াই এটি সঠিকভাবে তুলে ধরি।.
এর পরে আপনি যে প্রবন্ধগুলি পড়তে পছন্দ করতে পারেন:
🔗 এআই কি রেডিওলজিস্টদের প্রতিস্থাপন করবে?
ইমেজিং এআই কীভাবে কর্মপ্রবাহ, নির্ভুলতা এবং ভবিষ্যতের ভূমিকা পরিবর্তন করে।.
🔗 AI কি হিসাবরক্ষকদের প্রতিস্থাপন করবে?
দেখুন কোন অ্যাকাউন্টিং কাজগুলি AI স্বয়ংক্রিয় করে এবং কোনগুলি মানবিক থাকে।.
🔗 কৃত্রিম বুদ্ধিমত্তা কি বিনিয়োগ ব্যাংকারদের প্রতিস্থাপন করবে?
চুক্তি, গবেষণা এবং ক্লায়েন্ট সম্পর্কের উপর AI এর প্রভাব বুঝুন।.
🔗 বীমা এজেন্টদের প্রতিস্থাপন কি এআই করবে?
AI কীভাবে আন্ডাররাইটিং, বিক্রয় এবং গ্রাহক সহায়তাকে রূপান্তরিত করে তা জানুন।.
"এআই ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করে" প্রশ্নটি কেন বারবার উঠে আসছে 😬
ভয়টা একটা খুব নির্দিষ্ট জায়গা থেকে আসে: ডেটা ইঞ্জিনিয়ারিংয়ের অনেক পুনরাবৃত্তিযোগ্য কাজ আছে।
-
SQL লেখা এবং পুনঃফ্যাক্টরিং
-
ইনজেশন স্ক্রিপ্ট তৈরি করা হচ্ছে
-
এক স্কিমা থেকে অন্য স্কিমায় ক্ষেত্র ম্যাপিং করা
-
পরীক্ষা এবং মৌলিক ডকুমেন্টেশন তৈরি করা
-
পাইপলাইনের ব্যর্থতা ডিবাগ করা যা... একধরনের পূর্বাভাসযোগ্য
পুনরাবৃত্তিযোগ্য প্যাটার্নে AI অসাধারণভাবে ভালো। এবং ডেটা ইঞ্জিনিয়ারিংয়ের একটি অংশ ঠিক তাই - প্যাটার্নের উপর স্তূপীকৃত প্যাটার্ন। GitHub Copilot কোড পরামর্শ
এছাড়াও, সরঞ্জাম বাস্তুতন্ত্র ইতিমধ্যেই জটিলতা "লুকিয়ে" রাখছে:
-
পরিচালিত ELT সংযোগকারী Fivetran ডক্স
-
সার্ভারলেস কম্পিউট AWS ল্যাম্বডা (সার্ভারলেস কম্পিউট)
-
এক-ক্লিক গুদাম ব্যবস্থা
-
অটো-স্কেলিং অর্কেস্ট্রেশন অ্যাপাচি এয়ারফ্লো ডক্স
-
ঘোষণামূলক রূপান্তর কাঠামো dbt কি?
তাই যখন AI দেখা যায়, তখন এটি শেষ টুকরোটির মতো মনে হতে পারে। যদি স্ট্যাকটি ইতিমধ্যেই বিমূর্ত থাকে, এবং AI আঠালো কোড লিখতে পারে... তাহলে আর কী বাকি আছে? 🤷
কিন্তু একটা বিষয় আছে যা অনেকেই এড়িয়ে যান: ডেটা ইঞ্জিনিয়ারিং মানে শুধু টাইপ করা নয়। টাইপ করাটা সহজ অংশ। কঠিন কাজটা হলো ঘোলাটে, রাজনৈতিক এবং পরিবর্তনশীল ব্যবসায়িক বাস্তবতাকে একটি নির্ভরযোগ্য সিস্টেমের মতো আচরণ করানো।
আর কৃত্রিম বুদ্ধিমত্তা এখনও সেই অন্ধকারের সাথে লড়াই করছে। মানুষও লড়াই করছে - তারা কেবল আরও ভালোভাবে উন্নতি করে।.
ডেটা ইঞ্জিনিয়াররা আসলে সারাদিন কী করেন (অদ্ভুত সত্য) 🧱
খোলাখুলি কথা বলতে গেলে, “ডেটা ইঞ্জিনিয়ার” পদবিটা শুনলে মনে হয় আপনি নিখাদ গণিত দিয়ে রকেট ইঞ্জিন তৈরি করছেন। বাস্তবে, আপনি বিশ্বাস।
একটি সাধারণ দিন "নতুন অ্যালগরিদম আবিষ্কার" কম এবং আরও বেশি:
-
তথ্য সংজ্ঞা সম্পর্কে আপস্ট্রিম টিমের সাথে আলোচনা করা (বেদনাদায়ক কিন্তু প্রয়োজনীয়)
-
কেন একটি মেট্রিক পরিবর্তিত হয়েছে (এবং এটি বাস্তব কিনা) তা তদন্ত করা
-
স্কিমা ড্রিফট এবং "কেউ মধ্যরাতে একটি কলাম যোগ করেছে" চমক পরিচালনা করা
-
পাইপলাইনগুলি অক্ষম, পুনরুদ্ধারযোগ্য, পর্যবেক্ষণযোগ্য তা নিশ্চিত করা
-
ডাউনস্ট্রিম বিশ্লেষকরা যাতে ভুলবশত অর্থহীন ড্যাশবোর্ড তৈরি না করেন, সেজন্য রেলিং তৈরি করা
-
খরচ পরিচালনা করা যাতে আপনার গুদাম অর্থের আগুনে পরিণত না হয় 🔥
-
প্রবেশাধিকার সুরক্ষা, নিরীক্ষা, সম্মতি, তথ্য সংরক্ষণের নীতিমালা, জিডিপিআর-এর মূলনীতি (ইউরোপীয় কমিশন), সংরক্ষণের সীমাবদ্ধতা (আইসিও)
-
এমন ডেটা পণ্য তৈরি করা যা মানুষ আসলে ব্যবহার করতে পারে, আপনাকে DM না করেই ২০টি প্রশ্ন
কাজের একটি বড় অংশ হল সামাজিক এবং কর্মক্ষম:
-
"এই টেবিলের মালিক কে?"
-
"এই সংজ্ঞা কি এখনও বৈধ?"
-
"কেন সিআরএম ডুপ্লিকেট রপ্তানি করছে?"
-
"আমরা কি এই মেট্রিকটি বিব্রত না হয়ে নির্বাহীদের কাছে পাঠাতে পারি?" 😭
অবশ্যই, এআই এর কিছু অংশে সাহায্য করতে পারে। কিন্তু এটি সম্পূর্ণরূপে প্রতিস্থাপন করা... একটা ঝামেলার কাজ।.
ডেটা ইঞ্জিনিয়ারিং ভূমিকার একটি শক্তিশালী সংস্করণ কী? ✅
এই অংশটি গুরুত্বপূর্ণ কারণ প্রতিস্থাপন আলোচনা সাধারণত ধরে নেয় যে ডেটা ইঞ্জিনিয়াররা মূলত "পাইপলাইন নির্মাতা"। এটি ধরে নেওয়ার মতো যে শেফরা মূলত "সবজি কাটে"। এটি কাজের অংশ, কিন্তু এটি কাজ নয়।.
অর্থ একজন ডেটা ইঞ্জিনিয়ারের শক্তিশালী সংস্করণের সাধারণত তারা এইগুলির বেশিরভাগই করতে পারে:
-
পরিবর্তনের কথা মাথায় রেখে ডিজাইন করুন
। ডেটা বদলায়। টিম বদলায়। টুলস বদলায়। একজন ভালো ইঞ্জিনিয়ার এমন সিস্টেম তৈরি করেন যা বাস্তবতার সামান্য ধাক্কাতেই ভেঙে পড়ে না 🤧 -
চুক্তি এবং প্রত্যাশা নির্ধারণ করুন।
“গ্রাহক” বলতে কী বোঝায়? “সক্রিয়” বলতে কী বোঝায়? কোনো সারি দেরিতে পৌঁছালে কী হয়? চমৎকার কোডের চেয়ে চুক্তি বিশৃঙ্খলা বেশি প্রতিরোধ করে। ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) ODCS (GitHub) -
সবকিছুর মধ্যে পর্যবেক্ষণযোগ্যতা অন্তর্ভুক্ত করুন।
শুধু “এটি চলেছে কি না” তা নয়, বরং “এটি সঠিকভাবে চলেছে কি না”। সতেজতা, ভলিউমের অস্বাভাবিকতা, নাল এক্সপ্লোশন, ডিস্ট্রিবিউশন শিফট। ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেইস) ডেটা পর্যবেক্ষণযোগ্যতা কী? -
প্রাপ্তবয়স্কদের জন্য
গতি বনাম সঠিকতা, খরচ বনাম বিলম্বিতা, নমনীয়তা বনাম সরলতার মতো বিনিময় তৈরি করুন। কোনও নিখুঁত পাইপলাইন নেই, কেবল এমন পাইপলাইন রয়েছে যার সাথে আপনি বাঁচতে পারেন। -
ব্যবসায়িক চাহিদাগুলোকে টেকসই সিস্টেমে রূপান্তর করুন।
মানুষ মেট্রিক্স চায়, কিন্তু তাদের যা প্রয়োজন তা হলো একটি ডেটা প্রোডাক্ট। এআই কোডের খসড়া তৈরি করতে পারে, কিন্তু এটি জাদুকরীভাবে ব্যবসার দুর্বলতাগুলো জানতে পারে না। -
ডেটাকে আড়ালে রাখুন।
একটি ডেটা প্ল্যাটফর্মের জন্য সবচেয়ে বড় প্রশংসা হলো যে, কেউ এটি নিয়ে কথা বলে না। ঘটনাবিহীন ডেটাই ভালো ডেটা। যেমন প্লাম্বিং। কেবল বিকল হলেই আপনি তা খেয়াল করেন 🚽
প্রশ্নটি তাহলে “এআই কি ডেটা ইঞ্জিনিয়ারদের জায়গা নেবে?” … কিছুটা বেমানান শোনাতে শুরু করে। এআই কাজ, মালিকানা।
যেখানে AI ইতিমধ্যেই ডেটা ইঞ্জিনিয়ারদের সাহায্য করছে (এবং এটি সত্যিই দুর্দান্ত) 🤖✨
AI কেবল মার্কেটিং নয়। ভালোভাবে ব্যবহার করলে, এটি একটি বৈধ বল গুণক।.
১) দ্রুততর SQL এবং রূপান্তরের কাজ
-
জটিল জয়েন্টগুলির খসড়া তৈরি করা হচ্ছে
-
উইন্ডো ফাংশন লেখা যা আপনি ভাবতে চান না
-
সরল ভাষার যুক্তিকে কোয়েরি স্কেলেটনে রূপান্তর করা
-
কুৎসিত প্রশ্নগুলিকে পঠনযোগ্য CTE-তে পুনঃফ্যাক্টর করা হচ্ছে SQL-এর জন্য GitHub Copilot
এটি বিশাল কারণ এটি "ফাঁকা পৃষ্ঠা" প্রভাব কমিয়ে দেয়। আপনাকে এখনও যাচাই করতে হবে, তবে আপনাকে 0% এর পরিবর্তে 70% দিয়ে শুরু করতে হবে।.
২) ডিবাগিং এবং রুট কজ ব্রেডক্রাম্বস
এআই নিম্নলিখিত ক্ষেত্রে উপযুক্ত:
-
ত্রুটি বার্তা ব্যাখ্যা করা
-
কোথায় দেখতে হবে তার পরামর্শ দেওয়া হচ্ছে
-
“স্কিমা অমিল পরীক্ষা করুন” ধরনের পদক্ষেপের সুপারিশ করাটা গিটহাব কপাইলট-এর
অনেকটা এমন একজন অক্লান্ত জুনিয়র ইঞ্জিনিয়ার থাকার মতো, যে কখনো ঘুমায় না এবং মাঝে মাঝে আত্মবিশ্বাসের সাথে মিথ্যাও বলে 😅
৩) ডকুমেন্টেশন এবং ডেটা ক্যাটালগ সমৃদ্ধকরণ
স্বয়ংক্রিয়ভাবে তৈরি:
-
কলামের বিবরণ
-
মডেল সারাংশ
-
বংশের ব্যাখ্যা
-
“এই টেবিলটি কী কাজে ব্যবহৃত হয়?” ডিবিটি ডকুমেন্টেশনের
এটি নিখুঁত নয়, তবে এটি অনথিভুক্ত পাইপলাইনের অভিশাপ ভেঙে দেয়।.
৪) পরীক্ষা ভারা এবং পরীক্ষা
AI প্রস্তাব করতে পারে:
-
মৌলিক শূন্য পরীক্ষা
-
স্বতন্ত্রতা পরীক্ষা
-
রেফারেন্সিয়াল ইন্টিগ্রিটি ধারণা
-
“এই মেট্রিকটি কখনই কমা উচিত নয়” ধরনের অ্যাসারশন ডিবিটি ডেটা টেস্ট গ্রেট এক্সপেক্টেশনস: এক্সপেক্টেশনস
আবার - আপনি এখনও সিদ্ধান্ত নেন কোনটি গুরুত্বপূর্ণ, তবে এটি রুটিন অংশগুলিকে দ্রুততর করে।.
৫) পাইপলাইন "আঠা" কোড
কনফিগারেশন টেমপ্লেট, YAML স্কাফোল্ড, অর্কেস্ট্রেশন DAG ড্রাফট। এই জিনিসগুলো একঘেয়ে এবং AI এই একঘেয়েমিকে খুব পছন্দ করে 🥣 অ্যাপাচি এয়ারফ্লো DAGs
যেখানে AI এখনও লড়াই করছে (এবং এটিই এর মূল কথা) 🧠🧩
এটিই সবচেয়ে গুরুত্বপূর্ণ অংশ, কারণ এটি আসল টেক্সচারের সাথে প্রতিস্থাপন প্রশ্নের উত্তর দেয়।.
১) অস্পষ্টতা এবং পরিবর্তনশীল সংজ্ঞা
ব্যবসায়িক যুক্তি খুব কমই স্পষ্ট হয়। মানুষ বাক্যের মাঝখানে তাদের মতামত পরিবর্তন করে। "সক্রিয় ব্যবহারকারী" "সক্রিয় অর্থপ্রদানকারী ব্যবহারকারী" হয়ে যায় "সক্রিয় অর্থপ্রদানকারী ব্যবহারকারী" হয়ে যায়, কখনও কখনও ফেরত ছাড়া... আপনি জানেন এটা কেমন।.
এআই এই অস্পষ্টতা ধারণ করতে পারে না। এটি কেবল অনুমান করতে পারে।.
২) জবাবদিহিতা এবং ঝুঁকি
যখন একটি পাইপলাইন ভেঙে যায় এবং exec ড্যাশবোর্ড অর্থহীন কাজ দেখায়, তখন কাউকে অবশ্যই:
-
ত্রিভুজ
-
প্রভাব যোগাযোগ করুন
-
ঠিক করো।
-
পুনরাবৃত্তি রোধ করা
-
পোস্টমর্টেম লিখুন
-
ব্যবসাটি গত সপ্তাহের সংখ্যার উপর এখনও বিশ্বাস রাখতে পারে কিনা তা নির্ধারণ করুন।
কৃত্রিম বুদ্ধিমত্তা সাহায্য করতে পারে, কিন্তু অর্থপূর্ণভাবে জবাবদিহি করতে পারে না। প্রতিষ্ঠানগুলি আবেগের উপর চলে না - তারা দায়িত্বের উপর চলে।.
৩) সিস্টেম চিন্তাভাবনা
ডেটা প্ল্যাটফর্মগুলি হল বাস্তুতন্ত্র: ইনজেশন, স্টোরেজ, রূপান্তর, অর্কেস্ট্রেশন, গভর্নেন্স, খরচ নিয়ন্ত্রণ, SLA। এক স্তরের তরঙ্গের পরিবর্তন। অ্যাপাচি এয়ারফ্লো ধারণা
AI স্থানীয় অপ্টিমাইজেশন প্রস্তাব করতে পারে যা বিশ্বব্যাপী যন্ত্রণা তৈরি করে। এটি দরজাটি সরিয়ে একটি চিৎকার করে দরজা ঠিক করার মতো 😬
৪) নিরাপত্তা, গোপনীয়তা, সম্মতি
এখানেই প্রতিস্থাপনের কল্পনাগুলি মারা যায়।.
-
অ্যাক্সেস নিয়ন্ত্রণ
-
সারি-স্তরের নিরাপত্তা স্নোফ্লেক সারি অ্যাক্সেস নীতি বিগকোয়েরি সারি-স্তরের নিরাপত্তা
-
সংরক্ষণের নিয়মাবলী, সংরক্ষণের সীমাবদ্ধতা (আইসিও), সংরক্ষণের বিষয়ে ইইউ নির্দেশিকা
-
অডিট ট্রেইল NIST SP 800-92 (লগ ম্যানেজমেন্ট) CIS কন্ট্রোল 8 (অডিট লগ ম্যানেজমেন্ট)
-
ডেটা রেসিডেন্সির সীমাবদ্ধতা
কৃত্রিম বুদ্ধিমত্তা নীতিমালা তৈরি করতে পারে, কিন্তু সেগুলো নিরাপদে বাস্তবায়ন করাই হলো প্রকৃত প্রকৌশল।.
৫) "অজানা অজানা"
তথ্যগত ঘটনাগুলি প্রায়শই অপ্রত্যাশিত হয়:
-
একটি বিক্রেতা API নীরবে শব্দার্থবিদ্যা পরিবর্তন করে
-
একটি টাইমজোন অনুমান উল্টে যায়
-
একটি ব্যাকফিল একটি পার্টিশনের সদৃশ করে
-
পুনঃচেষ্টা প্রক্রিয়ার ফলে দ্বিগুণ লেখা হয়
-
একটি নতুন পণ্য বৈশিষ্ট্য নতুন ইভেন্ট প্যাটার্ন প্রবর্তন করে
যখন পরিস্থিতি একটি পরিচিত প্যাটার্ন না থাকে তখন AI দুর্বল হয়।.
তুলনা সারণী: বাস্তবে কী কী হ্রাস করছে 🧾🤔
নিচে একটি ব্যবহারিক দৃষ্টিভঙ্গি দেওয়া হল। "মানুষকে প্রতিস্থাপনকারী সরঞ্জাম" নয়, বরং এমন সরঞ্জাম এবং পদ্ধতি যা নির্দিষ্ট কাজকে সঙ্কুচিত করে।.
| হাতিয়ার / পদ্ধতি | পাঠকবর্গ | দামের ধরণ | কেন এটি কাজ করে |
|---|---|---|---|
| এআই কোড কোপাইলট (এসকিউএল + পাইথন হেল্পার) গিটহাব কোপাইলট | প্রকৌশলীরা যারা প্রচুর কোড লেখেন | বিনামূল্যে-প্রদত্ত | স্ক্যাফোল্ডিং, রিফ্যাক্টর, সিনট্যাক্সে দুর্দান্ত... কখনও কখনও খুব নির্দিষ্ট উপায়ে ব্যবহার করা হয় |
| পরিচালিত ELT সংযোগকারী ফাইভট্রান | ইনজেশন তৈরি করতে করতে ক্লান্ত দলগুলি | সাবস্ক্রিপশন-y | কাস্টম ইনজেশনের ব্যথা দূর করে, কিন্তু মজাদার নতুন উপায়ে ভেঙে দেয় |
| ডেটা পর্যবেক্ষণযোগ্যতা প্ল্যাটফর্ম ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেস) | SLA-এর মালিক যে কেউ | মধ্য থেকে এন্টারপ্রাইজ | পাইপলাইনের জন্য ধোঁয়ার অ্যালার্মের মতো - অসঙ্গতিগুলি আগে থেকেই ধরা পড়ে 🔔 |
| রূপান্তর কাঠামো (ঘোষণামূলক মডেলিং) dbt | অ্যানালিটিক্স + ডিই হাইব্রিড | সাধারণত টুল + কম্পিউট | লজিককে মডুলার এবং পরীক্ষাযোগ্য করে তোলে, স্প্যাগেটি কম করে |
| ডেটা ক্যাটালগ + সিমেন্টিক লেয়ার dbt সিমেন্টিক লেয়ার | মেট্রিক বিভ্রান্তি সহ সংস্থাগুলি | বাস্তবে, নির্ভর করে | "সত্য" একবার সংজ্ঞায়িত করে - অন্তহীন মেট্রিক বিতর্ক কমায় |
| টেমপ্লেট সহ অর্কেস্ট্রেশন অ্যাপাচি এয়ারফ্লো | প্ল্যাটফর্ম-মনস্ক দলগুলি | ওপেন + অপারেশন খরচ | কর্মপ্রবাহকে মানসম্মত করে; কম স্নোফ্লেক DAG |
| এআই-সহায়তাপ্রাপ্ত ডকুমেন্টেশন ডিবিটি ডক্স জেনারেশন | যেসব দল ডকুমেন্ট লেখা ঘৃণা করে | সস্তা থেকে মাঝারি | "যথেষ্ট ভালো" ডকুমেন্ট তৈরি করে যাতে জ্ঞান অদৃশ্য না হয় |
| স্বয়ংক্রিয় শাসন নীতিমালা NIST গোপনীয়তা কাঠামো | নিয়ন্ত্রিত পরিবেশ | এন্টারপ্রাইজ-ওয়াই | নিয়ম প্রয়োগে সাহায্য করে - কিন্তু নিয়ম তৈরির জন্য মানুষের প্রয়োজন হয় |
লক্ষ্য করুন কী অনুপস্থিত: একটি সারি যেখানে লেখা আছে "ডেটা ইঞ্জিনিয়ারদের অপসারণ করতে বোতাম টিপুন।" হ্যাঁ... সেই সারিটি বিদ্যমান নেই 🙃
তাহলে... কি AI ডেটা ইঞ্জিনিয়ারদের স্থান নেবে, নাকি ভূমিকা পরিবর্তন করবে? 🛠️
সহজ ভাষায় বলতে গেলে: এআই কর্মপ্রবাহের অংশবিশেষ প্রতিস্থাপন করবে, পেশাটিকে নয়।
কিন্তু এটি দেবে ভূমিকার বিন্যাস বদলে
কী পরিবর্তন হয়:
-
বয়লারপ্লেট লেখার সময় কম
-
ডকুমেন্ট অনুসন্ধানে কম সময় লাগে
-
পর্যালোচনা, যাচাই, নকশা করার জন্য আরও সময় দিন
-
চুক্তি এবং গুণমানের প্রত্যাশা নির্ধারণে আরও সময় লাগে ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS)
-
পণ্য, নিরাপত্তা, অর্থের সাথে আরও বেশি সময় অংশীদারিত্ব করা
এটিই সূক্ষ্ম পরিবর্তন: ডেটা ইঞ্জিনিয়ারিং "পাইপলাইন তৈরি" সম্পর্কে কম এবং "একটি নির্ভরযোগ্য ডেটা পণ্য সিস্টেম তৈরি" সম্পর্কে বেশি হয়ে ওঠে।
এবং একটি শান্ত মোড়ের মধ্যে, এটি আরও মূল্যবান, কম নয়।.
এছাড়াও - এবং কথাটা নাটকীয় শোনালেও আমি বলব - এআই এমন মানুষের সংখ্যা বাড়ায় যারা ডেটা আর্টিফ্যাক্ট তৈরি করতে পারে, যার ফলে পুরো বিষয়টিকে স্বাভাবিক রাখার জন্য একজনের প্রয়োজনীয়তা বেড়ে যায়। বেশি আউটপুট মানে বেশি সম্ভাব্য বিভ্রান্তি। গিটহাব কোপাইলট
এটা যেন সবাইকে পাওয়ার ড্রিল দেওয়ার মতো। দারুন! এখন কাউকে না কাউকে "দয়া করে পানির পাইপে ড্রিল করবেন না" নিয়মটি কার্যকর করতে হবে 🪠
নতুন দক্ষতার স্ট্যাক যা মূল্যবান থাকে (সর্বত্র AI থাকা সত্ত্বেও) 🧠⚙️
যদি আপনি একটি ব্যবহারিক "ভবিষ্যৎ-প্রমাণ" চেকলিস্ট চান, তাহলে এটি দেখতে এরকম দেখাবে:
সিস্টেম ডিজাইনের মানসিকতা
-
পরিবর্তনের পরেও টিকে থাকা ডেটা মডেলিং
-
ব্যাচ বনাম স্ট্রিমিং ট্রেডঅফ
-
বিলম্ব, খরচ, নির্ভরযোগ্যতা সম্পর্কে চিন্তাভাবনা
ডেটা কোয়ালিটি ইঞ্জিনিয়ারিং
-
চুক্তি, বৈধতা, অসঙ্গতি সনাক্তকরণ ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেইস)
-
SLA, SLO, ঘটনার প্রতিক্রিয়া অভ্যাস
-
শৃঙ্খলার মাধ্যমে মূল কারণ বিশ্লেষণ (ভাইবস নয়)
শাসনব্যবস্থা এবং আস্থার স্থাপত্য
-
অ্যাক্সেস প্যাটার্ন
-
নিরীক্ষণযোগ্যতা NIST SP 800-92 (লগ ব্যবস্থাপনা)
-
নকশা অনুসারে গোপনীয়তা NIST গোপনীয়তা কাঠামো
-
ডেটা জীবনচক্র ব্যবস্থাপনা ধরে রাখার বিষয়ে ইইউ নির্দেশিকা
প্ল্যাটফর্ম চিন্তাভাবনা
-
পুনঃব্যবহারযোগ্য টেমপ্লেট, সোনালী পথ
-
ইনজেশন, ট্রান্সফর্ম ও টেস্টিং-এর জন্য প্রমিত প্যাটার্ন ফাইভট্রান ডিবিটি ডেটা টেস্ট
-
স্ব-পরিষেবা সরঞ্জাম যা গলে না
যোগাযোগ (হ্যাঁ, সত্যিই)
-
স্পষ্ট ডকুমেন্ট লেখা
-
সংজ্ঞা সারিবদ্ধকরণ
-
ভদ্রভাবে কিন্তু দৃঢ়ভাবে "না" বলা
-
রোবটের মতো শোনা না দিয়েই লেনদেন ব্যাখ্যা করা 🤖
যদি তুমি এগুলো করতে পারো, তাহলে "এআই কি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে?" এই প্রশ্নটি কম হুমকির কারণ হয়ে দাঁড়াবে। এআই তোমার বহিঃকঙ্কাল হয়ে উঠবে, তোমার প্রতিস্থাপন নয়।.
বাস্তবসম্মত পরিস্থিতি যেখানে কিছু ডেটা ইঞ্জিনিয়ারিং ভূমিকা সঙ্কুচিত হয় 📉
ঠিক আছে, দ্রুত বাস্তবতা যাচাই করুন, কারণ এটি কেবল রোদ আর ইমোজি কনফেটি নয় 🎉
কিছু ভূমিকা আরও স্পষ্ট:
-
খাঁটি ইনজেশন-কেবল ভূমিকা যেখানে সবকিছুই স্ট্যান্ডার্ড সংযোগকারী ফাইভট্রান সংযোগকারী
-
দলগুলি ন্যূনতম ডোমেন সূক্ষ্মতা সহ বেশিরভাগ পুনরাবৃত্তিমূলক রিপোর্টিং পাইপলাইন করছে
-
যেসব প্রতিষ্ঠানে ডেটা ইঞ্জিনিয়ারিংকে "SQL বানর" হিসেবে বিবেচনা করা হয় (কঠোর, কিন্তু সত্য)
-
নিম্ন-মালিকানাধীন পদ যেখানে চাকরি কেবল টিকিট এবং কপি-পেস্ট
এআই প্লাস ম্যানেজড টুলিং সেই চাহিদাগুলিকে সঙ্কুচিত করতে পারে।.
কিন্তু সেখানেও, প্রতিস্থাপন সাধারণত এরকম দেখায়:
-
একই পুনরাবৃত্তিমূলক কাজ করা লোকের সংখ্যা কম
-
প্ল্যাটফর্মের মালিকানা এবং নির্ভরযোগ্যতার উপর আরও জোর দেওয়া
-
"একজন ব্যক্তি আরও পাইপলাইন সমর্থন করতে পারে" এর দিকে পরিবর্তন
হ্যাঁ - কর্মী সংখ্যার ধরণ পরিবর্তন হতে পারে। ভূমিকা বিকশিত হয়। শিরোনাম পরিবর্তন হয়। এই অংশটি বাস্তব।.
তবুও, ভূমিকাটির উচ্চ-মালিকানা, উচ্চ-বিশ্বাসের সংস্করণটি টিকে আছে।.
সমাপনী সারাংশ 🧾✅
এআই কি ডেটা ইঞ্জিনিয়ারদের স্থান নেবে? মানুষ যেভাবে কল্পনা করে, সেইভাবে পরিষ্কার, সম্পূর্ণ নয়।
এআই করবে:
-
পুনরাবৃত্তিমূলক কাজগুলি স্বয়ংক্রিয় করুন
-
কোডিং, ডিবাগিং এবং ডকুমেন্টেশনকে ত্বরান্বিত করুন GitHub Copilot for SQL dbt ডকুমেন্টেশন
-
পাইপলাইন উৎপাদনের খরচ কমানো
কিন্তু ডেটা ইঞ্জিনিয়ারিং মূলত নিম্নলিখিত বিষয়গুলি সম্পর্কে:
-
জবাবদিহিতা
-
সিস্টেম ডিজাইন
-
বিশ্বাস, গুণমান এবং শাসন ওপেন ডেটা চুক্তি মান (ODCS) NIST গোপনীয়তা কাঠামো
-
অস্পষ্ট ব্যবসায়িক বাস্তবতাকে নির্ভরযোগ্য তথ্য পণ্যে রূপান্তরিত করা
এআই এতে সাহায্য করতে পারে... কিন্তু এটি এটির "মালিকানাধীন" নয়।.
আপনি যদি একজন ডেটা ইঞ্জিনিয়ার হন, তবে পদক্ষেপটি সহজ (সহজ নয়, তবে সরল):
দায়িত্ববোধ, গুণমান, প্ল্যাটফর্ম-ভিত্তিক চিন্তাভাবনা এবং যোগাযোগের ওপর জোর দিন। গতানুগতিক কাজগুলো এআই-কে করতে দিন, আর আপনি গুরুত্বপূর্ণ অংশগুলো সামলান।
আর হ্যাঁ - মাঝে মাঝে এর অর্থ হল ঘরের প্রাপ্তবয়স্ক হওয়া। আকর্ষণীয় নয়। যদিও শান্তভাবে শক্তিশালী 😄
এআই কি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে?
এটি কিছু কাজ প্রতিস্থাপন করবে, পদমর্যাদার ক্রম পুনর্বিন্যাস করবে এবং সেরা ডেটা ইঞ্জিনিয়ারদের আরও মূল্যবান করে তুলবে। এটাই আসল ঘটনা।
বাস্তব উদাহরণ: একটি এআই-সহায়তাযুক্ত ডেটা পাইপলাইন পর্যালোচনা কর্মপ্রবাহ তৈরি করা 🛠️
দৃশ্যকল্প
একটি ছোট ই-কমার্স কোম্পানির কথা ভাবুন, যেখানে একজন ডেটা ইঞ্জিনিয়ার, দুজন অ্যানালিস্ট আছেন এবং একটি খুব পরিচিত সমস্যা রয়েছে: পেমেন্ট প্রোভাইডার যখনই কোনো ফিল্ডের নাম পরিবর্তন করে, তখনই ফিনান্স ড্যাশবোর্ডটি ভেঙে পড়ে।.
দলটি চায় না যে এআই পাইপলাইনটির সম্পূর্ণ নিয়ন্ত্রণ নিয়ে নিক। সেটা ঝুঁকিপূর্ণ হবে। এর পরিবর্তে, তারা এআই-কে সাধারণ কিন্তু গুরুত্বপূর্ণ কাজের জন্য প্রথম খসড়ার সহকারী হিসেবে ব্যবহার করে: যেমন ডিবিটি মডেলের কাঠামো লেখা, টেস্টের পরামর্শ দেওয়া, ডকুমেন্টেশনের খসড়া তৈরি করা এবং কোড পর্যালোচনার জন্য একটি চেকলিস্ট তৈরি করা।.
চূড়ান্ত ডিজাইন, ডেটার সংজ্ঞা, অ্যাক্সেসের নিয়ম এবং প্রোডাকশন ডেপ্লয়মেন্টের মালিকানা এখনও মানব ডেটা ইঞ্জিনিয়ারের হাতেই থাকে। এআই কেবল এই জটিল মধ্যবর্তী পর্যায়টিকে দ্রুততর করে।.
ওয়ার্কফ্লোর যা প্রয়োজন
এআই ব্যবহার করার আগে, দলটি এটিকে সহায়ক করে তোলার জন্য যথেষ্ট প্রেক্ষাপট প্রদান করে:
-
বিদ্যমান পেমেন্ট টেবিলের স্কিমা
-
লক্ষ্য আর্থিক মেট্রিকের সংজ্ঞা, যেমন “নিট রাজস্ব”, “ফেরতের পরিমাণ”, এবং “নিষ্পন্ন অর্থপ্রদান”
-
ডিবিটি মডেলের নামকরণের নিয়মাবলী
-
অনুমোদিত পরীক্ষার উদাহরণ
-
পেমেন্ট ফিডের জন্য একটি সংক্ষিপ্ত ডেটা চুক্তি
-
ব্যক্তিগত শনাক্তকরণ তথ্য (PII), ব্যর্থ পেমেন্ট, ডুপ্লিকেট এবং দেরিতে আসা রেকর্ড পরিচালনার নিয়মাবলী
-
অতীতের কিছু ঘটনার নমুনা, যার মধ্যে কী ভুল হয়েছিল এবং কীভাবে তা সমাধান করা হয়েছিল তা অন্তর্ভুক্ত রয়েছে।
মূল কথাটি “এআইকে একটি পাইপলাইন তৈরি করতে বলা” নয়। এটি খুবই অস্পষ্ট।.
আরও কার্যকর পদ্ধতিটি হলো: “এই হলো আমাদের নিয়মাবলী, এই হলো কাঠামো, এই হলো প্রত্যাশিত আচরণ। এমন একটি খসড়া তৈরি করুন যা আমরা পর্যালোচনা করতে পারি।”
উদাহরণ নির্দেশাবলী
আপনি আমাদের পেমেন্ট ডেটার জন্য একটি ডিবিটি মডেলের খসড়া তৈরিতে সাহায্য করছেন। একটি প্রাথমিক মডেল, প্রস্তাবিত ডিবিটি টেস্ট এবং ডকুমেন্টেশন নোট তৈরি করতে নিচের স্কিমা ও নিয়মগুলো ব্যবহার করুন।.
মডেলটিকে অবশ্যই order_id এবং payment_provider অনুযায়ী দৈনিক নিষ্পত্তি হওয়া রাজস্ব গণনা করতে হবে। ব্যর্থ পেমেন্ট ও পরীক্ষামূলক লেনদেন বাদ দিন এবং শুধুমাত্র যখন refund_status = “confirmed” হবে, তখনই রিফান্ড বিয়োগ করুন।.
মনগড়া কলাম তৈরি করবেন না। যদি কোনো প্রয়োজনীয় কলাম অনুপস্থিত থাকে, তবে অনুমান না করে সেটিকে “মানব পর্যালোচনার জন্য প্রশ্নাবলী” শিরোনামের অধীনে তালিকাভুক্ত করুন।.
এছাড়াও অনন্যতা, নাল ভ্যালু, গৃহীত ভ্যালু এবং রাজস্বের যৌক্তিকতা যাচাই করার জন্য পরীক্ষার পরামর্শ দিন। আর্থিক প্রতিবেদনকে প্রভাবিত করতে পারে এমন যেকোনো লজিক চিহ্নিত করুন।.
কীভাবে এটি পরীক্ষা করবেন
একটি যুক্তিসঙ্গত পরীক্ষা হলো ছোট এবং ইচ্ছাকৃতভাবে সাধারণ:
-
এআই-কে একটি পরিচিত ও কার্যকর পেমেন্ট স্কিমা দিন এবং পরীক্ষা করে দেখুন এটি নতুন ফিল্ড তৈরি করা এড়িয়ে চলে কি না।.
-
এটিকে refund_status কলামটি অনুপস্থিত এমন একটি স্কিমা দিন এবং দেখুন এটি অনুমান করার পরিবর্তে কোনো প্রশ্ন করে কিনা।.
-
তৈরি করা SQL কোডটি প্রোডাকশন ডেটাসেটের পরিবর্তে স্টেজিং ডেটাসেটের উপর চালান।.
-
হাতে-কলমে যাচাই করা ২০টি পেমেন্ট রেকর্ডের সাথে আউটপুটটি তুলনা করুন।.
-
মার্জ করার আগে সংজ্ঞাগুলো পর্যালোচনা করার জন্য একজন অ্যানালিস্ট এবং ডেটা ইঞ্জিনিয়ারকে বলুন।.
-
গৃহীত টেস্টগুলো CI-তে যোগ করুন, যাতে ডিপ্লয়মেন্টের পরেও পাইপলাইনটি নিজেকে পরীক্ষা করতে থাকে।.
গুরুত্বপূর্ণ বিষয়টি হলো, আপনি যেসব ব্যর্থতার ধরণ নিয়ে সবচেয়ে বেশি শঙ্কিত, সেগুলোর ওপর এআই-কে পরীক্ষা করা: মনগড়া কলাম, ভুল রাজস্ব যুক্তি, রিফান্ড ব্যবস্থাপনার অভাব এবং নীরব ডুপ্লিকেট সারি।.
ফলাফল
দৃষ্টান্তমূলক ফলাফল: এই ওয়ার্কফ্লোটি ব্যবহার করার আগে ও পরে তিনটি নমুনা পাইপলাইন-পরিবর্তন টাস্কের সময় পরিমাপের উপর ভিত্তি করে।.
এআই ব্যবহারের আগে, ইঞ্জিনিয়ার প্রতিটি পরিবর্তনের জন্য প্রায় ৫ ঘন্টা ৩০ মিনিট ব্যয় করতেন: এর মধ্যে মোটামুটি ২ ঘন্টা SQL লিখতে, ১ ঘন্টা টেস্ট তৈরি করতে, ৪৫ মিনিট ডকুমেন্টেশন লিখতে এবং বাকি সময়টা অর্থ বিভাগের সাথে এজ কেসগুলো যাচাই করতে লাগত।.
শুধুমাত্র প্রথম খসড়া তৈরিতে এআই ব্যবহার করা হলে, একই ধরনের পরিবর্তনে প্রায় ২ ঘণ্টা ১০ মিনিট সময় লেগেছিল। সবচেয়ে বেশি সময় সাশ্রয় হয়েছিল টেস্ট স্ক্যাফোল্ডিং এবং ডকুমেন্টেশনের খসড়া তৈরিতে, যা ১ ঘণ্টা ৪৫ মিনিট থেকে কমে প্রায় ২৫ মিনিটে নেমে এসেছিল।.
মানব পর্যালোচনার ধাপে তখনও প্রায় ৪৫ মিনিট সময় লাগত, এবং এটি বাদ দেওয়া উচিত নয়।.
তিনটি কাজের পরীক্ষায়, এআই ১৮টি যাচাইয়ের পরামর্শ দিয়েছিল। ইঞ্জিনিয়ার ১১টি গ্রহণ করেন, ৫টি সম্পাদনা করেন এবং ২টি বাতিল করেন, কারণ সেগুলোতে এমন ব্যবসায়িক নিয়ম ধরে নেওয়া হয়েছিল যা সত্য ছিল না। এই বাতিলের সংখ্যাটি গুরুত্বপূর্ণ: এটি প্রমাণ করে যে কর্মপ্রবাহটি পর্যালোচনার প্রয়োজন, অন্ধ বিশ্বাসের নয়।.
কী ভুল হতে পারে
এআই একটি পাইপলাইনকে তার প্রকৃত অবস্থার চেয়ে বেশি সম্পূর্ণ দেখাতে পারে।.
সাধারণ ব্যর্থতার কারণগুলোর মধ্যে রয়েছে:
-
বিশ্বাসযোগ্য শোনায় এমন স্তম্ভ উদ্ভাবন করা
-
রিফান্ড, চার্জব্যাক এবং ব্যর্থ পেমেন্টকে একই জিনিস হিসেবে গণ্য করা
-
দৈনিক আয়ে টাইমজোন সংক্রান্ত সমস্যা
-
এমন সাধারণ পরীক্ষার পরামর্শ দেওয়া যা আর্থিক ত্রুটি ধরতে পারে না।
-
এমন ডকুমেন্টেশন লেখা যা শুনতে আত্মবিশ্বাসী মনে হলেও ভেতরে অনিশ্চয়তা লুকিয়ে রাখে।
-
নমুনা ডেটাতে গ্রাহকের বিবরণ থাকলে গোপনীয়তার নিয়ম ভুলে যাওয়া
একটি ভালো নিয়ম হলো: এআই মডেলের খসড়া তৈরি করতে পারলেও, সংজ্ঞা, আর্থিক যুক্তি, প্রবেশাধিকার নিয়ন্ত্রণ এবং প্রোডাকশন রিলিজের জন্য একজন মানুষের অনুমোদন আবশ্যক।.
ব্যবহারিক শিক্ষা
ডেটা ইঞ্জিনিয়ারিংয়ে এআই-এর মূল্যবান রূপটি “ডেটা ইঞ্জিনিয়ারকে প্রতিস্থাপন করা” নয়, বরং “খালি পাতাটি সরিয়ে, তারপর কঠোরভাবে পর্যালোচনা করা”।.
এর মানে হলো দ্রুততর SQL, দ্রুততর পরীক্ষা এবং উন্নততর প্রাথমিক ডকুমেন্টেশন, আর একই সাথে সবচেয়ে গুরুত্বপূর্ণ অংশটির নিয়ন্ত্রণ ইঞ্জিনিয়ারের হাতেই থাকে: অর্থাৎ ডেটা সঠিক, নির্ভরযোগ্য, সুরক্ষিত এবং ব্যাখ্যাযোগ্য কি না।.
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
এআই কি ডেটা ইঞ্জিনিয়ারদের সম্পূর্ণরূপে প্রতিস্থাপন করবে?
বেশিরভাগ প্রতিষ্ঠানে, AI নির্দিষ্ট কাজগুলি সরাসরি মুছে ফেলার চেয়ে বেশি গ্রহণ করে। এটি SQL ড্রাফটিং, পাইপলাইন স্ক্যাফোল্ডিং, ডকুমেন্টেশন ফার্স্ট পাস এবং বেসিক টেস্ট তৈরিকে ত্বরান্বিত করতে পারে। কিন্তু ডেটা ইঞ্জিনিয়ারিং মালিকানা এবং জবাবদিহিতাও বহন করে, এবং অগোছালো ব্যবসায়িক বাস্তবতাকে একটি নির্ভরযোগ্য সিস্টেমের মতো আচরণ করার অগোছালো কাজও বহন করে। এই অংশগুলিতে এখনও মানুষের "সঠিক" কেমন তা নির্ধারণ করার এবং পরিস্থিতি ভেঙে গেলে দায়িত্ব নেওয়ার প্রয়োজন হয়।.
ডেটা ইঞ্জিনিয়ারিংয়ের কোন অংশগুলি এআই ইতিমধ্যে স্বয়ংক্রিয় করছে?
পুনরাবৃত্তিযোগ্য কাজে AI সবচেয়ে ভালো কাজ করে: SQL ড্রাফটিং এবং রিফ্যাক্টরিং, dbt মডেল স্কেলেটন তৈরি করা, সাধারণ ত্রুটি ব্যাখ্যা করা এবং ডকুমেন্টেশন রূপরেখা তৈরি করা। এটি নাল বা স্বতন্ত্রতা পরীক্ষাগুলির মতো পরীক্ষাও করতে পারে এবং অর্কেস্ট্রেশন সরঞ্জামগুলির জন্য টেমপ্লেট "গ্লু" কোড তৈরি করতে পারে। জয় হল গতি - আপনি একটি কার্যকরী সমাধানের কাছাকাছি শুরু করেন - তবে আপনাকে এখনও সঠিকতা যাচাই করতে হবে এবং নিশ্চিত করতে হবে যে এটি আপনার পরিবেশের সাথে খাপ খায়।.
যদি এআই এসকিউএল এবং পাইপলাইন লিখতে পারে, তাহলে ডেটা ইঞ্জিনিয়ারদের জন্য আর কী বাকি থাকে?
অনেক কিছু: ডেটা চুক্তি সংজ্ঞায়িত করা, স্কিমা ড্রিফট পরিচালনা করা এবং পাইপলাইনগুলি অক্ষম, পর্যবেক্ষণযোগ্য এবং পুনরুদ্ধারযোগ্য কিনা তা নিশ্চিত করা। ডেটা ইঞ্জিনিয়াররা মেট্রিক পরিবর্তনগুলি তদন্ত করতে, ডাউনস্ট্রিম ব্যবহারকারীদের জন্য রেলিং তৈরি করতে এবং খরচ এবং নির্ভরযোগ্যতার লেনদেন পরিচালনা করতে সময় ব্যয় করেন। কাজটি প্রায়শই আস্থা তৈরি করা এবং ডেটা প্ল্যাটফর্মকে "শান্ত" রাখা, যার অর্থ এত স্থিতিশীল রাখা যে কাউকে প্রতিদিন এটি নিয়ে ভাবতে হয় না।.
একজন ডেটা ইঞ্জিনিয়ারের দৈনন্দিন কাজ কীভাবে AI পরিবর্তন করে?
এটি সাধারণত বয়লারপ্লেট এবং "লুকআপ টাইম" কমিয়ে দেয়, তাই আপনি টাইপিংয়ে কম সময় ব্যয় করেন এবং পর্যালোচনা, যাচাই এবং ডিজাইনিংয়ে বেশি সময় ব্যয় করেন। এই পরিবর্তনটি সবকিছু হাতে কোড করার পরিবর্তে প্রত্যাশা, মানের মান এবং পুনঃব্যবহারযোগ্য প্যাটার্ন সংজ্ঞায়িত করার ভূমিকাকে ঠেলে দেয়। বাস্তবে, আপনি সম্ভবত পণ্য, সুরক্ষা এবং অর্থের সাথে আরও অংশীদারিত্বের কাজ করবেন - কারণ প্রযুক্তিগত আউটপুট তৈরি করা সহজ হয়ে যায়, কিন্তু পরিচালনা করা আরও কঠিন হয়ে পড়ে।.
"সক্রিয় ব্যবহারকারী" এর মতো অস্পষ্ট ব্যবসায়িক সংজ্ঞা নিয়ে AI কেন লড়াই করে?
কারণ ব্যবসায়িক যুক্তি স্থির বা সুনির্দিষ্ট নয় - এটি প্রকল্পের মাঝামাঝি পরিবর্তিত হয় এবং অংশীদারদের উপর নির্ভর করে পরিবর্তিত হয়। AI একটি ব্যাখ্যা খসড়া করতে পারে, কিন্তু সংজ্ঞাগুলি বিকশিত হলে বা দ্বন্দ্ব দেখা দিলে সিদ্ধান্ত নিতে পারে না। ডেটা ইঞ্জিনিয়ারিংয়ের জন্য প্রায়শই আলোচনা, অনুমান নথিভুক্তকরণ এবং অস্পষ্ট প্রয়োজনীয়তাগুলিকে টেকসই চুক্তিতে রূপান্তরিত করার প্রয়োজন হয়। "মানব সারিবদ্ধকরণ" কাজটি একটি মূল কারণ যা টুলিং উন্নত হওয়ার পরেও ভূমিকাটি অদৃশ্য হয়ে যায় না।.
এআই কি ডেটা গভর্নেন্স, গোপনীয়তা এবং সম্মতির কাজ নিরাপদে পরিচালনা করতে পারে?
AI নীতিমালা তৈরিতে বা পদ্ধতির পরামর্শ দিতে সাহায্য করতে পারে, কিন্তু নিরাপদ বাস্তবায়নের জন্য এখনও প্রকৃত প্রকৌশল এবং সতর্ক তত্ত্বাবধান প্রয়োজন। শাসনব্যবস্থায় প্রবেশাধিকার নিয়ন্ত্রণ, PII পরিচালনা, ধরে রাখার নিয়ম, অডিট ট্রেইল এবং কখনও কখনও বসবাসের সীমাবদ্ধতা জড়িত। এগুলি উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্র যেখানে "প্রায় সঠিক" গ্রহণযোগ্য নয়। মানুষকে অবশ্যই নিয়ম ডিজাইন করতে হবে, প্রয়োগ যাচাই করতে হবে এবং সম্মতির ফলাফলের জন্য দায়বদ্ধ থাকতে হবে।.
AI উন্নত হওয়ার সাথে সাথে ডেটা ইঞ্জিনিয়ারদের জন্য কোন দক্ষতাগুলি মূল্যবান থাকে?
সিস্টেমকে স্থিতিস্থাপক করে তোলে এমন দক্ষতা: সিস্টেম ডিজাইন চিন্তাভাবনা, ডেটা কোয়ালিটি ইঞ্জিনিয়ারিং এবং প্ল্যাটফর্ম-মনস্ক মানসম্মতকরণ। চুক্তি, পর্যবেক্ষণযোগ্যতা, ঘটনার প্রতিক্রিয়া অভ্যাস এবং সুশৃঙ্খল মূল কারণ বিশ্লেষণ আরও গুরুত্বপূর্ণ হয়ে ওঠে যখন আরও বেশি লোক দ্রুত ডেটা আর্টিফ্যাক্ট তৈরি করতে পারে। যোগাযোগও একটি পার্থক্যকারী হয়ে ওঠে - সংজ্ঞা সারিবদ্ধ করা, স্পষ্ট ডকুমেন্ট লেখা এবং নাটকীয়তা ছাড়াই ট্রেডঅফ ব্যাখ্যা করা ডেটা বিশ্বাসযোগ্য রাখার একটি বড় অংশ।.
এআই এবং পরিচালিত টুলিং থেকে কোন ডেটা ইঞ্জিনিয়ারিং ভূমিকাগুলি সবচেয়ে বেশি ঝুঁকিতে রয়েছে?
পুনরাবৃত্তিমূলক ইনজেশন বা স্ট্যান্ডার্ড রিপোর্টিং পাইপলাইনের উপর সংকীর্ণভাবে কেন্দ্রীভূত ভূমিকাগুলি আরও উন্মুক্ত হয়, বিশেষ করে যখন পরিচালিত ELT সংযোগকারীরা বেশিরভাগ উৎসকে অন্তর্ভুক্ত করে। কম মালিকানা, টিকিট-চালিত কাজ সংকুচিত হতে পারে কারণ AI এবং বিমূর্ততা প্রতিটি পাইপলাইনে প্রচেষ্টা কমিয়ে দেয়। তবে এটি সাধারণত "কোন ডেটা ইঞ্জিনিয়ার নেই" নয় বরং পুনরাবৃত্তিমূলক কাজ করা লোকের সংখ্যা কম বলে মনে হয়। নির্ভরযোগ্যতা, গুণমান এবং বিশ্বাসের উপর কেন্দ্রীভূত উচ্চ-মালিকানা ভূমিকা টেকসই থাকে।.
বিশৃঙ্খলা তৈরি না করে আমি কীভাবে GitHub Copilot অথবা dbt এর মতো টুলগুলি AI সহ ব্যবহার করব?
AI আউটপুটকে সিদ্ধান্ত হিসেবে নয়, একটি খসড়া হিসেবে বিবেচনা করুন। এটি ব্যবহার করে কোয়েরি স্কেলিটন তৈরি করুন, পঠনযোগ্যতা উন্নত করুন, অথবা স্ক্যাফোল্ড dbt পরীক্ষা এবং ডকুমেন্ট তৈরি করুন, তারপর বাস্তব তথ্য এবং প্রান্তিক ক্ষেত্রে যাচাই করুন। এটিকে শক্তিশালী নিয়মাবলীর সাথে যুক্ত করুন: চুক্তি, নামকরণের মান, পর্যবেক্ষণযোগ্যতা পরীক্ষা এবং পর্যালোচনা অনুশীলন। লক্ষ্য হল নির্ভরযোগ্যতা, খরচ নিয়ন্ত্রণ বা শাসনব্যবস্থাকে ত্যাগ না করে দ্রুত ডেলিভারি।.
তথ্যসূত্র
-
ইউরোপীয় কমিশন - ডেটা সুরক্ষা ব্যাখ্যা করা হয়েছে: GDPR নীতিমালা - commission.europa.eu
-
তথ্য কমিশনারের কার্যালয় (আইসিও) - সংরক্ষণের সীমাবদ্ধতা - ico.org.uk
-
ইউরোপীয় কমিশন - কতক্ষণ তথ্য সংরক্ষণ করা যেতে পারে এবং এটি কি আপডেট করা প্রয়োজন? - commission.europa.eu
-
ন্যাশনাল ইনস্টিটিউট অফ স্ট্যান্ডার্ডস অ্যান্ড টেকনোলজি (NIST) - গোপনীয়তা কাঠামো - nist.gov
-
NIST কম্পিউটার সিকিউরিটি রিসোর্স সেন্টার (CSRC) - SP 800-92: কম্পিউটার সিকিউরিটি লগ ম্যানেজমেন্টের নির্দেশিকা - csrc.nist.gov
-
সেন্টার ফর ইন্টারনেট সিকিউরিটি (CIS) - অডিট লগ ম্যানেজমেন্ট (CIS কন্ট্রোলস) - cisecurity.org
-
স্নোফ্লেক ডকুমেন্টেশন - সারি অ্যাক্সেস নীতি - docs.snowflake.com
-
গুগল ক্লাউড ডকুমেন্টেশন - বিগকুয়েরি সারি-স্তরের নিরাপত্তা - docs.cloud.google.com
-
BITOL - ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড - github.com
-
অ্যাপাচি এয়ারফ্লো - ডকুমেন্টেশন (স্থিতিশীল) - airflow.apache.org
-
অ্যাপাচি এয়ারফ্লো - ডিএজি (মূল ধারণা) - airflow.apache.org
-
dbt ল্যাবস ডকুমেন্টেশন - dbt কি? - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - dbt মডেল সম্পর্কে - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - ডকুমেন্টেশন - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - ডেটা পরীক্ষা - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - dbt সিমান্টিক লেয়ার - docs.getdbt.com
-
ফাইভট্রান ডকুমেন্টেশন - শুরু করা - fivetran.com
-
ফাইভট্রান - সংযোগকারী - fivetran.com
-
AWS ডকুমেন্টেশন - AWS ল্যাম্বডা ডেভেলপার গাইড - docs.aws.amazon.com
-
গিটহাব - গিটহাব কোপাইলট - github.com
-
GitHub Docs - GitHub Copilot ব্যবহার করে আপনার IDE-তে কোড সাজেশন পাওয়া - docs.github.com
-
মাইক্রোসফট লার্ন - SQL এর জন্য GitHub কোপাইলট (VS কোড এক্সটেনশন) - learn.microsoft.com
-
ডাইনাট্রেস ডকুমেন্টেশন - ডেটা পর্যবেক্ষণযোগ্যতা - docs.dynatrace.com
-
ডেটাগ্যালাক্সি - ডেটা পর্যবেক্ষণযোগ্যতা কী? - datagalaxy.com
-
দুর্দান্ত প্রত্যাশার ডকুমেন্টেশন - প্রত্যাশার ওভারভিউ - docs.greatexpectations.io