সংক্ষিপ্ত উত্তর: AI সরাসরি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে না; এটি SQL ড্রাফটিং, পাইপলাইন স্ক্যাফোল্ডিং, পরীক্ষা এবং ডকুমেন্টেশনের মতো পুনরাবৃত্তিমূলক কাজগুলিকে স্বয়ংক্রিয় করবে। যদি আপনার ভূমিকা বেশিরভাগই কম মালিকানা, টিকিট-চালিত কাজ হয়, তবে এটি আরও উন্মুক্ত; যদি আপনার নির্ভরযোগ্যতা, সংজ্ঞা, শাসন এবং ঘটনার প্রতিক্রিয়া থাকে, তবে AI মূলত আপনাকে দ্রুততর করে তোলে।
মূল বিষয়গুলি:
মালিকানা : কেবল দ্রুত কোড তৈরি না করে ফলাফলের জন্য জবাবদিহিতাকে অগ্রাধিকার দিন।
গুণমান : পরীক্ষা, পর্যবেক্ষণযোগ্যতা এবং চুক্তি তৈরি করুন যাতে পাইপলাইনগুলি বিশ্বস্ত থাকে।
শাসনব্যবস্থা : গোপনীয়তা, প্রবেশাধিকার নিয়ন্ত্রণ, ধারণ এবং নিরীক্ষার পথগুলি মানুষের মালিকানাধীন রাখুন।
অপব্যবহার প্রতিরোধ : AI আউটপুটগুলিকে খসড়া হিসেবে বিবেচনা করুন; গোপন ভুল এড়াতে সেগুলি পর্যালোচনা করুন।
ভূমিকা পরিবর্তন : বয়লারপ্লেট টাইপ করার জন্য কম সময় ব্যয় করুন এবং টেকসই সিস্টেম ডিজাইন করার জন্য বেশি সময় ব্যয় করুন।

যদি আপনি ডেটা টিমের সাথে পাঁচ মিনিটেরও বেশি সময় কাটিয়ে থাকেন, তাহলে আপনি এই বিরতিও শুনেছেন - কখনও ফিসফিসিয়ে বলা হয়, কখনও কখনও মিটিং জুড়ে একটি প্লট টুইস্টের মতো শুরু হয়: এআই কি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে?
আর... আমি বুঝতে পারছি। AI SQL তৈরি করতে পারে, পাইপলাইন তৈরি করতে পারে, স্ট্যাক ট্রেস ব্যাখ্যা করতে পারে, dbt মডেল খসড়া করতে পারে, এমনকি অস্থির আত্মবিশ্বাসের সাথে গুদাম স্কিমাও সুপারিশ করতে পারে। SQL এর জন্য GitHub Copilot dbt মডেল সম্পর্কে GitHub Copilot
এটা একটা ফর্কলিফ্টকে জাগল করতে শেখানো দেখার মতো মনে হয়। চিত্তাকর্ষক, কিছুটা উদ্বেগজনক, এবং আপনি সম্পূর্ণরূপে নিশ্চিত নন যে এটি আপনার কাজের জন্য কী বোঝায় 😅
কিন্তু সত্যটা শিরোনামের চেয়ে কম পরিপাটি। AI ডেটা ইঞ্জিনিয়ারিংকে একেবারে বদলে দিচ্ছে। এটি নিস্তেজ, পুনরাবৃত্তিযোগ্য বিটগুলিকে স্বয়ংক্রিয় করে তুলছে। এটি "আমি কী চাই তা জানি কিন্তু বাক্য গঠন মনে রাখতে পারছি না" মুহূর্তগুলিকে দ্রুততর করছে। এটি একেবারে নতুন ধরণের বিশৃঙ্খলার জন্ম দিচ্ছে।.
তাই আসুন হাত নাড়ানোর আশাবাদ বা ধ্বংসাত্মক আতঙ্ক ছাড়াই এটি সঠিকভাবে তুলে ধরি।.
এর পরে আপনি যে প্রবন্ধগুলি পড়তে পছন্দ করতে পারেন:
🔗 এআই কি রেডিওলজিস্টদের প্রতিস্থাপন করবে?
ইমেজিং এআই কীভাবে কর্মপ্রবাহ, নির্ভুলতা এবং ভবিষ্যতের ভূমিকা পরিবর্তন করে।.
🔗 AI কি হিসাবরক্ষকদের প্রতিস্থাপন করবে?
দেখুন কোন অ্যাকাউন্টিং কাজগুলি AI স্বয়ংক্রিয় করে এবং কোনগুলি মানবিক থাকে।.
🔗 কৃত্রিম বুদ্ধিমত্তা কি বিনিয়োগ ব্যাংকারদের প্রতিস্থাপন করবে?
চুক্তি, গবেষণা এবং ক্লায়েন্ট সম্পর্কের উপর AI এর প্রভাব বুঝুন।.
🔗 বীমা এজেন্টদের প্রতিস্থাপন কি এআই করবে?
AI কীভাবে আন্ডাররাইটিং, বিক্রয় এবং গ্রাহক সহায়তাকে রূপান্তরিত করে তা জানুন।.
"এআই ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করে" প্রশ্নটি কেন বারবার উঠে আসছে 😬
ভয়টা একটা খুব নির্দিষ্ট জায়গা থেকে আসে: ডেটা ইঞ্জিনিয়ারিংয়ের অনেক পুনরাবৃত্তিযোগ্য কাজ আছে ।
-
SQL লেখা এবং পুনঃফ্যাক্টরিং
-
ইনজেশন স্ক্রিপ্ট তৈরি করা হচ্ছে
-
এক স্কিমা থেকে অন্য স্কিমায় ক্ষেত্র ম্যাপিং করা
-
পরীক্ষা এবং মৌলিক ডকুমেন্টেশন তৈরি করা
-
পাইপলাইনের ব্যর্থতা ডিবাগ করা যা... একধরনের পূর্বাভাসযোগ্য
পুনরাবৃত্তিযোগ্য প্যাটার্নে AI অসাধারণভাবে ভালো। এবং ডেটা ইঞ্জিনিয়ারিংয়ের একটি অংশ ঠিক তাই - প্যাটার্নের উপর স্তূপীকৃত প্যাটার্ন। GitHub Copilot কোড পরামর্শ
এছাড়াও, সরঞ্জাম বাস্তুতন্ত্র ইতিমধ্যেই জটিলতা "লুকিয়ে" রাখছে:
-
পরিচালিত ELT সংযোগকারী Fivetran ডক্স
-
সার্ভারলেস কম্পিউট AWS ল্যাম্বডা (সার্ভারলেস কম্পিউট)
-
এক-ক্লিক গুদাম ব্যবস্থা
-
অটো-স্কেলিং অর্কেস্ট্রেশন অ্যাপাচি এয়ারফ্লো ডক্স
-
ঘোষণামূলক রূপান্তর কাঠামো dbt কি?
তাই যখন AI দেখা যায়, তখন এটি শেষ টুকরোটির মতো মনে হতে পারে। যদি স্ট্যাকটি ইতিমধ্যেই বিমূর্ত থাকে, এবং AI আঠালো কোড লিখতে পারে... তাহলে আর কী বাকি আছে? 🤷
কিন্তু এখানে মানুষ যে জিনিসটি এড়িয়ে যায় তা হল: ডেটা ইঞ্জিনিয়ারিং মূলত টাইপিং নয় । টাইপিং হল সহজ অংশ। কঠিন অংশ হল অস্পষ্ট, রাজনৈতিক, পরিবর্তনশীল ব্যবসায়িক বাস্তবতাকে একটি নির্ভরযোগ্য সিস্টেমের মতো আচরণ করা।
আর কৃত্রিম বুদ্ধিমত্তা এখনও সেই অন্ধকারের সাথে লড়াই করছে। মানুষও লড়াই করছে - তারা কেবল আরও ভালোভাবে উন্নতি করে।.
ডেটা ইঞ্জিনিয়াররা আসলে সারাদিন কী করেন (অদ্ভুত সত্য) 🧱
খোলাখুলিভাবে বলতে গেলে - "ডেটা ইঞ্জিনিয়ার" পদের নামটি শুনে মনে হচ্ছে আপনি বিশুদ্ধ গণিতের উপর ভিত্তি করে রকেট ইঞ্জিন তৈরি করছেন। বাস্তবে, আপনি বিশ্বাস ।
একটি সাধারণ দিন "নতুন অ্যালগরিদম আবিষ্কার" কম এবং আরও বেশি:
-
তথ্য সংজ্ঞা সম্পর্কে আপস্ট্রিম টিমের সাথে আলোচনা করা (বেদনাদায়ক কিন্তু প্রয়োজনীয়)
-
কেন একটি মেট্রিক পরিবর্তিত হয়েছে (এবং এটি বাস্তব কিনা) তা তদন্ত করা
-
স্কিমা ড্রিফট এবং "কেউ মধ্যরাতে একটি কলাম যোগ করেছে" চমক পরিচালনা করা
-
পাইপলাইনগুলি অক্ষম, পুনরুদ্ধারযোগ্য, পর্যবেক্ষণযোগ্য তা নিশ্চিত করা
-
ডাউনস্ট্রিম বিশ্লেষকরা যাতে ভুলবশত অর্থহীন ড্যাশবোর্ড তৈরি না করেন, সেজন্য রেলিং তৈরি করা
-
খরচ পরিচালনা করা যাতে আপনার গুদাম অর্থের আগুনে পরিণত না হয় 🔥
-
অ্যাক্সেস, অডিটিং, সম্মতি, ধরে রাখার নীতিগুলি সুরক্ষিত করা GDPR নীতি (ইউরোপীয় কমিশন) স্টোরেজ সীমাবদ্ধতা (ICO)
-
এমন ডেটা পণ্য তৈরি করা যা মানুষ আসলে ব্যবহার করতে পারে, আপনাকে DM না করেই ২০টি প্রশ্ন
কাজের একটি বড় অংশ হল সামাজিক এবং কর্মক্ষম:
-
"এই টেবিলের মালিক কে?"
-
"এই সংজ্ঞা কি এখনও বৈধ?"
-
"কেন সিআরএম ডুপ্লিকেট রপ্তানি করছে?"
-
"আমরা কি এই মেট্রিকটি বিব্রত না হয়ে নির্বাহীদের কাছে পাঠাতে পারি?" 😭
অবশ্যই, এআই এর কিছু অংশে সাহায্য করতে পারে। কিন্তু এটি সম্পূর্ণরূপে প্রতিস্থাপন করা... একটা ঝামেলার কাজ।.
ডেটা ইঞ্জিনিয়ারিং ভূমিকার একটি শক্তিশালী সংস্করণ কী? ✅
এই অংশটি গুরুত্বপূর্ণ কারণ প্রতিস্থাপন আলোচনা সাধারণত ধরে নেয় যে ডেটা ইঞ্জিনিয়াররা মূলত "পাইপলাইন নির্মাতা"। এটি ধরে নেওয়ার মতো যে শেফরা মূলত "সবজি কাটে"। এটি কাজের অংশ, কিন্তু এটি কাজ নয়।.
একজন ডেটা ইঞ্জিনিয়ারের শক্তিশালী সংস্করণের অর্থ সাধারণত তারা এইগুলির বেশিরভাগই করতে পারে:
-
পরিবর্তনের জন্য নকশা
তথ্য পরিবর্তন হয়। দল পরিবর্তন হয়। সরঞ্জাম পরিবর্তন হয়। একজন ভালো প্রকৌশলী এমন সিস্টেম তৈরি করে যা বাস্তবতা যখনই হাঁচি দেয় তখনই ভেঙে পড়ে না 🤧 -
চুক্তি এবং প্রত্যাশা সংজ্ঞায়িত করুন
"গ্রাহক" বলতে কী বোঝায়? "সক্রিয়" বলতে কী বোঝায়? যখন কোনও বিরোধ দেরিতে আসে তখন কী ঘটে? চুক্তিগুলি অভিনব কোডের চেয়ে বিশৃঙ্খলা রোধ করে। ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) ODCS (GitHub) -
সবকিছুর মধ্যে পর্যবেক্ষণযোগ্যতা তৈরি করুন
শুধু "এটি কি চলেছিল" তা নয় বরং "এটি কি সঠিকভাবে চলেছিল"। সতেজতা, আয়তনের অসঙ্গতি, শূন্য বিস্ফোরণ, বিতরণের পরিবর্তন। ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেস) ডেটা পর্যবেক্ষণযোগ্যতা কী? -
প্রাপ্তবয়স্কদের জন্য
গতি বনাম সঠিকতা, খরচ বনাম বিলম্বিতা, নমনীয়তা বনাম সরলতার মতো বিনিময় তৈরি করুন। কোনও নিখুঁত পাইপলাইন নেই, কেবল এমন পাইপলাইন রয়েছে যার সাথে আপনি বাঁচতে পারেন। -
ব্যবসায়িক চাহিদাগুলিকে টেকসই সিস্টেমে রূপান্তর করুন
মানুষ মেট্রিক্স চায়, কিন্তু তাদের যা প্রয়োজন তা হল একটি ডেটা পণ্য। AI কোড তৈরি করতে পারে, কিন্তু এটি জাদুকরীভাবে ব্যবসায়িক ল্যান্ডমাইনগুলি জানতে পারে না। -
ডেটা চুপ করে রাখুন
একটি ডেটা প্ল্যাটফর্মের সবচেয়ে বড় প্রশংসা হলো কেউ এটি নিয়ে কথা বলে না। অপ্রত্যাশিত ডেটা ভালো ডেটা। প্লাম্বিংয়ের মতো। আপনি কেবল তখনই এটি লক্ষ্য করবেন যখন এটি ব্যর্থ হয় 🚽
যদি আপনি এই কাজগুলো করেন, তাহলে "এআই কি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে?" ... কিছুটা অস্পষ্ট শোনাতে শুরু করে। এআই কাজগুলিকে , মালিকানাকে ।
যেখানে AI ইতিমধ্যেই ডেটা ইঞ্জিনিয়ারদের সাহায্য করছে (এবং এটি সত্যিই দুর্দান্ত) 🤖✨
AI কেবল মার্কেটিং নয়। ভালোভাবে ব্যবহার করলে, এটি একটি বৈধ বল গুণক।.
১) দ্রুততর SQL এবং রূপান্তরের কাজ
-
জটিল জয়েন্টগুলির খসড়া তৈরি করা হচ্ছে
-
উইন্ডো ফাংশন লেখা যা আপনি ভাবতে চান না
-
সরল ভাষার যুক্তিকে কোয়েরি স্কেলেটনে রূপান্তর করা
-
কুৎসিত প্রশ্নগুলিকে পঠনযোগ্য CTE-তে পুনঃফ্যাক্টর করা হচ্ছে SQL-এর জন্য GitHub Copilot
এটি বিশাল কারণ এটি "ফাঁকা পৃষ্ঠা" প্রভাব কমিয়ে দেয়। আপনাকে এখনও যাচাই করতে হবে, তবে আপনাকে 0% এর পরিবর্তে 70% দিয়ে শুরু করতে হবে।.
২) ডিবাগিং এবং রুট কজ ব্রেডক্রাম্বস
এআই নিম্নলিখিত ক্ষেত্রে উপযুক্ত:
-
ত্রুটি বার্তা ব্যাখ্যা করা
-
কোথায় দেখতে হবে তার পরামর্শ দেওয়া হচ্ছে
-
"চেক স্কিমা মিসম্যাচ" টাইপ ধাপগুলি সুপারিশ করা হচ্ছে GitHub Copilot
এটা যেন একজন অক্লান্ত জুনিয়র ইঞ্জিনিয়ার যিনি কখনও ঘুমান না এবং কখনও কখনও আত্মবিশ্বাসের সাথে মিথ্যা বলেন 😅
৩) ডকুমেন্টেশন এবং ডেটা ক্যাটালগ সমৃদ্ধকরণ
স্বয়ংক্রিয়ভাবে তৈরি:
-
কলামের বিবরণ
-
মডেল সারাংশ
-
বংশের ব্যাখ্যা
-
"এই টেবিলটি কিসের জন্য ব্যবহৃত হয়?" খসড়া dbt ডকুমেন্টেশন
এটি নিখুঁত নয়, তবে এটি অনথিভুক্ত পাইপলাইনের অভিশাপ ভেঙে দেয়।.
৪) পরীক্ষা ভারা এবং পরীক্ষা
AI প্রস্তাব করতে পারে:
-
মৌলিক শূন্য পরীক্ষা
-
স্বতন্ত্রতা পরীক্ষা
-
রেফারেন্সিয়াল ইন্টিগ্রিটি ধারণা
-
"এই মেট্রিক কখনই হ্রাস করা উচিত নয়" স্টাইলের দাবি dbt ডেটা পরীক্ষা দুর্দান্ত প্রত্যাশা: প্রত্যাশা
আবার - আপনি এখনও সিদ্ধান্ত নেন কোনটি গুরুত্বপূর্ণ, তবে এটি রুটিন অংশগুলিকে দ্রুততর করে।.
৫) পাইপলাইন "আঠা" কোড
কনফিগ টেমপ্লেট, YAML স্ক্যাফোল্ড, অর্কেস্ট্রেশন DAG ড্রাফ্ট। এই জিনিসগুলি পুনরাবৃত্তিমূলক এবং AI ব্রেকফাস্টে বারবার খায় 🥣 অ্যাপাচি এয়ারফ্লো DAGs
যেখানে AI এখনও লড়াই করছে (এবং এটিই এর মূল কথা) 🧠🧩
এটিই সবচেয়ে গুরুত্বপূর্ণ অংশ, কারণ এটি আসল টেক্সচারের সাথে প্রতিস্থাপন প্রশ্নের উত্তর দেয়।.
১) অস্পষ্টতা এবং পরিবর্তনশীল সংজ্ঞা
ব্যবসায়িক যুক্তি খুব কমই স্পষ্ট হয়। মানুষ বাক্যের মাঝখানে তাদের মতামত পরিবর্তন করে। "সক্রিয় ব্যবহারকারী" "সক্রিয় অর্থপ্রদানকারী ব্যবহারকারী" হয়ে যায় "সক্রিয় অর্থপ্রদানকারী ব্যবহারকারী" হয়ে যায়, কখনও কখনও ফেরত ছাড়া... আপনি জানেন এটা কেমন।.
এআই এই অস্পষ্টতা ধারণ করতে পারে না। এটি কেবল অনুমান করতে পারে।.
২) জবাবদিহিতা এবং ঝুঁকি
যখন একটি পাইপলাইন ভেঙে যায় এবং exec ড্যাশবোর্ড অর্থহীন কাজ দেখায়, তখন কাউকে অবশ্যই:
-
ত্রিভুজ
-
প্রভাব যোগাযোগ করুন
-
ঠিক করো।
-
পুনরাবৃত্তি রোধ করা
-
পোস্টমর্টেম লিখুন
-
ব্যবসাটি গত সপ্তাহের সংখ্যার উপর এখনও বিশ্বাস রাখতে পারে কিনা তা নির্ধারণ করুন।
কৃত্রিম বুদ্ধিমত্তা সাহায্য করতে পারে, কিন্তু অর্থপূর্ণভাবে জবাবদিহি করতে পারে না। প্রতিষ্ঠানগুলি আবেগের উপর চলে না - তারা দায়িত্বের উপর চলে।.
৩) সিস্টেম চিন্তাভাবনা
ডেটা প্ল্যাটফর্মগুলি হল বাস্তুতন্ত্র: ইনজেশন, স্টোরেজ, রূপান্তর, অর্কেস্ট্রেশন, গভর্নেন্স, খরচ নিয়ন্ত্রণ, SLA। এক স্তরের তরঙ্গের পরিবর্তন। অ্যাপাচি এয়ারফ্লো ধারণা
AI স্থানীয় অপ্টিমাইজেশন প্রস্তাব করতে পারে যা বিশ্বব্যাপী যন্ত্রণা তৈরি করে। এটি দরজাটি সরিয়ে একটি চিৎকার করে দরজা ঠিক করার মতো 😬
৪) নিরাপত্তা, গোপনীয়তা, সম্মতি
এখানেই প্রতিস্থাপনের কল্পনাগুলি মারা যায়।.
-
অ্যাক্সেস নিয়ন্ত্রণ
-
সারি-স্তরের নিরাপত্তা স্নোফ্লেক সারি অ্যাক্সেস নীতি BigQuery সারি-স্তরের নিরাপত্তা
-
সংরক্ষণের নিয়ম সংরক্ষণের সীমাবদ্ধতা (ICO) সংরক্ষণের উপর EU নির্দেশিকা
-
অডিট ট্রেইল NIST SP 800-92 (লগ ব্যবস্থাপনা) CIS কন্ট্রোল 8 (অডিট লগ ব্যবস্থাপনা)
-
ডেটা রেসিডেন্সির সীমাবদ্ধতা
কৃত্রিম বুদ্ধিমত্তা নীতিমালা তৈরি করতে পারে, কিন্তু সেগুলো নিরাপদে বাস্তবায়ন করাই হলো প্রকৃত প্রকৌশল।.
৫) "অজানা অজানা"
তথ্যগত ঘটনাগুলি প্রায়শই অপ্রত্যাশিত হয়:
-
একটি বিক্রেতা API নীরবে শব্দার্থবিদ্যা পরিবর্তন করে
-
একটি টাইমজোন অনুমান উল্টে যায়
-
একটি ব্যাকফিল একটি পার্টিশনের সদৃশ করে
-
পুনঃচেষ্টা প্রক্রিয়ার ফলে দ্বিগুণ লেখা হয়
-
একটি নতুন পণ্য বৈশিষ্ট্য নতুন ইভেন্ট প্যাটার্ন প্রবর্তন করে
যখন পরিস্থিতি একটি পরিচিত প্যাটার্ন না থাকে তখন AI দুর্বল হয়।.
তুলনা সারণী: বাস্তবে কী কী হ্রাস করছে 🧾🤔
নিচে একটি ব্যবহারিক দৃষ্টিভঙ্গি দেওয়া হল। "মানুষকে প্রতিস্থাপনকারী সরঞ্জাম" নয়, বরং এমন সরঞ্জাম এবং পদ্ধতি যা নির্দিষ্ট কাজকে সঙ্কুচিত করে।.
| হাতিয়ার / পদ্ধতি | পাঠকবর্গ | দামের ধরণ | কেন এটি কাজ করে |
|---|---|---|---|
| এআই কোড কোপাইলট (এসকিউএল + পাইথন হেল্পার) গিটহাব কোপাইলট | প্রকৌশলীরা যারা প্রচুর কোড লেখেন | বিনামূল্যে-প্রদত্ত | স্ক্যাফোল্ডিং, রিফ্যাক্টর, সিনট্যাক্সে দুর্দান্ত... কখনও কখনও খুব নির্দিষ্ট উপায়ে ব্যবহার করা হয় |
| পরিচালিত ELT সংযোগকারী ফাইভট্রান | ইনজেশন তৈরি করতে করতে ক্লান্ত দলগুলি | সাবস্ক্রিপশন-y | কাস্টম ইনজেশনের ব্যথা দূর করে, কিন্তু মজাদার নতুন উপায়ে ভেঙে দেয় |
| ডেটা পর্যবেক্ষণযোগ্যতা প্ল্যাটফর্ম ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেস) | SLA-এর মালিক যে কেউ | মধ্য থেকে এন্টারপ্রাইজ | পাইপলাইনের জন্য ধোঁয়ার অ্যালার্মের মতো - অসঙ্গতিগুলি আগে থেকেই ধরা পড়ে 🔔 |
| রূপান্তর কাঠামো (ঘোষণামূলক মডেলিং) dbt | অ্যানালিটিক্স + ডিই হাইব্রিড | সাধারণত টুল + কম্পিউট | লজিককে মডুলার এবং পরীক্ষাযোগ্য করে তোলে, স্প্যাগেটি কম করে |
| ডেটা ক্যাটালগ + সিমেন্টিক লেয়ার dbt সিমেন্টিক লেয়ার | মেট্রিক বিভ্রান্তি সহ সংস্থাগুলি | বাস্তবে, নির্ভর করে | "সত্য" একবার সংজ্ঞায়িত করে - অন্তহীন মেট্রিক বিতর্ক কমায় |
| টেমপ্লেট সহ অর্কেস্ট্রেশন অ্যাপাচি এয়ারফ্লো | প্ল্যাটফর্ম-মনস্ক দলগুলি | ওপেন + অপারেশন খরচ | কর্মপ্রবাহকে মানসম্মত করে; কম স্নোফ্লেক DAG |
| এআই-সহায়তাপ্রাপ্ত ডকুমেন্টেশন ডিবিটি ডক্স জেনারেশন | যেসব দল ডকুমেন্ট লেখা ঘৃণা করে | সস্তা থেকে মাঝারি | "যথেষ্ট ভালো" ডকুমেন্ট তৈরি করে যাতে জ্ঞান অদৃশ্য না হয় |
| স্বয়ংক্রিয় শাসন নীতিমালা NIST গোপনীয়তা কাঠামো | নিয়ন্ত্রিত পরিবেশ | এন্টারপ্রাইজ-ওয়াই | নিয়ম প্রয়োগে সাহায্য করে - কিন্তু নিয়ম তৈরির জন্য মানুষের প্রয়োজন হয় |
লক্ষ্য করুন কী অনুপস্থিত: একটি সারি যেখানে লেখা আছে "ডেটা ইঞ্জিনিয়ারদের অপসারণ করতে বোতাম টিপুন।" হ্যাঁ... সেই সারিটি বিদ্যমান নেই 🙃
তাহলে... কি AI ডেটা ইঞ্জিনিয়ারদের স্থান নেবে, নাকি ভূমিকা পরিবর্তন করবে? 🛠️
এখানে অ-নাটকীয় উত্তর: AI কর্মপ্রবাহের কিছু অংশ প্রতিস্থাপন করবে, পেশা নয়।
কিন্তু এটি ভূমিকাটিকে পুনর্গঠন করবে
কী পরিবর্তন হয়:
-
বয়লারপ্লেট লেখার সময় কম
-
ডকুমেন্ট অনুসন্ধানে কম সময় লাগে
-
পর্যালোচনা, যাচাই, নকশা করার জন্য আরও সময় দিন
-
চুক্তি এবং গুণমানের প্রত্যাশা নির্ধারণে আরও সময় লাগে ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS)
-
পণ্য, নিরাপত্তা, অর্থের সাথে আরও বেশি সময় অংশীদারিত্ব করা
এটিই সূক্ষ্ম পরিবর্তন: ডেটা ইঞ্জিনিয়ারিং "পাইপলাইন তৈরি" সম্পর্কে কম এবং "একটি নির্ভরযোগ্য ডেটা পণ্য সিস্টেম তৈরি" সম্পর্কে বেশি হয়ে ওঠে।
এবং একটি শান্ত মোড়ের মধ্যে, এটি আরও মূল্যবান, কম নয়।.
এছাড়াও - এবং আমি এটা বলতে চাইছি, যদিও এটি নাটকীয় শোনাচ্ছে - AI ডেটা আর্টিফ্যাক্ট তৈরি করতে পারে এমন লোকের সংখ্যা বৃদ্ধি করে , যা পুরো জিনিসটিকে সুস্থ রাখার জন্য কারও প্রয়োজন বাড়ায়। বেশি আউটপুট মানে আরও সম্ভাব্য বিভ্রান্তি। GitHub Copilot
এটা যেন সবাইকে পাওয়ার ড্রিল দেওয়ার মতো। দারুন! এখন কাউকে না কাউকে "দয়া করে পানির পাইপে ড্রিল করবেন না" নিয়মটি কার্যকর করতে হবে 🪠
নতুন দক্ষতার স্ট্যাক যা মূল্যবান থাকে (সর্বত্র AI থাকা সত্ত্বেও) 🧠⚙️
যদি আপনি একটি ব্যবহারিক "ভবিষ্যৎ-প্রমাণ" চেকলিস্ট চান, তাহলে এটি দেখতে এরকম দেখাবে:
সিস্টেম ডিজাইনের মানসিকতা
-
পরিবর্তনের পরেও টিকে থাকা ডেটা মডেলিং
-
ব্যাচ বনাম স্ট্রিমিং ট্রেডঅফ
-
বিলম্ব, খরচ, নির্ভরযোগ্যতা সম্পর্কে চিন্তাভাবনা
ডেটা কোয়ালিটি ইঞ্জিনিয়ারিং
-
চুক্তি, বৈধতা, অসঙ্গতি সনাক্তকরণ ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) ডেটা পর্যবেক্ষণযোগ্যতা (ডাইনাট্রেস)
-
SLA, SLO, ঘটনার প্রতিক্রিয়া অভ্যাস
-
শৃঙ্খলার মাধ্যমে মূল কারণ বিশ্লেষণ (ভাইবস নয়)
শাসনব্যবস্থা এবং আস্থার স্থাপত্য
-
অ্যাক্সেস প্যাটার্ন
-
নিরীক্ষণযোগ্যতা NIST SP 800-92 (লগ ব্যবস্থাপনা)
-
নকশা অনুসারে গোপনীয়তা NIST গোপনীয়তা কাঠামো
-
ডেটা জীবনচক্র ব্যবস্থাপনা ধরে রাখার বিষয়ে ইইউ নির্দেশিকা
প্ল্যাটফর্ম চিন্তাভাবনা
-
পুনঃব্যবহারযোগ্য টেমপ্লেট, সোনালী পথ
-
ফাইভট্রান ডিবিটি ডেটা টেস্টের জন্য স্ট্যান্ডার্ডাইজড প্যাটার্ন
-
স্ব-পরিষেবা সরঞ্জাম যা গলে না
যোগাযোগ (হ্যাঁ, সত্যিই)
-
স্পষ্ট ডকুমেন্ট লেখা
-
সংজ্ঞা সারিবদ্ধকরণ
-
ভদ্রভাবে কিন্তু দৃঢ়ভাবে "না" বলা
-
রোবটের মতো শোনা না দিয়েই লেনদেন ব্যাখ্যা করা 🤖
যদি তুমি এগুলো করতে পারো, তাহলে "এআই কি ডেটা ইঞ্জিনিয়ারদের প্রতিস্থাপন করবে?" এই প্রশ্নটি কম হুমকির কারণ হয়ে দাঁড়াবে। এআই তোমার বহিঃকঙ্কাল হয়ে উঠবে, তোমার প্রতিস্থাপন নয়।.
বাস্তবসম্মত পরিস্থিতি যেখানে কিছু ডেটা ইঞ্জিনিয়ারিং ভূমিকা সঙ্কুচিত হয় 📉
ঠিক আছে, দ্রুত বাস্তবতা যাচাই করুন, কারণ এটি কেবল রোদ আর ইমোজি কনফেটি নয় 🎉
কিছু ভূমিকা আরও স্পষ্ট:
-
খাঁটি ইনজেশন-কেবল ভূমিকা যেখানে সবকিছুই স্ট্যান্ডার্ড সংযোগকারী ফাইভট্রান সংযোগকারী
-
দলগুলি ন্যূনতম ডোমেন সূক্ষ্মতা সহ বেশিরভাগ পুনরাবৃত্তিমূলক রিপোর্টিং পাইপলাইন করছে
-
যেসব প্রতিষ্ঠানে ডেটা ইঞ্জিনিয়ারিংকে "SQL বানর" হিসেবে বিবেচনা করা হয় (কঠোর, কিন্তু সত্য)
-
নিম্ন-মালিকানাধীন পদ যেখানে চাকরি কেবল টিকিট এবং কপি-পেস্ট
এআই প্লাস ম্যানেজড টুলিং সেই চাহিদাগুলিকে সঙ্কুচিত করতে পারে।.
কিন্তু সেখানেও, প্রতিস্থাপন সাধারণত এরকম দেখায়:
-
একই পুনরাবৃত্তিমূলক কাজ করা লোকের সংখ্যা কম
-
প্ল্যাটফর্মের মালিকানা এবং নির্ভরযোগ্যতার উপর আরও জোর দেওয়া
-
"একজন ব্যক্তি আরও পাইপলাইন সমর্থন করতে পারে" এর দিকে পরিবর্তন
হ্যাঁ - কর্মী সংখ্যার ধরণ পরিবর্তন হতে পারে। ভূমিকা বিকশিত হয়। শিরোনাম পরিবর্তন হয়। এই অংশটি বাস্তব।.
তবুও, ভূমিকাটির উচ্চ-মালিকানা, উচ্চ-বিশ্বাসের সংস্করণটি টিকে আছে।.
সমাপনী সারাংশ 🧾✅
এআই কি ডেটা ইঞ্জিনিয়ারদের স্থান নেবে? মানুষ যেভাবে কল্পনা করে, সেইভাবে পরিষ্কার, সম্পূর্ণ নয়।
এআই করবে:
-
পুনরাবৃত্তিমূলক কাজগুলি স্বয়ংক্রিয় করুন
-
কোডিং, ডিবাগিং এবং ডকুমেন্টেশন ত্বরান্বিত করুন dbt ডকুমেন্টেশনের জন্য GitHub Copilot
-
পাইপলাইন উৎপাদনের খরচ কমানো
কিন্তু ডেটা ইঞ্জিনিয়ারিং মূলত নিম্নলিখিত বিষয়গুলি সম্পর্কে:
-
জবাবদিহিতা
-
সিস্টেম ডিজাইন
-
বিশ্বাস, গুণমান এবং শাসন ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) NIST গোপনীয়তা কাঠামো
-
অস্পষ্ট ব্যবসায়িক বাস্তবতাকে নির্ভরযোগ্য তথ্য পণ্যে রূপান্তরিত করা
এআই এতে সাহায্য করতে পারে... কিন্তু এটি এটির "মালিকানাধীন" নয়।.
আপনি যদি একজন ডেটা ইঞ্জিনিয়ার হন, তাহলে পদক্ষেপটি সহজ (সহজ নয়, তবে সহজ):
মালিকানা, গুণমান, প্ল্যাটফর্ম চিন্তাভাবনা এবং যোগাযোগের উপর নির্ভর করুন। গুরুত্বপূর্ণ অংশগুলি পরিচালনা করার সময় AI কে বয়লারপ্লেট পরিচালনা করতে দিন।
আর হ্যাঁ - মাঝে মাঝে এর অর্থ হল ঘরের প্রাপ্তবয়স্ক হওয়া। আকর্ষণীয় নয়। যদিও শান্তভাবে শক্তিশালী 😄
এআই কি ডেটা ইঞ্জিনিয়ারদের স্থান নেবে?
এটি কিছু কাজ প্রতিস্থাপন করবে, সিঁড়ি পরিবর্তন করবে এবং সেরা ডেটা ইঞ্জিনিয়ারদের আরও মূল্যবান করে তুলবে। এটাই আসল গল্প।
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
এআই কি ডেটা ইঞ্জিনিয়ারদের সম্পূর্ণরূপে প্রতিস্থাপন করবে?
বেশিরভাগ প্রতিষ্ঠানে, AI নির্দিষ্ট কাজগুলি সরাসরি মুছে ফেলার চেয়ে বেশি গ্রহণ করে। এটি SQL ড্রাফটিং, পাইপলাইন স্ক্যাফোল্ডিং, ডকুমেন্টেশন ফার্স্ট পাস এবং বেসিক টেস্ট তৈরিকে ত্বরান্বিত করতে পারে। কিন্তু ডেটা ইঞ্জিনিয়ারিং মালিকানা এবং জবাবদিহিতাও বহন করে, এবং অগোছালো ব্যবসায়িক বাস্তবতাকে একটি নির্ভরযোগ্য সিস্টেমের মতো আচরণ করার অগোছালো কাজও বহন করে। এই অংশগুলিতে এখনও মানুষের "সঠিক" কেমন তা নির্ধারণ করার এবং পরিস্থিতি ভেঙে গেলে দায়িত্ব নেওয়ার প্রয়োজন হয়।.
ডেটা ইঞ্জিনিয়ারিংয়ের কোন অংশগুলি এআই ইতিমধ্যে স্বয়ংক্রিয় করছে?
পুনরাবৃত্তিযোগ্য কাজে AI সবচেয়ে ভালো কাজ করে: SQL ড্রাফটিং এবং রিফ্যাক্টরিং, dbt মডেল স্কেলেটন তৈরি করা, সাধারণ ত্রুটি ব্যাখ্যা করা এবং ডকুমেন্টেশন রূপরেখা তৈরি করা। এটি নাল বা স্বতন্ত্রতা পরীক্ষাগুলির মতো পরীক্ষাও করতে পারে এবং অর্কেস্ট্রেশন সরঞ্জামগুলির জন্য টেমপ্লেট "গ্লু" কোড তৈরি করতে পারে। জয় হল গতি - আপনি একটি কার্যকরী সমাধানের কাছাকাছি শুরু করেন - তবে আপনাকে এখনও সঠিকতা যাচাই করতে হবে এবং নিশ্চিত করতে হবে যে এটি আপনার পরিবেশের সাথে খাপ খায়।.
যদি এআই এসকিউএল এবং পাইপলাইন লিখতে পারে, তাহলে ডেটা ইঞ্জিনিয়ারদের জন্য আর কী বাকি থাকে?
অনেক কিছু: ডেটা চুক্তি সংজ্ঞায়িত করা, স্কিমা ড্রিফট পরিচালনা করা এবং পাইপলাইনগুলি অক্ষম, পর্যবেক্ষণযোগ্য এবং পুনরুদ্ধারযোগ্য কিনা তা নিশ্চিত করা। ডেটা ইঞ্জিনিয়াররা মেট্রিক পরিবর্তনগুলি তদন্ত করতে, ডাউনস্ট্রিম ব্যবহারকারীদের জন্য রেলিং তৈরি করতে এবং খরচ এবং নির্ভরযোগ্যতার লেনদেন পরিচালনা করতে সময় ব্যয় করেন। কাজটি প্রায়শই আস্থা তৈরি করা এবং ডেটা প্ল্যাটফর্মকে "শান্ত" রাখা, যার অর্থ এত স্থিতিশীল রাখা যে কাউকে প্রতিদিন এটি নিয়ে ভাবতে হয় না।.
একজন ডেটা ইঞ্জিনিয়ারের দৈনন্দিন কাজ কীভাবে AI পরিবর্তন করে?
এটি সাধারণত বয়লারপ্লেট এবং "লুকআপ টাইম" কমিয়ে দেয়, তাই আপনি টাইপিংয়ে কম সময় ব্যয় করেন এবং পর্যালোচনা, যাচাই এবং ডিজাইনিংয়ে বেশি সময় ব্যয় করেন। এই পরিবর্তনটি সবকিছু হাতে কোড করার পরিবর্তে প্রত্যাশা, মানের মান এবং পুনঃব্যবহারযোগ্য প্যাটার্ন সংজ্ঞায়িত করার ভূমিকাকে ঠেলে দেয়। বাস্তবে, আপনি সম্ভবত পণ্য, সুরক্ষা এবং অর্থের সাথে আরও অংশীদারিত্বের কাজ করবেন - কারণ প্রযুক্তিগত আউটপুট তৈরি করা সহজ হয়ে যায়, কিন্তু পরিচালনা করা আরও কঠিন হয়ে পড়ে।.
"সক্রিয় ব্যবহারকারী" এর মতো অস্পষ্ট ব্যবসায়িক সংজ্ঞা নিয়ে AI কেন লড়াই করে?
কারণ ব্যবসায়িক যুক্তি স্থির বা সুনির্দিষ্ট নয় - এটি প্রকল্পের মাঝামাঝি পরিবর্তিত হয় এবং অংশীদারদের উপর নির্ভর করে পরিবর্তিত হয়। AI একটি ব্যাখ্যা খসড়া করতে পারে, কিন্তু সংজ্ঞাগুলি বিকশিত হলে বা দ্বন্দ্ব দেখা দিলে সিদ্ধান্ত নিতে পারে না। ডেটা ইঞ্জিনিয়ারিংয়ের জন্য প্রায়শই আলোচনা, অনুমান নথিভুক্তকরণ এবং অস্পষ্ট প্রয়োজনীয়তাগুলিকে টেকসই চুক্তিতে রূপান্তরিত করার প্রয়োজন হয়। "মানব সারিবদ্ধকরণ" কাজটি একটি মূল কারণ যা টুলিং উন্নত হওয়ার পরেও ভূমিকাটি অদৃশ্য হয়ে যায় না।.
এআই কি ডেটা গভর্নেন্স, গোপনীয়তা এবং সম্মতির কাজ নিরাপদে পরিচালনা করতে পারে?
AI নীতিমালা তৈরিতে বা পদ্ধতির পরামর্শ দিতে সাহায্য করতে পারে, কিন্তু নিরাপদ বাস্তবায়নের জন্য এখনও প্রকৃত প্রকৌশল এবং সতর্ক তত্ত্বাবধান প্রয়োজন। শাসনব্যবস্থায় প্রবেশাধিকার নিয়ন্ত্রণ, PII পরিচালনা, ধরে রাখার নিয়ম, অডিট ট্রেইল এবং কখনও কখনও বসবাসের সীমাবদ্ধতা জড়িত। এগুলি উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্র যেখানে "প্রায় সঠিক" গ্রহণযোগ্য নয়। মানুষকে অবশ্যই নিয়ম ডিজাইন করতে হবে, প্রয়োগ যাচাই করতে হবে এবং সম্মতির ফলাফলের জন্য দায়বদ্ধ থাকতে হবে।.
AI উন্নত হওয়ার সাথে সাথে ডেটা ইঞ্জিনিয়ারদের জন্য কোন দক্ষতাগুলি মূল্যবান থাকে?
সিস্টেমকে স্থিতিস্থাপক করে তোলে এমন দক্ষতা: সিস্টেম ডিজাইন চিন্তাভাবনা, ডেটা কোয়ালিটি ইঞ্জিনিয়ারিং এবং প্ল্যাটফর্ম-মনস্ক মানসম্মতকরণ। চুক্তি, পর্যবেক্ষণযোগ্যতা, ঘটনার প্রতিক্রিয়া অভ্যাস এবং সুশৃঙ্খল মূল কারণ বিশ্লেষণ আরও গুরুত্বপূর্ণ হয়ে ওঠে যখন আরও বেশি লোক দ্রুত ডেটা আর্টিফ্যাক্ট তৈরি করতে পারে। যোগাযোগও একটি পার্থক্যকারী হয়ে ওঠে - সংজ্ঞা সারিবদ্ধ করা, স্পষ্ট ডকুমেন্ট লেখা এবং নাটকীয়তা ছাড়াই ট্রেডঅফ ব্যাখ্যা করা ডেটা বিশ্বাসযোগ্য রাখার একটি বড় অংশ।.
এআই এবং পরিচালিত টুলিং থেকে কোন ডেটা ইঞ্জিনিয়ারিং ভূমিকাগুলি সবচেয়ে বেশি ঝুঁকিতে রয়েছে?
পুনরাবৃত্তিমূলক ইনজেশন বা স্ট্যান্ডার্ড রিপোর্টিং পাইপলাইনের উপর সংকীর্ণভাবে কেন্দ্রীভূত ভূমিকাগুলি আরও উন্মুক্ত হয়, বিশেষ করে যখন পরিচালিত ELT সংযোগকারীরা বেশিরভাগ উৎসকে অন্তর্ভুক্ত করে। কম মালিকানা, টিকিট-চালিত কাজ সংকুচিত হতে পারে কারণ AI এবং বিমূর্ততা প্রতিটি পাইপলাইনে প্রচেষ্টা কমিয়ে দেয়। তবে এটি সাধারণত "কোন ডেটা ইঞ্জিনিয়ার নেই" নয় বরং পুনরাবৃত্তিমূলক কাজ করা লোকের সংখ্যা কম বলে মনে হয়। নির্ভরযোগ্যতা, গুণমান এবং বিশ্বাসের উপর কেন্দ্রীভূত উচ্চ-মালিকানা ভূমিকা টেকসই থাকে।.
বিশৃঙ্খলা তৈরি না করে আমি কীভাবে GitHub Copilot অথবা dbt এর মতো টুলগুলি AI সহ ব্যবহার করব?
AI আউটপুটকে সিদ্ধান্ত হিসেবে নয়, একটি খসড়া হিসেবে বিবেচনা করুন। এটি ব্যবহার করে কোয়েরি স্কেলিটন তৈরি করুন, পঠনযোগ্যতা উন্নত করুন, অথবা স্ক্যাফোল্ড dbt পরীক্ষা এবং ডকুমেন্ট তৈরি করুন, তারপর বাস্তব তথ্য এবং প্রান্তিক ক্ষেত্রে যাচাই করুন। এটিকে শক্তিশালী নিয়মাবলীর সাথে যুক্ত করুন: চুক্তি, নামকরণের মান, পর্যবেক্ষণযোগ্যতা পরীক্ষা এবং পর্যালোচনা অনুশীলন। লক্ষ্য হল নির্ভরযোগ্যতা, খরচ নিয়ন্ত্রণ বা শাসনব্যবস্থাকে ত্যাগ না করে দ্রুত ডেলিভারি।.
তথ্যসূত্র
-
ইউরোপীয় কমিশন - ডেটা সুরক্ষা ব্যাখ্যা করা হয়েছে: GDPR নীতিমালা - commission.europa.eu
-
তথ্য কমিশনারের কার্যালয় (ICO) - সংরক্ষণের সীমাবদ্ধতা - ico.org.uk
-
ইউরোপীয় কমিশন - কতক্ষণ তথ্য সংরক্ষণ করা যেতে পারে এবং এটি কি আপডেট করা প্রয়োজন? - commission.europa.eu
-
ন্যাশনাল ইনস্টিটিউট অফ স্ট্যান্ডার্ডস অ্যান্ড টেকনোলজি (NIST) - গোপনীয়তা কাঠামো - nist.gov
-
NIST কম্পিউটার সিকিউরিটি রিসোর্স সেন্টার (CSRC) - SP 800-92: কম্পিউটার সিকিউরিটি লগ ম্যানেজমেন্টের নির্দেশিকা - csrc.nist.gov
-
সেন্টার ফর ইন্টারনেট সিকিউরিটি (CIS) - অডিট লগ ম্যানেজমেন্ট (CIS কন্ট্রোলস) - cisecurity.org
-
স্নোফ্লেক ডকুমেন্টেশন - সারি অ্যাক্সেস নীতি - docs.snowflake.com
-
গুগল ক্লাউড ডকুমেন্টেশন - বিগকুয়েরি সারি-স্তরের নিরাপত্তা - docs.cloud.google.com
-
BITOL - ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - ওপেন ডেটা কন্ট্রাক্ট স্ট্যান্ডার্ড - github.com
-
অ্যাপাচি এয়ারফ্লো - ডকুমেন্টেশন (স্থিতিশীল) - airflow.apache.org
-
অ্যাপাচি এয়ারফ্লো - ডিএজি (মূল ধারণা) - airflow.apache.org
-
dbt ল্যাবস ডকুমেন্টেশন - dbt কি? - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - dbt মডেল সম্পর্কে - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - ডকুমেন্টেশন - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - ডেটা পরীক্ষা - docs.getdbt.com
-
dbt ল্যাবস ডকুমেন্টেশন - dbt সিমান্টিক লেয়ার - docs.getdbt.com
-
ফাইভট্রান ডকুমেন্টেশন - শুরু করা - fivetran.com
-
ফাইভট্রান - সংযোগকারী - fivetran.com
-
AWS ডকুমেন্টেশন - AWS ল্যাম্বডা ডেভেলপার গাইড - docs.aws.amazon.com
-
গিটহাব - গিটহাব কোপাইলট - github.com
-
GitHub Docs - GitHub Copilot ব্যবহার করে আপনার IDE-তে কোড সাজেশন পাওয়া - docs.github.com
-
মাইক্রোসফট লার্ন - SQL এর জন্য GitHub কোপাইলট (VS কোড এক্সটেনশন) - learn.microsoft.com
-
ডাইনাট্রেস ডকুমেন্টেশন - ডেটা পর্যবেক্ষণযোগ্যতা - docs.dynatrace.com
-
ডেটাগ্যালাক্সি - ডেটা পর্যবেক্ষণযোগ্যতা কী? - datagalaxy.com
-
দুর্দান্ত প্রত্যাশার ডকুমেন্টেশন - প্রত্যাশার ওভারভিউ - docs.greatexpectations.io