LaMDA (Google) (BN)
LaMDA (Language Model for Dialogue Applications) — এটি transformer আর্কিটেকচারের উপর ভিত্তি করে তৈরি বৃহৎ ভাষা মডেলের একটি পরিবার, যা Google কর্তৃক তৈরি এবং অর্থপূর্ণ, উন্মুক্ত কথোপকথন পরিচালনার জন্য বিশেষভাবে প্রস্তুত করা হয়েছে[1]। তৎকালীন অনেক সর্বজনীন মডেলের বিপরীতে, LaMDA কে উদ্দেশ্যমূলকভাবে প্রায় যেকোনো বিষয়ে সংসক্ত, বহু-পালার কথোপকথন বজায় রাখার জন্য এবং প্রসঙ্গের মধ্যে স্বাধীনভাবে যাতায়াত করার জন্য প্রশিক্ষিত করা হয়েছিল[2]।
মডেলটি প্রথমবারের মতো ২০২১ সালের মে মাসে Google I/O সম্মেলনে প্রকাশ্যে উপস্থাপন করা হয়[3]। LaMDA কে প্রযুক্তির সাথে মানুষের আরও স্বাভাবিক মিথস্ক্রিয়ার দিকে একটি মৌলিক পদক্ষেপ হিসেবে উপস্থাপন করা হয়েছিল, উদাহরণস্বরূপ সার্চ এবং ভয়েস অ্যাসিস্ট্যান্টে কথ্য ইন্টারফেসের মাধ্যমে[4]।
আর্কিটেকচার ও প্রশিক্ষণ
মৌলিক আর্কিটেকচার: «শুধুমাত্র ডিকোডার»
LaMDA হলো «শুধুমাত্র ডিকোডার» (decoder-only) ধরনের একটি ভাষা মডেল, যা transformer আর্কিটেকচারের উপর নির্মিত। এই আর্কিটেকচার টেক্সট জেনারেশনের কাজের জন্য একটি মানদণ্ড। মডেলটি অটোরিগ্রেসিভ পদ্ধতিতে কাজ করে — পূর্ববর্তী সমস্ত শব্দের উপর ভিত্তি করে ক্রমানুসারে পরবর্তী শব্দ (token) পূর্বানুমান করে। এটি মডেলটিকে প্রদত্ত কথোপকথন চালিয়ে যেতে সংসক্ত ও যৌক্তিক টেক্সট তৈরি করতে সক্ষম করে, তবে BERT-এর বিপরীতে এটির «ডান দিকের» প্রসঙ্গ দেখার সক্ষমতা সীমিত করে[5]।
মাপ ও প্রশিক্ষণ ডেটা
LaMDA পরিবারে ভিন্ন সংখ্যক প্যারামিটারযুক্ত মডেল অন্তর্ভুক্ত, যা ২ থেকে ১৩৭ বিলিয়ন পর্যন্ত। প্রাক-প্রশিক্ষণের (pre-training) জন্য ১.৫৬ ট্রিলিয়ন শব্দের বিশাল ডেটা কর্পাস ব্যবহার করা হয়েছিল, যা সর্বসাধারণের জন্য উপলব্ধ কথোপকথনমূলক ডেটা এবং ওয়েব-টেক্সট দিয়ে গঠিত। এই পরিমাণ LaMDA-র পূর্বসূরী মডেল Meena-র প্রশিক্ষণে ব্যবহৃত ডেটার তুলনায় প্রায় ৪০ গুণ বেশি[1]।
Fine-Tuning প্রক্রিয়া ও মেট্রিক্স
Google-এর গবেষকরা এই সিদ্ধান্তে পৌঁছেছিলেন যে নিরাপত্তা এবং তথ্যগত সঠিকতা নিশ্চিত করতে শুধুমাত্র মাপ বৃদ্ধিই যথেষ্ট নয়। তাই একটি বহু-ধাপের fine-tuning প্রক্রিয়া তৈরি করা হয়েছিল, যার মাধ্যমে মডেলটিকে মানব-টীকাকারীদের দ্বারা মূল্যায়িত তিনটি মূল মেট্রিকের ভিত্তিতে উদ্দেশ্যমূলকভাবে পরিমার্জিত করা হয়েছিল[1]:
- গুণমান (Quality): তিনটি উপাদানের মাধ্যমে মূল্যায়ন করা হয়:
- অর্থপূর্ণতা (Sensibleness): যৌক্তিকতা এবং প্রসঙ্গের সাথে সামঞ্জস্য।
- নির্দিষ্টতা (Specificity): উত্তরের সুনির্দিষ্টতা এবং তথ্যবহুলতা।
- আগ্রহজনকতা (Interestingness): অন্তর্দৃষ্টি এবং বুদ্ধিমত্তা।
- নিরাপত্তা (Safety): ক্ষতিকর, পক্ষপাতমূলক বা বিষাক্ত বক্তব্য তৈরি প্রতিরোধ। এর জন্য একটি বিশেষ ক্লাসিফায়ার-ফিল্টার fine-tune করা হয়েছিল।
- ভিত্তিমূলকতা (Groundedness): «হ্যালুসিনেশন» (কাল্পনিক তথ্য)-এর বিরুদ্ধে লড়াইয়ের লক্ষ্যে। LaMDA কে প্রয়োজনে তথ্যগত তথ্য যাচাই ও নিশ্চিত করতে একটি বাহ্যিক সরঞ্জামের সেট (সার্চ ইঞ্জিন, ক্যালকুলেটর, অনুবাদক)-এর সাহায্য নেওয়ার জন্য fine-tune করা হয়েছিল[1]। এই উদ্ভাবনটি বৃহৎ ভাষা মডেলে নির্ভরযোগ্যতার সমস্যার প্রথম পদ্ধতিগত সমাধানগুলির একটি হয়ে উঠেছিল।
উন্নয়ন ও প্রয়োগের ইতিহাস
প্রকাশ্য ঘোষণা ও LaMDA 2
Google I/O 2021-এ প্রধান নির্বাহী কর্মকর্তা Sundar Pichai LaMDA-র সক্ষমতা প্রদর্শন করেন, যেখানে মডেলটি প্লুটো গ্রহ এবং কাগজের বিমানের ভূমিকায় কথোপকথন পরিচালনা করে[6]।
এক বছর পরে, Google I/O 2022-এ LaMDA 2 উপস্থাপন করা হয়, যা «আরও উন্নত কথোপকথনকারী» হিসেবে চিহ্নিত হয়েছিল। একই সাথে Google AI Test Kitchen অ্যাপ্লিকেশন চালু করে — প্রকাশ্য পরীক্ষার একটি «ল্যাবরেটরি», যেখানে ব্যবহারকারীরা বেশ কয়েকটি ডেমো পরিস্থিতিতে LaMDA পরীক্ষা করতে পারতেন[7]। এটি মডেলটির আরও উন্নতির জন্য বৃহৎ পরিসরে প্রতিক্রিয়া সংগ্রহ করার সুযোগ দিয়েছিল।
Google Bard-এ একীভূতকরণ
২০২৩ সালের ফেব্রুয়ারিতে, ChatGPT-এর দ্রুত জনপ্রিয়তা বৃদ্ধির প্রেক্ষাপটে, Google নিজস্ব পরীক্ষামূলক চ্যাটবট Bard চালু করার ঘোষণা দেয়[8]। প্রাথমিকভাবে Bard কম্পিউটেশনাল সম্পদের চাহিদা কমাতে LaMDA-র একটি হালকা সংস্করণে চলছিল। LaMDA একটি গুরুত্বপূর্ণ «অন্তর্বর্তী» প্রযুক্তি হিসেবে কাজ করেছে, যা Google কে PaLM-এর মতো আরও শক্তিশালী মডেল প্রস্তুত হওয়ার আগেই বাজারে একটি প্রতিযোগিতামূলক পণ্য আনতে সক্ষম করেছে।
Blake Lemoine-এর সাথে ঘটনা
২০২২ সালের জুনে LaMDA ব্যাপক সামাজিক বিতর্কের কেন্দ্রে আসে, যখন Google-এর AI নৈতিকতা বিভাগের প্রকৌশলী Blake Lemoine প্রকাশ্যে দাবি করেন যে মডেলটি, তার মতে, একটি সচেতন সত্তার (sentient) স্তরে পৌঁছেছে। তিনি LaMDA-র সাথে তার কথোপকথনের অংশ প্রকাশ করেন, যেখানে মডেলটি আত্ম-সচেতনতা, অনুভূতি নিয়ে আলোচনা করে এবং বন্ধ হয়ে যাওয়ার ভয় প্রকাশ করে[9]।
অফিসিয়াল অবস্থান ও বৈজ্ঞানিক সম্প্রদায়ের প্রতিক্রিয়া
Google দৃঢ়ভাবে Lemoine-এর দাবি খণ্ডন করে, জানায় যে পর্যালোচনার পরে মডেলের সচেতনতার কোনো প্রমাণ পাওয়া যায়নি, বরং «এর বিপরীতে অসংখ্য প্রমাণ» রয়েছে[9]। ২০২২ সালের জুলাইয়ে Lemoine কে কর্পোরেট গোপনীয়তা নীতি লঙ্ঘনের কারণে বরখাস্ত করা হয়[10]।
বিজ্ঞানী ও AI বিশেষজ্ঞদের বিপুল সংখ্যাগরিষ্ঠও LaMDA-র সচেতনতার ধারণা প্রত্যাখ্যান করেছেন। ভাষাবিদ Emily M. Bender এবং অন্যান্য গবেষকরা জোর দিয়েছেন যে এই ধরনের মডেলগুলি «স্টোক্যাস্টিক তোতাপাখি» — জটিল অ্যালগরিদম যা পরিসংখ্যানগতভাবে সংসক্ত টেক্সট গঠন করে মানুষের বাক্য অনুকরণ করে, কিন্তু প্রকৃত বোঝাপড়া বা চেতনা ছাড়াই[11]। এই ঘটনাটি স্পষ্টভাবে প্রদর্শন করেছে যে মানুষ কতটা সহজে নৃতাত্ত্বিকতার প্রবণতায় যন্ত্রকে মানবিক গুণাবলী আরোপ করে, এবং AI-এর প্রকৃতি নিয়ে বৈশ্বিক আলোচনাকে উদ্দীপিত করেছে।
অবদান ও উত্তরাধিকার
ফ্ল্যাগশিপ প্রযুক্তি হিসেবে অপেক্ষাকৃত স্বল্প জীবনচক্র সত্ত্বেও, LaMDA কথোপকথনমূলক AI-এর উন্নয়নের ইতিহাসে একটি উল্লেখযোগ্য চিহ্ন রেখে গেছে।
- প্রযুক্তিগত অবদান: LaMDA উন্মুক্ত, প্রসঙ্গ-নির্ভর কথোপকথন ব্যবস্থা তৈরির সম্ভাবনা প্রদর্শন করেছে এবং নিরাপত্তা (মূল্যবোধ-ভিত্তিক ফিল্টারিং) ও তথ্যগত ভিত্তিমূলকতা (বাহ্যিক সরঞ্জামের সাহায্য নেওয়া) নিশ্চিত করার পদ্ধতিগত পদ্ধতিতে পথিকৃৎ হয়েছে।
- Google-এর ইকোসিস্টেমে ভূমিকা: LaMDA একটি গুরুত্বপূর্ণ অন্তর্বর্তী প্রযুক্তি হয়ে উঠেছে যা Google কে Bard পণ্য নিয়ে «চ্যাটবট যুদ্ধে» জরুরিভাবে প্রবেশ করতে এবং PaLM ও Gemini-এর মতো আরও শক্তিশালী মডেলের ভিত্তি হওয়া পদ্ধতিগুলির একটি পরীক্ষার মাঠ হিসেবে কাজ করতে সক্ষম করেছে।
- সামাজিক প্রভাব: Blake Lemoine-এর সাথে ঘটনাটি AI-এর প্রকৃতি, চেতনা এবং নৃতাত্ত্বিকতার ঝুঁকি নিয়ে আলোচনাকে একটি নতুন বৈশ্বিক স্তরে নিয়ে গেছে।
ссылки
- Google ব্লগে LaMDA-র অফিসিয়াল ঘোষণা
- Google Research-এ LaMDA সম্পর্কিত বৈজ্ঞানিক প্রকাশনার পৃষ্ঠা
সাহিত্য
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
টীকা
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [১]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [২]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [৩]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [৪]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [৫]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [৬]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [৭]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [৮]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [৯]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [১০]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [১১]