LaMDA (Google) (UR)
LaMDA (Language Model for Dialogue Applications) — یہ transformer کی architecture پر مبنی بڑے language models کا ایک خاندان ہے، جسے Google نے تیار کیا اور جو بامعنی، کھلے مکالموں کے انعقاد میں مہارت رکھتا ہے[1]۔ اپنے دور کے بہت سے عالمی نوعیت کے models کے برعکس، LaMDA کو خاص طور پر اس مقصد کے لیے تربیت دی گئی تھی کہ وہ تقریباً کسی بھی موضوع پر مربوط، کثیر مرحلہ گفتگو برقرار رکھ سکے اور سیاق و سباق کے درمیان آزادانہ طور پر منتقل ہو سکے[2]۔
اس model کو پہلی بار مئی 2021 میں Google I/O کانفرنس میں عوامی طور پر پیش کیا گیا[3]۔ LaMDA کو انسان اور ٹیکنالوجی کے درمیان زیادہ فطری تعامل کی جانب ایک بنیادی قدم کے طور پر پیش کیا گیا، مثلاً تلاش اور voice assistants میں گفتگو پر مبنی interfaces کے ذریعے[4]۔
آرکیٹیکچر اور تربیت
بنیادی آرکیٹیکچر: «صرف decoder»
LaMDA ایک «صرف decoder» (decoder-only) قسم کا language model ہے، جو transformer کی architecture پر تعمیر کیا گیا ہے۔ یہ architecture متن کی تخلیق کے کاموں کے لیے ایک معیار ہے۔ یہ model خودبخود ترتیب وار (autoregressive) انداز میں کام کرتا ہے — یعنی تمام سابقہ الفاظ کی بنیاد پر ترتیب میں اگلے لفظ (token) کا اندازہ لگاتا ہے۔ اس سے یہ مربوط اور منطقی متن تیار کرنے اور دی گئی گفتگو کو جاری رکھنے کے قابل ہوتا ہے، تاہم BERT کے برعکس یہ «دائیں» سیاق و سباق دیکھنے سے قاصر رہتا ہے[5]۔
پیمانہ اور تربیتی ڈیٹا
LaMDA کے خاندان میں مختلف تعداد میں parameters والے models شامل ہیں، جو 2 سے 137 ارب تک ہیں۔ pre-training کے لیے 1.56 کھرب الفاظ پر مشتمل ایک بہت بڑا ڈیٹا corpus استعمال کیا گیا، جو عوامی طور پر دستیاب مکالماتی ڈیٹا اور ویب متون پر مشتمل تھا۔ یہ حجم LaMDA کی پیشرو model Meena کی تربیت میں استعمال ہونے والے ڈیٹا سے تقریباً 40 گنا زیادہ تھا[1]۔
Fine-Tuning کا عمل اور metrics
Google کے محققین اس نتیجے پر پہنچے کہ صرف پیمانے کو بڑھانا حفاظت اور جوابات کی حقیقی درستگی کو یقینی بنانے کے لیے ناکافی ہے۔ اس لیے ایک کثیر مرحلہ fine-tuning کا عمل تیار کیا گیا، جس کے دوران model کو انسانی annotators کے ذریعے جانچی گئی تین کلیدی metrics کے مطابق خاص طور پر ترتیب دیا گیا[1]:
- معیار (Quality): تین اجزاء کے ذریعے جانچا جاتا ہے:
- بامعنی ہونا (Sensibleness): منطقی ہونا اور سیاق و سباق سے مطابقت۔
- مخصوصیت (Specificity): جوابات کی ٹھوس اور معلوماتی نوعیت۔
- دلچسپی (Interestingness): بصیرت اور ذہانت۔
- حفاظت (Safety): نقصان دہ، متعصبانہ یا زہریلے بیانات کی تخلیق کی روک تھام۔ اس مقصد کے لیے ایک خصوصی classifier-filter کو fine-tune کیا گیا۔
- بنیادپذیری (Groundedness): «hallucinations» (خودساختہ حقائق) سے لڑنے کے لیے وقف۔ LaMDA کو fine-tune کیا گیا کہ وہ ضرورت پڑنے پر حقیقی معلومات کی تصدیق اور وضاحت کے لیے بیرونی ٹولز کے ایک مجموعے (سرچ انجن، کیلکولیٹر، ترجمہ کار) سے رجوع کرے[1]۔ یہ اختراع بڑے language models میں قابلِ اعتماد ہونے کے مسئلے کے پہلے منظم حلوں میں سے ایک تھی۔
ترقی اور نفاذ کی تاریخ
عوامی اعلانات اور LaMDA 2
Google I/O 2021 پر چیف ایگزیکٹو آفیسر سندر پچائی نے LaMDA کی صلاحیتوں کا مظاہرہ کیا، ایسے مکالمے دکھائے جن میں model سیارہ پلوٹو اور کاغذی ہوائی جہاز کی جانب سے گفتگو کر رہا تھا[6]۔
ایک سال بعد، Google I/O 2022 پر، LaMDA 2 پیش کی گئی، جو «ایک اور بھی بہتر گفتگوگر» بن گئی۔ ساتھ ہی Google نے AI Test Kitchen ایپلیکیشن لانچ کی — عوامی جانچ کے لیے ایک «تجربہ گاہ»، جہاں صارفین چند مظاہراتی منظرناموں میں LaMDA کو آزما سکتے تھے[7]۔ اس سے model کی مزید بہتری کے لیے بڑے پیمانے پر رائے جمع کرنا ممکن ہوا۔
Google Bard میں انضمام
فروری 2023 میں، ChatGPT کی تیزی سے بڑھتی ہوئی مقبولیت کے پس منظر میں، Google نے اپنے تجرباتی chatbot Bard کے آغاز کا اعلان کیا[8]۔ ابتداً Bard کمپیوٹیشنل وسائل کی ضروریات کو کم کرنے کے لیے LaMDA کے ایک ہلکے پھلکے ورژن پر چلتا تھا۔ LaMDA ایک اہم «عبوری» ٹیکنالوجی کے طور پر کام آئی، جس نے Google کو PaLM جیسے زیادہ طاقتور models کے نفاذ کی تیاری کے دوران مارکیٹ میں ایک مسابقتی مصنوع تیزی سے لانے کا موقع دیا۔
بلیک لیموئن کا واقعہ
جون 2022 میں LaMDA ایک وسیع عوامی بحث کا مرکز بن گئی، جب Google کے AI ethics ڈیپارٹمنٹ کے انجینیئر بلیک لیموئن نے علناً اعلان کیا کہ ان کی رائے میں model نے ایک ذی شعور وجود (sentient) کی سطح حاصل کر لی ہے۔ انہوں نے LaMDA کے ساتھ اپنے مکالموں کے اقتباسات شائع کیے، جن میں model خودشناسی، احساسات کے بارے میں غور و خوض کر رہی تھی اور بند ہونے کا خوف ظاہر کر رہی تھی[9]۔
سرکاری موقف اور سائنسی برادری کا ردعمل
Google نے لیموئن کے دعووں کو یکسر مسترد کر دیا، یہ اعلان کرتے ہوئے کہ تحقیقات کے بعد model کی ذی شعوری کا کوئی ثبوت نہیں ملا، بلکہ «اس کے خلاف متعدد شواہد» موجود ہیں[9]۔ جولائی 2022 میں لیموئن کو کارپوریٹ رازداری کی پالیسی کی خلاف ورزی پر برطرف کر دیا گیا[10]۔
سائنسدانوں اور AI ماہرین کی بھاری اکثریت نے بھی LaMDA کی ذی شعوری کے خیال کو مسترد کر دیا۔ ماہرِ لسانیات ایملی ایم. بینڈر اور دیگر محققین نے زور دیا کہ ایسے models «stochastic parrots» ہیں — پیچیدہ الگورتھم جو انسانی تقریر کی نقل کرتے ہوئے اعداد و شمار کی بنیاد پر مربوط متن تشکیل دیتے ہیں، لیکن بغیر کسی حقیقی فہم یا شعور کے[11]۔ اس واقعے نے واضح طور پر ظاہر کیا کہ انسان کتنی آسانی سے anthropomorphism کا شکار ہو جاتا ہے، مشینوں میں انسانی خصوصیات منسوب کرتا ہے، اور اس نے AI کی فطرت کے بارے میں عالمی بحث کو تحریک دی۔
کردار اور میراث
بطور flagship ٹیکنالوجی نسبتاً مختصر عرصے کے باوجود، LaMDA نے گفتگو پر مبنی AI کی ترقی کی تاریخ میں ایک نمایاں نشان چھوڑا۔
- تکنیکی کردار: LaMDA نے کھلی، سیاق و سباق پر منحصر مکالماتی نظاموں کی تخلیق کا امکان ظاہر کیا اور حفاظت (اقدار پر مبنی فلٹریشن) اور حقیقی بنیادپذیری (بیرونی ٹولز سے رجوع) کو یقینی بنانے کے منظم طریقِ کار میں پیشقدمی کی۔
- Google کے ecosystem میں کردار: LaMDA ایک اہم عبوری ٹیکنالوجی بنی جس نے Google کو Bard کی صورت میں «chatbot جنگ» میں ہنگامی طور پر داخل ہونے کا موقع دیا اور ان طریقوں کے لیے آزمائشی میدان کا کام کیا جو PaLM اور Gemini جیسے زیادہ طاقتور models کی بنیاد بنے۔
- عوامی اثر: بلیک لیموئن کے واقعے نے AI کی فطرت، شعور اور anthropomorphism کے خطرات کے بارے میں بحث کو ایک نئی عالمی سطح پر پہنچا دیا۔
روابط
- Google کے blog میں LaMDA کا سرکاری اعلان
- Google Research پر LaMDA کی سائنسی اشاعت کا صفحہ
ادبیات
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
حواشی
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]