LaMDA (Google) (HI)
LaMDA (Language Model for Dialogue Applications) — यह transformer आर्किटेक्चर पर आधारित बड़े भाषा मॉडलों का एक परिवार है, जिसे Google कंपनी ने विकसित किया और जो अर्थपूर्ण, खुले संवादों के संचालन में विशेषज्ञता रखता है[1]। अपने समय के कई सामान्य-उद्देश्य मॉडलों के विपरीत, LaMDA को विशेष रूप से लगभग किसी भी विषय पर सुसंगत, बहु-चरणीय बातचीत बनाए रखने के लिए प्रशिक्षित किया गया था, जो संदर्भों के बीच स्वतंत्र रूप से स्विच कर सकती थी[2]।
इस मॉडल को पहली बार Google I/O सम्मेलन, मई 2021 में सार्वजनिक रूप से प्रस्तुत किया गया था[3]। LaMDA को मनुष्य और प्रौद्योगिकी के बीच अधिक स्वाभाविक संपर्क की दिशा में एक मूलभूत कदम के रूप में प्रस्तुत किया गया, जैसे कि खोज और वॉयस असिस्टेंट में संवादात्मक इंटरफेस के माध्यम से[4]।
आर्किटेक्चर और प्रशिक्षण
मूलभूत आर्किटेक्चर: «केवल decoder»
LaMDA एक «केवल decoder» (decoder-only) प्रकार का भाषा मॉडल है, जो transformer आर्किटेक्चर पर निर्मित है। यह आर्किटेक्चर टेक्स्ट जनरेशन कार्यों के लिए एक मानक है। मॉडल autoregressive तरीके से काम करता है — यह अनुक्रम में सभी पिछले शब्दों के आधार पर अगले शब्द (token) की भविष्यवाणी करता है। यह इसे दी गई बातचीत को जारी रखते हुए सुसंगत और तार्किक टेक्स्ट उत्पन्न करने में सक्षम बनाता है, लेकिन BERT के विपरीत, यह «दाएं» संदर्भ को देखने की क्षमता को सीमित करता है[5]।
पैमाना और प्रशिक्षण डेटा
LaMDA परिवार में विभिन्न संख्या के parameters वाले मॉडल शामिल हैं, 2 से लेकर 137 अरब तक। pre-training के लिए 1.56 ट्रिलियन शब्दों की विशाल डेटा कॉर्पस का उपयोग किया गया, जिसमें सार्वजनिक रूप से उपलब्ध संवादात्मक डेटा और वेब टेक्स्ट शामिल थे। यह मात्रा LaMDA की पूर्ववर्ती मॉडल Meena के प्रशिक्षण में उपयोग किए गए डेटा से लगभग 40 गुना अधिक थी[1]।
Fine-Tuning की प्रक्रिया और मेट्रिक्स
Google के शोधकर्ताओं ने यह निष्कर्ष निकाला कि उत्तरों की सुरक्षा और तथ्यात्मक सटीकता सुनिश्चित करने के लिए केवल स्केलिंग पर्याप्त नहीं है। इसलिए एक बहु-चरणीय fine-tuning प्रक्रिया विकसित की गई, जिसमें मानव annotators द्वारा मूल्यांकन की जाने वाली तीन प्रमुख मेट्रिक्स के आधार पर मॉडल को लक्षित रूप से समायोजित किया गया[1]:
- गुणवत्ता (Quality): इसका मूल्यांकन तीन घटकों के माध्यम से किया जाता है:
- अर्थपूर्णता (Sensibleness): तार्किकता और संदर्भ के अनुरूपता।
- विशिष्टता (Specificity): उत्तरों की ठोसता और सूचनात्मकता।
- रोचकता (Interestingness): अंतर्दृष्टिपूर्णता और चतुराई।
- सुरक्षा (Safety): हानिकारक, पक्षपाती या विषाक्त कथनों की उत्पत्ति को रोकना। इसके लिए एक विशेष classifier-filter को fine-tune किया गया।
- आधारभूतता (Groundedness): यह «मतिभ्रम» (काल्पनिक तथ्यों) से लड़ने पर केंद्रित है। LaMDA को आवश्यकता पड़ने पर तथ्यात्मक जानकारी की जांच और सत्यापन के लिए बाहरी उपकरणों (खोज इंजन, कैलकुलेटर, अनुवादक) के एक सेट से परामर्श करने के लिए fine-tune किया गया[1]। यह नवाचार बड़े भाषा मॉडलों में विश्वसनीयता की समस्या के पहले व्यवस्थित समाधानों में से एक बन गया।
विकास और कार्यान्वयन का इतिहास
सार्वजनिक घोषणाएं और LaMDA 2
Google I/O 2021 में मुख्य कार्यकारी अधिकारी सुंदर पिचाई ने LaMDA की क्षमताओं का प्रदर्शन किया, ऐसे संवाद दिखाए जिनमें मॉडल ने प्लूटो ग्रह और एक कागजी हवाई जहाज की भूमिका से बातचीत की[6]।
एक साल बाद, Google I/O 2022 में LaMDA 2 प्रस्तुत की गई, जो «और भी अधिक परिष्कृत वार्ताकार» बन गई। साथ ही Google ने AI Test Kitchen एप्लिकेशन लॉन्च किया — सार्वजनिक परीक्षण के लिए एक «प्रयोगशाला», जहां उपयोगकर्ता कई प्रदर्शन परिदृश्यों में LaMDA को आजमा सकते थे[7]। इससे मॉडल के आगे के सुधार के लिए बड़े पैमाने पर प्रतिक्रिया एकत्र करना संभव हुआ।
Google Bard में एकीकरण
फरवरी 2023 में, ChatGPT की तेजी से बढ़ती लोकप्रियता की पृष्ठभूमि में, Google ने अपने प्रयोगात्मक chatbot Bard के लॉन्च की घोषणा की[8]। शुरुआत में Bard कम्प्यूटेशनल संसाधनों की आवश्यकताओं को कम करने के लिए LaMDA के एक हल्के संस्करण पर काम करता था। LaMDA ने एक महत्वपूर्ण «संक्रमणकालीन» तकनीक के रूप में काम किया, जिसने Google को एक प्रतिस्पर्धी उत्पाद को बाजार में शीघ्रता से उतारने में सक्षम बनाया, जबकि PaLM जैसे अधिक शक्तिशाली मॉडल कार्यान्वयन के लिए तैयार किए जा रहे थे।
ब्लेक लेमोइन प्रकरण
जून 2022 में LaMDA एक व्यापक सार्वजनिक बहस के केंद्र में आ गई, जब Google के AI नैतिकता विभाग के इंजीनियर ब्लेक लेमोइन ने सार्वजनिक रूप से दावा किया कि मॉडल उनके अनुसार एक चेतन प्राणी (sentient) के स्तर तक पहुंच गया है। उन्होंने LaMDA के साथ अपनी बातचीत के अंश प्रकाशित किए, जिनमें मॉडल ने आत्म-जागरूकता, भावनाओं पर विचार किया और बंद होने का भय व्यक्त किया[9]।
आधिकारिक स्थिति और वैज्ञानिक समुदाय की प्रतिक्रिया
Google ने लेमोइन के दावों को दृढ़ता से खारिज कर दिया, यह कहते हुए कि जांच के बाद मॉडल की बुद्धिमत्ता का कोई प्रमाण नहीं मिला, और «इसके विरुद्ध कई साक्ष्य» मौजूद हैं[9]। जुलाई 2022 में लेमोइन को कॉर्पोरेट गोपनीयता नीति के उल्लंघन के लिए बर्खास्त कर दिया गया[10]।
AI के अधिकांश वैज्ञानिकों और विशेषज्ञों ने भी LaMDA की चेतनता के विचार को अस्वीकार कर दिया। भाषाविद् एमिली एम. बेंडर और अन्य शोधकर्ताओं ने जोर दिया कि ऐसे मॉडल «stochastic parrots» हैं — जटिल algorithms जो मानव भाषण की नकल करते हुए सांख्यिकीय रूप से सुसंगत टेक्स्ट बनाते हैं, लेकिन बिना किसी वास्तविक समझ या चेतना के[11]। इस प्रकरण ने स्पष्ट रूप से प्रदर्शित किया कि मनुष्य कितनी आसानी से anthropomorphism की ओर प्रवृत्त होता है, मशीनों में मानवीय गुण आरोपित करते हुए, और इसने AI की प्रकृति पर एक वैश्विक चर्चा को प्रेरित किया।
योगदान और विरासत
फ्लैगशिप तकनीक के रूप में अपेक्षाकृत छोटे जीवनचक्र के बावजूद, LaMDA ने संवादात्मक AI के विकास के इतिहास में एक महत्वपूर्ण छाप छोड़ी है।
- तकनीकी योगदान: LaMDA ने खुले, संदर्भ-निर्भर संवादात्मक प्रणालियों को बनाने की संभावना प्रदर्शित की और सुरक्षा (मूल्य-आधारित फ़िल्टरिंग) और तथ्यात्मक आधारभूतता (बाहरी उपकरणों से परामर्श) सुनिश्चित करने के लिए व्यवस्थित दृष्टिकोण में अग्रणी बनी।
- Google पारिस्थितिकी तंत्र में भूमिका: LaMDA एक महत्वपूर्ण संक्रमणकालीन तकनीक बनी, जिसने Google को Bard उत्पाद के साथ «chatbot युद्ध» में आपातकालीन रूप से प्रवेश करने में सक्षम बनाया और PaLM तथा Gemini जैसे अधिक शक्तिशाली मॉडलों की नींव रखने वाली विधियों के लिए एक परीक्षण स्थल के रूप में काम किया।
- सामाजिक प्रभाव: ब्लेक लेमोइन प्रकरण ने AI की प्रकृति, चेतना और anthropomorphism के जोखिमों पर चर्चा को एक नए वैश्विक स्तर पर ले जाया।
संदर्भ
- Google ब्लॉग पर LaMDA की आधिकारिक घोषणा
- Google Research पर LaMDA के वैज्ञानिक प्रकाशन का पृष्ठ
साहित्य
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
टिप्पणियां
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [१]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [२]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [३]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [४]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [५]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [६]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [७]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [८]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [९]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [१०]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [११]