Stochastic parrot — स्टोकैस्टिक तोता
स्टोकैस्टिक तोता (अंग्रेज़ी: Stochastic parrot) — यह कृत्रिम बुद्धिमत्ता के क्षेत्र में उपयोग की जाने वाली एक रूपक अभिव्यक्ति है, जो बड़े भाषा मॉडलों (LLM) को ऐसी प्रणालियों के रूप में वर्णित करती है जो सांख्यिकीय रूप से विश्वसनीय ढंग से भाषाई रूपों को संयोजित करना जानती हैं, किंतु उनके वास्तविक अर्थ की समझ से रहित होती हैं[1]।
यह शब्द मार्च 2021 में एक शोध पत्र «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» में प्रस्तुत किया गया था, जो FAccT सम्मेलन में प्रकाशित हुआ। इसके लेखक थे Emily M. Bender, Timnit Gebru, Angelina McMillan-Major और Margaret Mitchell[2]।
परिभाषा और अवधारणा
शोध पत्र के लेखकों के अनुसार, स्टोकैस्टिक तोता «एक ऐसी प्रणाली है जो अपने विशाल प्रशिक्षण डेटा में देखी गई भाषाई रूपों की अनुक्रमों को, उनके संयोजन के बारे में प्रायिकता संबंधी जानकारी के आधार पर, अर्थ से किसी भी संबंध के बिना, अव्यवस्थित ढंग से जोड़ती है»[2]।
यह शब्द दो भागों से बना है:
- स्टोकैस्टिक — प्राचीन यूनानी στοχαστικός («अनुमान पर आधारित») से, जो आधुनिक गणित में यादृच्छिक प्रायिकता वितरण द्वारा निर्धारित प्रक्रिया को दर्शाता है[1]।
- तोता — तोतों की उस क्षमता का संदर्भ, जिसमें वे मानव भाषण की नकल करते हैं, बिना उसका अर्थ समझे[1]।
यह अवधारणा यह प्रतिपादित करती है कि LLM, जो अनुक्रम में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित होते हैं, वास्तव में स्वत: पूर्णता (autocomplete) की जटिल प्रणालियाँ हैं, जो प्रतीकों को उनके अर्थ तक पहुँच के बिना संचालित करती हैं।
«On the Dangers of Stochastic Parrots» शोध पत्र के मुख्य तर्क
इस कार्य में अत्यधिक बड़े भाषा मॉडलों के विकास से जुड़े जोखिमों की चार प्रमुख श्रेणियाँ चिह्नित की गई हैं।
1. अज्ञेय प्रशिक्षण डेटा
LLM को इंटरनेट से एकत्रित विशाल, गैर-अनुकूलित dataset पर प्रशिक्षित किया जाता है (उदाहरणतः Common Crawl)। ऐसे dataset में अनिवार्यतः पूर्वाग्रह, विषाक्त भाषा और वर्चस्ववादी दृष्टिकोण होते हैं, जो कमज़ोर वर्गों को नुकसान पहुँचाते हैं। उदाहरण के लिए, इंटरनेट सामग्री में विकसित देशों के श्वेत पुरुषों का अनुपातहीन प्रतिनिधित्व है (अमेरिका में Reddit के 67% उपयोगकर्ता पुरुष हैं)[2]।
2. भाषा की वास्तविक समझ का अभाव
लेखक तर्क देते हैं कि LLM में भाषा की वास्तविक समझ नहीं होती। वे उस सिद्धांत का संदर्भ देते हैं जिसके अनुसार भाषा संकेतों की एक प्रणाली है, जहाँ रूप (शब्द) अर्थ से अविभाज्य रूप से जुड़ा होता है। LLM के प्रशिक्षण डेटा में केवल रूप होता है, जो मॉडल को अर्थ तक पहुँच से वंचित करता है। इसलिए LLM केवल सार्थक भाषण का अनुकरण करते हैं।
3. कृत्रिम पाठ और संभावित हानि
चूँकि LLM व्याकरणिक रूप से सही और विश्वसनीय पाठ उत्पन्न करते हैं, इसलिए लोग उसे अर्थपूर्ण मानने और उस पर विश्वास करने की प्रवृत्ति रखते हैं। इससे भ्रामक सूचना, घृणास्पद भाषा और धोखाधड़ी के प्रसार का जोखिम उत्पन्न होता है। अनुकरण जितना परिपूर्ण होगा, उतना ही अधिक जोखिम होगा कि लोग AI की क्षमताओं को अधिक आँकें और उसे अत्यंत महत्त्वपूर्ण निर्णय सौंपें।
प्रकाशन के इर्द-गिर्द वैज्ञानिक प्रभाव और विवाद
यह शोध पत्र Google में एक बड़े विवाद का केंद्र बन गया, जहाँ उस समय सह-लेखिकाएँ Timnit Gebru और Margaret Mitchell कार्यरत थीं। 2020 के अंत में, आंतरिक समीक्षा के दौरान, Google के प्रबंधन ने लेखकों से शोध पत्र वापस लेने या उसमें से Google कर्मचारियों के नाम हटाने की माँग की[3]।
AI नैतिकता की प्रमुख शोधकर्ता Timnit Gebru ने यह माँग मानने से इनकार कर दिया, जिसके परिणामस्वरूप दिसंबर 2020 में Google से उनकी बर्खास्तगी हो गई। फरवरी 2021 में Margaret Mitchell को भी, जिन्होंने Gebru का समर्थन किया था, नौकरी से निकाल दिया गया[4]। इन घटनाओं ने व्यापक सार्वजनिक प्रतिक्रिया उत्पन्न की। Google के 2200 से अधिक कर्मचारियों और हज़ारों शैक्षणिक जगत के प्रतिनिधियों ने विरोध पत्र पर हस्ताक्षर किए, कंपनी पर वैज्ञानिक सेंसरशिप और उन शोधों को दबाने का आरोप लगाया जो उसके व्यावसायिक हितों को प्रभावित कर सकते थे[5]। अंततः शोध पत्र मार्च 2021 में FAccT सम्मेलन में प्रकाशित हुआ।
प्रतिक्रिया, बहस और दृष्टिकोणों का विकास
«स्टोकैस्टिक तोता» की रूपक अभिव्यक्ति तेज़ी से फैली और कृत्रिम बुद्धिमत्ता की प्रकृति पर बहस में केंद्रीय बिंदु बन गई। American Dialect Society (ADS) ने «stochastic parrot» को 2023 के लिए AI के क्षेत्र में वर्ष का शब्द चुना, जिसने «ChatGPT» और «LLM» को भी पीछे छोड़ दिया[1]।
अवधारणा की आलोचना और समझ के प्रमाण
इस अवधारणा को कई प्रमुख शोधकर्ताओं ने चुनौती दी।
- Geoffrey Hinton, गहन अधिगम (deep learning) के «जनकों» में से एक, ने तर्क दिया कि «अगले शब्द की सटीक भविष्यवाणी के लिए वाक्य को समझना आवश्यक है»[1]। 2023 में Google छोड़ने के बाद उन्होंने कहा कि बड़े मॉडल पहले से ही उस चीज़ को «समझते» हैं जो उन्हें सिखाई जाती है, और वे स्वतंत्र निष्कर्ष निकाल सकते हैं[6]।
- उभरती क्षमताएँ (Emergent Abilities): शोध से पता चला है कि एक निश्चित पैमाने पर पहुँचने पर LLM में नई क्षमताएँ, जैसे अंकगणितीय समस्याओं का समाधान, अचानक प्रकट होती हैं, जो उनमें स्पष्ट रूप से अंतर्निहित नहीं थीं[7]।
- संसार के आंतरिक मॉडल: 2022 के एक शोध से पता चला कि Othello खेल के पाठ्य चाल-अभिलेखों के आधार पर खेलने के लिए प्रशिक्षित एक मॉडल ने स्वतः ही खेल के मैदान का एक आंतरिक प्रतिनिधित्व विकसित कर लिया, जो वर्णित संसार के एक अमूर्त मॉडल के विकास का संकेत देता है[3]।
- Benchmark पर प्रदर्शन: GPT-4 जैसे आधुनिक मॉडल जटिल व्यावसायिक परीक्षाओं में मानव-स्तर के (या उससे ऊपर के) परिणाम दर्शाते हैं, जो कुछ लोगों के अनुसार समझ के बिना संभव नहीं[8]।
व्यंग्यात्मक उपयोग और सार्वजनिक विमर्श
यह शब्द इतना लोकप्रिय हो गया कि OpenAI के प्रमुख Sam Altman ने भी इसे व्यंग्यात्मक रूप से उपयोग करते हुए Twitter पर लिखा: «मैं एक स्टोकैस्टिक तोता हूँ, और आप भी हैं» (i am a stochastic parrot, and so r u)। इस प्रकार उन्होंने संकेत दिया कि मानव भाषण भी काफ़ी हद तक अगले शब्द की प्रायिकता संबंधी भविष्यवाणी है, और AI की आलोचना पर व्यंग्य किया[1]।
वैज्ञानिक विमर्श पर प्रभाव
«स्टोकैस्टिक तोता» की रूपक अभिव्यक्ति LLM की संभावनाओं और सीमाओं पर बहस में केंद्रीय बनी हुई है। इसने भाषा मॉडलों में वास्तविक समझ के अभाव की समस्या को स्पष्ट रूप से व्यक्त करने और उनके विकास से जुड़े जोखिमों की ओर ध्यान आकर्षित करने में सहायता की। साथ ही, LLM के क्षेत्र में तीव्र प्रगति इस रूपक का निरंतर पुनर्मूल्यांकन करने पर विवश करती है, क्योंकि नवीनतम मॉडल उत्तरोत्तर जटिल व्यवहार प्रदर्शित करते हैं जो «निरर्थक तोते» की छवि में समाहित नहीं होता। यह शब्द वैज्ञानिक विमर्श को प्रभावित करता रहता है, AI प्रणालियों की क्षमताओं और उनके सामाजिक परिणामों के आलोचनात्मक विश्लेषण के महत्त्व को रेखांकित करते हुए[8]।
साहित्य
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
टिप्पणियाँ
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [१]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [२]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [३]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [४]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [५]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [६]
- ↑ «Stochastic parrot». Wikipedia. [७]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [८]