LLM hallucinations — LLM की भ्रामक और गलत प्रतिक्रियाएँ

From Systems analysis Wiki
Jump to navigation Jump to search

भ्रामक उत्तर (अंग्रेज़ी: hallucination) बड़े भाषा मॉडलों (LLM) के संदर्भ में वह घटना है, जिसमें मॉडल आत्मविश्वास के साथ एक विश्वसनीय (plausible) दिखने वाला उत्तर उत्पन्न करता है, जो वास्तव में सत्य नहीं होता, दिए गए संदर्भ से मेल नहीं खाता, या आंतरिक रूप से विरोधाभासी होता है[1][2]। मॉडल ऐसे तथ्य, विवरण या तार्किक निष्कर्ष "गढ़ लेता है" जो मूल डेटा में मौजूद नहीं होते।

यह ध्यान देना महत्वपूर्ण है कि भ्रामक उत्तर पारंपरिक अर्थ में कोई खराबी या बग नहीं है। मॉडल उसी तरह काम करता है जैसा उसे डिज़ाइन किया गया है: वह प्रशिक्षण डेटा से निकाले गए patterns के आधार पर अगले सबसे संभावित पाठ की भविष्यवाणी करता है। उसमें सत्यता की जाँच करने का कोई अंतर्निहित तंत्र नहीं होता[3]। भ्रामक उत्तर साधारण गलतियों से इस मायने में अलग होते हैं कि ये आत्मविश्वास के साथ प्रस्तुत की गई, किंतु असत्य जानकारी होती है, जिसमें अक्सर अस्तित्वहीन तथ्य, संदर्भ या घटनाएँ शामिल होती हैं[4]। यह घटना इतनी महत्वपूर्ण हो गई कि 2023 में कैम्ब्रिज शब्दकोश ने "hallucination" शब्द का एक नया अर्थ जोड़ा, जो कृत्रिम बुद्धिमत्ता से संबंधित है[5]।

भ्रामक उत्तरों की परिभाषा और वर्गीकरण

हालाँकि विभिन्न शब्दों का उपयोग किया जाता है (जैसे "confabulation", "गढ़ी हुई बात"), LLM में भ्रामक उत्तरों को दो बड़ी श्रेणियों में विभाजित किया जा सकता है: तथ्यात्मक सटीकता से संबंधित और स्रोत के प्रति निष्ठा (संदर्भगत संगति) से संबंधित[6]।

तथ्यात्मक भ्रामक उत्तर

यह वह स्थिति है जब मॉडल वास्तविक दुनिया के बारे में तथ्यात्मक रूप से गलत जानकारी प्रस्तुत करता है। मॉडल किसी झूठे "तथ्य" को सच के रूप में बताता है[1]।

  • उदाहरण: "चार्ल्स लिंडबर्ग चाँद पर कदम रखने वाले पहले इंसान थे" — यह पूरी तरह गढ़ा हुआ तथ्य है।
  • झूठे उद्धरण और संदर्भ: मॉडल किसी अस्तित्वहीन शोध पत्र या कानून का संदर्भ वास्तविक संदर्भ के प्रारूप की नकल करते हुए गढ़ सकता है[2]। इससे मॉडलों पर भरोसा कम होता है, विशेष रूप से उन अनुप्रयोगों में जहाँ सटीकता आवश्यक होती है (शिक्षा, समाचार, परामर्श)[7]।

तार्किक त्रुटियाँ

मॉडल तर्क में असंगति या गलती करता है। उत्तर के अलग-अलग तथ्य सही हो सकते हैं, लेकिन निष्कर्ष अतार्किक या बुनियादी तर्क के विरुद्ध होता है[2]। यह अक्सर जटिल तर्क या गणित और कारणता वाले कार्यों में होता है, जहाँ मॉडल औपचारिक तर्क के बजाय शब्दों के संभाव्य संबंधों पर काम करता है[2][2]।

  • उदाहरण: "चूँकि पक्षी उड़ते हैं, इसलिए अंतरिक्ष यात्री गुरुत्वाकर्षण महसूस नहीं करते" — पाठ जुड़ा हुआ लगता है, लेकिन तार्किक रूप से गलत है।

संदर्भगत भ्रामक उत्तर

मॉडल का उत्तर दिए गए संदर्भ या निर्देश से मेल नहीं खाता। मॉडल संदर्भ से "बाहर निकल जाता है", अनावश्यक जानकारी जोड़ता है या आवश्यक जानकारी को नजरअंदाज करता है[1]।

  • निर्देश का उल्लंघन: "पाठ का स्पेनिश में अनुवाद करें" के अनुरोध पर मॉडल अंग्रेज़ी में उत्तर देता है[1]।
  • स्रोत से बाहर की जानकारी: सारांश बनाने के कार्य में मॉडल ऐसे तथ्य "जोड़ देता है" जो मूल दस्तावेज़ में नहीं हैं, या उन्हें तोड़-मरोड़ देता है[1]।
  • संदर्भों का मिश्रण: उत्तर के बीच में मॉडल अचानक किसी दूसरे क्षेत्र की बात करने लगता है। उदाहरण के लिए, NBA आयुक्त Adam Silver के बारे में पूछे गए प्रश्न के उत्तर में मॉडल उनके पूर्ववर्ती David Stern पर चला जाता है, दो अलग-अलग संदर्भों को मिला देता है[6]।

असंगति

भ्रामक उत्तर का एक प्रकार, जिसमें मॉडल एक ही उत्तर या उत्तरों की श्रृंखला के भीतर स्वयं से विरोधाभास करता है[6]। एक अध्ययन में पाया गया कि ChatGPT के उत्तरों में आत्म-विरोधाभास का स्तर लगभग 14% है[6][6]।

  • उदाहरण: "कंपनी X की स्थापना 1990 में हुई थी... और कुछ वाक्यों बाद ...कंपनी X, जो 2000 में बनी..."

कोड में भ्रामक उत्तर

कोड पर प्रशिक्षित LLM ऐसे टुकड़े उत्पन्न कर सकते हैं जो वाक्यरचनात्मक रूप से सही लेकिन काम न करने वाले हों, जिनमें अस्तित्वहीन functions, libraries या parameters का उपयोग किया गया हो[2]। उदाहरण के लिए, मॉडल Python में `import quantum` उत्पन्न कर सकता है, जबकि ऐसा कोई मानक module मौजूद नहीं है। 2024 में "code hallucination" शब्द प्रस्तावित किया गया और इस समस्या को व्यवस्थित करने के लिए CodeMirage benchmark बनाया गया[8]।

उत्पत्ति के कारण

भ्रामक उत्तरों की घटना मॉडल की संरचना से लेकर डेटा की गुणवत्ता तक कई कारकों के संयोजन से होती है।

  • संरचना और प्रशिक्षण का सिद्धांत: अधिकांश LLM (जैसे GPT) autoregressive transformer हैं, जिन्हें अगले token की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। उनका लक्ष्य पाठ की संभाव्यता को अधिकतम करना है, न कि कथनों की सत्यता की जाँच करना[2]। मॉडल प्रशिक्षण डेटा में तथ्यों और कल्पना के बीच अंतर नहीं करता, सब कुछ textual patterns के रूप में देखता है[2]।
  • प्रशिक्षण डेटा की गुणवत्ता: LLM को इंटरनेट से लिए गए विशाल पाठ संग्रहों पर प्रशिक्षित किया जाता है, जिनमें अनेक अशुद्धियाँ, मिथक और पुरानी जानकारी होती है[1]। मॉडल इन त्रुटियों को याद करता और दोहराता है। इसके अलावा knowledge cutoff भी महत्वपूर्ण है — वह समय-सीमा जिस तक मॉडल के पास जानकारी होती है।
  • पाठ उत्पन्न करने का तरीका: पीढ़ी का stochastic स्वरूप (temperature के साथ sampling) मॉडल को अधिक "रचनात्मक" लेकिन कम सटीक उत्तर बनाने देता है। context की सीमित लंबाई के कारण मॉडल संवाद के शुरुआती विवरणों को "भूल" सकता है और स्वयं से विरोधाभास करने लगता है[6]।

मूल्यांकन और मापन की विधियाँ

भ्रामक उत्तरों की पहचान और माप के लिए स्वचालित metrics, मानवीय मूल्यांकन और विशेष benchmarks का उपयोग किया जाता है।

  • स्वचालित metrics: इनमें ऐसे दृष्टिकोण शामिल हैं जहाँ एक अन्य LLM उत्तर की सटीकता का मूल्यांकन करने के लिए "न्यायाधीश" (LLM-as-a-judge) की भूमिका निभाती है[9], या उत्पन्न करते समय मॉडल की entropy (अनिश्चितता) का विश्लेषण किया जाता है[10]।
  • मानवीय annotation: इसे "स्वर्ण मानक" माना जाता है। विशेषज्ञ या crowd assessors उत्तरों का मैन्युअल मूल्यांकन करते हैं और त्रुटियों को चिह्नित करते हैं। इस विधि का उपयोग RLHF के साथ मॉडल प्रशिक्षण में किया जाता है[11]।
  • Benchmarks और stress tests: विशेष datasets बनाए गए हैं, जैसे TruthfulQA, जिसमें ऐसे प्रश्न हैं जो मॉडल को सामान्य मिथकों को दोहराने के लिए उकसाते हैं[12]। इसके अलावा leaderboards भी हैं, जैसे Hugging Face Hallucination Leaderboard, जहाँ मॉडलों की भ्रामक उत्तर दर की तुलना की जाती है[13]।

कमी और रोकथाम के उपाय

  • Retrieval-Augmented Generation (RAG): सबसे सफल दृष्टिकोण, जो मॉडल को बाहरी ज्ञान से "बाँधता" है। उत्तर उत्पन्न करने से पहले मॉडल किसी database, search engine या API से प्रासंगिक जानकारी प्राप्त करता है। इससे मॉडल अनुमानों के बजाय सत्यापित डेटा पर अपना उत्तर आधारित कर सकता है[2]।
  • Chain-of-Thought रास्ते और आत्म-जाँच: मॉडल अंतिम उत्तर देने से पहले चरण-दर-चरण तर्क उत्पन्न करता है, जिससे सटीकता बढ़ती है। अधिक उन्नत विधियों में, जैसे Self-Verification, मॉडल एक प्रारूप उत्तर उत्पन्न करता है और फिर उसे जाँचने और सुधारने का कार्य करता है[14]।
  • अंतर्निहित नियम और फ़िल्टर: मॉडलों को अनिश्चित होने पर उत्तर देने से मना करने के लिए प्रशिक्षित किया जाता है। उदाहरण के लिए, Anthropic के Claude मॉडल "सत्यनिष्ठा" के सिद्धांत का पालन करते हैं और तथ्य गढ़ने के बजाय अक्सर "मुझे निश्चित रूप से नहीं पता..." जैसा उत्तर देते हैं[11]।
  • बाहरी उपकरणों के साथ एकीकरण: Gemini जैसे मॉडल स्वचालित रूप से पहचान सकते हैं कि उन्हें किसी बाहरी उपकरण की आवश्यकता है (जैसे गणना के लिए calculator या ताज़ी खबरों के लिए search), और उसका उपयोग करते हैं, जिससे भ्रामक उत्तरों की संख्या काफी कम हो जाती है[11]।

जोखिम और परिणाम

  • कानूनी और प्रतिष्ठा संबंधी जोखिम: कानूनी क्षेत्र में भ्रामक उत्तरों के गंभीर परिणाम हो सकते हैं। Mata v. Avianca (2023) का मामला व्यापक रूप से प्रसिद्ध हुआ, जिसमें एक वकील ने न्यायिक उदाहरणों की खोज के लिए ChatGPT का उपयोग किया और उसने कई अस्तित्वहीन मामले गढ़ दिए। वकीलों पर जुर्माना लगाया गया और यह घटना बिना जाँच के AI पर भरोसा न करने का सबक बन गई[1]।
  • गलत सूचना का प्रसार: समाज के स्तर पर LLM झूठी खबरों की समस्या को बढ़ा सकते हैं। Meta के Galactica मॉडल का मामला प्रसिद्ध है, जिसे वैज्ञानिकों की मदद के लिए बनाया गया था, लेकिन उसने गढ़े हुए प्रयोगों और संदर्भों के साथ छद्म-वैज्ञानिक पाठ उत्पन्न करना शुरू कर दिया। तीन दिन बाद मॉडल की सार्वजनिक पहुँच बंद कर दी गई[15]।
  • गलत निर्णय लेना: उपयोगकर्ता, विशेष रूप से अनुभवहीन, AI के आत्मविश्वास से कहे गए उत्तरों पर भरोसा करते हैं, जिससे वित्त, चिकित्सा और अन्य महत्वपूर्ण क्षेत्रों में गलत निर्णय लिए जा सकते हैं[7]।

व्यावहारिक उदाहरण

  • Air Canada का मामला (2023): एयरलाइन के chat-bot ने एक ऐसी टिकट वापसी नीति गढ़ी जो अस्तित्व में नहीं थी। जब ग्राहक ने उसे लागू करने की माँग की तो कंपनी ने मना कर दिया। कनाडा के परिवहन न्यायाधिकरण ने Air Canada को अपने chat-bot द्वारा दी गई जानकारी की जिम्मेदारी लेने और ग्राहक को हुई हानि की भरपाई करने का आदेश दिया[9]।
  • OpenAI के विरुद्ध मानहानि का मुकदमा (2023): रेडियो प्रस्तोता Mark Walters ने OpenAI पर मुकदमा दायर किया, क्योंकि एक पत्रकार के अनुरोध के जवाब में ChatGPT ने उन पर झूठे तरीके से धोखाधड़ी का आरोप लगाया था। इस मामले ने कंपनियों की अपने मॉडलों द्वारा उत्पन्न सामग्री के लिए कानूनी जवाबदेही को उजागर किया[6]।

संदर्भ

  • The Beginner's Guide to Hallucinations in Large Language Models — Lakera द्वारा विस्तृत मार्गदर्शिका
  • Survey of Hallucination in Natural Language Generation — arXiv पर घटना का वैज्ञानिक सर्वेक्षण

साहित्य

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

टिप्पणियाँ

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [१]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [२]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [३]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [४]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [५]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [६]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [७]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [८]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [९]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [१०]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [११]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [१२]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [१३]
Retrieved from "https://systems-analysis.info/int/index.php?title=LLM_hallucinations_—_LLM_की_भ्रामक_और_गलत_प्रतिक्रियाएँ&oldid=3631"