Contextual forgetting — संदर्भात्मक विस्मरण
बड़े भाषा मॉडलों में संदर्भात्मक विस्मरण — यह एक बहुआयामी घटना है, जिसमें एक बड़ा भाषा मॉडल (LLM) एक ही इंटरैक्शन के दौरान पहले प्रदान की गई जानकारी को खो देता है, अनदेखा कर देता है या अप्रभावी रूप से उपयोग करता है[1]। मानव स्मृति के विपरीत, LLM के पास दीर्घकालिक अवस्था-संग्रहण नहीं होता और वे केवल संदर्भ विंडो पर निर्भर रहते हैं — टोकन में टेक्स्ट की एक सीमित मात्रा, जिसे मॉडल एक साथ प्रोसेस कर सकता है। यह विंडो मॉडल की अल्पकालिक या कार्यशील स्मृति की भूमिका निभाती है[2]।
इस सीमा की सबसे प्रसिद्ध अभिव्यक्ति है «Lost in the Middle» (मध्य में खो जाना) की समस्या — मॉडलों की यह प्रवृत्ति कि वे लंबे संदर्भ के आरंभ और अंत में स्थित जानकारी को बेहतर ढंग से प्रोसेस करते हैं, जबकि मध्य में स्थित जानकारी को कम प्रभावी ढंग से[2]। यह घटना कोई खराबी नहीं है, बल्कि transformer की वास्तुकला और उनके प्रशिक्षण के सिद्धांतों से उत्पन्न एक मूलभूत विशेषता है।
दो प्रकार का विस्मरण: संदर्भात्मक और विनाशकारी
LLM में दो मूलभूत रूप से भिन्न प्रकार के «विस्मरण» में अंतर करना महत्वपूर्ण है: संदर्भ-आंतरिक और विनाशकारी।
संदर्भ-आंतरिक विस्मरण (मध्य में खो जाना)
इस प्रकार का विस्मरण पहले से प्रशिक्षित मॉडल के साथ एक ही इंटरैक्शन सत्र (inference) के दौरान होता है। यह संदर्भ विंडो की सीमाओं से जुड़ा है। जब संवाद या दस्तावेज़ का आयतन विंडो के आकार से अधिक हो जाता है, तो मॉडल नए अंशों के लिए जगह बनाने हेतु सबसे पुराने अंशों को «भूल» जाता है। यहाँ तक कि विंडो की सीमाओं के भीतर भी संदर्भ के मध्य की जानकारी कम प्रभावी ढंग से उपयोग की जा सकती है। यह मॉडल की कार्यशील स्मृति की सीमा है[3]। पत्रकारिता में इस घटना को «Context Degradation Syndrome» (संदर्भ क्षरण सिंड्रोम, CDS) भी कहा जाता है[1]।
विनाशकारी विस्मरण (मॉडल अपवाह)
इस प्रकार का विस्मरण, जिसे «मॉडल अपवाह» (model drift) भी कहा जाता है, नए डेटा पर मॉडल के fine-tuning की प्रक्रिया के दौरान होता है। जब सामान्य ज्ञान के विशाल कोष पर पूर्व-प्रशिक्षित मॉडल को किसी अत्यंत विशिष्ट dataset (जैसे चिकित्सा ग्रंथों) पर fine-tune किया जाता है, तो उसके भार बदल जाते हैं। इससे पहले अर्जित ऐसे ज्ञान और कौशल का ह्रास या «मिटाव» हो सकता है जो नए कार्य से संबंधित नहीं हैं[4]।
कारण और तंत्र
संदर्भात्मक विस्मरण transformer की वास्तुकला और सदिश स्थानों की ज्यामिति का प्रत्यक्ष परिणाम है।
«Lost in the Middle» (मध्य में खो जाना) का प्रभाव
स्टैनफोर्ड विश्वविद्यालय के 2023 के एक अध्ययन, जिसका नाम «Lost in the Middle» था, ने स्पष्ट रूप से प्रदर्शित किया कि लंबे संदर्भ से जानकारी निकालने में LLM का प्रदर्शन U-आकार की वक्र का अनुसरण करता है[2]। उत्तरों की सटीकता सबसे अधिक होती है जब प्रासंगिक जानकारी संदर्भ के एकदम आरंभ (प्राथमिकता प्रभाव) या एकदम अंत (नवीनता प्रभाव) में हो, और यदि वह मध्य में «छिपी» हो तो काफी कम हो जाती है। इस घटना के कारण:
- Attention तंत्र: Transformer की वास्तुकला स्वभाव से ही आरंभिक टोकन पर असंगत रूप से अधिक ध्यान देती है (जिन्हें «attention sinks» या ध्यान-लंगर कहा जाता है) वैश्विक सुसंगतता बनाए रखने के लिए, तथा स्थानीय संदर्भ पर भी, जिससे मध्य पर «फोकस» कमज़ोर हो जाता है[5]।
- पूर्व-प्रशिक्षण डेटा: मॉडलों को अधिकतर अपेक्षाकृत छोटे ग्रंथों पर प्रशिक्षित किया जाता है, जहाँ महत्वपूर्ण जानकारी शायद ही कभी आरंभ से दसियों हज़ार टोकन की दूरी पर होती है, जिससे वे बहुत लंबे संदर्भों का प्रभावी ढंग से उपयोग करने में असमर्थ हो जाते हैं[6]।
अभिव्यक्तियाँ और परिणाम
- संदर्भ क्षरण सिंड्रोम: लंबे संवादों के दौरान मॉडल «बातचीत का धागा खो देने», उत्तर दोहराने, पहले स्थापित तथ्यों से विरोधाभास करने और क्रमशः अधिक सामान्य व अस्पष्ट उत्तर देने लगता है[1]।
- बहु-चरणीय कार्यों में विफलता: ऐसे कार्यों में जहाँ शर्तें कई संवादों के माध्यम से स्पष्ट की जाती हैं, मॉडल गलत प्रारंभिक धारणा पर «अटक» सकता है और बाद के स्पष्टीकरणों को अनदेखा कर सकता है, जिससे कार्य हल करने में पूर्ण अक्षमता उत्पन्न होती है[7]।
- दस्तावेज़ विश्लेषण की अविश्वसनीयता: लंबी रिपोर्टों या कानूनी दस्तावेज़ों का विश्लेषण करते समय LLM केंद्रीय अनुभागों में स्थित प्रमुख तथ्यों को चूक सकता है, जिससे ऐसे कार्यों के लिए यह एक अविश्वसनीय उपकरण बन जाता है।
न्यूनीकरण और रोकथाम की रणनीतियाँ
शोधकर्ता और डेवलपर संदर्भात्मक विस्मरण की समस्या के समाधान के लिए कई दृष्टिकोण अपनाते हैं।
संदर्भ विंडो का विस्तार
सबसे सीधा दृष्टिकोण — संदर्भ विंडो के आकार को बढ़ाना। आधुनिक मॉडल, जैसे Claude 3 (2 लाख टोकन) और Gemini 1.5 Pro (20 लाख टोकन तक), ने इस सीमा को काफी विस्तृत किया है[8][9]। हालाँकि, शोध दर्शाते हैं कि विंडो का साधारण विस्तार इसके प्रभावी उपयोग की गारंटी नहीं देता, और «मध्य में खो जाने» की समस्या बनी रहती है[2]।
उन्नत Prompt इंजीनियरिंग
Prompt का सुविचारित संरचनीकरण प्रदर्शन में काफी सुधार कर सकता है। Anthropic कंपनी निम्नलिखित प्रथाएं प्रस्तावित करती है[10]:
- दस्तावेज़ों को आरंभ में रखना: लंबे ग्रंथों को prompt के एकदम आरंभ में, निर्देशों और प्रश्न से पहले, रखें।
- XML टैग का उपयोग: दस्तावेज़ों को स्पष्ट पृथक्करण के लिए `<document>` टैग में लपेटें।
- उद्धरणों से उत्तर का समर्थन: मॉडल को निर्देश दें कि पहले प्रासंगिक उद्धरण निकाले, फिर उनके आधार पर उत्तर तैयार करे।
स्मृति का बाह्यकरण: Retrieval-Augmented Generation (RAG)
मूलतः भिन्न दृष्टिकोण — सभी जानकारी को संदर्भ विंडो में न रखकर, उसे एक बाह्य प्रणाली (vector database) में स्थानांतरित करना और आवश्यकतानुसार प्रदान करना।
- निष्कर्षण (Retrieve): जब कोई अनुरोध आता है, तो प्रणाली बाह्य आधार में प्रासंगिक जानकारी खोजती है।
- संवर्धन (Augment): मिले हुए अंश मूल अनुरोध में जोड़े जाते हैं।
- उत्पादन (Generate): LLM प्रदत्त संदर्भ के आधार पर उत्तर उत्पन्न करता है।
RAG व्यावहारिक रूप से असीमित डेटा मात्रा के साथ कार्य करने की अनुमति देता है और ताज़ी व सत्यापित जानकारी तक पहुँच प्रदान करता है, जिससे भ्रम (hallucination) का जोखिम कम होता है और यह आज की तारीख में सबसे विश्वसनीय समाधान है[11]।
संदर्भ
- Lost in the Middle: How Language Models Use Long Contexts — स्टैनफोर्ड विश्वविद्यालय का मूल शोध।
- Anthropic द्वारा 100K टोकन संदर्भ विंडो के साथ Claude की घोषणा।
साहित्य
- Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
- An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
- Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
- Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
- Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
- Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
- Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
- Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
- Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
- Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
- Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.
टिप्पणियाँ
- ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [१]
- ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [२]
- ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [३]
- ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [४]
- ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [५]
- ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [६]
- ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [७]
- ↑ «Introducing the next generation of Claude». Anthropic. [८]
- ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [९]
- ↑ «Long context prompting tips». Anthropic Documentation. [१०]
- ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [११]