Theoretical foundations of large language models — LLM के सैद्धांतिक आधार

बड़े भाषा मॉडलों के सैद्धांतिक आधार (Transformer आर्किटेक्चर पर आधारित) — यह गणितीय, सांख्यिकीय और सूचना-सैद्धांतिक सिद्धांतों का समुच्चय है, जो आधुनिक बड़े भाषा मॉडलों (LLM) के कार्य-संचालन, प्रशिक्षण और क्षमताओं का आधार बनते हैं। ये आधार यह समझाते हैं कि Transformer आर्किटेक्चर पर निर्मित मॉडल किस प्रकार उच्च स्तरीय सुसंगतता के साथ मानवीय भाषा को समझने और उत्पन्न करने में सक्षम हैं।

आर्किटेक्चरल आधार: Transformer आर्किटेक्चर

आधुनिक LLM लगभग पूरी तरह Transformer आर्किटेक्चर पर आधारित हैं, जिसे 2017 में «Attention Is All You Need» शोध-पत्र में प्रस्तुत किया गया था। इस आर्किटेक्चर ने पुनरावर्ती परतों (जैसे RNN और LSTM में होती हैं) को त्यागकर attention (ध्यान) तंत्र को अपनाया, जिससे लंबे अनुक्रमों को कुशलतापूर्वक संसाधित करना और गणनाओं को समानांतर रूप में चलाना संभव हो गया।

Self-Attention - स्व-ध्यान तंत्र

यह Transformer आर्किटेक्चर का मूल है। स्व-ध्यान तंत्र मॉडल को किसी अनुक्रम में प्रत्येक शब्द (token) का उसी अनुक्रम के अन्य सभी शब्दों के सापेक्ष महत्व आँकने में सक्षम बनाता है। प्रत्येक token के लिए तीन सदिश बनाए जाते हैं:

• Query (Q, प्रश्न): वह सदिश जो वर्तमान शब्द को दर्शाता है।
• Key (K, कुंजी): वह सदिश जिससे अन्य शब्दों के प्रश्नों की तुलना की जाती है।
• Value (V, मान): वह सदिश जिसमें शब्द की वह सूचना होती है जो आगे प्रेषित की जाएगी।

ध्यान का स्कोर मापांकित अदिश गुणनफल के रूप में परिकलित होता है:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

जहाँ $d_k$ — कुंजी सदिशों की विमा है। यह तंत्र मॉडल को शब्दों के बीच की दूरी से स्वतंत्र रहते हुए जटिल संदर्भगत निर्भरताओं को पकड़ने में सक्षम बनाता है।

Multi-Head Attention (बहु-शीर्ष ध्यान) — यह विभिन्न प्रक्षेपण आव्यूहों के साथ ऐसी कई गणनाओं का समानांतर निष्पादन है, जो मॉडल को एक साथ वाक्य-रचना और अर्थ के विभिन्न पहलुओं पर ध्यान केंद्रित करने देता है।

Transformer पर आधारित आर्किटेक्चर के प्रकार

Transformer घटकों के उपयोग के तीन मुख्य प्रकार हैं:

1. Encoder-Decoder (एनकोडर-डिकोडर): अनुक्रम-से-अनुक्रम रूपांतरण कार्यों (जैसे, मशीनी अनुवाद) के लिए क्लासिक आर्किटेक्चर। Encoder इनपुट अनुक्रम को संसाधित करता है और Decoder आउटपुट उत्पन्न करता है। उदाहरण: T5, BART।
2. Encoder-Only (केवल एनकोडर): केवल encoder स्टैक का उपयोग करने वाले मॉडल। ये संपूर्ण अनुक्रम के गहन संदर्भ-बोध की आवश्यकता वाले कार्यों (पाठ वर्गीकरण, नामांकित इकाई पहचान) के लिए उत्तम हैं। उदाहरण: BERT।
3. Decoder-Only (केवल डिकोडर): केवल decoder स्टैक का उपयोग करने वाले मॉडल। ये स्वतः-प्रतिगामी (autoregressive) रूप में कार्य करते हुए पिछले token के आधार पर अगला token पूर्वानुमानित करते हैं। यह जनरेटिव मॉडलों का मानक है। उदाहरण: GPT, LLaMA, Claude।

Positional Encoding - स्थितीय कूटन

चूँकि स्व-ध्यान तंत्र शब्दों के क्रम का ध्यान नहीं रखता, इसलिए आर्किटेक्चर में स्थितीय कूटन जोड़ा जाता है। Token के embedding में ऐसे सदिश जोड़े जाते हैं जो अनुक्रम में उनकी स्थिति को कूटबद्ध करते हैं। मूल मॉडल में ज्यावक्रीय (sinusoidal) फलनों का उपयोग किया गया था:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

आधुनिक मॉडलों में प्रशिक्षण-योग्य और घूर्णन-आधारित (Rotary Position Embeddings, RoPE) स्थितीय कूटन का भी उपयोग किया जाता है।

प्रशिक्षण के सिद्धांत: प्रायिकता से अनुकूलन तक

भाषा मॉडलिंग एक प्रायिकतात्मक कार्य के रूप में

LLM का मूल भाषा मॉडलिंग कार्य है — पाठ अनुक्रम की प्रायिकता का पूर्वानुमान। औपचारिक रूप से, अनुक्रम $X=(x_1,x_2,\dots ,x_T)$ के लिए मॉडल प्रायिकता $P(X)$ का मूल्यांकन करता है। श्रृंखला नियम का उपयोग करके इसे सशर्त प्रायिकताओं के गुणनफल के रूप में विस्तारित किया जाता है:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

इस प्रकार, मॉडल का प्रशिक्षण पिछले token के संदर्भ के आधार पर अगले token $x_t$ का पूर्वानुमान करने तक सीमित हो जाता है।

हानि फलन और सूचना सिद्धांत

पूर्वानुमानों की गुणवत्ता के मूल्यांकन और मॉडल के प्रशिक्षण के लिए क्रॉस-एंट्रॉपी हानि फलन का उपयोग किया जाता है। यह मॉडल द्वारा पूर्वानुमानित प्रायिकता वितरण ($q$) और वास्तविक वितरण ($p$) के बीच के अंतर को मापता है, जहाँ सही अगले token की प्रायिकता 1 होती है और शेष की 0।

$H(p,q)=-\sum _{i}p(i)\log q(i)$

क्रॉस-एंट्रॉपी का न्यूनीकरण प्रशिक्षण डेटा की प्रशस्यता (likelihood) के अधिकतमीकरण के समतुल्य है।

गुणवत्ता की एक संबंधित मापक perplexity (भ्रामकता) है, जिसे क्रॉस-एंट्रॉपी के घातांक के रूप में परिभाषित किया जाता है: $\text{Perplexity}=2^{H(p,q)}$। सहज रूप से, perplexity उन औसत विकल्पों की संख्या दर्शाती है जिनमें से मॉडल प्रत्येक चरण पर «चुनाव» करता है। perplexity जितनी कम हो, मॉडल उतना ही आत्मविश्वासपूर्ण और सटीक होता है।

अनुकूलन (Optimization)

LLM का प्रशिक्षण मॉडल के अरबों मापदंडों को समायोजित करके हानि फलन को न्यूनतम करने की प्रक्रिया है। इसके लिए gradient descent पर आधारित विधियों का उपयोग किया जाता है। सबसे प्रचलित optimizer Adam (Adaptive Moment Estimation) और उसके रूपांतर (जैसे AdamW) हैं, जो प्रत्येक मापदंड के लिए अनुकूली रूप से सीखने की दर निर्धारित करते हैं।

प्रशिक्षण प्रतिमान

1. Pre-training (पूर्व-प्रशिक्षण): मॉडल को स्व-नियंत्रित कार्यों का उपयोग करके विशाल अलेबलकृत पाठ संग्रहों (Common Crawl, The Pile, C4) पर प्रशिक्षित किया जाता है, जैसे:
   • Causal Language Modeling (CLM): अगले token का पूर्वानुमान (GPT में प्रयुक्त)।
   • Masked Language Modeling (MLM): पाठ में यादृच्छिक रूप से मास्क किए गए token की पुनर्प्राप्ति (BERT में प्रयुक्त)।
2. Fine-tuning (दोबारा प्रशिक्षण): पूर्व-प्रशिक्षण के बाद मॉडल को छोटे लेबलकृत डेटासेट पर विशिष्ट कार्यों के लिए अनुकूलित किया जाता है।
3. Alignment (संरेखण): दोबारा प्रशिक्षण का एक विशेष चरण जो मॉडल के व्यवहार को मानवीय प्राथमिकताओं और मूल्यों के साथ संरेखित करने पर केंद्रित है। मुख्य विधि — RLHF (Reinforcement Learning from Human Feedback) है, जिसमें मॉडल को मानवीय प्राथमिकताओं का पूर्वानुमान करने वाले मॉडल से प्राप्त पुरस्कार-संकेत का उपयोग करके दोबारा प्रशिक्षित किया जाता है।

Scaling Laws - मापनीयता के नियम और उभरती क्षमताएँ

अनुभवजन्य अनुसंधान ने दर्शाया है कि LLM का प्रदर्शन तीन कारकों के बढ़ने के साथ पूर्वानुमेय रूप से सुधरता है: मॉडल का आकार (मापदंडों की संख्या, $N$), प्रशिक्षण डेटासेट का आकार ($D$) और गणना का परिमाण ($C$)। इस संबंध को scaling laws (मापनीयता के नियम) द्वारा वर्णित किया जाता है।

OpenAI (Kaplan et al., 2020) के शोध में प्रस्तावित नियम दर्शाता है कि हानि फलन $L$, $N$, $D$ और $C$ के घातांकीय फलन के रूप में घटता है। DeepMind (Hoffmann et al., 2022) के बाद के शोध ने इन नियमों को और परिष्कृत किया (Chinchilla laws), यह दर्शाते हुए कि इष्टतम प्रशिक्षण के लिए मॉडल का आकार और डेटा की मात्रा दोनों को संतुलित रूप से बढ़ाना आवश्यक है।

मापनीयता का एक महत्वपूर्ण परिणाम उभरती क्षमताओं (emergent abilities) का प्रकट होना है — प्रदर्शन में गुणात्मक छलाँग, जब मॉडल ऐसे कार्यों को हल करने लगता है जिनके लिए उसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया था (जैसे, अंकगणित, तार्किक तर्क, कोड लेखन)। ये क्षमताएँ आमतौर पर छोटे आकार के मॉडलों में अनुपस्थित होती हैं और केवल एक निश्चित मापनीयता सीमा पार करने के बाद ही प्रकट होती हैं।

पाठ उत्पादन: Decoding - डिकोडिंग रणनीतियाँ

प्रशिक्षण के बाद मॉडल अगले token का पूर्वानुमान करते हुए पुनरावृत्त रूप से पाठ उत्पन्न करता है। मॉडल द्वारा प्रस्तुत प्रायिकता वितरण से अगले token का चयन विभिन्न decoding रणनीतियों के माध्यम से किया जाता है:

• Greedy Search (लालची खोज): हमेशा सर्वाधिक संभावित token का चयन किया जाता है। यह तीव्र है, परंतु प्रायः पुनरावृत्तिपूर्ण और नीरस पाठ की ओर ले जाती है।
• Beam Search (किरण खोज): प्रत्येक चरण पर $k$ सर्वाधिक संभावित अनुक्रमों को संरक्षित किया जाता है, जिससे अधिक इष्टतम वैश्विक समाधान खोजना संभव होता है।
• Temperature Sampling (तापमान सैम्पलिंग): Token की प्रायिकताओं को तापमान ($T$) मापदंड द्वारा समायोजित किया जाता है। $T>1$ पर वितरण अधिक एकसमान हो जाता है (अधिक रचनात्मकता), $T<1$ पर — अधिक शीर्षाकार (कम यादृच्छिकता)।
• Top-k Sampling: प्रत्येक चरण पर नमूनाकरण $k$ सर्वाधिक संभावित token तक सीमित किया जाता है।
• Top-p (Nucleus) Sampling: नमूनाकरण token के उस न्यूनतम समूह तक सीमित किया जाता है जिनकी संचयी प्रायिकता सीमा $p$ से अधिक हो। इससे उम्मीदवारों के पूल का आकार गतिशील रूप से अनुकूलित होता है।

सैद्धांतिक समस्याएँ और सीमाएँ

• Hallucinations (भ्रांतियाँ): मॉडलों की तथ्यात्मक रूप से गलत, परंतु विश्वसनीय लगने वाली जानकारी उत्पन्न करने की प्रवृत्ति। यह इस तथ्य से जुड़ी है कि मॉडल पाठ की सत्यता के बजाय उसकी प्रायिकता को अनुकूलित करते हैं।
• Bias (पूर्वाग्रह): LLM प्रशिक्षण डेटा में उपस्थित सामाजिक, सांस्कृतिक और अन्य पूर्वाग्रहों को आत्मसात करते और प्रवर्धित करते हैं।
• Interpretability - व्याख्येयता («ब्लैक बॉक्स»): मापदंडों की विशाल संख्या के कारण यह समझना अत्यंत कठिन है कि मॉडल वास्तव में किस प्रकार निर्णय लेता है, जिससे डीबगिंग जटिल हो जाती है और जोखिम उत्पन्न होते हैं।
• वैश्विक जटिलता: स्व-ध्यान तंत्र की अनुक्रम लंबाई के संदर्भ में द्विघात जटिलता ($O(n^2)$) होती है, जो संसाधित किए जा सकने वाले context की अधिकतम लंबाई को सीमित करती है।

देखें भी

• बड़े भाषा मॉडल
• BERT
• GPT

साहित्य

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.