Decoder-only models (architecture) (HI)
केवल-डीकोडर मॉडल (अंग्रेज़ी: Decoder-Only Models) — ये बड़े भाषा मॉडलों (LLM) की आर्किटेक्चर का प्रमुख वर्ग है, जो विशेष रूप से Transformer आर्किटेक्चर के डीकोडर भाग पर आधारित है। ये मॉडल टेक्स्ट जनरेशन के कार्यों में विशेषज्ञ हैं और अधिकांश आधुनिक चैट-बॉट्स तथा AI-असिस्टेंट्स की नींव हैं।
इस दृष्टिकोण को लोकप्रिय बनाने वाली प्रमुख श्रृंखला OpenAI की GPT मॉडल श्रृंखला है।
अवधारणा और आर्किटेक्चर
केवल-डीकोडर मॉडलों का मूल विचार ऑटोरिग्रेसिव जनरेशन पर आधारित है। इसका अर्थ है कि मॉडल अगले token का अनुमान उन सभी पिछले tokens के आधार पर लगाता है जो पहले से उत्पन्न हो चुके हैं। उपयोगकर्ता का इनपुट prompt और पहले से उत्पन्न टेक्स्ट को एक एकल अनुक्रम के रूप में देखा जाता है, जिसे मॉडल आगे बढ़ाता है।
आर्किटेक्चर की दृष्टि से, मॉडल समान डीकोडर परतों का एक स्तम्भ है। प्रत्येक परत में, एनकोडर या पूर्ण डीकोडर के विपरीत, केवल दो मुख्य उप-परतें होती हैं:
- मास्क्ड मल्टी-हेड सेल्फ-अटेंशन (Masked Multi-Head Self-Attention): यह वह प्रमुख तंत्र है जो ऑटोरिग्रेसिव गुण सुनिश्चित करता है। अनुक्रम की प्रक्रिया के दौरान एक विशेष causal mask प्रत्येक token को आगे के tokens को "देखने" से रोकती है। इस प्रकार, स्थिति का अनुमान केवल स्थिति पर स्थित tokens पर निर्भर करता है।
- फुली-कनेक्टेड न्यूरल नेटवर्क (Feed-Forward Network): यह प्रत्येक token के प्रतिनिधित्व पर अरैखिक रूपांतरण लागू करता है।
केवल-डीकोडर मॉडलों में क्रॉस-अटेंशन (cross-attention) का तंत्र अनुपस्थित होता है, क्योंकि कोई एनकोडर नहीं होता जिस पर "ध्यान" दिया जा सके।
पूर्व-प्रशिक्षण के कार्य
केवल-डीकोडर मॉडलों को एक, किन्तु अत्यंत शक्तिशाली स्व-निर्देशित (self-supervised) कार्य पर प्रशिक्षित किया जाता है:
Causal Language Modeling - कारण-आधारित भाषा मॉडलिंग (CLM)
- कार्य सिद्धांत: मॉडल को अनुक्रम में अगले token का अनुमान लगाना सिखाया जाता है। प्रशिक्षण के प्रत्येक चरण में मॉडल को टेक्स्ट का एक अंश इनपुट के रूप में मिलता है और उसे अगले token के लिए संभाव्यता वितरण उत्पन्न करना होता है।
- लक्ष्य: विशाल पाठ्य डेटा पर सही अगले token की संभाव्यता को अधिकतम करना। यह प्रथम दृष्टया सरल लगने वाला कार्य मॉडल को व्याकरण, वाक्य-विन्यास, दुनिया के तथ्य और भाषा की जटिल नियमितताएँ सीखने के लिए बाध्य करता है।
अनुप्रयोग
अपनी ऑटोरिग्रेसिव प्रकृति के कारण, केवल-डीकोडर मॉडल टेक्स्ट जनरेशन की आवश्यकता वाले किसी भी कार्य के लिए आदर्श हैं:
- स्वतंत्र रूप में टेक्स्ट जनरेशन: लेख, कविताएँ, पटकथाएँ आदि लिखना।
- संवाद प्रणाली और चैट-बॉट्स: उपयोगकर्ताओं के प्रश्नों के वार्तालाप शैली में उत्तर।
- सारांशीकरण: लंबे टेक्स्ट का संक्षिप्त सारांश तैयार करना।
- मशीनी अनुवाद: यद्यपि इसके लिए प्रायः encoder-decoder मॉडल उपयोग किए जाते हैं, किन्तु केवल-डीकोडर मॉडल भी अनुवाद कर सकते हैं, यदि कार्य को prompt में परिभाषित किया जाए (उदाहरण: "अंग्रेज़ी से हिन्दी में अनुवाद करें: ...")।
- कोड लिखना: टेक्स्ट विवरण के आधार पर कोड उत्पन्न करना।
- In-context learning - संदर्भ में सीखना: अपने विशाल पैमाने के कारण बड़े decoder मॉडल बिना fine-tuning के केवल कुछ उदाहरण (few-shot) या बिना किसी उदाहरण (zero-shot) के सीधे prompt में नए कार्यों को हल करने की क्षमता दर्शाते हैं।
प्रमुख मॉडल और उनका विकास
- GPT श्रृंखला (2018-अब तक): इस दृष्टिकोण के अग्रदूत और लोकप्रियकर्ता। GPT-1 ने पूर्व-प्रशिक्षण की प्रभावशीलता दर्शाई, GPT-2 ने स्केलिंग की शक्ति प्रदर्शित की, और GPT-3 ने few-shot क्षमताओं के उदय को दिखाया। ChatGPT और GPT-4 ने इस आर्किटेक्चर को AI-असिस्टेंट्स का मानक बना दिया।
- LLaMA (2023-अब तक): Meta के खुले मॉडलों की श्रृंखला, जिसने शक्तिशाली LLM तक पहुँच को लोकतांत्रिक बनाया और समुदाय में नवाचार की लहर को प्रेरित किया।
- Claude (2023-अब तक): Anthropic के मॉडलों का परिवार, जो Constitutional AI के माध्यम से सुरक्षा और नियंत्रणीयता पर केंद्रित है।
- PaLM और Gemini (2022-अब तक): Google के प्रमुख मॉडल। Gemini एक मूल रूप से मल्टीमोडल केवल-डीकोडर मॉडल भी है।
अन्य आर्किटेक्चर से तुलना
| आर्किटेक्चर | मुख्य कार्य | संदर्भ की दिशा | विशिष्ट मॉडल |
|---|---|---|---|
| केवल-डीकोडर | टेक्स्ट जनरेशन | एकदिशीय (बाएँ से दाएँ) | GPT, LLaMA, Claude, Gemini |
| केवल-एनकोडर | टेक्स्ट की समझ | द्विदिशीय | BERT, RoBERTa |
| एनकोडर-डीकोडर | अनुक्रम से अनुक्रम में रूपांतरण | द्विदिशीय (एनकोडर) + एकदिशीय (डीकोडर) | T5, BART, मूल Transformer |
यह भी देखें
- GPT