Encoder-only models — केवल-एन्कोडर मॉडल

केवल-एन्कोडर मॉडल (अंग्रेज़ी: Encoder-Only Models) — यह बड़े भाषा मॉडलों (LLM) की आर्किटेक्चर का एक वर्ग है, जो विशेष रूप से Transformer आर्किटेक्चर के एन्कोडर भाग पर आधारित है। डिकोडर या पूर्ण एन्कोडर-डिकोडर आर्किटेक्चर का उपयोग करने वाले मॉडलों के विपरीत, ये मॉडल प्राकृतिक भाषा समझ (Natural Language Understanding, NLU) के कार्यों में विशेषज्ञ होते हैं।

इस दृष्टिकोण का अग्रणी और प्रमुख मॉडल BERT (Bidirectional Encoder Representations from Transformers) है, जिसे Google ने 2018 में विकसित किया था।

अवधारणा और आर्किटेक्चर

केवल-एन्कोडर मॉडलों का मूल विचार प्रत्येक token के लिए गहरे, संदर्भीकृत प्रतिनिधित्व (embedding) बनाना है। Transformer में self-attention तंत्र की बदौलत, प्रत्येक token अनुक्रम के बाकी सभी tokens को «देख» सकता है और उनके साथ परस्पर क्रिया कर सकता है, जिससे मॉडल समृद्ध संदर्भ को समझने में सक्षम होता है।

मुख्य विशेषता द्विदिशात्मकता है: प्रत्येक token का प्रतिनिधित्व एक साथ बाएँ और दाएँ दोनों संदर्भों के आधार पर बनता है। यह उन्हें केवल-डिकोडर के स्व-प्रतिगामी मॉडलों (जैसे GPT) से मूलभूत रूप से अलग करता है, जो अपनी प्रकृति से एकदिशात्मक होते हैं।

आर्किटेक्चर की दृष्टि से, मॉडल एन्कोडर की $N$ समान परतों का एक स्तंभ है। प्रत्येक परत में दो मुख्य उप-परतें होती हैं:

1. बहु-शीर्ष self-attention (Multi-Head Self-Attention): प्रत्येक token के लिए संदर्भीकृत प्रतिनिधित्व की गणना करता है।
2. पूर्ण-संयोजित तंत्रिका नेटवर्क (Feed-Forward Network): प्रत्येक token के प्रतिनिधित्व पर अरैखिक परिवर्तन लागू करता है।

आउटपुट पर मॉडल उतनी ही लंबाई के वेक्टरों का अनुक्रम उत्पन्न करता है जितनी इनपुट अनुक्रम की लंबाई होती है, जहाँ प्रत्येक वेक्टर संबंधित इनपुट token का समृद्ध प्रतिनिधित्व होता है।

पूर्व-प्रशिक्षण के कार्य

मॉडल को द्विदिशात्मक संदर्भ में भाषा समझना सिखाने के लिए विशेष स्व-निगरानी पूर्व-प्रशिक्षण कार्यों का उपयोग किया जाता है:

Masked Language Modeling - मास्क्ड भाषा मॉडलिंग (MLM)

यह केवल-एन्कोडर मॉडलों के लिए सबसे प्रमुख और महत्वपूर्ण कार्य है, जिसे पहली बार BERT में प्रस्तुत किया गया था।

• कार्य-सिद्धांत: इनपुट अनुक्रम से यादृच्छिक रूप से एक छोटे प्रतिशत (सामान्यतः 15%) tokens को छुपाया (मास्क किया) जाता है। मॉडल का कार्य — आसपास के द्विदिशात्मक संदर्भ का उपयोग करके इन मास्क किए गए tokens के मूल मान का अनुमान लगाना है।
• उद्देश्य: यह कार्य मॉडल को शब्दों के बीच गहरे अर्थगत और वाक्य-रचनात्मक संबंध सीखने के लिए बाध्य करता है।

Next Sentence Prediction - अगले वाक्य का पूर्वानुमान (NSP)

यह कार्य (मूल BERT से भी) मॉडल को वाक्यों के बीच संबंध समझना सिखाने के लिए विकसित किया गया था।

• कार्य-सिद्धांत: मॉडल को वाक्यों की एक जोड़ी दी जाती है, और उसे यह निर्धारित करना होता है कि क्या दूसरा वाक्य मूल पाठ में पहले वाक्य का तार्किक अनुक्रम है।
• स्थिति: बाद में शोध (जैसे RoBERTa मॉडल में) ने दिखाया कि NSP, MLM की तुलना में कम प्रभावी है, और इसे अक्सर अन्य कार्यों से प्रतिस्थापित किया जाता है या पूरी तरह हटा दिया जाता है।

अनुप्रयोग

केवल-एन्कोडर मॉडल स्वतंत्र रूप से पाठ उत्पन्न करने के लिए नहीं बने हैं, क्योंकि उनमें स्व-प्रतिगामी डिकोडर अनुपस्थित होता है। उनकी शक्ति पाठ के विश्लेषण और समझ में निहित है। मॉडल के आउटपुट वेक्टर प्रतिनिधित्वों का उपयोग NLU कार्यों की एक विस्तृत श्रृंखला को हल करने के लिए किया जाता है:

• पाठ वर्गीकरण: भावना विश्लेषण या विषय निर्धारण जैसे कार्यों के लिए, विशेष token `[CLS]` के प्रतिनिधित्व का उपयोग किया जाता है, जो प्रत्येक अनुक्रम की शुरुआत में जोड़ा जाता है। इसका अंतिम वेक्टर पूरे अनुक्रम की जानकारी को समेकित करता है।
• Token वर्गीकरण: नामित इकाई पहचान (NER) या भाषण-भाग टैगिंग (POS-tagging) जैसे कार्यों के लिए, प्रत्येक अलग token के वेक्टर प्रतिनिधित्वों का उपयोग किया जाता है।
• प्रश्न-उत्तर (Question Answering): उन कार्यों में जहाँ उत्तर दिए गए पाठ का एक अंश होता है (extractive QA), मॉडल को उत्तर के आरंभिक और अंतिम tokens का अनुमान लगाने के लिए प्रशिक्षित किया जाता है।
• Embedding प्राप्त करना: एन्कोडर मॉडलों का उपयोग अक्सर उच्च-गुणवत्ता वाले वाक्य या दस्तावेज़ embeddings प्राप्त करने के लिए सार्वभौमिक पाठ कोडर के रूप में किया जाता है, जिन्हें बाद में खोज प्रणालियों या अर्थगत समानता के कार्यों में उपयोग किया जा सकता है।

मुख्य मॉडल और उनका विकास

• BERT (2018): आर्किटेक्चर का अग्रणी, जिसने अनेक NLP benchmark पर नए रिकॉर्ड स्थापित किए।
• RoBERTa (2019): «मज़बूती से अनुकूलित BERT»। इसने दिखाया कि अधिक डेटा पर अधिक समय तक प्रशिक्षण और NSP कार्य को हटाकर BERT के प्रदर्शन को काफी बेहतर किया जा सकता है।
• ALBERT (2019): «A Lite BERT»। embedding के गुणनखंडीकरण और अंतर-परत पैरामीटर साझाकरण तकनीकों की बदौलत काफी कम पैरामीटर वाला मॉडल।
• DistilBERT (2019): ज्ञान आसवन (knowledge distillation) द्वारा बनाया गया BERT का संक्षिप्त संस्करण, जो तेज़ और हल्का है, लेकिन मूल के अधिकांश प्रदर्शन को बनाए रखता है।
• ELECTRA (2020): एक अधिक प्रभावी पूर्व-प्रशिक्षण कार्य — replaced token detection प्रस्तुत किया, जिसमें मॉडल मूल tokens को एक छोटे जनरेटर मॉडल द्वारा उत्पन्न «नकली» tokens से अलग करना सीखता है।
• DeBERTa (2020): «disentangled attention» का तंत्र प्रस्तुत किया, जो tokens की सामग्री और सापेक्ष स्थितियों को अलग-अलग एन्कोड करता है।

यह भी देखें

• BERT