--- title: "SuperGLUE (benchmark) (HI)" source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)" wiki: "systems-analysis.info/int" article: "SuperGLUE_(benchmark)_(HI)" language: "hi" categories: - "Category:Hindi" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 7006 wiki_created_at: 2026-09-07T00:14:28Z wiki_modified_at: 2026-09-07T00:14:28Z downloaded_at: 2026-09-07T23:16:52Z --- # SuperGLUE (benchmark) (HI) **SuperGLUE** — यह एक व्यापक **benchmark** (परीक्षण कार्यों का समूह) है, जो प्राकृतिक भाषा प्रसंस्करण प्रणालियों, विशेष रूप से **बड़े भाषा मॉडलों** (BLM) के मूल्यांकन के लिए बनाया गया है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इसे 2019 में न्यूयॉर्क विश्वविद्यालय के एलेक्स वांग के नेतृत्व में शोधकर्ताओं के एक समूह द्वारा Facebook AI Research और अन्य संगठनों की भागीदारी से प्रस्तुत किया गया था[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। SuperGLUE के निर्माण का कारण यह था कि 2019 के मध्य तक पूर्ववर्ती benchmark GLUE आधुनिक मॉडलों के लिए एक «सरल कार्य» बन चुका था: GLUE पर सर्वश्रेष्ठ मॉडलों का संचयी स्कोर 88.4 तक पहुँच गया था, जो मनुष्य के औसत स्तर (87.1) से अधिक था[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इस प्रकार, आगे की प्रगति की गुंजाइश सीमित हो गई[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इसके जवाब में लेखकों ने SuperGLUE को एक अधिक कठिन विकल्प के रूप में विकसित किया, जो मॉडलों की भाषा समझ की अधिक कड़ी जाँच सुनिश्चित कर सके[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। SuperGLUE का उद्देश्य अंग्रेजी भाषा की सामान्य समझ के क्षेत्र में प्रगति का एक निष्पक्ष और कठिन «प्रशिक्षण-योग्य» संकेतक प्रदान करना है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। यह अपेक्षित था कि SuperGLUE पर उल्लेखनीय सुधार के लिए Machine Learning के तरीकों में महत्वपूर्ण नवाचार की आवश्यकता होगी — जैसे कि छोटे नमूनों पर अधिक प्रभावी प्रशिक्षण, multi-task और self-supervised learning[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। दूसरे शब्दों में, SuperGLUE में ऐसे कार्य शामिल किए गए हैं जो मनुष्य के लिए सरल हैं, लेकिन कृत्रिम बुद्धिमत्ता के लिए कठिन हैं[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1), ताकि ऐसे मॉडलों के विकास को प्रोत्साहन मिले जिनमें भाषा की वास्तविक गहरी समझ हो। ## GLUE से विशेषताएँ और अंतर SuperGLUE काफी हद तक GLUE के प्रारूप का अनुसरण करता है — यह कार्यों के संयोजन पर एक एकल **समेकित गुणवत्ता संकेतक**, एक सार्वजनिक **leaderboard** और मॉडल विश्लेषण के लिए **टूलकिट** प्रदान करता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। हालाँकि, SuperGLUE अपने पूर्ववर्ती की तुलना में कई सुधार और नवाचार लाता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1): - **अधिक कठिन कार्य**: SuperGLUE में **आठ सबसे कठिन कार्यों** का चयन किया गया है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इनमें से दो GLUE से विरासत में मिले हैं (वहाँ के सबसे कठिन कार्यों में से), और बाकी को आधुनिक NLP मॉडलों के लिए उनकी कठिनाई के आधार पर नए उम्मीदवारों में से चुना गया था[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इस प्रकार, benchmark उन पहलुओं पर केंद्रित है जहाँ मॉडल पहले सबसे खराब परिणाम दिखाते थे। - **प्रारूपों की विविधता**: यदि GLUE में सभी कार्य वाक्यों या वाक्य-युगलों के वर्गीकरण तक सीमित थे, तो SuperGLUE में **प्रारूपों का अधिक व्यापक स्पेक्ट्रम** शामिल है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। वर्गीकरण के अलावा, **coreference resolution** और **प्रश्न-उत्तर** के कार्य जोड़े गए हैं, जिनके लिए मॉडल को सुसंगत पाठ की समझ और **तार्किक निष्कर्ष** की आवश्यकता होती है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **सभी कार्यों पर मानव मूल्यांकन**: प्रत्येक कार्य के लिए SuperGLUE में **मानव प्रदर्शन का आधार स्तर** (non-expert) की गणना की गई है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1), जो यह पुष्टि करता है कि benchmark के लॉन्च के समय BERT जैसे मजबूत मॉडल भी मनुष्य से काफी पीछे थे[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। **मानव संदर्भ** (~90% कुल मिलाकर) की उपस्थिति मॉडल की वृद्धि के लिए «गुंजाइश» प्रदान करती है और एक लक्ष्य संदर्भ के रूप में कार्य करती है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **पारदर्शी नियम और उपकरण**: leaderboard पर परिणाम पोस्ट करने के नियमों को संशोधित किया गया है (निष्पक्ष तुलना सुनिश्चित करने और dataset लेखकों के योगदान को इंगित करने के लिए)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। SuperGLUE डेटा पर मॉडलों की fine-tuning और multi-task learning की सुविधा के लिए एक नया खुला कोड टूलकिट भी प्रकाशित किया गया है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। समग्र रूप से, ये उपाय SuperGLUE को मॉडलों की **सामान्यीकृत भाषाई क्षमताओं** के लिए एक अधिक विश्वसनीय परीक्षण बनाते हैं, जो पुराने GLUE के विशिष्ट प्रारूपों के अनुरूप संकीर्ण धोखाधड़ी या अनुकूलन के माध्यम से उच्च परिणाम प्राप्त करने की अनुमति नहीं देते[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। ## SuperGLUE कार्यों का समूह SuperGLUE में **आठ कार्य** शामिल हैं, जो पाठ की समझ के विभिन्न पहलुओं को कवर करते हैं। - **BoolQ** (Boolean Questions): **प्रश्न-उत्तर (QA)** प्रकार का कार्य, जहाँ प्रत्येक उदाहरण में एक छोटा पाठ (विकिपीडिया से एक अंश) और एक प्रश्न दिया जाता है, जिसका उत्तर «हाँ» या «नहीं» में देना होता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। प्रश्न उपयोगकर्ताओं द्वारा (Google खोज प्रश्नों से) तैयार किए गए हैं और पाठ से स्पष्ट या अंतर्निहित तथ्य निकालने की आवश्यकता होती है; गुणवत्ता मीट्रिक सही उत्तरों का अनुपात (accuracy) है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **CB** (CommitmentBank): तीन वर्गों के साथ **तार्किक निष्कर्ष** (textual entailment) का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। Dataset में जटिल वाक्यों वाले छोटे पाठ शामिल हैं; यह निर्धारित करना आवश्यक है कि पाठ का लेखक किस हद तक अंतर्निहित कथन की सत्यता के प्रति **committed** है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। वास्तव में यह जाँच है कि दिए गए संदर्भ से कथन निष्कर्षित होता है या नहीं। कार्य छोटे नमूने के आकार (लगभग 250 उदाहरण) और वर्ग असंतुलन के कारण कठिन है; गुणवत्ता का मूल्यांकन सटीकता और वर्गों पर औसत F1 मीट्रिक द्वारा किया जाता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **COPA** (Choice of Plausible Alternatives): **कारण-प्रभाव तर्क** का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। मॉडल को एक पूर्वधारणा (एक वाक्य) दी जाती है और दो विकल्पों में से सही कारण या परिणाम चुनना होता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। COPA के सभी उदाहरण मैन्युअल रूप से तैयार किए गए हैं और कारण-प्रभाव संबंध स्थापित करने के लिए **सामान्य बुद्धि** की आवश्यकता होती है। विषयवस्तु में ब्लॉग और एक विशेष विश्वकोश से परिस्थितियाँ शामिल हैं; मीट्रिक — सटीकता (सही चयनों का अनुपात)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। उदाहरण: दिया गया वाक्य «बच्चे ने रोग के प्रति प्रतिरोधक क्षमता प्राप्त की» और प्रश्न «इसका कारण क्या है?» — मनुष्य तुरंत समझता है कि सही उत्तर «उसे टीका लगाया गया», जबकि मॉडल को कारण संबंध का अनुमान लगाना पड़ता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **MultiRC** (Multi-Sentence Reading Comprehension): बहुविकल्पीय तत्वों के साथ **बहु-वाक्य पाठ समझ** का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। मॉडल को एक पाठ का अनुच्छेद, अनुच्छेद की सामग्री पर एक प्रश्न और संभावित उत्तरों की सूची प्राप्त होती है; यह निर्धारित करना होता है कि कौन से उत्तर सही हैं (प्रत्येक प्रश्न में कई सही उत्तर हो सकते हैं)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। विशेषताएँ: प्रश्न का उत्तर देने के लिए, एक नियम के रूप में, पाठ के कई वाक्यों से जानकारी को संयोजित करना आवश्यक है, जो मॉडल की **तथ्यों को जोड़ने** की क्षमता की जाँच करता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। गुणवत्ता को दो मीट्रिक्स द्वारा मापा जाता है: उत्तरों पर F1 (आंशिक रूप से सही सेट को ध्यान में रखता है) और Exact Match — उन प्रश्नों का अनुपात जिनके लिए पूरी तरह से सही उत्तरों के सेट दिए गए हैं[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): **ज्ञान के उपयोग के साथ पठन और समझ** का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। यह एक संशोधित Cloze परीक्षण है: एक समाचार पाठ (CNN/Daily Mail लेख) और एक गायब इकाई शब्द वाला वाक्य दिया जाता है; मॉडल को यह चुनना होता है कि पाठ की कौन सी इकाई रिक्त स्थान के लिए उपयुक्त है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। उत्तर के विकल्प लेख में उल्लिखित सभी इकाइयों के रूप में दिए जाते हैं, जबकि वे अर्थ में मेल खा सकती हैं[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। सफल समाधान के लिए संदर्भ की समझ और सामान्य बुद्धि की आवश्यकता होती है। मीट्रिक्स — अधिकतम token-level F1 और Exact Match (सटीक मिलान) अनुमानित उत्तरों पर[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। - **RTE** (Recognizing Textual Entailment): **पाठ्य निष्कर्ष** (entailment vs. not entailment) पर द्विआधारी वर्गीकरण का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। डेटा सेट पाठ्य अनुमान पहचान पर कई प्रतियोगिताओं से उदाहरणों को जोड़ता है (RTE 1-5 श्रृंखला)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। प्रत्येक कार्य में पाठ खंडों की एक जोड़ी (premise-hypothesis) होती है; मॉडल को यह निर्धारित करना होता है कि परिकल्पना पाठ से निष्कर्षित होती है या नहीं। कई बड़े डेटा सेट के विपरीत, RTE काफी छोटा है (लगभग 2,500 प्रशिक्षण उदाहरण), लेकिन transfer learning से महत्वपूर्ण लाभ दिखाया: BERT जैसे मॉडलों के आगमन के साथ सटीकता ~56% (यादृच्छिक अनुमान स्तर) से ~86% तक बढ़ी[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। फिर भी, SuperGLUE के लॉन्च के समय मॉडलों की सटीकता मनुष्य से लगभग 8 प्रतिशत अंक पीछे थी[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1), इसलिए RTE को उन कार्यों में से एक के रूप में शामिल किया गया जो मानव स्तर तक पहुँचने की गुंजाइश बनाए रखते थे। - **WiC** (Word-in-Context): संदर्भ में शब्द के अर्थ की **अस्पष्टता के समाधान** (WSD) का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। दो स्वतंत्र वाक्य दिए जाते हैं, जिनमें से प्रत्येक में एक ही बहुअर्थी शब्द आता है; यह निर्धारित करना होता है कि क्या यह शब्द दोनों मामलों में **एक ही अर्थ** में प्रयुक्त हुआ है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। डेटा शब्दकोश संसाधनों (WordNet, VerbNet, Wiktionary) से लिया गया है, इसलिए यह शब्दों और अर्थों की एक विस्तृत श्रृंखला को कवर करता है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। कार्य को द्विआधारी वर्गीकरण के रूप में औपचारिक रूप दिया गया है और सही उत्तरों के अनुपात द्वारा मूल्यांकन किया जाता है। WiC के लिए मॉडल को सूक्ष्म अर्थ संबंधी अंतरों की समझ की आवश्यकता होती है, जो वास्तव में **शाब्दिक अर्थविज्ञान** की जाँच करता है। - **WSC** (Winograd Schema Challenge): **सामान्य बुद्धि के उपयोग के साथ coreference resolution** का कार्य[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। प्रत्येक कार्य में एक सर्वनाम युक्त एक वाक्य और उसी वाक्य से दो इकाइयों (संज्ञाओं) की सूची होती है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। यह निर्धारित करना होता है कि **दिया गया सर्वनाम किस संज्ञा से संबंधित है**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। क्लासिक Winograd वाक्य का उदाहरण: «ट्रॉफी सूटकेस में नहीं समाई क्योंकि वह बहुत छोटा था» — मनुष्य समझता है कि «वह» सूटकेस को संदर्भित करता है (सूटकेस बहुत छोटा था)। ऐसे उदाहरणों को **रोजमर्रा के ज्ञान और संदर्भ** के बिना हल करना असंभव है[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। GLUE में इस कार्य का एक सरलीकृत संस्करण (WNLI) पहले से मौजूद था, लेकिन मॉडल लंबे समय तक उस पर यादृच्छिकता के स्तर को भी पार नहीं कर सके[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। केवल विशेष तकनीकों, जैसे कि समान उदाहरणों वाले बाहरी डेटा को जोड़ना, ने 2019 तक WSC पर मॉडल की गुणवत्ता को ~90% तक बढ़ाया[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। हालाँकि, मनुष्य WSC कार्यों को लगभग बिना गलती के हल करता है (~96-100% सही उत्तर)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। SuperGLUE में मूल WSC संस्करण को द्विआधारी वर्गीकरण के प्रारूप में शामिल किया गया है (प्रत्येक «सर्वनाम-इकाई» युगल के लिए मॉडल उत्तर देता है कि क्या वे संदर्भ में मेल खाते हैं)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। यह कार्य सामान्य बुद्धि तर्क की आवश्यकता वाले सबसे कठिन परीक्षणों में से एक बना हुआ है। सभी SuperGLUE परीक्षणों में **बंद परीक्षण सेट** हैं जिनके उत्तर डेवलपर्स को ज्ञात नहीं हैं[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। मॉडल अपनी भविष्यवाणियाँ सर्वर पर भेजते हैं, जहाँ एक संचयी स्कोर की गणना की जाती है — कार्यों पर औसत सटीकता (कई मीट्रिक्स वाले कार्यों के लिए, आंतरिक मीट्रिक को पहले औसत किया जाता है)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। ऐसा एकल **SuperGLUE score** सामान्य भाषा बुद्धिमत्ता के स्तर पर मॉडलों की तुलना को सरल बनाता है। ## मॉडलों के परिणाम और प्रगति SuperGLUE के लॉन्च पर, लेखकों ने एक मजबूत आधार मॉडल (उन्नत BERT) के परिणाम संदर्भ के रूप में प्रस्तुत किए — और वे सभी कार्यों पर मानव स्तर से **काफी नीचे** निकले[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। औसतन, उस समय के सर्वश्रेष्ठ मॉडल ने समेकित मीट्रिक पर मनुष्य की तुलना में लगभग **20 अंक कम** स्कोर किया[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। अलग-अलग कार्यों पर अंतर विशेष रूप से बड़ा था: उदाहरण के लिए, WSC कार्य में मॉडल मुश्किल से ~65% सटीकता तक पहुँचा, जबकि मनुष्य 100% था (लगभग 35 अंकों का अंतर)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। यहाँ तक कि «सरल» दिखने वाले कार्यों (BoolQ, CB, RTE, WiC) पर भी स्वचालित प्रणालियाँ मानव स्तर से ~10 अंक पीछे थीं[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। इन अंतरों ने पुष्टि की कि SuperGLUE वास्तव में वर्तमान तकनीकों के लिए एक गंभीर चुनौती प्रस्तुत करता है और इसे तुच्छ रूप से हल नहीं किया जा सकता। फिर भी, SuperGLUE के आने के कुछ ही महीनों बाद **तेजी से प्रगति** शुरू हुई[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1)। 2019 के अंत में Google के शोधकर्ताओं ने 11 अरब पैरामीटर वाला मॉडल **T5** (Text-To-Text Transfer Transformer) प्रस्तुत किया, जिसने 88.9 का संचयी परिणाम प्राप्त किया, जो मानव स्तर ~89.8 के काफी करीब था[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-reddit-t5-2)। वास्तव में, T5 ने SuperGLUE पर पिछले रिकॉर्ड को एक साथ 4.3 अंक से सुधारा और त्रुटियों के हिस्से को लगभग एक तिहाई कम किया[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-reddit-t5-2), केवल मनुष्य के संकेतक तक **0.9 अंक** का न्यूनतम अंतर छोड़ा[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-reddit-t5-2)। डेवलपर्स ने नोट किया कि SuperGLUE जानबूझकर इस तरह से चुना गया है कि लोगों के लिए कार्य सरल हों, इसलिए मॉडल का ~89% स्तर पर पहुँचना एक महत्वपूर्ण मील का पत्थर बन गया[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-reddit-t5-2)। **औसत मानव गुणवत्ता को पार करने** वाला पहला मॉडल Microsoft का **DeBERTa** (Decoding-enhanced BERT with disentangled attention) था[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। जनवरी 2021 में शोधकर्ताओं ने बताया कि 1.5 अरब पैरामीटर वाले DeBERTa संस्करण ने **89.9 अंक** प्राप्त किए, जो मानव संदर्भ 89.8 से थोड़ा अधिक था[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। यह **पहली बार** था जब किसी एकल मॉडल ने SuperGLUE मीट्रिक पर मनुष्य को पीछे छोड़ा[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। इसके अलावा, कई DeBERTa मॉडलों के ensemble ने रिकॉर्ड को ~90.3 अंक तक बढ़ाया[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। DeBERTa मॉडल ने पिछले नेता (Google T5) को लगभग 0.6% से पीछे छोड़ा और Transformer आर्किटेक्चर (शब्दों की सामग्री और स्थिति का अलग प्रतिनिधित्व, बेहतर mask decoder, आदि) में नए विचारों की प्रभावशीलता प्रदर्शित की[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-syncedreview-deberta-4)। प्रगति यहीं नहीं रुकी: भाषा मॉडलों के आकार और जटिलता के बढ़ने के साथ SuperGLUE के परिणामों में सुधार होता रहा[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-scaling-5)। 2021 के अंत तक leaderboard के शीर्ष पर Microsoft का मॉडल **T-NLRv5** (Microsoft Turing NLR परिवार) आ गया — उसने मानव स्तर से ऊपर के अंतर को और बढ़ाया[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-scaling-5)। GLUE के मशीनों के लिए अंतिम अनसुलझे कार्य (उदाहरण के लिए, NLI की बारीकियाँ) इस मॉडल द्वारा «बंद» किए गए, जो सबसे कठिन उपकार्यों पर भी **मनुष्य के साथ पूर्ण समानता** के बहुत करीब पहुँच गया[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-scaling-5)। 2022-2023 के लिए SuperGLUE पर मानव स्तर की सीमा को कई स्वतंत्र बड़े मॉडलों द्वारा आत्मविश्वास से पार कर लिया गया[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। उदाहरण के लिए, Google का मॉडल **PaLM** (540 अरब पैरामीटर) SuperGLUE कार्यों पर fine-tuning के बाद लगभग 90.4 अंक तक पहुँचा, और OpenAI द्वारा विकसित मॉडल **GPT-4** ने थोड़ा अधिक परिणाम दिखाया[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। 2023 के मध्य तक SuperGLUE के leaderboard में एक साथ कई ऐसे मॉडल थे जिनका परिणाम 90 से अधिक था (अर्थात औसत मानव स्तर से अधिक)[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। यह कहा जा सकता है कि benchmark **व्यावहारिक रूप से हल** हो चुका है आधुनिक प्रणालियों द्वारा[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6): सर्वश्रेष्ठ मॉडलों के संकेतक इतने ऊँचे हैं कि वे अधिकांश अकुशल लोगों की क्षमताओं से अधिक हैं[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। यह सफलता NLP में थोड़े समय में हुई जबरदस्त प्रगति का प्रमाण है, लेकिन साथ ही नवीनतम मॉडलों के लिए नए, और भी जटिल परीक्षणों की आवश्यकता की ओर इशारा करती है[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। पहले से ही नए benchmark उभर रहे हैं (जैसे MMLU, BIG-Bench और अन्य), जो मॉडलों को SuperGLUE के कार्यों की सीमाओं से परे व्यापक समझ और ज्ञान के लिए परखने के लिए डिज़ाइन किए गए हैं[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6)। ## प्रभाव और आगे के अनुसंधान SuperGLUE इस प्रकार भाषा प्रसंस्करण में **मूल्यांकन पद्धतियों के विकास में एक महत्वपूर्ण चरण** के रूप में स्थापित हो गया है[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। उत्साही और वैज्ञानिक समुदायों में इसके परिणाम नई BLM आर्किटेक्चर के लिए एक प्रकार की «कसौटी» बन गए हैं: SuperGLUE पर मानव स्तर को प्राप्त करना या उससे आगे जाना गहरी भाषा समझ वाले एक उन्नत मॉडल के संकेत के रूप में माना जाता है[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। इसका व्यावहारिक प्रभाव भी पड़ा — SuperGLUE पर उच्च परिणाम प्राप्त करने वाले कई आधुनिक भाषा मॉडल प्रश्न-उत्तर प्रणालियों, संवाद एजेंटों, पाठ सारांश प्रणालियों आदि के आधार बने[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3)। SuperGLUE का उपयोग शोधकर्ताओं द्वारा एल्गोरिदम की fine-tuning और तुलना के लिए किया जाता रहा है, हालाँकि अग्रणी स्थान अब धीरे-धीरे कृत्रिम बुद्धिमत्ता मूल्यांकन के नए क्षितिजों की ओर स्थानांतरित हो रहा है। ## संदर्भ - SuperGLUE की आधिकारिक वेबसाइट - मूल SuperGLUE लेख (NeurIPS) - DeBERTa द्वारा मानव स्तर प्राप्त करने पर Microsoft का लेख - Papers With Code पर SuperGLUE dataset पृष्ठ ## साहित्य - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## टिप्पणियाँ [\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-neurips-main-1) [\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-reddit-t5-2) [\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-deberta-3) [\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-syncedreview-deberta-4) [\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-microsoft-scaling-5) [\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_note-ainavigator-benchmarks-6) \ 1. ↑ [1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-0) [1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-1) [1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-2) [1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-3) [1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-4) [1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-5) [1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-6) [1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-7) [1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-8) [1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-9) [1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-10) [1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-11) [1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-12) [1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-13) [1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-14) [1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-15) [1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-16) [1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-17) [1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-18) [1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-19) [1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-20) [1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-21) [1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-22) [1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-23) [1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-24) [1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-25) [1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-26) [1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-27) [1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-28) [1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-29) [1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-30) [1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-31) [1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-32) [1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-33) [1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-34) [1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-35) [1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-36) [1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-37) [1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-38) [1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-39) [1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-40) [1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-41) [1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-42) [1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-43) [1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-44) [1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-45) [1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-46) [1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-47) [1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-48) [1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-49) [1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-50) [1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-51) [1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-52) [1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-53) [1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-54) [1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-55) [1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-56) [1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-57) [1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-58) [1.59](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-neurips-main_1-59) Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS*. [१] 2. ↑ [2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-reddit-t5_2-0) [2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-reddit-t5_2-1) [2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-reddit-t5_2-2) [2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-reddit-t5_2-3) [2.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-reddit-t5_2-4) «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». *Reddit /r/linguistics*. [२] 3. ↑ [3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-0) [3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-1) [3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-2) [3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-3) [3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-4) [3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-5) [3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-6) [3.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-deberta_3-7) «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». *Microsoft Research Blog*. [३] 4. ↑ [4.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-syncedreview-deberta_4-0) [4.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-syncedreview-deberta_4-1) «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». *Synced Review*. [४] 5. ↑ [5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-scaling_5-0) [5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-scaling_5-1) [5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-scaling_5-2) [5.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-microsoft-scaling_5-3) «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». *Microsoft Research Blog*. [५] 6. ↑ [6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-0) [6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-1) [6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-2) [6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-3) [6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-4) [6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-5) [6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-6) [6.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(HI)#cite_ref-ainavigator-benchmarks_6-7) «The Ultimate Guide to AI Benchmarks». *The AI Navigator*. [६]