SuperGLUE (benchmark) (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

SuperGLUE — یہ ایک جامع benchmark (آزمائشی کاموں کا مجموعہ) ہے جو قدرتی زبان کی پروسیسنگ کے نظاموں، خاص طور پر بڑے زبانی ماڈلز (LLM) کی جانچ کے لیے ترتیب دیا گیا ہے[1]۔ اسے 2019 میں نیویارک یونیورسٹی کے الیکس وان کی قیادت میں محققین کے ایک گروپ نے Facebook AI Research اور دیگر اداروں کے تعاون سے پیش کیا[1]۔

SuperGLUE کی تخلیق کا سبب یہ تھا کہ 2019 کے وسط تک پچھلا benchmark یعنی GLUE جدید ماڈلز کے لیے ایک آسان کام بن چکا تھا: GLUE پر بہترین ماڈلز کا مجموعی اسکور 88.4 تک پہنچ گیا تھا، جو انسانی اوسط سطح (87.1) سے بھی بڑھ گیا تھا[1]۔ اس طرح مزید ترقی کی گنجائش کم ہو گئی[1]۔ اس کے جواب میں مصنفین نے SuperGLUE کو ایک زیادہ مشکل متبادل کے طور پر تیار کیا، جو ماڈلز کی زبانی فہم کا زیادہ سخت امتحان لے سکے[1]۔ SuperGLUE کا مقصد انگریزی زبان کی عمومی فہم میں پیشرفت کا ایک غیر جانب دار اور مشکل سے سیکھا جانے والا پیمانہ فراہم کرنا ہے[1]۔ توقع کی گئی تھی کہ SuperGLUE میں نمایاں بہتری کے لیے Machine Learning کے طریقوں میں جوہری اختراعات درکار ہوں گی — مثلاً چھوٹے نمونوں پر زیادہ مؤثر تربیت، ملٹی ٹاسک اور سیلف سپروائزڈ تربیت[1]۔ دوسرے الفاظ میں، SuperGLUE میں ایسے کام شامل کیے گئے ہیں جو انسان کے لیے آسان لیکن مشینی ذہانت کے لیے دشوار ہیں[1]، تاکہ ایسے ماڈلز کی ترقی کو فروغ ملے جو زبان کی حقیقی گہری سمجھ رکھتے ہوں۔

GLUE سے خصوصیات اور فرق

SuperGLUE بڑی حد تک GLUE کے فارمیٹ پر مبنی ہے — یہ کاموں کے مجموعے پر ایک واحد مربوط معیاری اسکور، عوامی لیڈربورڈ اور ماڈلز کے تجزیے کا ٹول کٹ پیش کرتا ہے[1]۔ تاہم SuperGLUE اپنے پیشرو کے مقابلے میں کئی بہتریاں اور نئے اضافے لاتا ہے[1]:

  • زیادہ مشکل کام: SuperGLUE میں آٹھ سب سے مشکل کاموں کا انتخاب کیا گیا ہے[1]۔ ان میں سے دو GLUE سے لیے گئے ہیں (وہاں کے مشکل ترین کاموں میں سے)، باقی نئے امیدواروں میں سے جدید NLP ماڈلز کے لیے ان کی دشواری کی بنیاد پر منتخب کیے گئے[1]۔ اس طرح benchmark فہم کے ان پہلوؤں پر توجہ مرکوز کرتا ہے جہاں ماڈلز پہلے سب سے کمزور نتائج دکھاتے تھے۔
  • فارمیٹس کا تنوع: اگر GLUE میں تمام کام جملوں یا جملوں کے جوڑوں کی درجہ بندی تک محدود تھے، تو SuperGLUE فارمیٹس کی وسیع رینج شامل کرتا ہے[1]۔ درجہ بندی کے علاوہ کو-ریفرنس ریزولوشن اور سوال جواب کے کام بھی شامل کیے گئے ہیں، جن کے لیے ماڈل کو مربوط متن کی سمجھ اور منطقی استنتاج کی ضرورت ہوتی ہے[1]۔
  • تمام کاموں پر انسانی جانچ: ہر کام کے لیے SuperGLUE میں انسانی کارکردگی کی بنیادی سطح (non-expert) حساب کی گئی ہے[1]، جو اس بات کی تصدیق کرتی ہے کہ benchmark کے آغاز پر BERT جیسے طاقتور ماڈل بھی انسان سے نمایاں طور پر پیچھے تھے[1]۔ انسانی معیار (~90% مجموعی) کی موجودگی ماڈل کی ترقی کی گنجائش فراہم کرتی ہے اور ہدف کا کام کرتی ہے[1]۔
  • شفاف اصول اور ٹولز: لیڈربورڈ پر نتائج جمع کروانے کے اصولوں کو نظرثانی کے ساتھ بہتر بنایا گیا (منصفانہ موازنے اور dataset مصنفین کی شراکت کے اشارے کے لیے)[1]۔ نیز SuperGLUE کے ڈیٹا پر ماڈلز کی fine-tuning اور ملٹی ٹاسک تربیت کی سہولت کے لیے نیا اوپن سورس ٹول کٹ بھی شائع کیا گیا[1]۔

مجموعی طور پر یہ اقدامات SuperGLUE کو ماڈلز کی عمومی زبانی صلاحیتوں کا ایک زیادہ قابل اعتماد امتحان بناتے ہیں، جو پرانے GLUE کے مخصوص فارمیٹس کے لیے تنگ چیٹنگ یا موافقت کے ذریعے اعلیٰ نتائج حاصل کرنے کی اجازت نہیں دیتا[1]۔

SuperGLUE کے کاموں کا مجموعہ

SuperGLUE آٹھ کاموں پر مشتمل ہے جو متن کی فہم کے مختلف پہلوؤں کا احاطہ کرتے ہیں۔

  • BoolQ (Boolean Questions): سوال-جواب (QA) قسم کا کام، جہاں ہر مثال کے ساتھ ایک مختصر متن (ویکیپیڈیا کا اقتباس) اور ایک سوال دیا جاتا ہے جس کا جواب ہاں یا نہیں میں دینا ہوتا ہے[1]۔ سوالات صارفین کی طرف سے (Google کی تلاشوں سے) تیار کیے گئے ہیں اور متن سے صریح یا ضمنی حقیقت نکالنے کا تقاضا کرتے ہیں؛ معیار کا پیمانہ صحیح جوابات کا تناسب (accuracy) ہے[1]۔
  • CB (CommitmentBank): تین زمروں کے ساتھ منطقی استنتاج (textual entailment) کا کام[1]۔ Dataset مختصر متون پر مشتمل ہے جن میں مرکب جملے ہیں؛ یہ طے کرنا ہوتا ہے کہ متن کا مصنف اندرونی بیان کی سچائی کے لیے کس حد تک پابند ہے[1]۔ دراصل یہ اس بات کی جانچ ہے کہ آیا دیے گئے سیاق سے کوئی بیان لازمی نتیجہ نکلتا ہے۔ کام چھوٹے نمونے کی وجہ سے (تقریباً 250 مثالیں) اور زمروں کے عدم توازن کی وجہ سے مشکل ہے؛ معیار accuracy اور زمروں پر اوسط F1 سے ناپا جاتا ہے[1]۔
  • COPA (Choice of Plausible Alternatives): سبب و نتیجہ استدلال کا کام[1]۔ ماڈل کو ایک بنیادی بات (ایک جملہ) دی جاتی ہے اور دو اختیارات میں سے درست وجہ یا نتیجہ چننا ہوتا ہے[1]۔ COPA کی تمام مثالیں ہاتھ سے بنائی گئی ہیں اور سبب و نتیجہ کا تعلق قائم کرنے کے لیے سمجھ بوجھ کا تقاضا کرتی ہیں۔ موضوعات میں بلاگز اور ایک خصوصی انسائیکلوپیڈیا کے حالات شامل ہیں؛ پیمانہ accuracy (درست انتخاب کا تناسب) ہے[1]۔ مثال: دیا جائے بچے نے بیماری کے خلاف قوت مدافعت حاصل کی اور سوال ہو اس کی کیا وجہ تھی؟ — انسان فوری سمجھ لیتا ہے کہ درست جواب اس نے ویکسین لی ہے، جبکہ ماڈل کو سببی تعلق کا اندازہ لگانا پڑتا ہے[1]۔
  • MultiRC (Multi-Sentence Reading Comprehension): ملٹیپل چوائس عناصر کے ساتھ کثیر جملاتی متن فہم کا کام[1]۔ ماڈل کو ایک پیراگراف، پیراگراف کے مواد پر سوال اور ممکنہ جوابوں کی فہرست دی جاتی ہے؛ یہ طے کرنا ہوتا ہے کہ کون سے جواب درست ہیں (ہر سوال میں کئی درست جواب ہو سکتے ہیں)[1]۔ خصوصیت: سوال کا جواب دینے کے لیے عموماً متن کے کئی جملوں سے معلومات کو یکجا کرنا ضروری ہے، جو ماڈل کی حقائق کو جوڑنے کی صلاحیت کو جانچتا ہے[1]۔ معیار دو پیمانوں سے ناپا جاتا ہے: جوابوں پر F1 (جزوی طور پر درست مجموعوں کو شمار کرتا ہے) اور Exact Match - ان سوالوں کا تناسب جن کے جوابوں کا مکمل درست مجموعہ دیا گیا[1]۔
  • ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): علم کے استعمال کے ساتھ پڑھ کر سمجھنے کا کام[1]۔ یہ ایک تبدیل شدہ Cloze ٹیسٹ ہے: ایک خبری متن (CNN/Daily Mail کا مضمون) اور ایک ایسا جملہ دیا جاتا ہے جس میں ایک اسم خالی ہے؛ ماڈل کو یہ چننا ہوتا ہے کہ متن میں مذکور کون سا اسم خالی جگہ کے لیے موزوں ہے[1]۔ جوابات کے اختیارات میں مضمون میں مذکور تمام اسم دیے جاتے ہیں، جو جوہری طور پر ایک جیسے بھی ہو سکتے ہیں[1]۔ کامیاب حل کے لیے سیاق کی سمجھ اور عقل کی ضرورت ہے۔ پیمانے — پیش گوئی شدہ جوابوں پر زیادہ سے زیادہ token-level F1 اور Exact Match (عین مطابق) ہیں[1]۔
  • RTE (Recognizing Textual Entailment): متنی استنتاج (entailment vs. not entailment) کا دوہری درجہ بندی کا کام[1]۔ Dataset متنی استنتاج کی شناخت کے کئی مقابلوں (RTE 1-5 سیریز) کی مثالوں کو یکجا کرتا ہے[1]۔ ہر کام میں متنی ٹکڑوں کا ایک جوڑا (premise-hypothesis) ہوتا ہے؛ ماڈل کو یہ طے کرنا ہوتا ہے کہ آیا hypothesis متن سے لازمی نتیجہ نکلتی ہے۔ بہت سے بڑے datasets کے برعکس RTE کافی چھوٹا ہے (تقریباً 2,500 تربیتی مثالیں)، لیکن transfer learning سے اسے نمایاں فائدہ ہوا: BERT جیسے ماڈلز کے آنے سے accuracy ~56% (اتفاقی اندازے کی سطح) سے بڑھ کر ~86% ہو گئی[1]۔ تاہم SuperGLUE کے آغاز پر ماڈلز کی accuracy انسانی سطح سے تقریباً 8 فیصد پوائنٹس پیچھے تھی[1]، اس لیے RTE کو ان کاموں میں سے ایک کے طور پر شامل کیا گیا جو ابھی انسانی سطح تک نہیں پہنچے تھے۔
  • WiC (Word-in-Context): سیاق میں لفظ کے معنی کی عدم وضاحت دور کرنے (WSD) کا کام[1]۔ دو الگ الگ جملے دیے جاتے ہیں جن میں ایک ہی کثیر معنی لفظ موجود ہوتا ہے؛ یہ طے کرنا ہوتا ہے کہ آیا یہ لفظ دونوں جگہ ایک ہی معنی میں استعمال ہوا ہے[1]۔ ڈیٹا لغت کے وسائل (WordNet, VerbNet, Wiktionary) سے لیا گیا ہے، اس لیے الفاظ اور معانی کی وسیع رینج شامل ہے[1]۔ کام کو دوہری درجہ بندی کے طور پر ترتیب دیا گیا ہے اور صحیح جوابوں کے تناسب سے جانچا جاتا ہے۔ WiC سے ماڈل کو لطیف معنوی فرق سمجھنے کی ضرورت ہوتی ہے، جو دراصل لیکسیکل سیمینٹکس کو جانچتی ہے۔
  • WSC (Winograd Schema Challenge): سمجھ بوجھ کے ذریعے کو-ریفرنس ریزولوشن کا کام[1]۔ ہر کام میں ایک ضمیر پر مشتمل ایک جملہ اور اسی جملے کے دو اسموں کی فہرست ہوتی ہے[1]۔ یہ طے کرنا ہوتا ہے کہ دیا گیا ضمیر کس اسم کی طرف اشارہ کرتا ہے[1]۔ کلاسک winograd جملے کی مثال: ٹرافی سوٹ کیس میں نہیں سمائی کیونکہ وہ بہت چھوٹا تھا — انسان سمجھ لیتا ہے کہ وہ سوٹ کیس سے مراد ہے (سوٹ کیس بہت چھوٹا تھا)۔ اس طرح کی مثالیں روزمرہ علم اور سیاق کے بغیر حل نہیں کی جا سکتیں[1]۔ GLUE میں اس کام کا ایک آسان ورژن (WNLI) پہلے سے موجود تھا، لیکن ماڈلز کافی عرصے تک اس میں اتفاقی اندازے کی سطح بھی نہ پا سکے[1]۔ صرف خصوصی حربوں، جیسے ملتی جلتی مثالوں والا بیرونی ڈیٹا شامل کرنے سے، 2019 تک WSC پر ماڈلز کا معیار ~90% تک پہنچا[1]۔ تاہم انسان WSC کے کاموں کو تقریباً بلا غلطی حل کرتا ہے (~96-100% درست جواب)[1]۔ SuperGLUE میں WSC کا اصل ورژن دوہری درجہ بندی کے فارمیٹ میں شامل کیا گیا ہے (ہر ضمیر-اسم جوڑے کے لیے ماڈل جواب دیتا ہے کہ آیا ان کا حوالہ ایک ہی ہے)[1]۔ یہ کام commonsense استدلال کے سب سے مشکل ترین ٹیسٹوں میں سے ایک ہے۔

SuperGLUE کے تمام ٹیسٹوں کے بند ٹیسٹ سیٹ ہیں جن کے جواب ڈویلپرز کو معلوم نہیں[1]۔ ماڈلز اپنی پیش گوئیاں سرور پر بھیجتے ہیں جہاں مجموعی اسکور حساب کیا جاتا ہے — کاموں پر اوسط accuracy (کئی پیمانوں والے کاموں کے لیے پہلے اندرونی پیمانہ اوسط کیا جاتا ہے)[1]۔ اس واحد SuperGLUE score سے ماڈلز کا زبانی ذہانت کی عمومی سطح پر موازنہ آسان ہو جاتا ہے۔

ماڈلز کے نتائج اور پیشرفت

SuperGLUE کے آغاز پر مصنفین نے ایک مضبوط بنیادی ماڈل (مضبوط BERT) کے نتائج کو معیار کے طور پر پیش کیا — اور وہ تمام کاموں میں انسانی سطح سے نمایاں طور پر کم نکلے[1]۔ اس وقت کے بہترین ماڈل نے مجموعی پیمانے پر انسان سے تقریباً 20 پوائنٹس کم اسکور حاصل کیا[1]۔ انفرادی کاموں میں فرق خاص طور پر بڑا تھا: مثلاً WSC کام میں ماڈل مشکل سے ~65% accuracy تک پہنچا جبکہ انسان کا 100% تھا (تقریباً 35 پوائنٹس کا فرق)[1]۔ یہاں تک کہ آسان نظر آنے والے کاموں (BoolQ, CB, RTE, WiC) میں بھی خودکار نظام انسانی سطح سے ~10 پوائنٹس پیچھے تھے[1]۔ ان فرقوں نے تصدیق کی کہ SuperGLUE واقعی موجودہ ٹیکنالوجی کو ایک سنجیدہ چیلنج دیتا ہے اور اسے معمولی طریقے سے حل نہیں کیا جا سکتا۔

تاہم SuperGLUE کے آنے کے صرف چند ماہ بعد تیز ترقی شروع ہو گئی[1]۔ 2019 کے آخر میں Google کے محققین نے T5 (Text-To-Text Transfer Transformer) ماڈل 11 ارب parameters کے ساتھ پیش کیا جس نے 88.9 کا مجموعی اسکور حاصل کیا، انسانی سطح ~89.8 کے بالکل قریب پہنچ کر[2]۔ عملاً T5 نے SuperGLUE کا پچھلا ریکارڈ ایک ساتھ 4.3 پوائنٹس بہتر کیا اور غلطیوں کا تناسب تقریباً ایک تہائی کم کیا[2]، اور انسانی اسکور تک صرف 0.9 پوائنٹس کا فرق باقی رہا[2]۔ ڈویلپرز نے نوٹ کیا کہ SuperGLUE کو جان بوجھ کر اس طرح ترتیب دیا گیا ہے کہ انسانوں کے لیے کام آسان ہیں، اس لیے ماڈل کا ~89% کی سطح تک پہنچنا ایک اہم سنگ میل تھا[2]۔

پہلا شخص جو اوسط انسانی معیار سے آگے نکلنے میں کامیاب ہوا وہ Microsoft کا ماڈل DeBERTa (Decoding-enhanced BERT with disentangled attention) تھا[3]۔ جنوری 2021 میں محققین نے اعلان کیا کہ DeBERTa کے 1.5 ارب parameters والے ورژن نے 89.9 اسکور حاصل کیا، انسانی معیار 89.8 سے تھوڑا اوپر[3]۔ یہ پہلا موقع تھا جب ایک واحد ماڈل نے SuperGLUE کے پیمانے پر انسان کو پیچھے چھوڑا[3]۔ اس کے علاوہ DeBERTa کے کئی ماڈلز کے ensemble نے ریکارڈ کو ~90.3 اسکور تک بڑھایا[3]۔ DeBERTa ماڈل نے پچھلے رہنما (Google T5) کو تقریباً 0.6% سے پیچھے چھوڑا اور Transformer آرکیٹیکچر میں نئے خیالات کی کارآمدی ظاہر کی (الفاظ کے مواد اور مقام کی الگ نمائندگی، بہتر ماسک ڈیکوڈر وغیرہ)[4]۔

پیشرفت یہاں نہیں رکی: زبانی ماڈلز کے حجم اور پیچیدگی میں اضافے کے ساتھ SuperGLUE کے نتائج بہتر ہوتے رہے[5]۔ 2021 کے آخر تک Microsoft کا ماڈل T-NLRv5 (Microsoft Turing NLR خاندان) لیڈربورڈ کی چوٹی پر تھا — اس نے انسانی سطح سے فرق کو اور بڑھایا[5]۔ GLUE کے مشینوں کے لیے آخری حل نہ ہوئے کام (مثلاً NLI کی باریکیاں) اس ماڈل نے بند کر دیے، جو سب سے مشکل ذیلی کاموں میں بھی انسانی برابری کے بالکل قریب پہنچا[5]۔

2022-2023 تک SuperGLUE پر انسانی سطح کی حد کو کئی آزاد بڑے ماڈلز نے اعتماد کے ساتھ پار کر لیا[6]۔ مثلاً Google کا ماڈل PaLM (540 ارب parameters) SuperGLUE کے کاموں پر fine-tuning کے بعد تقریباً 90.4 اسکور تک پہنچا، اور OpenAI کا ماڈل GPT-4 اس سے بھی تھوڑا زیادہ نتیجہ دکھایا[6]۔ 2023 کے وسط تک SuperGLUE کے لیڈر بورڈ میں ایک ساتھ کئی ایسے ماڈلز تھے جن کا نتیجہ 90 سے اوپر تھا (یعنی اوسط انسانی سطح سے زیادہ)[6]۔ یہ کہا جا سکتا ہے کہ benchmark عملاً جدید نظاموں کے لیے حل ہو گیا ہے[6]: بہترین ماڈلز کے اسکور اتنے بلند ہیں کہ زیادہ تر غیر تربیت یافتہ انسانوں کی صلاحیتوں سے بھی آگے نکل گئے ہیں[6]۔ یہ کامیابی NLP میں مختصر عرصے میں زبردست ترقی کی گواہ ہے، لیکن ساتھ ہی جدید ترین ماڈلز کے لیے نئے اور مزید مشکل ٹیسٹوں کی ضرورت بھی ظاہر کرتی ہے[6]۔ اب اگلے benchmark بھی سامنے آ رہے ہیں (مثلاً MMLU, BIG-Bench وغیرہ)، جن کا مقصد ماڈلز کو SuperGLUE کے کاموں سے آگے وسیع تر فہم اور علم پر جانچنا ہے[6]۔

اثرات اور آگے کی تحقیق

SuperGLUE اس طرح زبان کی پروسیسنگ میں جانچ کے طریقوں کی ترقی کا ایک اہم مرحلہ بن گیا[3]۔ شوقین اور علمی حلقوں میں اس کے نتائج LLM کے نئے آرکیٹیکچرز کی ایک قسم کی کسوٹی بن گئے: SuperGLUE پر انسانی سطح کا حصول یا اسے پار کرنا گہری زبانی فہم رکھنے والے ترقی یافتہ ماڈل کی نشانی سمجھا جاتا ہے[3]۔ اس کا عملی اثر بھی ہوا — SuperGLUE پر اعلیٰ نتائج حاصل کرنے والے بہت سے جدید زبانی ماڈلز، سوال-جواب، مکالماتی ایجنٹوں، متن خلاصہ کاری کے نظاموں وغیرہ کی بنیاد بنے[3]۔ SuperGLUE محققین کی طرف سے الگوریتموں کی fine-tuning اور موازنے کے لیے استعمال ہوتا رہتا ہے، اگرچہ ترقی کا مرکز اب آہستہ آہستہ مصنوعی ذہانت کی جانچ کے نئے محاذوں کی طرف منتقل ہو رہا ہے۔

روابط

  • SuperGLUE کی سرکاری ویب سائٹ
  • SuperGLUE کا اصل مقالہ (NeurIPS)
  • DeBERTa کے انسانی سطح حاصل کرنے پر Microsoft کا مقالہ
  • Papers With Code پر SuperGLUE dataset کا صفحہ

ادبیات

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

حواشی

[1] [2] [3] [4] [5] [6] </references>

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». Reddit /r/linguistics. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». Microsoft Research Blog. [3]
  4. ↑ 4.0 4.1 «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». Synced Review. [4]
  5. ↑ 5.0 5.1 5.2 5.3 «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». Microsoft Research Blog. [5]
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 6.7 «The Ultimate Guide to AI Benchmarks». The AI Navigator. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=SuperGLUE_(benchmark)_(UR)&oldid=7019"