SuperGLUE (benchmark) (NL)

SuperGLUE — dit is een uitgebreide benchmark (verzameling van testtaken) voor de evaluatie van systemen voor natuurlijke taalverwerking, met name grote taalmodellen (LLM). Het werd in 2019 geïntroduceerd door een groep onderzoekers onder leiding van Alex Wang van de New York University, met medewerking van Facebook AI Research en andere organisaties.

De aanleiding voor de creatie van SuperGLUE was dat de voorgaande benchmark GLUE halverwege 2019 een 'eenvoudige taak' was geworden voor moderne modellen: de gecombineerde score van de beste modellen op GLUE had 88,4 bereikt, waarmee het gemiddelde menselijke niveau (87,1) werd overtroffen. Daarmee was de ruimte voor verdere vooruitgang sterk afgenomen. Als reactie hierop ontwikkelden de auteurs SuperGLUE als een moeilijker alternatief, dat een strengere toetsing van taalbegrip door modellen mogelijk maakt. Het doel van SuperGLUE is het bieden van een neutrale en moeilijk 'aanpasbare' maatstaf voor vooruitgang op het gebied van algemeen taalbegrip in het Engels. Verwacht werd dat merkbare verbetering op SuperGLUE wezenlijke innovaties in Machine Learning-methoden zou vereisen — zoals effectiever leren met kleine datasets, multitaak- en zelfgesuperviseerd leren. Met andere woorden: SuperGLUE bevat taken die eenvoudig zijn voor mensen, maar moeilijk voor kunstmatige intelligentie, teneinde de ontwikkeling te stimuleren van modellen met werkelijk diepgaand taalbegrip.

Kenmerken en verschillen met GLUE

SuperGLUE volgt grotendeels het formaat van GLUE — het biedt één geïntegreerde kwaliteitsscore over een reeks taken, een publiek leaderboard en hulpmiddelen voor modelanalyse. SuperGLUE introduceert echter een aantal verbeteringen en vernieuwingen ten opzichte van zijn voorganger:

• Moeilijkere taken: SuperGLUE bevat de acht meest uitdagende taken. Twee daarvan zijn overgenomen uit GLUE (als de moeilijkste aldaar), de overige werden geselecteerd uit nieuwe kandidaten op basis van hun complexiteit voor moderne NLP-modellen. De benchmark richt zich dus op die aspecten van begrip waarbij modellen eerder de slechtste resultaten boekten.
• Diversiteit in formaten: terwijl in GLUE alle taken neerkwamen op classificatie van zinnen of zinsparen, omvat SuperGLUE een breder scala aan formaten. Naast classificatie zijn taken toegevoegd voor coreferentieresolutie en vraagbeantwoording, die van het model begrip van samenhangende tekst en logisch redeneren vereisen.
• Menselijke beoordeling voor alle taken: voor elke taak in SuperGLUE is een basisniveau voor menselijke prestaties (niet-expert) berekend, waaruit blijkt dat zelfs sterke modellen als BERT bij de lancering van de benchmark aanzienlijk achterbleven op mensen. Het beschikbare menselijke referentiepunt (~90% gecombineerd) biedt 'groeimarge' voor modellen en fungeert als streefdoel.
• Transparante regels en hulpmiddelen: de regels voor publicatie van resultaten op het leaderboard zijn herzien (om eerlijke vergelijking te garanderen en de bijdragen van dataset-auteurs te vermelden). Daarnaast is een nieuwe open-source toolkit gepubliceerd voor het gemakkelijk fine-tunen en multitaak-trainen van modellen op SuperGLUE-gegevens.

Samen maken deze maatregelen SuperGLUE tot een betrouwbaardere toets voor de algemene taalcapaciteiten van modellen, waarbij hoge scores niet te behalen zijn via oppervlakkig 'cheaten' of aanpassen aan de specifieke formaten van het vroegere GLUE.

Takenverzameling van SuperGLUE

SuperGLUE bestaat uit acht taken die verschillende aspecten van tekstbegrip beslaan.

• BoolQ (Boolean Questions): een vraag-antwoord (QA)-taak waarbij elk voorbeeld bestaat uit een korte tekst (fragment uit Wikipedia) en een vraag waarop met 'ja' of 'nee' geantwoord moet worden. De vragen zijn geformuleerd door gebruikers (via Google-zoekopdrachten) en vereisen het ophalen van een expliciete of impliciete feit uit de tekst; de kwaliteitsmetriek is de fractie correcte antwoorden (accuracy).
• CB (CommitmentBank): een taak voor logische gevolgtrekking (textual entailment) met drie klassen. De dataset bestaat uit korte teksten met bijzinnen; de taak is te bepalen in welke mate de auteur van de tekst gehecht is aan de waarheid van de ingebedde bewering. In wezen gaat het om de vraag of een stelling uit de gegeven context volgt. De taak is moeilijk vanwege de kleine omvang van de dataset (ca. 250 voorbeelden) en de klasse-onevenwichtigheid; de kwaliteit wordt gemeten met nauwkeurigheid en macro-gemiddelde F1-score.
• COPA (Choice of Plausible Alternatives): een taak voor oorzaak-gevolgdenken. Het model krijgt een premise (één zin) en moet de juiste oorzaak of het juiste gevolg kiezen uit twee opties. Alle COPA-voorbeelden zijn handmatig opgesteld en vereisen gezond verstand om causale verbanden te leggen. De thematiek omvat situaties uit blogs en een gespecialiseerde encyclopedie; de metriek is nauwkeurigheid (fractie correcte keuzes). Voorbeeld: gegeven de zin 'het kind ontwikkelde immuniteit voor de ziekte' en de vraag 'wat was de oorzaak?' — een mens begrijpt direct dat het juiste antwoord 'het ontving een vaccin' is, terwijl het model het causale verband moet afleiden.
• MultiRC (Multi-Sentence Reading Comprehension): een taak voor begrip van meerdere zinnen met elementen van meerkeuze. Het model ontvangt een alinea tekst, een vraag over de inhoud van die alinea en een lijst met mogelijke antwoorden; het moet bepalen welke antwoorden correct zijn (elke vraag kan meerdere correcte antwoorden hebben). Kenmerkend is dat het beantwoorden van een vraag doorgaans informatie uit meerdere zinnen vereist, wat het vermogen van het model om feiten te koppelen toetst. De kwaliteit wordt gemeten met twee metrieken: F1 over antwoorden (houdt rekening met gedeeltelijk correcte sets) en Exact Match — de fractie vragen waarvoor volledig correcte antwoordsets zijn gegeven.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): een taak voor leesbegrip met gebruikmaking van kennis. Het betreft een aangepaste Cloze-test: gegeven een nieuwstekst (CNN/Daily Mail-artikel) en een zin met een ontbrekend entiteitswoord, moet het model bepalen welke entiteit uit de tekst op de lege plek past. De antwoordopties bestaan uit alle entiteiten die in het artikel worden vermeld, waarbij ze inhoudelijk kunnen overlappen. Een succesvolle oplossing vereist begrip van de context en gezond verstand. De metrieken zijn maximale token-level F1 en Exact Match (exacte overeenkomst) voor de voorspelde antwoorden.
• RTE (Recognizing Textual Entailment): een binaire classificatietaak voor tekstuele gevolgtrekking (entailment vs. not entailment). De dataset combineert voorbeelden uit meerdere wedstrijden voor het herkennen van tekstuele gevolgtrekking (de RTE 1-5-serie). Elke taak bevat een paar tekstfragmenten (premise-hypothese); het model moet bepalen of de hypothese uit de tekst volgt. In tegenstelling tot veel grote datasets is RTE vrij klein (ca. 2.500 trainingsvoorbeelden), maar profiteerde het sterk van transfer learning: de nauwkeurigheid steeg van ~56% (het niveau van willekeurig gokken) tot ~86% met de komst van modellen als BERT. Desalniettemin liep de nauwkeurigheid van modellen bij de lancering van SuperGLUE nog zo'n 8 procentpunten achter op het menselijke niveau, waardoor RTE werd opgenomen als een van de taken die nog een kloof met het menselijke niveau vertoonden.
• WiC (Word-in-Context): een taak voor desambiguatie van woordbetekenis in context (WSD). Er worden twee onafhankelijke zinnen gegeven, elk met hetzelfde meerbetekeniswoord; de taak is te bepalen of dat woord in dezelfde betekenis in beide gevallen wordt gebruikt. De gegevens zijn afkomstig uit woordenboekbronnen (WordNet, VerbNet, Wiktionary), zodat een breed scala aan woorden en betekenissen wordt gedekt. De taak is geformaliseerd als binaire classificatie en wordt beoordeeld op basis van de fractie correcte antwoorden. WiC vereist van het model begrip van subtiele semantische verschillen en toetst feitelijk lexicale semantiek.
• WSC (Winograd Schema Challenge): een taak voor coreferentieresolutie met gebruikmaking van gezond verstand. Elke taak bestaat uit één zin met een voornaamwoord en een lijst van twee entiteiten (zelfstandige naamwoorden) uit diezelfde zin. De taak is te bepalen op welk van de twee zelfstandige naamwoorden het gegeven voornaamwoord betrekking heeft. Een klassiek winograd-voorbeeld: 'De trofee paste niet in de koffer, want hij was te klein' — een mens begrijpt dat 'hij' verwijst naar de koffer (de koffer was te klein). Dergelijke voorbeelden zijn niet op te lossen zonder alledaagse kennis en context. In GLUE was al een vereenvoudigde versie van deze taak aanwezig (WNLI), maar modellen konden daar lange tijd zelfs het toevalsniveau niet overtreffen. Pas speciale technieken, zoals het toevoegen van externe gegevens met vergelijkbare voorbeelden, brachten de prestaties van modellen op WSC rond 2019 op ~90%. Een mens lost WSC-taken echter nagenoeg foutloos op (~96-100% correcte antwoorden). In SuperGLUE is de originele versie van WSC opgenomen in het formaat van binaire classificatie (voor elk 'voornaamwoord-entiteit'-paar antwoordt het model of ze coreferent zijn). Deze taak blijft een van de moeilijkste toetsen die common sense-redeneren vereisen.

Alle tests van SuperGLUE beschikken over gesloten testsets waarvan de antwoorden niet bekend zijn bij de ontwikkelaars. Modellen sturen hun voorspellingen naar een server, waar een gecombineerde score wordt berekend — het gemiddelde van de nauwkeurigheid over de taken (voor taken met meerdere metrieken wordt eerst de interne metriek gemiddeld). Deze enkelvoudige SuperGLUE score vereenvoudigt de vergelijking van modellen op het algemene niveau van taalintelligentie.

Resultaten en voortgang van modellen

Bij de lancering van SuperGLUE presenteerden de auteurs de resultaten van een sterk basismodel (versterkt BERT) als referentiepunt — en deze lagen aanzienlijk lager dan de menselijke prestaties op alle taken. Gemiddeld scoorde het beste model destijds ongeveer 20 punten lager dan een mens op de geïntegreerde metriek. Bij afzonderlijke taken was het verschil bijzonder groot: zo haalde het model in de WSC-taak nauwelijks ~65% nauwkeurigheid tegenover 100% voor mensen (een achterstand van ~35 punten). Zelfs bij taken die er 'eenvoudiger' uitzagen (BoolQ, CB, RTE, WiC) lagen automatische systemen ~10 punten achter op het menselijke niveau. Deze verschillen bevestigden dat SuperGLUE de huidige technologie inderdaad een serieuze uitdaging biedt en niet triviaal opgelost kan worden.

Desondanks begon slechts enkele maanden na het verschijnen van SuperGLUE een snelle vooruitgang. Eind 2019 presenteerden onderzoekers van Google het model T5 (Text-To-Text Transfer Transformer) met 11 miljard parameters, dat een gecombineerde score van 88,9 behaalde en daarmee het menselijke niveau van ~89,8 dicht benaderde. T5 verbeterde het vorige record op SuperGLUE met maar liefst 4,3 punten en reduceerde het aandeel fouten met bijna een derde, waardoor slechts een minimale kloof van 0,9 punt overbleef ten opzichte van de menselijke score. De ontwikkelaars merkten op dat SuperGLUE bewust zo is samengesteld dat de taken eenvoudig zijn voor mensen, waardoor het bereiken van een score van ~89% door een model een belangrijke mijlpaal was.

De eerste die erin slaagde het gemiddelde menselijke kwaliteitsniveau te overtreffen, was het model van Microsoft DeBERTa (Decoding-enhanced BERT with disentangled attention). In januari 2021 meldden onderzoekers dat de versie van DeBERTa met 1,5 miljard parameters een score van 89,9 punten behaalde, iets hoger dan het menselijke referentiepunt van 89,8. Dit was de eerste keer dat een enkel model een mens overtrof op de SuperGLUE-metriek. Bovendien verhoogde een ensemble van meerdere DeBERTa-modellen het record tot ~90,3 punten. Het DeBERTa-model overtrof de vorige leider (Google T5) met ongeveer 0,6% en demonstreerde de effectiviteit van nieuwe ideeën in de Transformer-architectuur (gescheiden representatie van inhoud en positie van woorden, verbeterde maskdecoder, enz.).

De vooruitgang stopte niet bij het bereikte: naarmate de omvang en complexiteit van taalmodellen toenam, bleven de SuperGLUE-resultaten verbeteren. Eind 2021 stond het model T-NLRv5 van Microsoft (de Microsoft Turing NLR-familie) bovenaan het leaderboard — het vergrootte de marge boven het menselijke niveau nog verder. De laatste voor machines onopgeloste taken in GLUE (zoals de nuances van NLI) werden door dit model 'afgesloten', waarbij het de lijn van volledige pariteit met de mens zelfs bij de moeilijkste deeltaken benaderde.

In de periode 2022-2023 werd de menselijke drempel op SuperGLUE met zekerheid overschreden door meerdere onafhankelijke grote modellen. Zo behaalde het model PaLM van Google (540 miljard parameters) bij fine-tuning op SuperGLUE-taken een score van ongeveer 90,4, en het model GPT-4 (ontwikkeld door OpenAI) scoorde zelfs iets hoger. Halverwege 2023 stonden er meerdere modellen in de SuperGLUE-ranglijst met een score boven de 90 (dat wil zeggen hoger dan het gemiddelde menselijke niveau). Men kan stellen dat de benchmark praktisch is opgelost door moderne systemen: de scores van de beste modellen zijn zo hoog dat ze de mogelijkheden van de meeste ongetrainde mensen overtreffen. Dit succes getuigt van enorme vooruitgang in NLP in korte tijd, maar wijst tegelijkertijd op de behoefte aan nieuwe, nog moeilijkere tests voor de nieuwste modellen. Er verschijnen al vervolgbenchmarks (zoals MMLU, BIG-Bench e.a.) die bedoeld zijn om modellen te testen op een breder begrip en kennis die de grenzen van de SuperGLUE-taken overschrijdt.

Invloed en vervolgonderzoek

SuperGLUE heeft zich daarmee gevestigd als een belangrijke mijlpaal in de ontwikkeling van evaluatiemethoden voor taalverwerking. In enthousiaste en wetenschappelijke kringen zijn de resultaten ervan een soort lakmoesproef geworden voor nieuwe LLM-architecturen: het bereiken of overschrijden van het menselijke niveau op SuperGLUE wordt beschouwd als een kenmerk van een vooraanstaand model met diepgaand taalbegrip. Dit weerspiegelt zich ook in de praktijk — veel moderne taalmodellen die hoge scores op SuperGLUE behaalden, liggen ten grondslag aan toegepaste vraag-antwoordsystemen, dialoogagenten, tekstsamenvattingssystemen en andere toepassingen. SuperGLUE wordt door onderzoekers nog steeds gebruikt voor fine-tuning en het vergelijken van algoritmen, hoewel de voorhoedepositie nu geleidelijk verschuift naar nieuwe grenzen van de evaluatie van kunstmatige intelligentie.

Verwijzingen

• Officiële website van SuperGLUE
• Origineel SuperGLUE-artikel (NeurIPS)
• Microsoft-artikel over het bereiken van het menselijke niveau door DeBERTa
• SuperGLUE-datasetpagina op Papers With Code

Literatuur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noten

</references>