SuperGLUE (benchmark) (SV)

SuperGLUE — är ett omfattande benchmark (en uppsättning testuppgifter) för utvärdering av system för naturlig språkbehandling, särskilt stora språkmodeller (LLM). Det presenterades 2019 av en forskargrupp ledd av Alex Wang från New York University med medverkan av Facebook AI Research och andra organisationer.

Skapandet av SuperGLUE motiverades av att det föregående benchmark-testet GLUE i mitten av 2019 hade blivit en "enkel uppgift" för moderna modeller: det sammanlagda resultatet för de bästa modellerna på GLUE hade nått 88,4, vilket översteg den genomsnittliga mänskliga nivån (87,1). Utrymmet för ytterligare framsteg hade därmed minskat. Som svar på detta utvecklade författarna SuperGLUE som ett svårare alternativ, kapabelt att ge en strängare prövning av modellernas språkförståelse. Målet med SuperGLUE är att tillhandahålla ett neutralt och svårt att "träna bort" mått på framsteg inom allmän språkförståelse för engelska. Det förväntades att märkbara förbättringar på SuperGLUE skulle kräva väsentliga innovationer inom Machine Learning-metoder — till exempel effektivare inlärning på små urval, multitask-inlärning och självövervakad inlärning. Med andra ord innehåller SuperGLUE uppgifter som är enkla för människor men svåra för maskinell intelligens, i syfte att stimulera utvecklingen av modeller med verklig och djup språkförståelse.

Egenskaper och skillnader från GLUE

SuperGLUE följer i stor utsträckning GLUE:s format — det erbjuder ett enda sammanvägt kvalitetsmått över en uppsättning uppgifter, en offentlig leaderboard och ett verktygspaket för analys av modeller. SuperGLUE introducerar dock en rad förbättringar och nyheter jämfört med föregångaren:

• Svårare uppgifter: SuperGLUE innehåller de åtta svåraste uppgifterna. Två av dem ärvdes från GLUE (bland de svåraste där), övriga valdes ut från nya kandidater utifrån deras svårighetsgrad för moderna NLP-modeller. Benchmark-testet fokuserar därmed på de aspekter av förståelse där modeller tidigare visade sämst resultat.
• Varierat format: Medan alla uppgifter i GLUE reducerades till klassificering av meningar eller meningspar, inkluderar SuperGLUE ett bredare spektrum av format. Utöver klassificering har uppgifter om koreferensupplösning och frågebesvarande lagts till, vilka kräver att modellen förstår sammanhängande text och logisk slutledning.
• Mänsklig utvärdering på alla uppgifter: För varje uppgift i SuperGLUE har en baslinje för mänsklig prestanda (icke-expert) beräknats, vilket bekräftar att även starka modeller av typen BERT presterade avsevärt sämre än människor vid lanseringen av benchmark-testet. Förekomsten av ett mänskligt riktmärke (~90% sammantaget) säkerställer ett "utrymme" för modellutveckling och fungerar som ett målmärke.
• Tydliga regler och verktyg: Reglerna för publicering av resultat på leaderboarden har reviderats (för att säkerställa rättvis jämförelse och kreditering av datauppsättningarnas upphovsmän). Dessutom har ett nytt öppet kodverktygspaket publicerats för att underlätta fine-tuning och multitask-träning av modeller på SuperGLUE-data.

Sammanlagt gör dessa åtgärder SuperGLUE till ett mer tillförlitligt test för modellernas generella språkliga förmågor, vilket förhindrar höga resultat genom snäv fusk eller anpassning till de specifika formaten i det tidigare GLUE.

SuperGLUE:s uppgiftsuppsättning

SuperGLUE består av åtta uppgifter som täcker olika aspekter av textförståelse.

• BoolQ (Boolean Questions): en uppgift av typen fråga-svar (QA), där varje exempel ges en kort text (ett utdrag från Wikipedia) och en fråga som ska besvaras med "ja" eller "nej". Frågorna är formulerade av användare (från Google-sökfrågor) och kräver utvinning av explicita eller implicita fakta ur texten; kvalitetsmåttet är andelen korrekta svar (accuracy).
• CB (CommitmentBank): en uppgift om logisk slutledning (textual entailment) med tre klasser. Datasetet består av korta texter innehållande komplexa bisatser; uppgiften är att avgöra i vilken utsträckning textens författare är engagerad i sanningshalten hos det inbäddade påståendet. I praktiken är detta en kontroll av om ett påstående följer av det givna sammanhanget. Uppgiften är svår på grund av den lilla urvalsstorleken (ca 250 exempel) och klassobalansen; kvalitet utvärderas med accuracy och klassmedelvärdet av F1-måttet.
• COPA (Choice of Plausible Alternatives): en uppgift om orsak-verkan-resonemang. Modellen ges en premiss (en mening) och ska välja rätt orsak eller konsekvens bland två alternativ. Alla COPA-exempel är handgjorda och kräver sunt förnuft för att fastställa orsakssamband. Ämnesområdena inkluderar situationer från bloggar och en specialiserad encyklopedi; måttet är accuracy (andelen korrekta val). Exempel: givet meningen "barnet fick immunitet mot sjukdomen" och frågan "vad var orsaken?" – en människa förstår omedelbart att rätt svar är "det fick ett vaccin", medan modellen måste härleda det kausala sambandet.
• MultiRC (Multi-Sentence Reading Comprehension): en uppgift om flerraders textförståelse med inslag av multiple choice. Modellen får ett textstycke, en fråga om textens innehåll och en lista med möjliga svar; uppgiften är att avgöra vilka svar som är korrekta (varje fråga kan ha flera rätta svar). Kännetecken: för att besvara frågan krävs i regel att information från flera meningar i texten kombineras, vilket testar modellens förmåga att koppla samman fakta. Kvalitet mäts med två mått: F1 på svar (tar hänsyn till delvis korrekta uppsättningar) och Exact Match – andelen frågor med helt korrekta svarsuppsättningar.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): en uppgift om läsförståelse med användning av kunskaper. Den utgör ett modifierat Cloze-test: en nyhetstext (artikel från CNN/Daily Mail) och en mening med ett utelämnat entitetsord ges; modellen ska välja vilken entitet från texten som passar på den tomma platsen. Svarsalternativen utgörs av alla entiteter som nämns i artikeln, vilka kan sammanfalla i sin innebörd. En lyckad lösning kräver kontextförståelse och sunt förnuft. Måtten är token-level F1 (maximum) och Exact Match (exakt överensstämmelse) för de förutsagda svaren.
• RTE (Recognizing Textual Entailment): en uppgift om binär klassificering av textuell implikation (entailment vs. not entailment). Datasetet kombinerar exempel från flera tävlingar om igenkänning av textuell slutledning (RTE-serien 1–5). Varje uppgift innehåller ett par textfragment (premiss–hypotes); modellen ska avgöra om hypotesen följer av texten. Till skillnad från många stora datamängder är RTE ganska liten (ca 2 500 träningsexempel), men visade en avsevärd vinst från transfer-inlärning: accuracy steg från ~56% (slumpmässig gissningsnivå) till ~86% med framväxten av modeller av typen BERT. Vid lanseringen av SuperGLUE låg dock modellernas accuracy fortfarande ca 8 procentenheter under mänsklig nivå, varför RTE inkluderades som en av de uppgifter som behöll ett glapp till den mänskliga nivån.
• WiC (Word-in-Context): en uppgift om upplösning av ordbetydelsesambiguitet i kontext (WSD). Två oberoende meningar ges, där samma flertydiga ord förekommer i vardera; uppgiften är att avgöra om ordet används i samma betydelse i båda fallen. Data är hämtad från lexikala resurser (WordNet, VerbNet, Wiktionary), och täcker därmed ett brett spektrum av ord och betydelser. Uppgiften formaliseras som binär klassificering och utvärderas med andelen korrekta svar. WiC kräver att modellen förstår subtila semantiska skillnader och testar i praktiken lexikal semantik.
• WSC (Winograd Schema Challenge): en uppgift om koreferensupplösning med hjälp av sunt förnuft. Varje uppgift består av en mening innehållande ett pronomen och en lista med två entiteter (substantiv) från samma mening. Uppgiften är att avgöra vilket av de föreslagna substantiven det givna pronomenet syftar på. Exempel på en klassisk Winograd-mening: "Buckeln fick inte plats i resväskan för att den var för liten" – en människa förstår att "den" syftar på resväskan (resväskan var för liten). Sådana exempel är omöjliga att lösa utan vardagskunskap och kontext. I GLUE fanns redan en förenklad variant av denna uppgift (WNLI), men modeller kunde under lång tid inte ens överstiga slumpmässighetsnivån på den. Först med speciella tekniker, såsom tillägg av externa data med liknande exempel, höjdes modellernas prestanda på WSC till ~90% år 2019. En människa löser dock WSC-uppgifter nästan felfritt (~96–100% korrekta svar). SuperGLUE inkluderar originalversionen av WSC i binärt klassificeringsformat (för varje par "pronomen–entitet" svarar modellen på om de korefererar). Denna uppgift förblir ett av de svåraste testerna som kräver commonsense-resonemang.

Alla SuperGLUE-tester har slutna testuppsättningar med svar som är okända för utvecklarna. Modeller skickar in sina förutsägelser till en server där ett sammanlagt poäng beräknas — ett över uppgifterna genomsnittligt accuracy-mått (för uppgifter med flera mått beräknas först ett internt genomsnitt). Detta enda SuperGLUE score förenklar jämförelsen av modeller utifrån deras allmänna nivå av språklig intelligens.

Resultat och modellers framsteg

Vid lanseringen av SuperGLUE presenterade författarna resultaten för en stark basmodell (förstärkt BERT) som riktmärke — och dessa visade sig vara avsevärt lägre än de mänskliga på alla uppgifter. I genomsnitt fick den dåförtiden bästa modellen ungefär 20 poäng lägre än en människa på det sammanvägda måttet. På vissa enskilda uppgifter var klyftan särskilt stor: till exempel nådde modellen på WSC knappt ~65% accuracy mot 100% för en människa (ett gap på ~35 poäng). Även på uppgifter som verkade "enklare" (BoolQ, CB, RTE, WiC) låg automatiska system ~10 poäng under den mänskliga nivån. Dessa skillnader bekräftade att SuperGLUE verkligen utgör en allvarlig utmaning för dåtidens teknologi och inte kan lösas på ett trivialt sätt.

Dock inleddes snabba framsteg bara några månader efter att SuperGLUE introducerades. I slutet av 2019 presenterade Googles forskare modellen T5 (Text-To-Text Transfer Transformer) med 11 miljarder parametrar, som uppnådde ett sammanlagt resultat på 88,9 och närmade sig den mänskliga nivån på ~89,8. T5 förbättrade det tidigare rekordet på SuperGLUE med hela 4,3 poäng och minskade andelen fel med nästan en tredjedel, och lämnade ett minimalt gap på bara 0,9 poäng till det mänskliga referensvärdet. Utvecklarna noterade att SuperGLUE avsiktligt är utformat så att uppgifterna är enkla för människor, varför det faktum att modellen nådde ~89% var en viktig milstolpe.

Den som som allra först lyckades överträffa det genomsnittliga mänskliga resultatet var Microsofts modell DeBERTa (Decoding-enhanced BERT with disentangled attention). I januari 2021 rapporterade forskarna att en version av DeBERTa med 1,5 miljarder parametrar hade uppnått 89,9 poäng, något högre än det mänskliga riktmärket på 89,8. Detta var första gången en enskild modell översteg det mänskliga resultatet på SuperGLUE-måttet. Dessutom höjde ett ensemble av flera DeBERTa-modeller rekordet till ~90,3 poäng. DeBERTa slog den tidigare ledaren (Google T5) med ungefär 0,6% och demonstrerade effektiviteten hos nya idéer inom Transformer-arkitekturen (separat representation av innehåll och ordposition, förbättrad maskdekoder m.m.).

Framstegen stannade inte vid det uppnådda: i takt med att språkmodellernas storlek och komplexitet ökade fortsatte resultaten på SuperGLUE att förbättras. I slutet av 2021 återfanns Microsofts modell T-NLRv5 (Microsoft Turing NLR-familjen) i toppen av leaderboarden — den ökade gapet över den mänskliga nivån ytterligare. De sista för maskiner olösta uppgifterna i GLUE (till exempel finesser inom NLI) "stängdes" av denna modell, som närmade sig full paritet med människan även på de svåraste deluppgifterna.

För åren 2022–2023 hade tröskeln för mänsklig nivå på SuperGLUE överskridits med säkerhet av flera oberoende stora modeller. Till exempel uppnådde Googles modell PaLM (540 miljarder parametrar) vid fine-tuning på SuperGLUE-uppgifter ca 90,4 poäng, och modellen GPT-4 (utvecklad av OpenAI) visade ett resultat som var till och med något högre. I mitten av 2023 innehöll SuperGLUE:s leaderboard ett flertal modeller med ett resultat över 90 (dvs. som överträffar den genomsnittliga mänskliga nivån). Man kan säga att benchmark-testet är i det närmaste löst av moderna system: de bästa modellernas resultat är så höga att de överstiger förmågan hos de flesta okvalificerade människor. Denna framgång vittnar om en gigantisk utveckling inom NLP under kort tid, men pekar samtidigt på behovet av nya, ännu svårare tester för de senaste modellerna. Uppföljande benchmark-tester dyker redan upp (till exempel MMLU, BIG-Bench m.fl.), avsedda att pröva modeller på bredare förståelse och kunskaper som går utöver SuperGLUE:s uppgifter.

Inflytande och fortsatt forskning

SuperGLUE har därmed etablerat sig som ett viktigt skede i utvärderingsmetodikers utveckling inom språkbehandling. I entusiastkretsar och vetenskapliga sammanhang har dess resultat blivit en sorts "lakmusprövning" för nya LLM-arkitekturer: att nå eller överträffa mänsklig nivå på SuperGLUE betraktas som ett tecken på en avancerad modell med djup språkförståelse. Detta har även fått praktiska konsekvenser — många moderna språkmodeller som uppnått höga resultat på SuperGLUE ligger till grund för tillämpade fråge-svar-system, dialogagenter, textsammanfattningssystem m.m.. SuperGLUE används fortfarande av forskare för fine-tuning och jämförelse av algoritmer, även om det ledande bandet nu gradvis förskjuts mot nya horisonter inom utvärdering av artificiell intelligens.

Externa länkar

• Officiell webbplats för SuperGLUE
• Originalartikeln om SuperGLUE (NeurIPS)
• Microsofts artikel om att DeBERTa nådde mänsklig nivå
• SuperGLUE:s datasetsida på Papers With Code

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noter

</references>