--- title: "SuperGLUE (benchmark) (SV)" source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)" wiki: "systems-analysis.info/int" article: "SuperGLUE_(benchmark)_(SV)" language: "sv" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Swedish" revision_id: 7015 wiki_created_at: 2026-09-07T00:14:36Z wiki_modified_at: 2026-09-07T00:14:36Z downloaded_at: 2026-09-07T23:16:56Z --- # SuperGLUE (benchmark) (SV) **SuperGLUE** — är ett omfattande **benchmark** (en uppsättning testuppgifter) för utvärdering av system för naturlig språkbehandling, särskilt **stora språkmodeller** (LLM)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Det presenterades 2019 av en forskargrupp ledd av Alex Wang från New York University med medverkan av Facebook AI Research och andra organisationer[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Skapandet av SuperGLUE motiverades av att det föregående benchmark-testet GLUE i mitten av 2019 hade blivit en "enkel uppgift" för moderna modeller: det sammanlagda resultatet för de bästa modellerna på GLUE hade nått 88,4, vilket översteg den genomsnittliga mänskliga nivån (87,1)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Utrymmet för ytterligare framsteg hade därmed minskat[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Som svar på detta utvecklade författarna SuperGLUE som ett svårare alternativ, kapabelt att ge en strängare prövning av modellernas språkförståelse[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Målet med SuperGLUE är att tillhandahålla ett neutralt och svårt att "träna bort" mått på framsteg inom allmän språkförståelse för engelska[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Det förväntades att märkbara förbättringar på SuperGLUE skulle kräva väsentliga innovationer inom Machine Learning-metoder — till exempel effektivare inlärning på små urval, multitask-inlärning och självövervakad inlärning[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Med andra ord innehåller SuperGLUE uppgifter som är enkla för människor men svåra för maskinell intelligens[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1), i syfte att stimulera utvecklingen av modeller med verklig och djup språkförståelse. ## Egenskaper och skillnader från GLUE SuperGLUE följer i stor utsträckning GLUE:s format — det erbjuder ett enda **sammanvägt kvalitetsmått** över en uppsättning uppgifter, en offentlig **leaderboard** och ett **verktygspaket** för analys av modeller[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). SuperGLUE introducerar dock en rad förbättringar och nyheter jämfört med föregångaren[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1): - **Svårare uppgifter**: SuperGLUE innehåller **de åtta svåraste uppgifterna**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Två av dem ärvdes från GLUE (bland de svåraste där), övriga valdes ut från nya kandidater utifrån deras svårighetsgrad för moderna NLP-modeller[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Benchmark-testet fokuserar därmed på de aspekter av förståelse där modeller tidigare visade sämst resultat. - **Varierat format**: Medan alla uppgifter i GLUE reducerades till klassificering av meningar eller meningspar, inkluderar SuperGLUE ett **bredare spektrum av format**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Utöver klassificering har uppgifter om **koreferensupplösning** och **frågebesvarande** lagts till, vilka kräver att modellen förstår sammanhängande text och **logisk slutledning**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **Mänsklig utvärdering på alla uppgifter**: För varje uppgift i SuperGLUE har en **baslinje för mänsklig prestanda** (icke-expert) beräknats[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1), vilket bekräftar att även starka modeller av typen BERT presterade avsevärt sämre än människor vid lanseringen av benchmark-testet[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Förekomsten av ett **mänskligt riktmärke** (~90% sammantaget) säkerställer ett "utrymme" för modellutveckling och fungerar som ett målmärke[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **Tydliga regler och verktyg**: Reglerna för publicering av resultat på leaderboarden har reviderats (för att säkerställa rättvis jämförelse och kreditering av datauppsättningarnas upphovsmän)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Dessutom har ett nytt öppet kodverktygspaket publicerats för att underlätta fine-tuning och multitask-träning av modeller på SuperGLUE-data[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Sammanlagt gör dessa åtgärder SuperGLUE till ett mer tillförlitligt test för modellernas **generella språkliga förmågor**, vilket förhindrar höga resultat genom snäv fusk eller anpassning till de specifika formaten i det tidigare GLUE[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). ## SuperGLUE:s uppgiftsuppsättning SuperGLUE består av **åtta uppgifter** som täcker olika aspekter av textförståelse. - **BoolQ** (Boolean Questions): en uppgift av typen **fråga-svar (QA)**, där varje exempel ges en kort text (ett utdrag från Wikipedia) och en fråga som ska besvaras med "ja" eller "nej"[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Frågorna är formulerade av användare (från Google-sökfrågor) och kräver utvinning av explicita eller implicita fakta ur texten; kvalitetsmåttet är andelen korrekta svar (accuracy)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **CB** (CommitmentBank): en uppgift om **logisk slutledning** (textual entailment) med tre klasser[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Datasetet består av korta texter innehållande komplexa bisatser; uppgiften är att avgöra i vilken utsträckning textens författare är **engagerad i sanningshalten** hos det inbäddade påståendet[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). I praktiken är detta en kontroll av om ett påstående följer av det givna sammanhanget. Uppgiften är svår på grund av den lilla urvalsstorleken (ca 250 exempel) och klassobalansen; kvalitet utvärderas med accuracy och klassmedelvärdet av F1-måttet[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **COPA** (Choice of Plausible Alternatives): en uppgift om **orsak-verkan-resonemang**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Modellen ges en premiss (en mening) och ska välja rätt orsak eller konsekvens bland två alternativ[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Alla COPA-exempel är handgjorda och kräver **sunt förnuft** för att fastställa orsakssamband. Ämnesområdena inkluderar situationer från bloggar och en specialiserad encyklopedi; måttet är accuracy (andelen korrekta val)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Exempel: givet meningen "barnet fick immunitet mot sjukdomen" och frågan "vad var orsaken?" – en människa förstår omedelbart att rätt svar är "det fick ett vaccin", medan modellen måste härleda det kausala sambandet[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **MultiRC** (Multi-Sentence Reading Comprehension): en uppgift om **flerraders textförståelse** med inslag av multiple choice[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Modellen får ett textstycke, en fråga om textens innehåll och en lista med möjliga svar; uppgiften är att avgöra vilka svar som är korrekta (varje fråga kan ha flera rätta svar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Kännetecken: för att besvara frågan krävs i regel att information från flera meningar i texten kombineras, vilket testar modellens förmåga att **koppla samman fakta**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Kvalitet mäts med två mått: F1 på svar (tar hänsyn till delvis korrekta uppsättningar) och Exact Match – andelen frågor med helt korrekta svarsuppsättningar[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): en uppgift om **läsförståelse med användning av kunskaper**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Den utgör ett modifierat Cloze-test: en nyhetstext (artikel från CNN/Daily Mail) och en mening med ett utelämnat entitetsord ges; modellen ska välja vilken entitet från texten som passar på den tomma platsen[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Svarsalternativen utgörs av alla entiteter som nämns i artikeln, vilka kan sammanfalla i sin innebörd[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). En lyckad lösning kräver kontextförståelse och sunt förnuft. Måtten är token-level F1 (maximum) och Exact Match (exakt överensstämmelse) för de förutsagda svaren[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). - **RTE** (Recognizing Textual Entailment): en uppgift om binär klassificering av **textuell implikation** (entailment vs. not entailment)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Datasetet kombinerar exempel från flera tävlingar om igenkänning av textuell slutledning (RTE-serien 1–5)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Varje uppgift innehåller ett par textfragment (premiss–hypotes); modellen ska avgöra om hypotesen följer av texten. Till skillnad från många stora datamängder är RTE ganska liten (ca 2 500 träningsexempel), men visade en avsevärd vinst från transfer-inlärning: accuracy steg från ~56% (slumpmässig gissningsnivå) till ~86% med framväxten av modeller av typen BERT[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Vid lanseringen av SuperGLUE låg dock modellernas accuracy fortfarande ca 8 procentenheter under mänsklig nivå[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1), varför RTE inkluderades som en av de uppgifter som behöll ett glapp till den mänskliga nivån. - **WiC** (Word-in-Context): en uppgift om **upplösning av ordbetydelsesambiguitet i kontext** (WSD)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Två oberoende meningar ges, där samma flertydiga ord förekommer i vardera; uppgiften är att avgöra om ordet används **i samma betydelse** i båda fallen[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Data är hämtad från lexikala resurser (WordNet, VerbNet, Wiktionary), och täcker därmed ett brett spektrum av ord och betydelser[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Uppgiften formaliseras som binär klassificering och utvärderas med andelen korrekta svar. WiC kräver att modellen förstår subtila semantiska skillnader och testar i praktiken **lexikal semantik**. - **WSC** (Winograd Schema Challenge): en uppgift om **koreferensupplösning med hjälp av sunt förnuft**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Varje uppgift består av en mening innehållande ett pronomen och en lista med två entiteter (substantiv) från samma mening[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Uppgiften är att avgöra vilket av de föreslagna substantiven **det givna pronomenet syftar på**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Exempel på en klassisk Winograd-mening: "Buckeln fick inte plats i resväskan för att den var för liten" – en människa förstår att "den" syftar på resväskan (resväskan var för liten). Sådana exempel är omöjliga att lösa utan **vardagskunskap och kontext**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). I GLUE fanns redan en förenklad variant av denna uppgift (WNLI), men modeller kunde under lång tid inte ens överstiga slumpmässighetsnivån på den[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Först med speciella tekniker, såsom tillägg av externa data med liknande exempel, höjdes modellernas prestanda på WSC till ~90% år 2019[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). En människa löser dock WSC-uppgifter nästan felfritt (~96–100% korrekta svar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). SuperGLUE inkluderar originalversionen av WSC i binärt klassificeringsformat (för varje par "pronomen–entitet" svarar modellen på om de korefererar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Denna uppgift förblir ett av de svåraste testerna som kräver commonsense-resonemang. Alla SuperGLUE-tester har **slutna testuppsättningar** med svar som är okända för utvecklarna[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Modeller skickar in sina förutsägelser till en server där ett sammanlagt poäng beräknas — ett över uppgifterna genomsnittligt accuracy-mått (för uppgifter med flera mått beräknas först ett internt genomsnitt)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Detta enda **SuperGLUE score** förenklar jämförelsen av modeller utifrån deras allmänna nivå av språklig intelligens. ## Resultat och modellers framsteg Vid lanseringen av SuperGLUE presenterade författarna resultaten för en stark basmodell (förstärkt BERT) som riktmärke — och dessa visade sig vara **avsevärt lägre än de mänskliga** på alla uppgifter[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). I genomsnitt fick den dåförtiden bästa modellen ungefär **20 poäng lägre** än en människa på det sammanvägda måttet[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). På vissa enskilda uppgifter var klyftan särskilt stor: till exempel nådde modellen på WSC knappt ~65% accuracy mot 100% för en människa (ett gap på ~35 poäng)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Även på uppgifter som verkade "enklare" (BoolQ, CB, RTE, WiC) låg automatiska system ~10 poäng under den mänskliga nivån[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). Dessa skillnader bekräftade att SuperGLUE verkligen utgör en allvarlig utmaning för dåtidens teknologi och inte kan lösas på ett trivialt sätt. Dock inleddes **snabba framsteg** bara några månader efter att SuperGLUE introducerades[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1). I slutet av 2019 presenterade Googles forskare modellen **T5** (Text-To-Text Transfer Transformer) med 11 miljarder parametrar, som uppnådde ett sammanlagt resultat på 88,9 och närmade sig den mänskliga nivån på ~89,8[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-reddit-t5-2). T5 förbättrade det tidigare rekordet på SuperGLUE med hela 4,3 poäng och minskade andelen fel med nästan en tredjedel[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-reddit-t5-2), och lämnade ett minimalt gap på bara **0,9 poäng** till det mänskliga referensvärdet[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-reddit-t5-2). Utvecklarna noterade att SuperGLUE avsiktligt är utformat så att uppgifterna är enkla för människor, varför det faktum att modellen nådde ~89% var en viktig milstolpe[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-reddit-t5-2). Den som som allra först lyckades **överträffa det genomsnittliga mänskliga resultatet** var Microsofts modell **DeBERTa** (Decoding-enhanced BERT with disentangled attention)[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). I januari 2021 rapporterade forskarna att en version av DeBERTa med 1,5 miljarder parametrar hade uppnått **89,9 poäng**, något högre än det mänskliga riktmärket på 89,8[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). Detta var **första gången** en enskild modell översteg det mänskliga resultatet på SuperGLUE-måttet[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). Dessutom höjde ett ensemble av flera DeBERTa-modeller rekordet till ~90,3 poäng[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). DeBERTa slog den tidigare ledaren (Google T5) med ungefär 0,6% och demonstrerade effektiviteten hos nya idéer inom Transformer-arkitekturen (separat representation av innehåll och ordposition, förbättrad maskdekoder m.m.)[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-syncedreview-deberta-4). Framstegen stannade inte vid det uppnådda: i takt med att språkmodellernas storlek och komplexitet ökade fortsatte resultaten på SuperGLUE att förbättras[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-scaling-5). I slutet av 2021 återfanns Microsofts modell **T-NLRv5** (Microsoft Turing NLR-familjen) i toppen av leaderboarden — den ökade gapet över den mänskliga nivån ytterligare[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-scaling-5). De sista för maskiner olösta uppgifterna i GLUE (till exempel finesser inom NLI) "stängdes" av denna modell, som närmade sig **full paritet med människan** även på de svåraste deluppgifterna[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-scaling-5). För åren 2022–2023 hade tröskeln för mänsklig nivå på SuperGLUE överskridits med säkerhet av flera oberoende stora modeller[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). Till exempel uppnådde Googles modell **PaLM** (540 miljarder parametrar) vid fine-tuning på SuperGLUE-uppgifter ca 90,4 poäng, och modellen **GPT-4** (utvecklad av OpenAI) visade ett resultat som var till och med något högre[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). I mitten av 2023 innehöll SuperGLUE:s leaderboard ett flertal modeller med ett resultat över 90 (dvs. som överträffar den genomsnittliga mänskliga nivån)[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). Man kan säga att benchmark-testet är **i det närmaste löst** av moderna system[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6): de bästa modellernas resultat är så höga att de överstiger förmågan hos de flesta okvalificerade människor[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). Denna framgång vittnar om en gigantisk utveckling inom NLP under kort tid, men pekar samtidigt på behovet av nya, ännu svårare tester för de senaste modellerna[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). Uppföljande benchmark-tester dyker redan upp (till exempel MMLU, BIG-Bench m.fl.), avsedda att pröva modeller på bredare förståelse och kunskaper som går utöver SuperGLUE:s uppgifter[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6). ## Inflytande och fortsatt forskning SuperGLUE har därmed etablerat sig som ett **viktigt skede i utvärderingsmetodikers utveckling** inom språkbehandling[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). I entusiastkretsar och vetenskapliga sammanhang har dess resultat blivit en sorts "lakmusprövning" för nya LLM-arkitekturer: att nå eller överträffa mänsklig nivå på SuperGLUE betraktas som ett tecken på en avancerad modell med djup språkförståelse[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). Detta har även fått praktiska konsekvenser — många moderna språkmodeller som uppnått höga resultat på SuperGLUE ligger till grund för tillämpade fråge-svar-system, dialogagenter, textsammanfattningssystem m.m.[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3). SuperGLUE används fortfarande av forskare för fine-tuning och jämförelse av algoritmer, även om det ledande bandet nu gradvis förskjuts mot nya horisonter inom utvärdering av artificiell intelligens. ## Externa länkar - Officiell webbplats för SuperGLUE - Originalartikeln om SuperGLUE (NeurIPS) - Microsofts artikel om att DeBERTa nådde mänsklig nivå - SuperGLUE:s datasetsida på Papers With Code ## Litteratur - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Noter [\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-neurips-main-1) [\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-reddit-t5-2) [\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-deberta-3) [\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-syncedreview-deberta-4) [\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-microsoft-scaling-5) [\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_note-ainavigator-benchmarks-6) \ 1. ↑ [1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-0) [1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-1) [1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-2) [1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-3) [1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-4) [1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-5) [1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-6) [1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-7) [1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-8) [1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-9) [1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-10) [1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-11) [1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-12) [1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-13) [1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-14) [1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-15) [1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-16) [1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-17) [1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-18) [1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-19) [1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-20) [1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-21) [1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-22) [1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-23) [1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-24) [1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-25) [1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-26) [1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-27) [1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-28) [1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-29) [1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-30) [1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-31) [1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-32) [1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-33) [1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-34) [1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-35) [1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-36) [1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-37) [1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-38) [1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-39) [1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-40) [1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-41) [1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-42) [1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-43) [1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-44) [1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-45) [1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-46) [1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-47) [1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-48) [1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-49) [1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-50) [1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-51) [1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-52) [1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-53) [1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-54) [1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-55) [1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-56) [1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-57) [1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-58) [1.59](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-neurips-main_1-59) Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-reddit-t5_2-0) [2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-reddit-t5_2-1) [2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-reddit-t5_2-2) [2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-reddit-t5_2-3) [2.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-reddit-t5_2-4) «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». *Reddit /r/linguistics*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-0) [3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-1) [3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-2) [3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-3) [3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-4) [3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-5) [3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-6) [3.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-deberta_3-7) «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». *Microsoft Research Blog*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-syncedreview-deberta_4-0) [4.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-syncedreview-deberta_4-1) «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». *Synced Review*. [4] 5. ↑ [5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-scaling_5-0) [5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-scaling_5-1) [5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-scaling_5-2) [5.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-microsoft-scaling_5-3) «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». *Microsoft Research Blog*. [5] 6. ↑ [6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-0) [6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-1) [6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-2) [6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-3) [6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-4) [6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-5) [6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-6) [6.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(SV)#cite_ref-ainavigator-benchmarks_6-7) «The Ultimate Guide to AI Benchmarks». *The AI Navigator*. [6]