GLUE Benchmark (SV)

From Systems analysis Wiki
Jump to navigation Jump to search

GLUE (akronym för General Language Understanding Evaluation, «Allmän utvärdering av språkförståelse») — ett multitask-benchmark för utvärdering av kvaliteten hos modeller för natural language understanding (NLU). Benchmarket föreslogs år 2018 av en grupp forskare från New York University, University of Washington och DeepMind, däribland Alex Wang och Samuel Bowman, och fick bred spridning inom forskningsgemenskapen[1].

Det huvudsakliga syftet med GLUE är att tillhandahålla en enhetlig, neutral och krävande testsvit för jämförande utvärdering av NLU-modellers förmågor på en mångsidig uppsättning uppgifter som sträcker sig bortom ett enskilt specifikt område. Benchmarket inkluderar en onlineplattform med en leaderboard (rekordtabell) som möjliggör objektiv jämförelse av modeller och förhindrar anpassning till testdata, eftersom de korrekta etiketterna för en del av testerna inte publiceras och enbart är tillgängliga via utvärderingsservern. Det förutsätts att en modell, för att uppnå höga resultat, måste kunna extrahera universella språkliga representationer och effektivt överföra kunskaper mellan olika typer av uppgifter.

Benchmarkets sammansättning och uppgifter

Benchmarket GLUE samlar nio olika uppgifter inom språkförståelse, baserade på redan befintliga och för AI utmanande dataset. Alla uppgifter är formulerade som klassificering eller regression över en enstaka mening eller ett meningspar[1].

  • CoLA (Corpus of Linguistic Acceptability) — uppgift för att avgöra en mening grammatiska acceptabilitet. Kvalitetsmåttet är Matthews korrelationskoefficient.
  • SST-2 (Stanford Sentiment Treebank) — uppgift för att bestämma sentimentet (positivt/negativt) i en filmrecension. Måttet är noggrannhet (accuracy).
  • MRPC (Microsoft Research Paraphrase Corpus) — uppgift för att identifiera parafraser i meningspar från nyhetskällor. Måtten är noggrannhet och F1-mått.
  • QQP (Quora Question Pairs) — uppgift för att identifiera dubblettfrågor från Quora-gemenskapen. Måtten är noggrannhet och F1-mått.
  • STS-B (Semantic Textual Similarity Benchmark) — uppgift för semantisk matchning av två meningar. Modellen ska förutsäga graden av betydelsemässig likhet på en skala från 1 till 5. Måtten är Pearsons och Spearmans korrelationskoefficienter.
  • MNLI (Multi-Genre Natural Language Inference) — uppgift för igenkänning av textmässig entailment baserat på meningspar från olika genrer (slutledning, motsägelse, neutralitet). Resultaten utvärderas separat på matchade (matched) och omatchade (mismatched) delmängder.
  • QNLI (Question Natural Language Inference) — uppgift härledd genom omvandling av SQuAD-datasetet. Uppgiften är att avgöra om en mening i ett stycke innehåller svaret på en given fråga.
  • RTE (Recognizing Textual Entailment) — ett sammansatt dataset om textmässig entailment som förenar flera mindre samlingar. Uppgiften är att binärt klassificera relationen mellan meningar.
  • WNLI (Winograd NLI) — en modifierad version av Winograd-schemat, anpassat till NLI-formatet. En uppgift om anaforaupplösning: systemet ges en mening med ett tvetydigt pronomen och ska ange vilket av två objekt det syftar på.

Utvärderingsmetodik

För att utvärdera på GLUE skickar forskare sin modells prediktioner till en särskild server, varefter de får automatiskt beräknade mätvärden för varje uppgift samt ett sammanfattande poäng.

  • GLUE-score — det slutliga måttet, som beräknas som medelvärdet av resultaten över samtliga nio huvuduppgifter.
  • Leaderboard — en offentlig tabell som speglar det aktuella läget och visar vilka modeller som presterar bäst på NLU-uppgifter. Användningen av dolda testmängder säkerställer en rättvis jämförelse.
  • Diagnostisk mängd — en speciell mängd om 1 100 exempel, manuellt annoterade av experter för detaljerad lingvistisk analys. Den påverkar inte rankningen utan fungerar som ett verktyg för kvalitativ analys för att kontrollera vilka språkliga fenomen (lexikal semantik, logik, sunt förnuft) modellen kan känna igen och vilka den har svårigheter med[1].

Resultat och påverkan på branschen

Vid lanseringen av GLUE år 2018 uppnådde de dåvarande bästa modellerna (exempelvis BiLSTM med ELMo) ett sammantaget resultat på cirka 70 poäng (på skalan 0–100), vilket var avsevärt lägre än den mänskliga nivån (cirka 87 poäng)[2].

Tillkomsten av GLUE och den öppna leaderboarden stimulerade ett kraftigt framsteg inom transfer learning inom NLP.

  • I maj 2019, på mindre än ett år, lyfte en ny generation modeller baserade på transformers (i synnerhet BERT) ribban för state-of-the-art till 83,9 poäng.
  • Under andra halvåret 2019 var benchmarket GLUE i praktiken «avklarat»: de bästa systemen närmade sig tätt den mänskliga nivån och överträffade den till och med på vissa uppgifter[3].

GLUE spelade en enorm roll som en gemensam referenspunkt i utvecklingen av modeller för språkförståelse. Tack vare det kunde forskare direkt jämföra olika arkitekturer på en sammansatt uppgiftssvit, identifiera styrkor och svagheter hos olika ansatser samt snabbt utbyta framsteg via den offentliga leaderboarden.

SuperGLUE: efterföljande utveckling

GLUE:s snabba framgång ledde till att redan efter ett år presenterade samma grupp av författare, med medverkan av kollegor från Facebook AI, en ny och mer krävande testsvit kallad SuperGLUE[4].

SuperGLUE tillkännagavs i slutet av 2019 som en «segare» (stickier) testsvit, avsedd att återigen skapa ett mellanrum mellan moderna modellers och människors förmågor. Den innehåller åtta uppgifter som kräver ännu djupare språkförståelse, och verktygsuppsättningen samt reglerna för deltagare förbättrades. Även om GLUE fortsätter att användas som ett grundläggande test har det huvudsakliga fokuset för tävlingsinriktad förbättring förskjutits mot SuperGLUE och andra, mer specialiserade, benchmark.

Externa länkar

  • Officiell webbplats för GLUE Benchmark
  • GLUE:s sida på Papers With Code med modellresultat

Litteratur

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noter

  1. ↑ 1.0 1.1 1.2 Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv:1804.07461, 2019. [1]
  2. ↑ Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». arXiv:1905.10425, 2019. [2]
  3. ↑ Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS 2019. [3]
  4. ↑ «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». VentureBeat. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=GLUE_Benchmark_(SV)&oldid=2435"