SuperGLUE (benchmark) (HU)

SuperGLUE — egy átfogó benchmark (tesztelési feladatsor) a természetes nyelvfeldolgozó rendszerek, különösen a nagy nyelvi modellek (NNM) értékelésére. 2019-ben mutatta be Alex Wang vezetésével egy kutatócsoport a New York-i Egyetemről, a Facebook AI Research és más szervezetek közreműködésével.

A SuperGLUE létrehozását az indokolta, hogy 2019 közepére az előző GLUE benchmark „könnyű feladattá\" vált a modern modellek számára: a legjobb modellek összesített pontszáma a GLUE-n elérte a 88,4-et, meghaladva az átlagos emberi szintet (87,1). A további fejlődés mozgástere így lecsökkent. Erre reagálva a szerzők megalkották a SuperGLUE-t mint nehezebb alternatívát, amely szigorúbb vizsgálatot tesz lehetővé a modellek nyelvmegértése tekintetében. A SuperGLUE célja, hogy semleges és nehezen „bemagolható\" mérőeszközt biztosítson az általános angol nyelvmegértés terén elért fejlődés számára. Várható volt, hogy a SuperGLUE-n elért érdemi javuláshoz lényeges innovációkra lesz szükség a Machine Learning módszereiben — például hatékonyabb kis mintás tanulásra, multitask és önfelügyelt tanulásra. Más szóval a SuperGLUE olyan feladatokat tartalmaz, amelyek az ember számára könnyűek, de a gépi intelligencia számára nehezek, hogy ösztönözzék a valóban mély nyelvmegértéssel rendelkező modellek fejlesztését.

Különlegességek és eltérések a GLUE-tól

A SuperGLUE nagyrészt követi a GLUE formátumát — egyetlen összesített minőségi mutatót kínál a feladatok összességére, nyilvános rangsort és eszközkészletet a modellek elemzéséhez. A SuperGLUE azonban számos fejlesztést és újítást hoz az elődhöz képest:

• Nehezebb feladatok: a SuperGLUE-ban nyolc, leginkább kihívást jelentő feladatot válogattak össze. Kettőt a GLUE-ból örököltek (amelyek ott a legnehezebbek közé tartoztak), a többit az új jelöltek közül választották ki aszerint, mennyire nehéznek bizonyultak a modern NLP-modellek számára. A benchmark tehát azokra a megértési szempontokra összpontosít, ahol a modellek korábban a leggyengébben teljesítettek.
• Formátumok változatossága: míg a GLUE-ban minden feladat mondatok vagy mondatpárok osztályozására volt visszavezethető, addig a SuperGLUE szélesebb formátumskálát tartalmaz. Az osztályozáson túl koreferencia-feloldási és kérdésmegválaszoló feladatok is szerepelnek, amelyek összefüggő szöveg megértését és logikai következtetést követelnek meg a modelltől.
• Emberi teljesítménymérés minden feladatnál: minden SuperGLUE-feladathoz meghatároztak egy emberi teljesítményszintet (nem szakértő), ami megerősíti, hogy a benchmark indításakor még az erős BERT-szerű modellek is lényegesen elmaradtak az embertől. Az emberi viszonyítási alap (~90% összesítve) mozgásteret biztosít a modell fejlődéséhez, és célul is kitűzi azt.
• Átlátható szabályok és eszközök: felülvizsgálták a rangsorba való beküldés szabályait (a tisztességes összehasonlítás és az adatkészlet-szerzők hozzájárulásának feltüntetése érdekében). Emellett közzétettek egy új, nyílt forráskódú eszközkészletet is, amely megkönnyíti a modellek fine-tuningját és multitask tanítását a SuperGLUE adatain.

Ezek az intézkedések együttesen teszik a SuperGLUE-t megbízhatóbb tesztté a modellek általánosított nyelvi képességeinek mérésére, megakadályozva, hogy magas eredményt lehessen elérni szűk körű trükközéssel vagy a korábbi GLUE speciális formátumaihoz való igazodással.

A SuperGLUE feladatkészlete

A SuperGLUE nyolc feladatból áll, amelyek a szövegmegértés különböző aspektusait fedik le.

• BoolQ (Boolean Questions): kérdés-válasz (QA) típusú feladat, ahol minden példához rövid szöveget (Wikipédia-részletet) és egy igen/nem választ igénylő kérdést kapunk. A kérdéseket felhasználók fogalmazták meg (Google-keresések alapján), és a szövegből explicit vagy implicit tényt kell kinyerni; a minőség mérőszáma a helyes válaszok aránya (accuracy).
• CB (CommitmentBank): háromkimenetű logikai következtetési (textual entailment) feladat. Az adatkészlet alárendelt mellékmondatokat tartalmazó rövid szövegekből áll; meg kell határozni, hogy a szöveg szerzője mennyire elköteleződött a beágyazott kijelentés igazsága mellett. Lényegében azt vizsgálja, levezethető-e egy állítás az adott kontextusból. A feladat nehézségét a kis mintaméret (kb. 250 példa) és az osztályok közötti egyenlőtlenség adja; a minőséget pontossággal és osztályonként átlagolt F1-mértékkel értékelik.
• COPA (Choice of Plausible Alternatives): ok-okozati következtetési feladat. A modell egy előzményt (egyetlen mondatot) kap, és két lehetőség közül kell kiválasztania a helyes okot vagy következményt. A COPA összes példáját kézzel fogalmazták, és az ok-okozati összefüggés megállapításához józan észre van szükség. A témakör blogokból és szaklexikonokból vett helyzeteket tartalmaz; a mérőszám a pontosság (helyes választások aránya). Példa: adott a „a gyerek immunitást szerzett a betegséggel szemben" mondat és a „mi volt az oka?" kérdés – az ember azonnal tudja, hogy a helyes válasz „beoltották", míg a modellnek az ok-okozati összefüggést kell kitalálnia.
• MultiRC (Multi-Sentence Reading Comprehension): többmondatos szövegmegértési feladat többszörös választás elemekkel. A modell egy szövegbekezdést, egy tartalmi kérdést és lehetséges válaszok listáját kapja; meg kell határozni, mely válaszok helyesek (minden kérdéshez több helyes válasz is tartozhat). Jellemzője, hogy a kérdés megválaszolásához általában több mondatból kell összegyűjteni az információt, ami a modell tények összekapcsolási képességét vizsgálja. A minőséget két mérőszámmal mérik: válasz szintű F1 (részben helyes válaszkészleteket is figyelembe vesz) és Exact Match – azon kérdések aránya, amelyekre teljesen helyes válaszkészletet adott a modell.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): tudásalapú olvasásmegértési feladat. Módosított Cloze-teszt: egy hírszöveget (CNN/Daily Mail cikket) és egy hiányzó névszói elemet tartalmazó mondatot kapunk; a modellnek ki kell választania, melyik, a szövegben szereplő entitás illik a hiányzó helyre. A lehetséges válaszok a cikkben említett összes entitás, amelyek tartalmukban átfedhetnek. A sikeres megoldáshoz kontextusmegértés és józan ész szükséges. A mérőszámok: maximális token szintű F1 és Exact Match (pontos egyezés) a jósolt válaszokra.
• RTE (Recognizing Textual Entailment): bináris osztályozási feladat szövegi következtetésre (entailment vs. not entailment). Az adatkészlet több szövegi következtetés-felismerési versenyből (RTE 1–5 sorozat) ötvöz példákat. Minden feladat szövegpárt tartalmaz (premise–hypothesis); a modellnek meg kell határoznia, következik-e a hipotézis a szövegből. A sok nagy adatkészlettel ellentétben az RTE meglehetősen kis méretű (kb. 2500 tanítási példa), de jelentős nyereséget mutatott a transfer learning alkalmazásával: a pontosság a ~56%-ról (véletlenszerű találgatás szintje) ~86%-ra nőtt a BERT-szerű modellek megjelenésével. Mindazonáltal a SuperGLUE indításakor a modellek pontossága még körülbelül 8 százalékponttal elmaradt az emberétől, ezért az RTE-t mint az emberi szinttől elmaradó feladatok egyikét belevették.
• WiC (Word-in-Context): feladat a szó kontextusban való jelentésbizonytalanságának feloldására (WSD). Két független mondatot kapunk, mindkettőben ugyanaz a poliszém szó szerepel; meg kell határozni, hogy a szó mindkét esetben ugyanabban a jelentésben szerepel-e. Az adatok szótári forrásokból (WordNet, VerbNet, Wiktionary) származnak, így a szavak és jelentések széles körét lefedik. A feladat bináris osztályozásként van formalizálva, és helyes válaszok arányával értékelik. A WiC a finom jelentésbeli különbségek megértését követeli meg a modelltől, valójában a lexikális szemantikát vizsgálva.
• WSC (Winograd Schema Challenge): feladat józan észt igénylő koreferencia-feloldásra. Minden feladat egyetlen névmást tartalmazó mondatból és ugyanabból a mondatból vett két entitás (főnév) listájából áll. Meg kell határozni, hogy a javasolt főnevek közül melyikre vonatkozik az adott névmás. Klasszikus winograd-mondat példája: „A trófea nem fért a bőröndbe, mert az túl kicsi volt" – az ember tudja, hogy „az" a bőröndre vonatkozik (a bőrönd volt túl kicsi). Az ilyen példák hétköznapi tudás és kontextus nélkül nem oldhatók meg. A GLUE-ban már szerepelt e feladat egy egyszerűsített változata (WNLI), de a modellek hosszú ideig még a véletlenszerű szintet sem tudták meghaladni rajta. Csak különleges fogások, például hasonló példákat tartalmazó külső adatok hozzáadása emelte a modellek WSC-pontosságát ~90% köré 2019-re. Az ember azonban szinte hibátlanul oldja meg a WSC feladatait (~96–100% helyes válasz). A SuperGLUE-ba a WSC eredeti változatát bináris osztályozás formájában vették fel (minden névmás–entitás párra a modell megadja, hogy koreferensek-e). Ez a feladat az egyik legnehezebb, józan észt igénylő teszt marad.

A SuperGLUE összes tesztje zárt tesztkészlettel rendelkezik, amelynek helyes válaszait a fejlesztők nem ismerik. A modellek egy szerverre küldik előrejelzéseiket, ahol összesített pontszámot számítanak – a feladatokon átlagolt pontosságot (több mérőszámot tartalmazó feladatoknál a belső mérőszámot előbb átlagolják). Ez az egységes SuperGLUE-pontszám megkönnyíti a modellek összehasonlítását az általános nyelvi intelligencia alapján.

A modellek eredményei és fejlődése

A SuperGLUE bemutatásakor a szerzők egy erős alapmodell (megerősített BERT) eredményeit hozták referenciaként – és ezek az összes feladaton lényegesen elmaradtak az emberi szinttől. Átlagosan az akkori legjobb modell körülbelül 20 ponttal kevesebbet ért el az összesített mutatón, mint az ember. Egyes feladatoknál a különbség különösen nagy volt: például a WSC feladatban a modell alig érte el a ~65%-os pontosságot az ember ~100%-ával szemben (kb. 35 pontos elmaradás). Még a „könnyebbnek" tűnő feladatokon (BoolQ, CB, RTE, WiC) is ~10 ponttal maradt el az automatikus rendszer az emberi szinttől. Ezek az eltérések megerősítették, hogy a SuperGLUE valóban komoly kihívást jelent a jelenlegi technológiák számára, és nem oldható meg triviálisan.

Ennek ellenére a SuperGLUE megjelenése után néhány hónappal gyors fejlődés indult meg. 2019 végén a Google kutatói bemutatták a T5 (Text-To-Text Transfer Transformer) modellt 11 milliárd paraméterrel, amely 88,9-es összesített eredményt ért el, ezzel közel kerülve az emberi ~89,8-as szinthez. A T5 valójában 4,3 ponttal javította a korábbi SuperGLUE-rekordot, és közel egyharmadával csökkentette a hibaarányt, mindössze 0,9 pontos különbséget hagyva az emberi mutatóhoz képest. A fejlesztők megjegyezték, hogy a SuperGLUE szándékosan úgy van összeállítva, hogy az emberek számára könnyű feladatokat tartalmazzon, ezért a ~89%-os modellteljesítmény elérése fontos mérföldkőnek számított.

Az első, akinek sikerült meghaladni az átlagos emberi minőséget, a Microsoft DeBERTa (Decoding-enhanced BERT with disentangled attention) modellje volt. 2021 januárjában a kutatók bejelentették, hogy az 1,5 milliárd paraméteres DeBERTa-verzió 89,9 pontot ért el, kissé meghaladva a 89,8-as emberi viszonyítási alapot. Ez volt az első eset, hogy egyetlen modell felülmúlta az embert a SuperGLUE-mutatón. Emellett több DeBERTa-modellből álló együttes ~90,3 pontra növelte a rekordot. A DeBERTa-modell körülbelül 0,6%-kal előzte meg az addigi listavezető Google T5-öt, és megmutatta a Transformer-architektúra új ötleteinek hatékonyságát (a tartalom és a szópozíció különálló reprezentációja, javított maszk-dekóder stb.).

A fejlődés nem állt meg: ahogy a nyelvi modellek mérete és összetettsége nőtt, a SuperGLUE-eredmények tovább javultak. 2021 végére a rangsor élére a Microsoft T-NLRv5 modellje (Microsoft Turing NLR termékcsalád) került — ez még tovább növelte a különbséget az emberi szint felett. A GLUE gépi megoldás számára korábban nyitva maradt utolsó feladatait (pl. az NLI finomságait) ez a modell „lezárta", közel kerülve a teljes emberi paritáshoz még a legnehezebb részfeladatokon is.

2022–2023-ra az emberi szint küszöbét a SuperGLUE-n magabiztosan átlépte több független, nagy modell. Például a Google PaLM modellje (540 milliárd paraméter) SuperGLUE-feladatokon fine-tuningolva körülbelül 90,4 pontot ért el, az OpenAI által fejlesztett GPT-4 modell pedig ennél is kicsit magasabb eredményt mutatott. 2023 közepére a SuperGLUE ranglistáján egyszerre több, 90 pont feletti (azaz az átlagos emberi szintet meghaladó) modell szerepelt. Elmondható, hogy a benchmark gyakorlatilag megoldottnak tekinthető a modern rendszerek számára: a legjobb modellek eredményei annyira magasak, hogy a legtöbb képzetlen ember teljesítményét felülmúlják. Ez a siker az NLP terén rövid idő alatt elért gigantikus fejlődést bizonyítja, ugyanakkor rámutat az újabb, még nehezebb tesztek szükségességére a legújabb modellek számára. Már megjelennek az ezt követő benchmark-ok (például MMLU, BIG-Bench stb.), amelyek a modelleket szélesebb körű megértésre és a SuperGLUE feladatain túlmutató ismeretekre vizsgálják.

Hatás és további kutatások

A SuperGLUE így a nyelvfeldolgozás értékelési módszertanának fontos mérföldköveként szilárdult meg. A rajongói és tudományos körökben eredményei egyfajta „lakmuszpapírrá\" váltak az új NNM-architektúrák számára: a SuperGLUE-n elért vagy meghaladott emberi szint egy fejlett, mély nyelvmegértéssel rendelkező modell jelének számít. Ez a gyakorlatban is tükröződik — számos modern nyelvi modell, amely magas eredményt ért el a SuperGLUE-n, alkalmazott kérdésmegválaszoló rendszerek, párbeszédalapú ügynökök, szövegösszefoglaló rendszerek stb. alapjává vált. A SuperGLUE-t a kutatók továbbra is használják fine-tuninghoz és algoritmusok összehasonlításához, bár az élvonal fokozatosan az AI értékelésének újabb határterületeire tolódik.

Hivatkozások

• A SuperGLUE hivatalos weboldala
• Az eredeti SuperGLUE-cikk (NeurIPS)
• A Microsoft cikke a DeBERTa emberi szint elérésáről
• A SuperGLUE adatkészlet oldala a Papers With Code oldalon

Irodalom

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.