SuperGLUE (benchmark) (CS)

SuperGLUE — je komplexní benchmark (sada testovacích úloh) pro hodnocení systémů zpracování přirozeného jazyka, zejména velkých jazykových modelů (LLM). Byl představen v roce 2019 skupinou výzkumníků pod vedením Alexe Wanga z Newyorské univerzity za účasti Facebook AI Research a dalších organizací.

Vznik SuperGLUE byl vyvolán tím, že v polovině roku 2019 se předchozí benchmark GLUE stal „triviální úlohou" pro tehdejší modely: souhrnné skóre nejlepších modelů na GLUE dosáhlo hodnoty 88,4, čímž překonalo průměrnou úroveň člověka (87,1). Prostor pro další pokrok se tak výrazně zúžil. V reakci na to autoři vyvinuli SuperGLUE jako náročnější alternativu, která umožňuje přísnější ověření jazykového porozumění modelů. Cílem SuperGLUE je poskytovat neutrální a těžko „přeučitelný" ukazatel pokroku v oblasti obecného jazykového porozumění pro anglický jazyk. Očekávalo se, že znatelné zlepšení výsledků na SuperGLUE bude vyžadovat podstatné inovace v metodách machine learningu — například efektivnější učení z malých vzorků, multitaskové a self-supervised učení. Jinými slovy, SuperGLUE obsahuje úlohy, které jsou pro člověka snadné, ale pro strojovou inteligenci obtížné, aby stimuloval vývoj modelů s opravdu hlubokým jazykovým porozuměním.

Vlastnosti a rozdíly oproti GLUE

SuperGLUE z velké části přebírá formát GLUE — nabízí jediný souhrnný ukazatel kvality napříč úlohami, veřejný leaderboard a sadu nástrojů pro analýzu modelů. SuperGLUE však oproti svému předchůdci přináší řadu vylepšení a novinek:

• Náročnější úlohy: SuperGLUE obsahuje osm nejtěžších úloh. Dvě z nich jsou převzaty z GLUE (jako jeho nejtěžší úlohy), ostatní byly vybrány z nových kandidátů na základě jejich obtížnosti pro současné NLP modely. Benchmark se tak soustředí na ty aspekty porozumění, kde modely dříve dosahovaly nejhorších výsledků.
• Rozmanitost formátů: zatímco v GLUE se všechny úlohy redukovaly na klasifikaci vět nebo dvojic vět, SuperGLUE zahrnuje širší spektrum formátů. Kromě klasifikace jsou přidány úlohy na rozlišení koreference a zodpovídání otázek, které od modelu vyžadují porozumění souvislému textu a logické vyvozování.
• Hodnocení člověkem u všech úloh: pro každou úlohu SuperGLUE je stanoven základní výkonnostní práh člověka (non-expert), který potvrzuje, že i silné modely jako BERT při spuštění benchmarku výrazně zaostávaly za člověkem. Existence lidského referenčního bodu (~90 % souhrnně) zajišťuje „prostor" pro růst modelu a slouží jako cílová hodnota.
• Transparentní pravidla a nástroje: byla přepracována pravidla pro zveřejňování výsledků na leaderboardu (za účelem zajištění férového srovnání a uvedení přínosu autorů datových sad). Byla také zveřejněna nová open-source sada nástrojů pro pohodlné fine-tuning a multitaskové trénování modelů na datech SuperGLUE.

Vzhledem k těmto opatřením je SuperGLUE spolehlivějším testem obecných jazykových schopností modelů, který neumožňuje dosáhnout vysokých výsledků úzkým podváděním nebo přizpůsobením se specifickým formátům předchozího GLUE.

Sada úloh SuperGLUE

SuperGLUE se skládá z osmi úloh pokrývajících různé aspekty porozumění textu.

• BoolQ (Boolean Questions): úloha typu otázka-odpověď (QA), kde je ke každému příkladu přiložen krátký text (výňatek z Wikipedie) a otázka, na níž je třeba odpovědět „ano" nebo „ne". Otázky jsou formulovány uživateli (z vyhledávacích dotazů Google) a vyžadují extrakci explicitního nebo implicitního faktu z textu; metrikou kvality je podíl správných odpovědí (accuracy).
• CB (CommitmentBank): úloha na logické vyplývání (textual entailment) se třemi třídami. Dataset se skládá z krátkých textů obsahujících souvětí; je třeba určit, do jaké míry je autor textu zavázán k pravdivosti vložené výpovědi. Jde fakticky o ověření, zda tvrzení vyplývá z daného kontextu. Úloha je obtížná kvůli malé velikosti vzorku (cca 250 příkladů) a nevyvážení tříd; kvalita se hodnotí přesností a F1 skóre průměrovaným přes třídy.
• COPA (Choice of Plausible Alternatives): úloha na kauzální uvažování. Modelu je dána premisa (jedno věta) a je třeba vybrat správnou příčinu nebo důsledek ze dvou variant. Všechny příklady COPA jsou formulovány ručně a vyžadují zdravý rozum pro stanovení příčinno-následkové souvislosti. Tematika zahrnuje situace z blogů a specializované encyklopedie; metrikou je přesnost (podíl správných výběrů). Příklad: je dána věta „dítě získalo imunitu vůči nemoci" a otázka „jaká je příčina?" — člověk okamžitě pochopí, že správná odpověď je „dostalo vakcínu", zatímco model musí kauzální vztah odhadnout.
• MultiRC (Multi-Sentence Reading Comprehension): úloha na porozumění textu z více vět s prvky multiple choice. Model obdrží odstavec textu, otázku k obsahu odstavce a seznam možných odpovědí; je třeba určit, které odpovědi jsou správné (u každé otázky může být více správných odpovědí). Specifika: pro zodpovězení otázky je zpravidla nutné propojit informace z více vět textu, což ověřuje schopnost modelu spojovat fakta. Kvalita se měří dvěma metrikami: F1 podle odpovědí (zohledňuje částečně správné sady) a Exact Match — podíl otázek, na které byly poskytnuty zcela správné sady odpovědí.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): úloha na čtení s porozuměním a využitím znalostí. Jedná se o modifikovaný Cloze test: je dán zpravodajský text (článek CNN/Daily Mail) a věta s chybějícím pojmenovaným výrazem; model musí vybrat, která entita z textu se hodí na místo výpustky. Varianty odpovědí jsou zadány jako všechny entity zmíněné v článku, přičemž se mohou svou podstatou překrývat. Úspěšné řešení vyžaduje porozumění kontextu a zdravý rozum. Metrikami jsou maximální token-level F1 a Exact Match (přesná shoda) u předpovězených odpovědí.
• RTE (Recognizing Textual Entailment): úloha binární klasifikace na textové vyplývání (entailment vs. not entailment). Dataset sdružuje příklady z několika soutěží na rozpoznávání textového vyvozování (série RTE 1–5). Každý úkol obsahuje dvojici textových fragmentů (premise-hypothesis); model musí určit, zda hypotéza vyplývá z textu. Na rozdíl od mnoha velkých datových sad je RTE poměrně malý (cca 2 500 tréninkových příkladů), ale vykazoval značný přínos z transfer learningu: přesnost vzrostla z ~56 % (úroveň náhodného hádání) na ~86 % s příchodem modelů jako BERT. Nicméně v době spuštění SuperGLUE přesnost modelů stále zaostávala za člověkem přibližně o 8 procentních bodů, proto byl RTE zařazen jako jedna z úloh, které si zachovávaly mezeru do lidské úrovně.
• WiC (Word-in-Context): úloha na rozlišení nejednoznačnosti významu slova v kontextu (WSD). Jsou dány dvě nezávislé věty, v každé z nich se vyskytuje totéž víceznačné slovo; je třeba určit, zda je toto slovo použito ve stejném významu v obou případech. Data jsou převzata ze slovníkových zdrojů (WordNet, VerbNet, Wiktionary), takže pokrývají široké spektrum slov a významů. Úloha je formalizována jako binární klasifikace a hodnotí se podílem správných odpovědí. WiC od modelu vyžaduje porozumění jemným sémantickým rozdílům, čímž fakticky testuje lexikální sémantiku.
• WSC (Winograd Schema Challenge): úloha na rozlišení koreference s využitím zdravého rozumu. Každý úkol se skládá z jedné věty obsahující zájmeno a seznamu dvou entit (podstatných jmen) z téže věty. Je třeba určit, ke kterému z navržených podstatných jmen se dané zájmeno vztahuje. Příklad klasické winograd věty: „Pohár se nevešel do kufru, protože byl příliš malý" — člověk rozumí, že „byl" se vztahuje ke kufru (příliš malý byl kufr). Takové příklady nelze vyřešit bez každodenních znalostí a kontextu. V GLUE již byla přítomna zjednodušená varianta této úlohy (WNLI), ale modely dlouhou dobu nedokázaly překonat ani úroveň náhody. Teprve speciální postupy, jako přidání externích dat s podobnými příklady, zvedly kvalitu modelů na WSC na ~90 % do roku 2019. Člověk přitom řeší úlohy WSC prakticky bez chyb (~96–100 % správných odpovědí). Do SuperGLUE je zařazena původní verze WSC ve formátu binární klasifikace (pro každou dvojici „zájmeno-entita" model odpovídá, zda se shodují v referenci). Tato úloha zůstává jedním z nejtěžších testů vyžadujících uvažování se zdravým rozumem.

Všechny testy SuperGLUE mají uzavřené testovací sady s odpověďmi neznámými vývojářům. Modely odesílají své předpovědi na server, kde se vypočítá souhrnné skóre — přesnost průměrovaná přes úlohy (u úloh s více metrikami se nejprve průměrují interní metriky). Takové jediné SuperGLUE score zjednodušuje porovnávání modelů podle celkové úrovně jazykové inteligence.

Výsledky a pokrok modelů

Při spuštění SuperGLUE autoři uvedli jako referenční hodnotu výsledky silného základního modelu (posíleného BERT) — a ty se ukázaly jako výrazně nižší než lidské u všech úloh. Průměrně nejlepší tehdejší model dosáhl přibližně o 20 bodů méně než člověk podle souhrnné metriky. U jednotlivých úloh byla mezera obzvláště velká: například u úlohy WSC model sotva dosahoval ~65 % přesnosti oproti 100 % u člověka (rozdíl ~35 bodů). Dokonce i u zdánlivě „jednodušších" úloh (BoolQ, CB, RTE, WiC) automatické systémy zaostávaly za lidskou úrovní přibližně o 10 bodů. Tyto rozdíly potvrdily, že SuperGLUE skutečně představuje vážnou výzvu pro tehdejší technologie a nelze jej triviálně vyřešit.

Přesto jen několik měsíců po vzniku SuperGLUE nastal rychlý pokrok. Na konci roku 2019 výzkumníci Googlu představili model T5 (Text-To-Text Transfer Transformer) s 11 miliardami parametrů, který dosáhl souhrnného výsledku 88,9, čímž se velmi přiblížil lidské úrovni ~89,8. T5 fakticky zlepšil předchozí rekord na SuperGLUE ihned o 4,3 bodu a snížil podíl chyb o téměř třetinu, přičemž zanechal pouze minimální mezeru 0,9 bodu do lidského skóre. Vývojáři poznamenali, že SuperGLUE byl záměrně sestaven tak, aby úlohy byly pro lidi snadné, takže dosažení ~89 % modelem bylo důležitým milníkem.

Prvním, komu se podařilo překonat průměrnou lidskou kvalitu, byl model od Microsoftu DeBERTa (Decoding-enhanced BERT with disentangled attention). V lednu 2021 výzkumníci oznámili, že verze DeBERTa s 1,5 miliardami parametrů dosáhla 89,9 bodu, mírně překračujíc lidský referenční bod 89,8. Byl to první případ, kdy jediný model překonal člověka podle metriky SuperGLUE. Navíc ensemble několika modelů DeBERTa zvýšil rekord na ~90,3 bodu. Model DeBERTa překonal předchozího lídra (Google T5) přibližně o 0,6 % a prokázal účinnost nových myšlenek v architektuře Transformer (oddělená reprezentace obsahu a pozice slov, vylepšený dekodér masek aj.).

Pokrok se nezastavil: s rostoucí velikostí a složitostí jazykových modelů se výsledky na SuperGLUE nadále zlepšovaly. Ke konci roku 2021 se na vrcholu leaderboardu ocitl model Microsoftu T-NLRv5 (rodina Microsoft Turing NLR) — ještě více zvětšil odstup nad lidskou úrovní. Poslední pro stroje nezvládnuté úlohy GLUE (například jemnosti NLI) byly tímto modelem „uzavřeny", který se velmi přiblížil plnohodnotné paritě s člověkem i u nejobtížnějších dílčích úloh.

V letech 2022–2023 byl práh lidské úrovně na SuperGLUE spolehlivě překonán několika nezávislými velkými modely. Například model PaLM od Googlu (540 miliard parametrů) při doladění na úlohách SuperGLUE dosáhl přibližně 90,4 bodu a model GPT-4 (vyvinutý OpenAI) vykázal výsledek ještě o něco vyšší. V polovině roku 2023 bylo v tabulce lídrů SuperGLUE hned několik modelů s výsledkem přes 90 (tedy překračujícím průměrnou lidskou úroveň). Lze říci, že benchmark je moderními systémy prakticky vyřešen: skóre nejlepších modelů je natolik vysoké, že překonává možnosti většiny nekvalifikovaných lidí. Tento úspěch dokládá obrovský pokrok v NLP za krátkou dobu, ale zároveň poukazuje na potřebu nových, ještě náročnějších testů pro nejnovější modely. Již se objevují navazující benchmarky (například MMLU, BIG-Bench aj.), jejichž cílem je testovat modely na širší porozumění a erudici přesahující rámec úloh SuperGLUE.

Vliv a další výzkum

SuperGLUE se tak zařadil jako důležitá etapa vývoje hodnoticích metodik ve zpracování jazyka. V nadšeneckých i vědeckých kruzích se jeho výsledky staly jakýmsi „lakmusovým papírkem" pro nové architektury LLM: dosažení nebo překročení lidské úrovně na SuperGLUE je vnímáno jako znak pokročilého modelu s hlubokým jazykovým porozuměním. To se odrazilo i v praxi — mnohé současné jazykové modely, které dosáhly vysokých výsledků na SuperGLUE, se staly základem aplikovaných systémů pro otázky a odpovědi, dialogových agentů, systémů sumarizace textu aj.. SuperGLUE je nadále využíván výzkumníky pro fine-tuning a porovnávání algoritmů, i když přední postavení se nyní postupně přesouvá k novým horizontům hodnocení umělé inteligence.

Odkazy

• Oficiální stránky SuperGLUE
• Původní článek SuperGLUE (NeurIPS)
• Článek Microsoftu o dosažení lidské úrovně modelem DeBERTa
• Stránka datasetu SuperGLUE na Papers With Code

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Poznámky

</references>