SuperGLUE (benchmark) (PL)

SuperGLUE — to kompleksowy benchmark (zestaw zadań testowych) służący do oceny systemów przetwarzania języka naturalnego, zwłaszcza dużych modeli językowych (LLM). Został przedstawiony w 2019 roku przez grupę badaczy pod kierownictwem Alexa Wanga z Uniwersytetu Nowojorskiego, przy udziale Facebook AI Research i innych organizacji.

Powstanie SuperGLUE było odpowiedzią na fakt, że w połowie 2019 roku poprzedni benchmark GLUE stał się \"łatwym zadaniem\" dla współczesnych modeli: łączny wynik najlepszych modeli na GLUE osiągnął 88,4, przekraczając średni poziom człowieka (87,1). W ten sposób margines dalszego postępu uległ znacznemu zmniejszeniu. W odpowiedzi na to autorzy opracowali SuperGLUE jako trudniejszą alternatywę, zdolną zapewnić bardziej rygorystyczną weryfikację rozumienia języka przez modele. Celem SuperGLUE jest dostarczenie neutralnego i trudno \"obchodzonego\" wskaźnika postępu w dziedzinie ogólnego rozumienia języka angielskiego. Oczekiwano, że zauważalna poprawa wyników na SuperGLUE będzie wymagać istotnych innowacji w metodach Machine Learning — na przykład efektywniejszego uczenia na małych próbkach, uczenia wielozadaniowego i samosuperwizowanego. Innymi słowy, SuperGLUE zawiera zadania, które są proste dla człowieka, lecz trudne dla sztucznej inteligencji, aby stymulować opracowywanie modeli z prawdziwie głębokim rozumieniem języka.

Cechy charakterystyczne i różnice w stosunku do GLUE

SuperGLUE w dużej mierze powiela format GLUE — oferuje jeden zintegrowany wskaźnik jakości obliczany na podstawie zestawu zadań, publiczny leaderboard oraz narzędzia do analizy modeli. Jednak SuperGLUE wprowadza szereg ulepszeń i nowości w stosunku do swojego poprzednika:

• Trudniejsze zadania: w SuperGLUE wybrano osiem najtrudniejszych zadań. Dwa z nich odziedziczono z GLUE (jako najtrudniejsze w tamtym benchmarku), pozostałe wybrano spośród nowych kandydatów na podstawie ich trudności dla współczesnych modeli NLP. Tym samym benchmark koncentruje się na tych aspektach rozumienia, w których modele wcześniej osiągały najgorsze wyniki.
• Różnorodność formatów: o ile w GLUE wszystkie zadania sprowadzały się do klasyfikacji zdań lub par zdań, o tyle SuperGLUE obejmuje szerszy wachlarz formatów. Oprócz klasyfikacji dodano zadania dotyczące rozwiązywania koreferencji oraz odpowiadania na pytania, wymagające od modelu rozumienia spójnego tekstu i wnioskowania logicznego.
• Ocena człowieka dla wszystkich zadań: dla każdego zadania SuperGLUE wyznaczono bazowy poziom wydajności człowieka (non-expert), potwierdzający, że nawet silne modele typu BERT istotnie ustępowały człowiekowi w momencie uruchomienia benchmarku. Obecność ludzkiego punktu odniesienia (~90% łącznie) zapewnia \"margines\" wzrostu dla modelu i służy jako cel docelowy.
• Przejrzyste zasady i narzędzia: zrewidowano zasady umieszczania wyników na leaderboardzie (w celu zapewnienia uczciwego porównania i wskazania wkładu autorów datasetów). Opublikowano również nowy, otwarty zestaw narzędzi ułatwiający fine-tuning i uczenie wielozadaniowe modeli na danych SuperGLUE.

Łącznie środki te czynią SuperGLUE bardziej wiarygodnym testem uogólnionych zdolności językowych modeli, uniemożliwiającym osiąganie wysokich wyników dzięki wąskiemu „oszukiwaniu" lub dostosowywaniu się do specyficznych formatów poprzedniego GLUE.

Zestaw zadań SuperGLUE

SuperGLUE składa się z ośmiu zadań obejmujących różne aspekty rozumienia tekstu.

• BoolQ (Boolean Questions): zadanie typu pytanie-odpowiedź (QA), w którym każdy przykład zawiera krótki tekst (fragment z Wikipedii) oraz pytanie, na które należy odpowiedzieć \"tak\" lub \"nie\". Pytania są formułowane przez użytkowników (na podstawie zapytań wyszukiwarki Google) i wymagają wydobycia jawnego lub ukrytego faktu z tekstu; miarą jakości jest odsetek poprawnych odpowiedzi (accuracy).
• CB (CommitmentBank): zadanie dotyczące wnioskowania logicznego (textual entailment) z trzema klasami. Dataset składa się z krótkich tekstów zawierających zdania złożone podrzędnie; zadaniem jest określenie, w jakim stopniu autor tekstu jest zaangażowany w prawdziwość zagnieżdżonego stwierdzenia. W istocie jest to sprawdzenie, czy dane twierdzenie wynika z podanego kontekstu. Zadanie jest trudne ze względu na małą wielkość próbki (ok. 250 przykładów) i niezrównoważenie klas; jakość oceniana jest na podstawie dokładności i miary F1 uśrednionej po klasach.
• COPA (Choice of Plausible Alternatives): zadanie dotyczące rozumowania przyczynowo-skutkowego. Model otrzymuje przesłankę (jedno zdanie) i musi wybrać właściwą przyczynę lub skutek spośród dwóch wariantów. Wszystkie przykłady COPA są sformułowane ręcznie i wymagają zdrowego rozsądku do ustalenia związku przyczynowo-skutkowego. Tematyka obejmuje sytuacje z blogów i specjalistycznej encyklopedii; miarą jakości jest dokładność (odsetek poprawnych wyborów). Przykład: dane zdanie „dziecko nabyło odporność na chorobę" i pytanie „jaka jest przyczyna?" — człowiek od razu rozumie, że poprawna odpowiedź to „otrzymało szczepionkę", podczas gdy model musi odgadnąć związek przyczynowy.
• MultiRC (Multi-Sentence Reading Comprehension): zadanie dotyczące rozumienia tekstu wielozdaniowego z elementami wielokrotnego wyboru. Model otrzymuje akapit tekstu, pytanie dotyczące jego treści oraz listę możliwych odpowiedzi; należy określić, które odpowiedzi są poprawne (w każdym pytaniu może być kilka poprawnych odpowiedzi). Cecha charakterystyczna: odpowiedź na pytanie wymaga z reguły połączenia informacji z kilku zdań tekstu, co sprawdza zdolność modelu do łączenia faktów. Jakość mierzona jest dwiema miarami: F1 dla odpowiedzi (uwzględnia częściowo poprawne zestawy) oraz Exact Match — odsetek pytań, na które podano w pełni poprawne zestawy odpowiedzi.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): zadanie dotyczące czytania ze zrozumieniem i wykorzystaniem wiedzy. Stanowi zmodyfikowany test Cloze: dany jest tekst informacyjny (artykuł CNN/Daily Mail) i zdanie z brakującym słowem oznaczającym encję; model musi wybrać, która encja z tekstu pasuje w miejsce pominięcia. Warianty odpowiedzi obejmują wszystkie encje wymienione w artykule, które mogą merytorycznie się pokrywać. Skuteczne rozwiązanie wymaga rozumienia kontekstu i zdrowego rozsądku. Miarami jakości są maksymalny token-level F1 oraz Exact Match (dokładne dopasowanie) dla przewidywanych odpowiedzi.
• RTE (Recognizing Textual Entailment): zadanie binarnej klasyfikacji dotyczące wynikania tekstowego (entailment vs. not entailment). Zestaw danych łączy przykłady z kilku konkursów poświęconych rozpoznawaniu wynikania tekstowego (seria RTE 1–5). Każde zadanie zawiera parę fragmentów tekstowych (premise-hypothesis); model musi określić, czy hipoteza wynika z tekstu. W odróżnieniu od wielu dużych datasetów, RTE jest dość mały (ok. 2,5 tys. przykładów treningowych), lecz wykazał znaczne korzyści z transfer learningu: dokładność wzrosła z ~56% (poziom losowego zgadywania) do ~86% wraz z pojawieniem się modeli typu BERT. Niemniej jednak w momencie uruchomienia SuperGLUE dokładność modeli nadal ustępowała człowiekowi o około 8 punktów procentowych, dlatego RTE włączono jako jedno z zadań zachowujących lukę do poziomu ludzkiego.
• WiC (Word-in-Context): zadanie dotyczące rozstrzygania wieloznaczności znaczenia słowa w kontekście (WSD). Podane są dwa niezależne zdania, w każdym z nich pojawia się to samo wieloznaczne słowo; należy określić, czy słowo to jest użyte w tym samym znaczeniu w obu przypadkach. Dane pochodzą z zasobów słownikowych (WordNet, VerbNet, Wiktionary), obejmują więc szeroki zakres słów i znaczeń. Zadanie sformalizowane jest jako klasyfikacja binarna i oceniane na podstawie odsetka poprawnych odpowiedzi. WiC wymaga od modelu rozumienia subtelnych różnic semantycznych, sprawdzając w istocie semantykę leksykalną.
• WSC (Winograd Schema Challenge): zadanie dotyczące rozwiązywania koreferencji z użyciem zdrowego rozsądku. Każde zadanie składa się z jednego zdania zawierającego zaimek oraz listy dwóch encji (rzeczowników) z tego samego zdania. Należy określić, do którego z podanych rzeczowników odnosi się dany zaimek. Przykład klasycznego zdania winograd: „Trofeum nie zmieściło się w walizce, bo było za małe" — człowiek rozumie, że „ono" odnosi się do walizki (to walizka była za mała). Takie przykłady są niemożliwe do rozwiązania bez wiedzy ogólnej i kontekstu. W GLUE znajdował się już uproszczony wariant tego zadania (WNLI), jednak przez długi czas modele nie potrafiły osiągnąć na nim nawet poziomu losowości. Dopiero specjalne techniki, takie jak dołączenie zewnętrznych danych z podobnymi przykładami, podniosły jakość modeli na WSC do ~90% ok. 2019 roku. Jednak człowiek rozwiązuje zadania WSC niemal bezbłędnie (~96–100% poprawnych odpowiedzi). W SuperGLUE uwzględniono oryginalną wersję WSC w formacie klasyfikacji binarnej (dla każdej pary „zaimek-encja" model odpowiada, czy są one koreferencyjne). Zadanie to pozostaje jednym z najtrudniejszych testów wymagających rozumowania opartego na wiedzy ogólnej.

Wszystkie testy SuperGLUE posiadają zamknięte zestawy testowe z odpowiedziami nieznanymi twórcom modeli. Modele przesyłają swoje predykcje na serwer, gdzie obliczany jest łączny wynik — uśredniona po zadaniach dokładność (dla zadań z wieloma miarami najpierw uśrednia się wewnętrzną miarę). Tak jednolity wynik SuperGLUE upraszcza porównywanie modeli pod względem ogólnego poziomu inteligencji językowej.

Wyniki i postęp modeli

Przy uruchomieniu SuperGLUE autorzy podali jako punkt odniesienia wyniki silnego modelu bazowego (wzmocnionego BERT) — i okazały się one znacznie niższe od ludzkich na wszystkich zadaniach. Średnio najlepszy ówczesny model uzyskał około 20 punktów mniej niż człowiek według łącznej metryki. W przypadku niektórych zadań różnica była szczególnie duża: na przykład w zadaniu WSC model ledwo osiągał ~65% dokładności wobec 100% u człowieka (różnica ~35 punktów). Nawet w zadaniach sprawiających wrażenie \"łatwiejszych\" (BoolQ, CB, RTE, WiC) systemy automatyczne ustępowały poziomowi ludzkiemu o ~10 punktów. Różnice te potwierdziły, że SuperGLUE rzeczywiście stanowi poważne wyzwanie dla ówczesnych technologii i nie może być trywialnie rozwiązany.

Niemniej jednak już kilka miesięcy po pojawieniu się SuperGLUE nastąpił gwałtowny postęp. Pod koniec 2019 roku badacze Google przedstawili model T5 (Text-To-Text Transfer Transformer) z 11 miliardami parametrów, który osiągnął łączny wynik 88,9, zbliżając się do ludzkiego poziomu ~89,8. W praktyce T5 poprawił poprzedni rekord na SuperGLUE od razu o 4,3 punktu i zredukował odsetek błędów niemal o jedną trzecią, pozostawiając jedynie minimalną różnicę 0,9 punktu do wyniku człowieka. Twórcy zauważali, że SuperGLUE celowo dobrano tak, by zadania były proste dla ludzi, dlatego osiągnięcie przez model poziomu ~89% stało się ważnym kamieniem milowym.

Pierwszym modelem, któremu udało się przewyższyć uśrednioną jakość człowieka, był model Microsoftu DeBERTa (Decoding-enhanced BERT with disentangled attention). W styczniu 2021 roku badacze ogłosili, że wersja DeBERTa z 1,5 mld parametrów uzyskała 89,9 punktu, nieznacznie powyżej ludzkiego punktu odniesienia wynoszącego 89,8. Był to pierwszy przypadek, gdy pojedynczy model przewyższył człowieka według metryki SuperGLUE. Co więcej, ensemble złożony z kilku modeli DeBERTa podniósł rekord do ~90,3 punktu. Model DeBERTa wyprzedził poprzedniego lidera (Google T5) o około 0,6% i zademonstrował skuteczność nowych pomysłów w architekturze Transformer (rozdzielona reprezentacja treści i pozycji słów, ulepszony dekoder masek itp.).

Postęp nie zatrzymał się na osiągniętym poziomie: wraz ze wzrostem rozmiarów i złożoności modeli językowych wyniki na SuperGLUE nadal się poprawiały. Pod koniec 2021 roku na czele leaderboardu znalazł się model Microsoftu T-NLRv5 (rodzina Microsoft Turing NLR) — jeszcze bardziej zwiększył on dystans powyżej poziomu ludzkiego. Ostatnie zadania GLUE dotychczas nieopanowane przez maszyny (np. subtelności NLI) zostały \"zamknięte\" przez ten model, który zbliżył się do pełnego parytetu z człowiekiem nawet w najtrudniejszych podzadaniach.

W latach 2022–2023 próg poziomu ludzkiego na SuperGLUE został pewnie przekroczony przez kilka niezależnych dużych modeli. Na przykład model PaLM firmy Google (540 mld parametrów) po fine-tuningu na zadaniach SuperGLUE osiągnął około 90,4 punktu, a model GPT-4 (opracowany przez OpenAI) uzyskał wynik nieco wyższy. W połowie 2023 roku w tabeli liderów SuperGLUE znajdowało się kilka modeli z wynikiem powyżej 90 (tj. przekraczającym średni poziom człowieka). Można powiedzieć, że benchmark jest praktycznie rozwiązany przez współczesne systemy: wyniki najlepszych modeli są tak wysokie, że przewyższają możliwości większości niewykwalifikowanych ludzi. Ten sukces świadczy o gigantycznym postępie w NLP w krótkim czasie, lecz jednocześnie wskazuje na konieczność tworzenia nowych, jeszcze trudniejszych testów dla najnowszych modeli. Pojawiają się już kolejne benchmarki (np. MMLU, BIG-Bench i inne), mające na celu sprawdzanie modeli pod kątem szerszego rozumienia i erudycji wykraczającej poza zakres zadań SuperGLUE.

Wpływ i dalsze badania

SuperGLUE ugruntował się zatem jako ważny etap rozwoju metod ewaluacyjnych w przetwarzaniu języka. W środowiskach entuzjastów i naukowych jego wyniki stały się swoistym \"papierkiem lakmusowym\" dla nowych architektur LLM: osiągnięcie lub przekroczenie poziomu ludzkiego na SuperGLUE jest odbierane jako oznaka zaawansowanego modelu z głębokim rozumieniem języka. Znalazło to odzwierciedlenie również w praktyce — wiele współczesnych modeli językowych, które osiągnęły wysokie wyniki na SuperGLUE, stało się podstawą aplikacyjnych systemów pytań i odpowiedzi, agentów dialogowych, systemów streszczania tekstu i innych. SuperGLUE jest nadal wykorzystywany przez badaczy do fine-tuningu i porównywania algorytmów, choć czołowa pozycja przesuwa się stopniowo ku nowym granicom oceny sztucznej inteligencji.

Odnośniki

• Oficjalna strona SuperGLUE
• Oryginalna artykuł SuperGLUE (NeurIPS)
• Artykuł Microsoftu o osiągnięciu poziomu ludzkiego przez DeBERTa
• Strona datasetu SuperGLUE na Papers With Code

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.