SuperGLUE (benchmark) (RO)

SuperGLUE — este un benchmark complex (set de sarcini de testare) pentru evaluarea sistemelor de procesare a limbajului natural, în special a modelelor lingvistice mari (LLM). A fost prezentat în 2019 de un grup de cercetători condus de Alex Wang de la Universitatea din New York, cu participarea Facebook AI Research și a altor organizații.

Crearea SuperGLUE a fost determinată de faptul că, până la mijlocul anului 2019, benchmark-ul precedent GLUE devenise o „sarcină simplă" pentru modelele moderne: scorul cumulat al celor mai bune modele pe GLUE atinsese 88,4, depășind nivelul mediu uman (87,1). Astfel, marja pentru progresul ulterior s-a redus. Ca răspuns, autorii au dezvoltat SuperGLUE ca o alternativă mai dificilă, capabilă să ofere o verificare mai riguroasă a înțelegerii limbajului de către modele. Scopul SuperGLUE este de a furniza un indicator neutru și dificil de „antrenat" al progresului în domeniul înțelegerii generale a limbajului englez. Se estima că o îmbunătățire semnificativă a rezultatelor pe SuperGLUE ar necesita inovații substanțiale în metodele de Machine Learning — de exemplu, antrenare mai eficientă pe eșantioane mici, antrenare multi-sarcină și auto-supravegheată. Cu alte cuvinte, SuperGLUE include sarcini care sunt simple pentru om, dar dificile pentru inteligența artificială, pentru a stimula dezvoltarea modelelor cu o înțelegere cu adevărat profundă a limbajului.

Particularități și diferențe față de GLUE

SuperGLUE reproduce în mare măsură formatul GLUE — oferă un singur indicator integral de calitate pentru ansamblul sarcinilor, un leaderboard public și un set de instrumente pentru analiza modelelor. Cu toate acestea, SuperGLUE aduce o serie de îmbunătățiri și inovații față de predecesorul său:

• Sarcini mai dificile: în SuperGLUE au fost selectate cele mai dificile opt sarcini. Două dintre ele sunt moștenite din GLUE (printre cele mai dificile de acolo), iar restul au fost selectate din candidaturi noi pe baza dificultății lor pentru modelele NLP moderne. Astfel, benchmark-ul se concentrează pe acele aspecte ale înțelegerii unde modelele obțineau anterior cele mai slabe rezultate.
• Diversitatea formatelor: dacă în GLUE toate sarcinile se reduceau la clasificarea propozițiilor sau a perechilor de propoziții, SuperGLUE include un spectru mai larg de formate. Pe lângă clasificare, au fost adăugate sarcini de rezolvare a coreferinței și răspuns la întrebări, care impun modelului înțelegerea unui text coerent și raționament logic.
• Evaluare umană pentru toate sarcinile: pentru fiecare sarcină din SuperGLUE este calculat un nivel de bază al performanței umane (non-expert), confirmând că până și modele puternice de tip BERT erau semnificativ inferioare omului la momentul lansării benchmark-ului. Existența unui reper uman (~90% cumulat) asigură o „marjă" pentru creșterea modelului și servește drept țintă.
• Reguli și instrumente transparente: au fost revizuite regulile de publicare a rezultatelor pe leaderboard (pentru a asigura comparații corecte și indicarea contribuției autorilor de seturi de date). De asemenea, a fost publicat un nou set de instrumente open-source pentru a facilita fine-tuning-ul și antrenarea multi-sarcină a modelelor pe datele SuperGLUE.

În ansamblu, aceste măsuri fac din SuperGLUE un test mai fiabil pentru capacitățile lingvistice generalizate ale modelelor, care nu permite obținerea unor rezultate ridicate prin tricherie îngustă sau ajustare la formatele specifice ale vechiului GLUE.

Setul de sarcini SuperGLUE

SuperGLUE este compus din opt sarcini, acoperind diferite aspecte ale înțelegerii textului.

• BoolQ (Boolean Questions): sarcină de tip întrebare-răspuns (QA), unde fiecărui exemplu îi este asociat un text scurt (extras din Wikipedia) și o întrebare la care trebuie răspuns cu „da" sau „nu\". Întrebările sunt formulate de utilizatori (din interogări de căutare Google) și necesită extragerea unui fapt explicit sau implicit din text; metrica de calitate este proporția de răspunsuri corecte (accuracy).
• CB (CommitmentBank): sarcină de implicație logică (textual entailment) cu trei clase. Setul de date este compus din texte scurte care conțin propoziții subordonate; se cere determinarea gradului în care autorul textului este angajat față de adevărul enunțului inclus. În practică, aceasta verifică dacă o afirmație decurge din contextul dat. Sarcina este dificilă din cauza dimensiunilor mici ale eșantionului (cca. 250 de exemple) și a dezechilibrului claselor; calitatea este evaluată prin acuratețe și scorul F1 mediat pe clase.
• COPA (Choice of Plausible Alternatives): sarcină de raționament cauza-efect. Modelului i se oferă o premisă (o singură propoziție) și trebuie să aleagă cauza sau efectul corect din două variante. Toate exemplele COPA sunt formulate manual și necesită bun simț pentru a stabili relații cauza-efect. Tematica include situații din bloguri și o enciclopedie specializată; metrica este acuratețea (proporția alegerilor corecte). Exemplu: dată propoziția „copilul a dobândit imunitate la boală" și întrebarea „care este cauza?" — omul înțelege imediat că răspunsul corect este „a primit vaccinul\", în timp ce modelul trebuie să deducă relația cauzală.
• MultiRC (Multi-Sentence Reading Comprehension): sarcină de înțelegere a textului pe mai multe propoziții cu elemente de alegere multiplă. Modelul primește un paragraf de text, o întrebare referitoare la conținutul paragrafului și o listă de răspunsuri posibile; trebuie determinate răspunsurile corecte (fiecare întrebare poate avea mai multe răspunsuri corecte). Particularități: pentru a răspunde la întrebare, de regulă este necesară coroborarea informațiilor din mai multe propoziții ale textului, ceea ce testează capacitatea modelului de a corela fapte. Calitatea se măsoară prin două metrici: F1 pe răspunsuri (ia în calcul seturi parțial corecte) și Exact Match — proporția întrebărilor la care au fost furnizate seturi complet corecte de răspunsuri.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): sarcină de citire cu înțelegere și utilizarea cunoștințelor. Reprezintă un test Cloze modificat: este dat un text de știri (articol CNN/Daily Mail) și o propoziție cu un cuvânt-entitate lipsă; modelul trebuie să aleagă ce entitate din text corespunde locului gol. Variantele de răspuns sunt toate entitățile menționate în articol, care pot coincide în esență. Rezolvarea cu succes necesită înțelegerea contextului și bun simț. Metricile sunt token-level F1 maxim și Exact Match (potrivire exactă) pentru răspunsurile prezise.
• RTE (Recognizing Textual Entailment): sarcină de clasificare binară privind implicația textuală (entailment vs. not entailment). Setul de date reunește exemple din mai multe competiții de recunoaștere a inferenței textuale (seria RTE 1-5). Fiecare sarcină conține o pereche de fragmente de text (premisă-ipoteză); modelul trebuie să determine dacă ipoteza decurge din text. Spre deosebire de multe seturi mari de date, RTE este destul de mic (cca. 2.500 de exemple de antrenare), dar a demonstrat un câștig semnificativ din transfer learning: acuratețea a crescut de la ~56% (nivelul ghicirii aleatoare) la ~86% odată cu apariția modelelor de tip BERT. Cu toate acestea, la momentul lansării SuperGLUE, acuratețea modelelor era încă în urmă față de om cu aproximativ 8 puncte procentuale, motiv pentru care RTE a fost inclus ca una dintre sarcinile care mențineau un decalaj față de nivelul uman.
• WiC (Word-in-Context): sarcină de dezambiguizare a sensului unui cuvânt în context (WSD). Sunt date două propoziții independente, în fiecare apărând același cuvânt polisemantic; trebuie determinat dacă acel cuvânt este folosit cu același sens în ambele cazuri. Datele provin din resurse lexicografice (WordNet, VerbNet, Wiktionary), acoperind astfel un spectru larg de cuvinte și sensuri. Sarcina este formalizată ca o clasificare binară și evaluată prin proporția de răspunsuri corecte. WiC impune modelului înțelegerea nuanțelor semantice subtile, testând efectiv semantica lexicală.
• WSC (Winograd Schema Challenge): sarcină de rezolvare a coreferinței cu utilizarea bunului simț. Fiecare sarcină constă dintr-o singură propoziție care conține un pronume și o listă cu două entități (substantive) din aceeași propoziție. Se cere determinarea cărui substantiv dintre cele propuse îi corespunde pronumele dat. Exemplu de propoziție winograd clasică: „Trofeul nu a încăput în valiză pentru că era prea mică\" — omul înțelege că „era\" se referă la valiză (valiza era prea mică). Astfel de exemple nu pot fi rezolvate fără cunoștințe cotidiene și context. În GLUE exista deja o versiune simplificată a acestei sarcini (WNLI), dar modelele nu reușeau multă vreme să depășească nici măcar nivelul aleatoriu. Abia tehnici speciale, cum ar fi adăugarea de date externe cu exemple similare, au ridicat calitatea modelelor pe WSC la ~90% până în 2019. Totuși, omul rezolvă sarcinile WSC aproape fără erori (~96-100% răspunsuri corecte). În SuperGLUE este inclusă versiunea originală a WSC în format de clasificare binară (pentru fiecare pereche „pronume-entitate\" modelul răspunde dacă acestea coincid ca referință). Această sarcină rămâne unul dintre cele mai dificile teste, necesitând raționament de tip commonsense.

Toate testele SuperGLUE dispun de seturi de testare închise cu răspunsuri necunoscute pentru dezvoltatori. Modelele își trimit predicțiile pe un server, unde se calculează un scor cumulat — acuratețea medie pe sarcini (pentru sarcinile cu mai multe metrici, se face mai întâi media metricii interne). Un astfel de SuperGLUE score unic simplifică compararea modelelor după nivelul general al inteligenței lingvistice.

Rezultate și progresul modelelor

La lansarea SuperGLUE, autorii au prezentat ca reper rezultatele unui model de bază puternic (BERT îmbunătățit) — și acestea s-au dovedit a fi semnificativ inferioare celor umane la toate sarcinile. În medie, cel mai bun model de la acea vreme a obținut aproximativ 20 de puncte mai puțin decât omul la metrica integrată. La anumite sarcini, decalajul era deosebit de mare: de exemplu, la sarcina WSC, modelul abia atingea ~65% acuratețe față de 100% al omului (un decalaj de ~35 de puncte). Chiar și la sarcinile aparent „mai ușoare\" (BoolQ, CB, RTE, WiC), sistemele automate erau inferioare cu ~10 puncte față de nivelul uman. Aceste diferențe au confirmat că SuperGLUE reprezintă cu adevărat o provocare serioasă pentru tehnologiile actuale și nu poate fi rezolvat trivial.

Cu toate acestea, la numai câteva luni după apariția SuperGLUE, a început un progres rapid. La sfârșitul anului 2019, cercetătorii Google au prezentat modelul T5 (Text-To-Text Transfer Transformer) cu 11 miliarde de parametri, care a obținut un scor cumulat de 88,9, apropiindu-se strâns de nivelul uman de ~89,8. Practic, T5 a îmbunătățit recordul anterior pe SuperGLUE cu 4,3 puncte dintr-o dată și a redus proporția de erori cu aproape o treime, lăsând un decalaj minim de doar 0,9 puncte față de indicatorul uman. Dezvoltatorii notau că SuperGLUE a fost intenționat conceput astfel încât sarcinile să fie simple pentru oameni, astfel că atingerea de către model a nivelului ~89% a constituit un jalon important.

Primul care a reușit să depășească calitatea medie umană a fost modelul Microsoft DeBERTa (Decoding-enhanced BERT with disentangled attention). În ianuarie 2021, cercetătorii au raportat că versiunea DeBERTa cu 1,5 miliarde de parametri a obținut 89,9 puncte, ușor peste reperul uman de 89,8. Aceasta a fost prima situație în care un singur model depășea omul la metrica SuperGLUE. În plus, un ansamblu din mai multe modele DeBERTa a ridicat recordul la ~90,3 puncte. Modelul DeBERTa l-a depășit pe fostul lider (Google T5) cu aproximativ 0,6% și a demonstrat eficiența noilor idei în arhitectura Transformer (reprezentare separată a conținutului și poziției cuvintelor, decoder de mască îmbunătățit etc.).

Progresul nu s-a oprit: pe măsură ce dimensiunile și complexitatea modelelor lingvistice au crescut, rezultatele pe SuperGLUE au continuat să se îmbunătățească. Până la sfârșitul anului 2021, în fruntea leaderboard-ului s-a aflat modelul Microsoft T-NLRv5 (familia Microsoft Turing NLR) — acesta a mărit și mai mult decalajul față de nivelul uman. Ultimele sarcini din GLUE nerezolvate de mașini (de exemplu, nuanțele NLI) au fost „acoperite\" de acest model, care s-a apropiat strâns de paritatea deplină cu omul chiar și la subsarcinile cele mai dificile.

În perioada 2022-2023, pragul nivelului uman pe SuperGLUE a fost depășit cu certitudine de mai multe modele mari independente. De exemplu, modelul PaLM de la Google (540 de miliarde de parametri) la fine-tuning pe sarcinile SuperGLUE a atins aproximativ 90,4 puncte, iar modelul GPT-4 (dezvoltat de OpenAI) a obținut un rezultat chiar puțin mai mare. Până la mijlocul anului 2023, în tabelul liderilor SuperGLUE se aflau mai multe modele cu un scor peste 90 (adică depășind nivelul mediu uman). Se poate spune că benchmark-ul este practic rezolvat de sistemele moderne: scorurile celor mai bune modele sunt atât de ridicate încât depășesc capacitățile majorității oamenilor necalificați. Acest succes atestă un progres uriaș în NLP într-un timp scurt, dar indică totodată necesitatea unor teste noi, și mai dificile pentru cele mai recente modele. Au apărut deja benchmark-uri ulterioare (de exemplu, MMLU, BIG-Bench ș.a.), menite să testeze modelele privind o înțelegere mai largă și o erudiție care depășește cadrul sarcinilor SuperGLUE.

Influență și cercetări ulterioare

SuperGLUE s-a consolidat astfel ca un moment important în dezvoltarea metodelor de evaluare în procesarea limbajului. În cercuri entuziastice și academice, rezultatele sale au devenit un fel de „hârtie de turnesol\" pentru noile arhitecturi de LLM: atingerea sau depășirea nivelului uman pe SuperGLUE este percepută ca un semn al unui model de vârf cu o înțelegere lingvistică profundă. Aceasta s-a reflectat și în practică — multe modele lingvistice moderne care au obținut rezultate ridicate pe SuperGLUE au stat la baza sistemelor aplicate de tip întrebare-răspuns, agenți conversaționali, sisteme de sumarizare a textului ș.a.. SuperGLUE continuă să fie utilizat de cercetători pentru fine-tuning și compararea algoritmilor, deși poziția de vârf se deplasează treptat spre noi frontiere ale evaluării inteligenței artificiale.

Referințe

• Site-ul oficial SuperGLUE
• Articolul original SuperGLUE (NeurIPS)
• Articolul Microsoft despre atingerea nivelului uman de către DeBERTa
• Pagina setului de date SuperGLUE pe Papers With Code

Bibliografie

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.