SuperGLUE (benchmark) (IT)

SuperGLUE — è un benchmark completo (insieme di prove di valutazione) per la valutazione dei sistemi di elaborazione del linguaggio naturale, in particolare dei grandi modelli linguistici (LLM). È stato presentato nel 2019 da un gruppo di ricercatori guidati da Alex Wang della New York University, con la partecipazione di Facebook AI Research e altre organizzazioni.

La creazione di SuperGLUE è stata motivata dal fatto che, verso la metà del 2019, il precedente benchmark GLUE era diventato un «compito semplice» per i modelli moderni: il punteggio aggregato dei migliori modelli su GLUE aveva raggiunto 88,4, superando il livello medio umano (87,1). Il margine per ulteriori progressi si era quindi ridotto. In risposta a ciò, gli autori hanno sviluppato SuperGLUE come alternativa più impegnativa, in grado di fornire una verifica più rigorosa della comprensione del linguaggio da parte dei modelli. L'obiettivo di SuperGLUE è fornire una misura neutrale e difficilmente «addestrabile» del progresso nella comprensione generale del linguaggio inglese. Ci si aspettava che un miglioramento significativo dei risultati su SuperGLUE richiedesse innovazioni sostanziali nei metodi di Machine Learning — ad esempio, un apprendimento più efficiente su piccoli campioni, l'apprendimento multi-task e l'apprendimento auto-supervisionato. In altre parole, SuperGLUE include compiti che sono semplici per l'essere umano ma difficili per l'intelligenza artificiale, al fine di stimolare lo sviluppo di modelli con una comprensione del linguaggio veramente profonda.

Caratteristiche e differenze rispetto a GLUE

SuperGLUE riprende in gran parte il formato di GLUE — offre un unico punteggio integrale di qualità sull'insieme dei compiti, una classifica pubblica e un insieme di strumenti per l'analisi dei modelli. Tuttavia, SuperGLUE introduce una serie di miglioramenti e novità rispetto al predecessore:

• Compiti più difficili: SuperGLUE ha selezionato gli otto compiti più impegnativi. Due di essi sono ereditati da GLUE (tra i più difficili di quest'ultimo), gli altri sono stati scelti da nuovi candidati in base alla loro difficoltà per i moderni modelli NLP. Il benchmark si concentra quindi su quegli aspetti della comprensione in cui i modelli mostravano in precedenza i peggiori risultati.
• Diversità di formati: se in GLUE tutti i compiti si riducevano alla classificazione di frasi o coppie di frasi, SuperGLUE include uno spettro più ampio di formati. Oltre alla classificazione, sono stati aggiunti compiti di risoluzione della coreferenza e di risposta a domande, che richiedono al modello la comprensione di testi coerenti e il ragionamento logico.
• Valutazione umana su tutti i compiti: per ogni compito di SuperGLUE è stato calcolato un livello di riferimento delle prestazioni umane (non esperto), che conferma come anche i modelli più potenti come BERT fossero significativamente inferiori all'essere umano al momento del lancio del benchmark. La presenza di un riferimento umano (~90% complessivo) garantisce un «margine» di crescita per il modello e funge da obiettivo target.
• Regole e strumenti trasparenti: sono state riviste le regole per la pubblicazione dei risultati nella classifica (per garantire un confronto equo e indicare il contributo degli autori dei dataset). È stato inoltre pubblicato un nuovo toolkit open source per agevolare il fine-tuning e l'apprendimento multi-task dei modelli sui dati di SuperGLUE.

Nel complesso, queste misure rendono SuperGLUE un test più affidabile per le capacità linguistiche generali dei modelli, che non consente di ottenere risultati elevati tramite una furba ottimizzazione su formati specifici del precedente GLUE.

Insieme dei compiti di SuperGLUE

SuperGLUE è composto da otto compiti che coprono diversi aspetti della comprensione del testo.

• BoolQ (Boolean Questions): compito di tipo domanda-risposta (QA), in cui a ogni esempio è associato un breve testo (un estratto da Wikipedia) e una domanda a cui rispondere con «sì» o «no». Le domande sono formulate dagli utenti (da query di ricerca Google) e richiedono l'estrazione di un fatto esplicito o implicito dal testo; la metrica di qualità è la percentuale di risposte corrette (accuracy).
• CB (CommitmentBank): compito di implicazione logica (textual entailment) a tre classi. Il dataset è composto da brevi testi contenenti proposizioni subordinate complesse; è richiesto di determinare in quale misura l'autore del testo sia impegnato nella verità dell'affermazione incorporata. Si tratta in sostanza di verificare se un'affermazione segua dal contesto dato. Il compito è difficile a causa delle ridotte dimensioni del campione (circa 250 esempi) e dello squilibrio delle classi; la qualità è valutata tramite accuracy e F1-score mediato sulle classi.
• COPA (Choice of Plausible Alternatives): compito di ragionamento causale. Al modello viene fornita una premessa (una frase) e deve scegliere la causa o la conseguenza corretta tra due opzioni. Tutti gli esempi di COPA sono formulati manualmente e richiedono il buon senso per stabilire il nesso causale. La tematica include situazioni tratte da blog e da un'enciclopedia specialistica; la metrica è l'accuracy (percentuale di scelte corrette). Esempio: data la frase «il bambino ha acquisito l'immunità alla malattia» e la domanda «qual è la causa?» — l'essere umano capisce immediatamente che la risposta corretta è «ha ricevuto il vaccino», mentre il modello deve dedurre il nesso causale.
• MultiRC (Multi-Sentence Reading Comprehension): compito di comprensione del testo multi-frase con elementi di scelta multipla. Il modello riceve un paragrafo di testo, una domanda sul contenuto del paragrafo e un elenco di possibili risposte; deve determinare quali risposte sono corrette (ogni domanda può avere più risposte corrette). Caratteristica peculiare: per rispondere alla domanda è generalmente necessario combinare informazioni provenienti da più frasi del testo, verificando la capacità del modello di collegare i fatti. La qualità è misurata con due metriche: F1 sulle risposte (che tiene conto degli insiemi parzialmente corretti) ed Exact Match — percentuale di domande a cui sono forniti insiemi di risposte completamente corretti.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): compito di lettura con comprensione e utilizzo delle conoscenze. Si tratta di un test Cloze modificato: viene fornito un testo giornalistico (articolo CNN/Daily Mail) e una frase con una parola-entità mancante; il modello deve scegliere quale entità presente nel testo si adatta allo spazio vuoto. Le opzioni di risposta corrispondono a tutte le entità menzionate nell'articolo, che possono sovrapporsi semanticamente. Per risolvere il compito con successo sono necessari la comprensione del contesto e il buon senso. Le metriche sono il token-level F1 massimo e l'Exact Match (corrispondenza esatta) sulle risposte predette.
• RTE (Recognizing Textual Entailment): compito di classificazione binaria sull'implicazione testuale (entailment vs. not entailment). Il dataset combina esempi provenienti da diverse competizioni sul riconoscimento dell'implicazione testuale (serie RTE 1-5). Ogni esercizio contiene una coppia di frammenti testuali (premise-hypothesis); il modello deve determinare se l'ipotesi segue dal testo. A differenza di molti dataset di grandi dimensioni, RTE è piuttosto piccolo (circa 2.500 esempi di addestramento), ma ha mostrato un significativo vantaggio dal transfer learning: l'accuracy è cresciuta da ~56% (livello della risposta casuale) a ~86% con l'avvento di modelli come BERT. Tuttavia, al momento del lancio di SuperGLUE, l'accuracy dei modelli era ancora inferiore a quella umana di circa 8 punti percentuali, motivo per cui RTE è stato incluso come uno dei compiti che mantenevano un divario rispetto al livello umano.
• WiC (Word-in-Context): compito di disambiguazione del significato di una parola nel contesto (WSD). Vengono fornite due frasi indipendenti, ciascuna contenente la stessa parola polisemica; bisogna determinare se tale parola è usata con lo stesso significato in entrambi i casi. I dati sono tratti da risorse lessicali (WordNet, VerbNet, Wiktionary), coprendo così un ampio spettro di parole e significati. Il compito è formalizzato come classificazione binaria e valutato tramite accuracy. WiC richiede al modello la comprensione di sottili distinzioni semantiche, verificando di fatto la semantica lessicale.
• WSC (Winograd Schema Challenge): compito di risoluzione della coreferenza con l'uso del buon senso. Ogni esercizio consiste in una frase contenente un pronome e un elenco di due entità (sostantivi) presenti nella stessa frase. È richiesto di determinare a quale dei sostantivi proposti si riferisce il pronome dato. Esempio classico di frase winograd: «Il trofeo non entrava nella valigia perché era troppo piccola» — l'essere umano capisce che «era» si riferisce alla valigia (era la valigia ad essere troppo piccola). Esempi di questo tipo non possono essere risolti senza conoscenza quotidiana e contesto. In GLUE era già presente una versione semplificata di questo compito (WNLI), ma per lungo tempo i modelli non riuscivano a superare nemmeno il livello della casualità. Solo tecniche speciali, come l'aggiunta di dati esterni con esempi simili, hanno portato la qualità dei modelli su WSC a ~90% entro il 2019. Tuttavia, l'essere umano risolve i compiti WSC praticamente senza errori (~96-100% di risposte corrette). In SuperGLUE è inclusa la versione originale di WSC nel formato di classificazione binaria (per ogni coppia «pronome-entità» il modello risponde se coincidono per riferimento). Questo compito rimane uno dei test più difficili che richiedono ragionamento di tipo commonsense.

Tutti i test di SuperGLUE hanno set di test chiusi con risposte sconosciute agli sviluppatori. I modelli inviano le proprie previsioni a un server, dove viene calcolato il punteggio complessivo — l'accuracy media sui compiti (per i compiti con più metriche, la metrica interna viene prima mediata). Questo unico SuperGLUE score semplifica il confronto tra modelli in base al livello generale di intelligenza linguistica.

Risultati e progresso dei modelli

Al lancio di SuperGLUE, gli autori hanno presentato come riferimento i risultati di un modello base avanzato (BERT potenziato) — e si sono rivelati significativamente inferiori a quelli umani su tutti i compiti. In media, il miglior modello dell'epoca ha ottenuto circa 20 punti in meno rispetto all'essere umano sulla metrica integrale. Su singoli compiti il divario era particolarmente ampio: ad esempio, nel compito WSC il modello raggiungeva a malapena ~65% di accuracy contro il 100% dell'essere umano (un gap di ~35 punti). Anche su compiti apparentemente più «semplici» (BoolQ, CB, RTE, WiC) i sistemi automatici cedevano ~10 punti al livello umano. Queste differenze hanno confermato che SuperGLUE rappresenta davvero una sfida seria per le tecnologie attuali e non può essere risolto in modo banale.

Eppure, solo pochi mesi dopo la comparsa di SuperGLUE, è iniziato un rapido progresso. Alla fine del 2019, i ricercatori di Google hanno presentato il modello T5 (Text-To-Text Transfer Transformer) con 11 miliardi di parametri, che ha ottenuto un punteggio complessivo di 88,9, avvicinandosi molto al livello umano di ~89,8. In pratica, T5 ha migliorato il record precedente su SuperGLUE di ben 4,3 punti e ha ridotto la quota di errori di quasi un terzo, lasciando un margine minimo di soli 0,9 punti rispetto al punteggio umano. Gli sviluppatori osservavano che SuperGLUE è stato deliberatamente costruito in modo che i compiti siano semplici per gli esseri umani, e quindi il raggiungimento da parte del modello di un livello di ~89% ha rappresentato una tappa importante.

Il primo a riuscire a superare la qualità umana media è stato il modello di Microsoft DeBERTa (Decoding-enhanced BERT with disentangled attention). Nel gennaio 2021, i ricercatori hanno annunciato che la versione di DeBERTa con 1,5 miliardi di parametri aveva ottenuto 89,9 punti, leggermente superiori al riferimento umano di 89,8. È stato il primo caso in cui un singolo modello superava l'essere umano sulla metrica SuperGLUE. Inoltre, un ensemble di più modelli DeBERTa ha portato il record a ~90,3 punti. Il modello DeBERTa ha superato il precedente leader (Google T5) di circa 0,6% e ha dimostrato l'efficacia di nuove idee nell'architettura Transformer (rappresentazione separata del contenuto e della posizione delle parole, decoder a maschere migliorato, ecc.).

Il progresso non si è fermato: con l'aumento delle dimensioni e della complessità dei modelli linguistici, i risultati su SuperGLUE hanno continuato a migliorare. Verso la fine del 2021, in cima alla classifica si è trovato il modello Microsoft T-NLRv5 (famiglia Microsoft Turing NLR) — che ha ampliato ulteriormente il divario al di sopra del livello umano. Gli ultimi compiti di GLUE non ancora risolti dalle macchine (ad esempio, le sfumature dell'NLI) sono stati «chiusi» da questo modello, che si è avvicinato a una piena parità con l'essere umano anche nei sottopunti più difficili.

Nel 2022-2023, la soglia del livello umano su SuperGLUE è stata superata con sicurezza da diversi modelli di grandi dimensioni indipendenti. Ad esempio, il modello PaLM di Google (540 miliardi di parametri) dopo il fine-tuning sui compiti di SuperGLUE ha raggiunto circa 90,4 punti, e il modello GPT-4 (sviluppato da OpenAI) ha mostrato un risultato leggermente superiore. A metà del 2023, nella tabella dei leader di SuperGLUE figuravano diversi modelli con un punteggio superiore a 90 (ovvero superiori al livello umano medio). Si può affermare che il benchmark sia praticamente risolto dai sistemi moderni: i punteggi dei migliori modelli sono così elevati da superare le capacità della maggior parte delle persone non specializzate. Questo successo testimonia un enorme progresso nell'NLP in un breve arco di tempo, ma indica al contempo la necessità di test nuovi e ancora più impegnativi per i modelli più recenti. Stanno già emergendo benchmark successivi (ad esempio MMLU, BIG-Bench e altri), pensati per mettere alla prova i modelli su una comprensione più ampia e un'erudizione che va oltre i compiti di SuperGLUE.

Impatto e ricerche successive

SuperGLUE si è così affermato come una tappa importante nello sviluppo delle metodologie di valutazione nell'elaborazione del linguaggio. Negli ambienti accademici e degli appassionati, i suoi risultati sono diventati una sorta di «cartina di tornasole» per le nuove architetture di LLM: raggiungere o superare il livello umano su SuperGLUE è percepito come un segno distintivo di un modello avanzato con una profonda comprensione del linguaggio. Ciò si è riflesso anche nella pratica — molti modelli linguistici moderni che hanno ottenuto risultati elevati su SuperGLUE sono stati posti alla base di sistemi applicativi di domanda-risposta, agenti di dialogo, sistemi di riassunto del testo e altri. SuperGLUE continua a essere utilizzato dai ricercatori per il fine-tuning e il confronto degli algoritmi, sebbene la posizione di avanguardia si stia ora spostando gradualmente verso nuovi orizzonti nella valutazione dell'intelligenza artificiale.

Riferimenti

• Sito ufficiale di SuperGLUE
• Articolo originale di SuperGLUE (NeurIPS)
• Articolo Microsoft sul raggiungimento del livello umano da parte di DeBERTa
• Pagina del dataset SuperGLUE su Papers With Code

Bibliografia

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Note

</references>