---
title: "SuperGLUE (benchmark) (IT)"
source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)"
wiki: "systems-analysis.info/int"
article: "SuperGLUE_(benchmark)_(IT)"
language: "it"
categories:
  - "Category:Italian"
  - "Category:Large language models"
  - "Category:LLM benchmarks"
  - "Category:Machine learning"
revision_id: 7009
wiki_created_at: 2026-09-07T00:14:31Z
wiki_modified_at: 2026-09-07T00:14:31Z
downloaded_at: 2026-09-07T23:16:53Z
---

# SuperGLUE (benchmark) (IT)

**SuperGLUE** — è un **benchmark** completo (insieme di prove di valutazione) per la valutazione dei sistemi di elaborazione del linguaggio naturale, in particolare dei **grandi modelli linguistici** (LLM)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. È stato presentato nel 2019 da un gruppo di ricercatori guidati da Alex Wang della New York University, con la partecipazione di Facebook AI Research e altre organizzazioni<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.

La creazione di SuperGLUE è stata motivata dal fatto che, verso la metà del 2019, il precedente benchmark GLUE era diventato un «compito semplice» per i modelli moderni: il punteggio aggregato dei migliori modelli su GLUE aveva raggiunto 88,4, superando il livello medio umano (87,1)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il margine per ulteriori progressi si era quindi ridotto<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. In risposta a ciò, gli autori hanno sviluppato SuperGLUE come alternativa più impegnativa, in grado di fornire una verifica più rigorosa della comprensione del linguaggio da parte dei modelli<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. L'obiettivo di SuperGLUE è fornire una misura neutrale e difficilmente «addestrabile» del progresso nella comprensione generale del linguaggio inglese<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Ci si aspettava che un miglioramento significativo dei risultati su SuperGLUE richiedesse innovazioni sostanziali nei metodi di Machine Learning — ad esempio, un apprendimento più efficiente su piccoli campioni, l'apprendimento multi-task e l'apprendimento auto-supervisionato<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. In altre parole, SuperGLUE include compiti che sono semplici per l'essere umano ma difficili per l'intelligenza artificiale<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>, al fine di stimolare lo sviluppo di modelli con una comprensione del linguaggio veramente profonda.

## Caratteristiche e differenze rispetto a GLUE

SuperGLUE riprende in gran parte il formato di GLUE — offre un unico **punteggio integrale di qualità** sull'insieme dei compiti, una **classifica** pubblica e un **insieme di strumenti** per l'analisi dei modelli<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Tuttavia, SuperGLUE introduce una serie di miglioramenti e novità rispetto al predecessore<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>:

- **Compiti più difficili**: SuperGLUE ha selezionato gli **otto compiti più impegnativi**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Due di essi sono ereditati da GLUE (tra i più difficili di quest'ultimo), gli altri sono stati scelti da nuovi candidati in base alla loro difficoltà per i moderni modelli NLP<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il benchmark si concentra quindi su quegli aspetti della comprensione in cui i modelli mostravano in precedenza i peggiori risultati.
- **Diversità di formati**: se in GLUE tutti i compiti si riducevano alla classificazione di frasi o coppie di frasi, SuperGLUE include uno **spettro più ampio di formati**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Oltre alla classificazione, sono stati aggiunti compiti di **risoluzione della coreferenza** e di **risposta a domande**, che richiedono al modello la comprensione di testi coerenti e il **ragionamento logico**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **Valutazione umana su tutti i compiti**: per ogni compito di SuperGLUE è stato calcolato un **livello di riferimento delle prestazioni umane** (non esperto)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>, che conferma come anche i modelli più potenti come BERT fossero significativamente inferiori all'essere umano al momento del lancio del benchmark<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. La presenza di un **riferimento umano** (~90% complessivo) garantisce un «margine» di crescita per il modello e funge da obiettivo target<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **Regole e strumenti trasparenti**: sono state riviste le regole per la pubblicazione dei risultati nella classifica (per garantire un confronto equo e indicare il contributo degli autori dei dataset)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. È stato inoltre pubblicato un nuovo toolkit open source per agevolare il fine-tuning e l'apprendimento multi-task dei modelli sui dati di SuperGLUE<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.

Nel complesso, queste misure rendono SuperGLUE un test più affidabile per le **capacità linguistiche generali** dei modelli, che non consente di ottenere risultati elevati tramite una furba ottimizzazione su formati specifici del precedente GLUE<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.

## Insieme dei compiti di SuperGLUE

SuperGLUE è composto da **otto compiti** che coprono diversi aspetti della comprensione del testo.

- **BoolQ** (Boolean Questions): compito di tipo **domanda-risposta (QA)**, in cui a ogni esempio è associato un breve testo (un estratto da Wikipedia) e una domanda a cui rispondere con «sì» o «no»<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Le domande sono formulate dagli utenti (da query di ricerca Google) e richiedono l'estrazione di un fatto esplicito o implicito dal testo; la metrica di qualità è la percentuale di risposte corrette (accuracy)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **CB** (CommitmentBank): compito di **implicazione logica** (textual entailment) a tre classi<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il dataset è composto da brevi testi contenenti proposizioni subordinate complesse; è richiesto di determinare in quale misura l'autore del testo sia **impegnato nella verità** dell'affermazione incorporata<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Si tratta in sostanza di verificare se un'affermazione segua dal contesto dato. Il compito è difficile a causa delle ridotte dimensioni del campione (circa 250 esempi) e dello squilibrio delle classi; la qualità è valutata tramite accuracy e F1-score mediato sulle classi<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **COPA** (Choice of Plausible Alternatives): compito di **ragionamento causale**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Al modello viene fornita una premessa (una frase) e deve scegliere la causa o la conseguenza corretta tra due opzioni<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Tutti gli esempi di COPA sono formulati manualmente e richiedono il **buon senso** per stabilire il nesso causale. La tematica include situazioni tratte da blog e da un'enciclopedia specialistica; la metrica è l'accuracy (percentuale di scelte corrette)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Esempio: data la frase «il bambino ha acquisito l'immunità alla malattia» e la domanda «qual è la causa?» — l'essere umano capisce immediatamente che la risposta corretta è «ha ricevuto il vaccino», mentre il modello deve dedurre il nesso causale<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **MultiRC** (Multi-Sentence Reading Comprehension): compito di **comprensione del testo multi-frase** con elementi di scelta multipla<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il modello riceve un paragrafo di testo, una domanda sul contenuto del paragrafo e un elenco di possibili risposte; deve determinare quali risposte sono corrette (ogni domanda può avere più risposte corrette)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Caratteristica peculiare: per rispondere alla domanda è generalmente necessario combinare informazioni provenienti da più frasi del testo, verificando la capacità del modello di **collegare i fatti**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. La qualità è misurata con due metriche: F1 sulle risposte (che tiene conto degli insiemi parzialmente corretti) ed Exact Match — percentuale di domande a cui sono forniti insiemi di risposte completamente corretti<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): compito di **lettura con comprensione e utilizzo delle conoscenze**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Si tratta di un test Cloze modificato: viene fornito un testo giornalistico (articolo CNN/Daily Mail) e una frase con una parola-entità mancante; il modello deve scegliere quale entità presente nel testo si adatta allo spazio vuoto<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Le opzioni di risposta corrispondono a tutte le entità menzionate nell'articolo, che possono sovrapporsi semanticamente<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Per risolvere il compito con successo sono necessari la comprensione del contesto e il buon senso. Le metriche sono il token-level F1 massimo e l'Exact Match (corrispondenza esatta) sulle risposte predette<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>.
- **RTE** (Recognizing Textual Entailment): compito di classificazione binaria sull'**implicazione testuale** (entailment vs. not entailment)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il dataset combina esempi provenienti da diverse competizioni sul riconoscimento dell'implicazione testuale (serie RTE 1-5)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Ogni esercizio contiene una coppia di frammenti testuali (premise-hypothesis); il modello deve determinare se l'ipotesi segue dal testo. A differenza di molti dataset di grandi dimensioni, RTE è piuttosto piccolo (circa 2.500 esempi di addestramento), ma ha mostrato un significativo vantaggio dal transfer learning: l'accuracy è cresciuta da ~56% (livello della risposta casuale) a ~86% con l'avvento di modelli come BERT<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Tuttavia, al momento del lancio di SuperGLUE, l'accuracy dei modelli era ancora inferiore a quella umana di circa 8 punti percentuali<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>, motivo per cui RTE è stato incluso come uno dei compiti che mantenevano un divario rispetto al livello umano.
- **WiC** (Word-in-Context): compito di **disambiguazione del significato di una parola nel contesto** (WSD)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Vengono fornite due frasi indipendenti, ciascuna contenente la stessa parola polisemica; bisogna determinare se tale parola è usata **con lo stesso significato** in entrambi i casi<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. I dati sono tratti da risorse lessicali (WordNet, VerbNet, Wiktionary), coprendo così un ampio spettro di parole e significati<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Il compito è formalizzato come classificazione binaria e valutato tramite accuracy. WiC richiede al modello la comprensione di sottili distinzioni semantiche, verificando di fatto la **semantica lessicale**.
- **WSC** (Winograd Schema Challenge): compito di **risoluzione della coreferenza con l'uso del buon senso**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Ogni esercizio consiste in una frase contenente un pronome e un elenco di due entità (sostantivi) presenti nella stessa frase<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. È richiesto di determinare a quale dei sostantivi proposti **si riferisce il pronome dato**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Esempio classico di frase winograd: «Il trofeo non entrava nella valigia perché era troppo piccola» — l'essere umano capisce che «era» si riferisce alla valigia (era la valigia ad essere troppo piccola). Esempi di questo tipo non possono essere risolti senza **conoscenza quotidiana e contesto**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. In GLUE era già presente una versione semplificata di questo compito (WNLI), ma per lungo tempo i modelli non riuscivano a superare nemmeno il livello della casualità<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Solo tecniche speciali, come l'aggiunta di dati esterni con esempi simili, hanno portato la qualità dei modelli su WSC a ~90% entro il 2019<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Tuttavia, l'essere umano risolve i compiti WSC praticamente senza errori (~96-100% di risposte corrette)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. In SuperGLUE è inclusa la versione originale di WSC nel formato di classificazione binaria (per ogni coppia «pronome-entità» il modello risponde se coincidono per riferimento)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Questo compito rimane uno dei test più difficili che richiedono ragionamento di tipo commonsense.

Tutti i test di SuperGLUE hanno **set di test chiusi** con risposte sconosciute agli sviluppatori<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. I modelli inviano le proprie previsioni a un server, dove viene calcolato il punteggio complessivo — l'accuracy media sui compiti (per i compiti con più metriche, la metrica interna viene prima mediata)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Questo unico **SuperGLUE score** semplifica il confronto tra modelli in base al livello generale di intelligenza linguistica.

## Risultati e progresso dei modelli

Al lancio di SuperGLUE, gli autori hanno presentato come riferimento i risultati di un modello base avanzato (BERT potenziato) — e si sono rivelati **significativamente inferiori a quelli umani** su tutti i compiti<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. In media, il miglior modello dell'epoca ha ottenuto circa **20 punti in meno** rispetto all'essere umano sulla metrica integrale<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Su singoli compiti il divario era particolarmente ampio: ad esempio, nel compito WSC il modello raggiungeva a malapena ~65% di accuracy contro il 100% dell'essere umano (un gap di ~35 punti)<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Anche su compiti apparentemente più «semplici» (BoolQ, CB, RTE, WiC) i sistemi automatici cedevano ~10 punti al livello umano<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Queste differenze hanno confermato che SuperGLUE rappresenta davvero una sfida seria per le tecnologie attuali e non può essere risolto in modo banale.

Eppure, solo pochi mesi dopo la comparsa di SuperGLUE, è iniziato un **rapido progresso**<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup>. Alla fine del 2019, i ricercatori di Google hanno presentato il modello **T5** (Text-To-Text Transfer Transformer) con 11 miliardi di parametri, che ha ottenuto un punteggio complessivo di 88,9, avvicinandosi molto al livello umano di ~89,8<sup>[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-reddit-t5-2)</sup>. In pratica, T5 ha migliorato il record precedente su SuperGLUE di ben 4,3 punti e ha ridotto la quota di errori di quasi un terzo<sup>[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-reddit-t5-2)</sup>, lasciando un margine minimo di soli **0,9 punti** rispetto al punteggio umano<sup>[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-reddit-t5-2)</sup>. Gli sviluppatori osservavano che SuperGLUE è stato deliberatamente costruito in modo che i compiti siano semplici per gli esseri umani, e quindi il raggiungimento da parte del modello di un livello di ~89% ha rappresentato una tappa importante<sup>[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-reddit-t5-2)</sup>.

Il primo a riuscire a **superare la qualità umana media** è stato il modello di Microsoft **DeBERTa** (Decoding-enhanced BERT with disentangled attention)<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. Nel gennaio 2021, i ricercatori hanno annunciato che la versione di DeBERTa con 1,5 miliardi di parametri aveva ottenuto **89,9 punti**, leggermente superiori al riferimento umano di 89,8<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. È stato il **primo caso** in cui un singolo modello superava l'essere umano sulla metrica SuperGLUE<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. Inoltre, un ensemble di più modelli DeBERTa ha portato il record a ~90,3 punti<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. Il modello DeBERTa ha superato il precedente leader (Google T5) di circa 0,6% e ha dimostrato l'efficacia di nuove idee nell'architettura Transformer (rappresentazione separata del contenuto e della posizione delle parole, decoder a maschere migliorato, ecc.)<sup>[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-syncedreview-deberta-4)</sup>.

Il progresso non si è fermato: con l'aumento delle dimensioni e della complessità dei modelli linguistici, i risultati su SuperGLUE hanno continuato a migliorare<sup>[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-scaling-5)</sup>. Verso la fine del 2021, in cima alla classifica si è trovato il modello Microsoft **T-NLRv5** (famiglia Microsoft Turing NLR) — che ha ampliato ulteriormente il divario al di sopra del livello umano<sup>[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-scaling-5)</sup>. Gli ultimi compiti di GLUE non ancora risolti dalle macchine (ad esempio, le sfumature dell'NLI) sono stati «chiusi» da questo modello, che si è avvicinato a una **piena parità con l'essere umano** anche nei sottopunti più difficili<sup>[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-scaling-5)</sup>.

Nel 2022-2023, la soglia del livello umano su SuperGLUE è stata superata con sicurezza da diversi modelli di grandi dimensioni indipendenti<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>. Ad esempio, il modello **PaLM** di Google (540 miliardi di parametri) dopo il fine-tuning sui compiti di SuperGLUE ha raggiunto circa 90,4 punti, e il modello **GPT-4** (sviluppato da OpenAI) ha mostrato un risultato leggermente superiore<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>. A metà del 2023, nella tabella dei leader di SuperGLUE figuravano diversi modelli con un punteggio superiore a 90 (ovvero superiori al livello umano medio)<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>. Si può affermare che il benchmark sia **praticamente risolto** dai sistemi moderni<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>: i punteggi dei migliori modelli sono così elevati da superare le capacità della maggior parte delle persone non specializzate<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>. Questo successo testimonia un enorme progresso nell'NLP in un breve arco di tempo, ma indica al contempo la necessità di test nuovi e ancora più impegnativi per i modelli più recenti<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>. Stanno già emergendo benchmark successivi (ad esempio MMLU, BIG-Bench e altri), pensati per mettere alla prova i modelli su una comprensione più ampia e un'erudizione che va oltre i compiti di SuperGLUE<sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup>.

## Impatto e ricerche successive

SuperGLUE si è così affermato come una **tappa importante nello sviluppo delle metodologie di valutazione** nell'elaborazione del linguaggio<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. Negli ambienti accademici e degli appassionati, i suoi risultati sono diventati una sorta di «cartina di tornasole» per le nuove architetture di LLM: raggiungere o superare il livello umano su SuperGLUE è percepito come un segno distintivo di un modello avanzato con una profonda comprensione del linguaggio<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. Ciò si è riflesso anche nella pratica — molti modelli linguistici moderni che hanno ottenuto risultati elevati su SuperGLUE sono stati posti alla base di sistemi applicativi di domanda-risposta, agenti di dialogo, sistemi di riassunto del testo e altri<sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup>. SuperGLUE continua a essere utilizzato dai ricercatori per il fine-tuning e il confronto degli algoritmi, sebbene la posizione di avanguardia si stia ora spostando gradualmente verso nuovi orizzonti nella valutazione dell'intelligenza artificiale.

## Riferimenti

- Sito ufficiale di SuperGLUE
- Articolo originale di SuperGLUE (NeurIPS)
- Articolo Microsoft sul raggiungimento del livello umano da parte di DeBERTa
- Pagina del dataset SuperGLUE su Papers With Code

## Bibliografia

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232.

## Note

<sup>[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-neurips-main-1)</sup> <sup>[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-reddit-t5-2)</sup> <sup>[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-deberta-3)</sup> <sup>[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-syncedreview-deberta-4)</sup> <sup>[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-microsoft-scaling-5)</sup> <sup>[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_note-ainavigator-benchmarks-6)</sup> \</references\>

1.  <span id="cite_note-neurips-main-1">↑ <sup>[1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-0)</sup> <sup>[1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-1)</sup> <sup>[1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-2)</sup> <sup>[1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-3)</sup> <sup>[1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-4)</sup> <sup>[1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-5)</sup> <sup>[1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-6)</sup> <sup>[1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-7)</sup> <sup>[1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-8)</sup> <sup>[1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-9)</sup> <sup>[1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-10)</sup> <sup>[1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-11)</sup> <sup>[1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-12)</sup> <sup>[1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-13)</sup> <sup>[1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-14)</sup> <sup>[1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-15)</sup> <sup>[1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-16)</sup> <sup>[1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-17)</sup> <sup>[1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-18)</sup> <sup>[1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-19)</sup> <sup>[1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-20)</sup> <sup>[1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-21)</sup> <sup>[1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-22)</sup> <sup>[1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-23)</sup> <sup>[1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-24)</sup> <sup>[1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-25)</sup> <sup>[1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-26)</sup> <sup>[1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-27)</sup> <sup>[1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-28)</sup> <sup>[1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-29)</sup> <sup>[1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-30)</sup> <sup>[1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-31)</sup> <sup>[1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-32)</sup> <sup>[1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-33)</sup> <sup>[1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-34)</sup> <sup>[1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-35)</sup> <sup>[1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-36)</sup> <sup>[1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-37)</sup> <sup>[1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-38)</sup> <sup>[1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-39)</sup> <sup>[1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-40)</sup> <sup>[1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-41)</sup> <sup>[1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-42)</sup> <sup>[1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-43)</sup> <sup>[1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-44)</sup> <sup>[1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-45)</sup> <sup>[1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-46)</sup> <sup>[1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-47)</sup> <sup>[1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-48)</sup> <sup>[1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-49)</sup> <sup>[1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-50)</sup> <sup>[1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-51)</sup> <sup>[1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-52)</sup> <sup>[1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-53)</sup> <sup>[1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-54)</sup> <sup>[1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-55)</sup> <sup>[1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-56)</sup> <sup>[1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-57)</sup> <sup>[1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-58)</sup> <sup>[1.59](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-neurips-main_1-59)</sup> Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS*. <a href="http://papers.neurips.cc/paper/8589-superglue-a-stickier-benchmark-for-general-purpose-language-understanding-systems.pdf" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-reddit-t5-2">↑ <sup>[2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-reddit-t5_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-reddit-t5_2-1)</sup> <sup>[2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-reddit-t5_2-2)</sup> <sup>[2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-reddit-t5_2-3)</sup> <sup>[2.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-reddit-t5_2-4)</sup> «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». *Reddit /r/linguistics*. <a href="https://www.reddit.com/r/linguistics/comments/dmtr38/google_t5_algorithm_scores_889_on_superglue/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-microsoft-deberta-3">↑ <sup>[3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-2)</sup> <sup>[3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-3)</sup> <sup>[3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-4)</sup> <sup>[3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-5)</sup> <sup>[3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-6)</sup> <sup>[3.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-deberta_3-7)</sup> «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». *Microsoft Research Blog*. <a href="https://www.microsoft.com/en-us/research/blog/microsoft-deberta-surpasses-human-performance-on-the-superglue-benchmark/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-syncedreview-deberta-4">↑ <sup>[4.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-syncedreview-deberta_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-syncedreview-deberta_4-1)</sup> «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». *Synced Review*. <a href="https://syncedreview.com/2021/01/06/microsoft-deberta-tops-human-performance-on-superglue-nlu-benchmark/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-microsoft-scaling-5">↑ <sup>[5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-scaling_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-scaling_5-1)</sup> <sup>[5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-scaling_5-2)</sup> <sup>[5.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-microsoft-scaling_5-3)</sup> «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». *Microsoft Research Blog*. <a href="https://www.microsoft.com/en-us/research/blog/efficiently-and-effectively-scaling-up-language-model-pretraining-for-best-language-representation-model-on-glue-and-superglue/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-ainavigator-benchmarks-6">↑ <sup>[6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-1)</sup> <sup>[6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-2)</sup> <sup>[6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-3)</sup> <sup>[6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-4)</sup> <sup>[6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-5)</sup> <sup>[6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-6)</sup> <sup>[6.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(IT)#cite_ref-ainavigator-benchmarks_6-7)</sup> «The Ultimate Guide to AI Benchmarks». *The AI Navigator*. <a href="https://www.theainavigator.com/blog/the-ultimate-guide-to-ai-benchmarks/" class="external autonumber" rel="nofollow">[6]</a></span>