HellaSwag Benchmark (IT)

HellaSwag — è un insieme di dati di riferimento (benchmark), presentato nel 2019 per valutare la capacità dei modelli di intelligenza artificiale nella comprensione delle situazioni quotidiane (commonsense reasoning) nel linguaggio naturale. Il benchmark è stato sviluppato da un gruppo di ricercatori dell'Università di Washington e dell'Allen Institute for Artificial Intelligence.

Il compito di HellaSwag consiste nel selezionare il completamento più plausibile per un dato contesto testuale. La caratteristica fondamentale dell'insieme di dati è che risulta banale per un essere umano, ma mette in difficoltà persino i modelli linguistici più avanzati, che si affidano a schemi statistici superficiali.

Storia e presupposti

HellaSwag è uno sviluppo delle idee del dataset SWAG (Situations With Adversarial Generations), proposto dallo stesso gruppo di autori nel 2018. Nel compito SWAG i modelli dovevano scegliere la continuazione più probabile per la descrizione di una situazione semplice. Inizialmente SWAG era difficile per gli algoritmi, ma con la comparsa del modello BERT i suoi risultati su SWAG raggiunsero il livello di ~86%, avvicinandosi praticamente al livello umano.

Questo successo generò dubbi: BERT «comprende» davvero il testo, oppure ha semplicemente imparato a riconoscere artefatti statistici e schemi presenti nell'insieme di dati? Gli autori di HellaSwag avanzarono l'ipotesi che il risultato elevato di BERT fosse spiegato non da una vera comprensione, ma dall'adattamento alle caratteristiche specifiche del dataset. Dimostrarono che al minimo cambiamento nella distribuzione dei dati la precisione di BERT cala drasticamente. Ciò significava che per una valutazione oggettiva dei progressi nel NLP era necessario un benchmark nuovo, più complesso e «insidioso».

Descrizione e obiettivi del dataset

HellaSwag è stato creato come test volto a individuare i limiti dei modelli attuali nella comprensione delle relazioni causali e degli scenari quotidiani.

Struttura del compito

Ogni esempio in HellaSwag è composto da due parti:

1. Contesto: Un breve paragrafo (fino a tre frasi) che descrive l'inizio di una determinata situazione.
2. Quattro opzioni di completamento: Quattro possibili continuazioni della storia, composte anch'esse da alcune frasi.

Solo uno di questi completamenti è corretto (reale), mentre gli altri tre sono falsi, generati appositamente per confondere il modello.

Fonti dei dati

Gli esempi di situazioni sono stati tratti da due fonti che coprono un'ampia gamma di scenari quotidiani:

• ActivityNet Captions: Descrizioni di azioni tratte da video (ad esempio, «una persona apre un barattolo di cetriolini»).
• WikiHow: Istruzioni tratte da articoli (ad esempio, «come cambiare una ruota dell'automobile»).

L'obiettivo di HellaSwag è creare un benchmark che sia facilmente risolvibile da un essere umano (intuitivamente), ma che renda il compito il più difficile possibile per i modelli privi di un genuino senso comune. Questo effetto è stato definito dagli autori «effetto Riccioli d'Oro» (Goldilocks effect).

Metodologia Adversarial Filtering (AF)

L'innovazione fondamentale nella creazione di HellaSwag è stato il metodo Adversarial Filtering (AF) — una selezione iterativa di «trappole» destinate a uno specifico modello «vittima». Questo metodo ha permesso di creare opzioni false ingannevolmente simili a quelle corrette dal punto di vista dei modelli statistici.

Lo schema di funzionamento dell'AF è il seguente:

1. Generazione. Sulla base del contesto originale, un modello linguistico generatore (ad esempio GPT) produce una serie di possibili conclusioni errate.
2. Discriminazione. Un modello classificatore (ad esempio BERT), nel ruolo di «vittima», cerca di distinguere le continuazioni generate da quella reale (corretta).
3. Selezione. Vengono selezionate le opzioni false che il classificatore ha ritenuto più plausibili, ovvero quelle su cui ha più probabilmente commesso un errore.
4. Iterazione. Il processo si ripete più volte, finché le risposte false non diventano il più simili possibile a quella corretta per l'algoritmo.
5. Verifica umana. Nella fase finale, gli insiemi ottenuti (contesto + 1 conclusione corretta + 3 migliori conclusioni false) vengono valutati da esseri umani. I valutatori confermano che l'opzione corretta è inequivocabilmente la più naturale, mentre tutte le alternative contengono una qualche incongruenza evidente per l'uomo.

Grazie all'AF, ogni esempio in HellaSwag è costruito fin dall'inizio per trarre in inganno il modello, pur rimanendo trasparente per l'essere umano.

Risultati e significato

HellaSwag è diventato una prova rigorosa per i modelli di comprensione del testo. I risultati dei test hanno mostrato un enorme divario tra l'intelligenza delle macchine e quella umana:

• L'essere umano risolve i compiti di HellaSwag in modo praticamente privo di errori, con una precisione di circa 95-96%.
• Il miglior modello al momento della creazione, BERT-Large, ha raggiunto solo circa ~47% di precisione. I metodi più semplici mostravano risultati di poco superiori all'indovinare casualmente (25%).

Un divario di oltre 45 punti percentuali ha confermato l'ipotesi che i risultati elevati nei test precedenti non significassero una reale comprensione. HellaSwag ha dimostrato che anche dopo l'addestramento su enormi quantità di dati i modelli non riescono a sviluppare un senso comune generalizzato per le nuove situazioni.

Negli anni successivi HellaSwag è entrato a far parte dei test standard per i nuovi modelli linguistici. I progressi dei sistemi di AI potevano essere monitorati attraverso i loro risultati su questo benchmark.

• Nel 2020, il modello GPT-3 (175 miliardi di parametri) ha ottenuto una precisione di ~79% in modalità few-shot, superando molti modelli specializzati dell'epoca, ma rimanendo ancora significativamente al di sotto del livello umano.
• Solo nel 2023 i modelli di nuova generazione, come GPT-4, sono riusciti a raggiungere su HellaSwag un risultato paragonabile a quello umano (circa 95% di precisione).

La creazione di HellaSwag ha segnato un nuovo approccio alla valutazione dei progressi nel NLP, basato sull'idea dei benchmark evolutivi: man mano che i modelli migliorano, è necessario creare test nuovi e più complessi che ne mettano in luce i punti deboli.

Riferimenti

• Sito ufficiale del progetto HellaSwag
• Articolo scientifico «HellaSwag: Can a Machine Really Finish Your Sentence?»

Bibliografia

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.