HellaSwag Benchmark (RO)

HellaSwag — este un set de date de referință (benchmark), prezentat în 2019 pentru evaluarea capacității modelelor de inteligență artificială de a înțelege situații cotidiene (commonsense reasoning) în limbaj natural. Benchmark-ul a fost dezvoltat de un grup de cercetători de la Universitatea din Washington și Institutul Allen pentru Inteligență Artificială.

Sarcina HellaSwag constă în selectarea celei mai plauzibile completări pentru un context textual dat. Caracteristica esențială a setului de date este că este trivial pentru om, dar pune în dificultate chiar și modelele lingvistice avansate, care se bazează pe tipare statistice superficiale.

Istoric și premise

HellaSwag reprezintă o dezvoltare a ideilor din dataset-ul SWAG (Situations With Adversarial Generations), propus de același grup de autori în 2018. În sarcina SWAG, modelele trebuiau să aleagă cea mai probabilă continuare pentru descrierea unei situații simple. Inițial, SWAG era dificil pentru algoritmi, dar odată cu apariția modelului BERT, rezultatele acestuia pe SWAG au atins nivelul de ~86%, apropiindu-se practic de performanța umană.

Acest succes a generat îndoieli: înțelege BERT cu adevărat textul, sau a învățat pur și simplu să recunoască artefacte statistice și șabloane prezente în setul de date? Autorii HellaSwag au emis ipoteza că rezultatul ridicat al BERT se explică nu printr-o înțelegere autentică, ci prin adaptarea la specificul dataset-ului. Ei au demonstrat că la cea mai mică modificare a distribuției datelor, acuratețea BERT scade brusc. Aceasta însemna că pentru o evaluare obiectivă a progresului în NLP era nevoie de un benchmark nou, mai complex și mai „înșelător".

Descrierea și scopurile dataset-ului

HellaSwag a fost creat ca un test menit să evidențieze limitele modelelor actuale în înțelegerea relațiilor cauză-efect și a scenariilor cotidiene.

Structura sarcinii

Fiecare exemplu din HellaSwag este alcătuit din două părți:

1. Context: Un scurt paragraf (până la trei propoziții) care descrie începutul unei situații.
2. Patru variante de completare: Patru continuări posibile ale povestirii, alcătuite și ele din mai multe propoziții.

Numai una dintre aceste completări este corectă (reală), iar celelalte trei sunt false, generate special pentru a deruta modelul.

Surse de date

Exemplele de situații au fost preluate din două surse, acoperind o gamă largă de scenarii cotidiene:

• ActivityNet Captions: Descrieri ale acțiunilor din clipuri video (de exemplu, „o persoană deschide un borcan cu castraveți").
• WikiHow: Instrucțiuni din articole (de exemplu, „cum se schimbă o roată la mașină").

Scopul HellaSwag este de a crea un benchmark ușor de rezolvat de om (în mod intuitiv), dar care să îngreuneze la maximum sarcina pentru modelele ce nu dețin simț comun autentic. Acest efect a fost numit de autori „efectul Goldilocks\" (Goldilocks effect).

Metodologia Adversarial Filtering (AF)

Principala inovație în crearea HellaSwag a constituit-o metoda Adversarial Filtering (AF) — o selecție iterativă de „capcane" destinate unui anumit model „victimă". Această metodă a permis crearea unor variante false care seamănă înșelător cu cele corecte din perspectiva modelelor statistice.

Schema de funcționare a AF este următoarea:

1. Generare. Pe baza contextului inițial, un model lingvistic generator (de exemplu, GPT) creează un număr mare de finaluri incorecte potențiale.
2. Discriminare. Un model clasificator (de exemplu, BERT), care joacă rolul „victimei", încearcă să distingă continuările generate de cea reală (corectă).
3. Selecție. Sunt selectate acele variante false pe care clasificatorul le-a considerat cele mai plauzibile, adică cele pe care cel mai probabil le-a confundat.
4. Iterație. Procesul se repetă de mai multe ori, până când răspunsurile false devin cât mai asemănătoare cu cel corect pentru algoritm.
5. Verificare umană. În etapa finală, seturile obținute (context + 1 final corect + 3 cele mai bune variante false) sunt evaluate de oameni. Evaluatorii confirmă că varianta corectă este în mod neechivoc cea mai naturală, iar toate alternativele conțin o anumită incoerență sesizabilă de om.

Datorită AF, fiecare exemplu din HellaSwag este construit de la bun început pentru a induce modelul în eroare, rămânând totodată transparent pentru om.

Rezultate și semnificație

HellaSwag a devenit un test riguros pentru modelele de înțelegere a textului. Rezultatele testării au evidențiat un decalaj uriaș între inteligența artificială și cea umană:

• Omul rezolvă sarcinile HellaSwag aproape fără greșeli, cu o acuratețe de aproximativ 95-96%.
• Cel mai bun model la momentul creării, BERT-Large, a atins doar ~47% acuratețe. Metodele mai simple obțineau rezultate cu puțin peste ghicitul aleatoriu (25%).

Decalajul de peste 45 de puncte procentuale a confirmat ipoteza că rezultatele ridicate la testele anterioare nu indicau o înțelegere reală. HellaSwag a demonstrat că, chiar și după antrenamentul pe volume imense de date, modelele nu pot dezvolta un simț comun general pentru situații noi.

În anii următori, HellaSwag a intrat în rândul testelor standard pentru noile modele lingvistice. Progresul sistemelor AI putea fi urmărit prin rezultatele lor pe acest benchmark.

• În 2020, modelul GPT-3 (175 de miliarde de parametri) a obținut o acuratețe de ~79% în regim few-shot, depășind nivelul multor modele specializate ale perioadei respective, dar rămânând în continuare semnificativ sub performanța umană.
• Abia în 2023, modelele de nouă generație, precum GPT-4, au reușit să atingă pe HellaSwag un rezultat comparabil cu cel uman (aproximativ 95% acuratețe).

Crearea HellaSwag a marcat o nouă abordare în evaluarea progresului în NLP, bazată pe ideea benchmark-urilor evolutive: pe măsură ce modelele se perfecționează, este necesar să se creeze teste noi, mai complexe, care să le evidențieze punctele slabe.

Legături externe

• Site-ul oficial al proiectului HellaSwag
• Articolul științific „HellaSwag: Can a Machine Really Finish Your Sentence?"

Bibliografie

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.