HellaSwag Benchmark (SV)

HellaSwag — är ett referensdataset (benchmark) som presenterades 2019 för att utvärdera AI-modellers förmåga att förstå vardagssituationer (commonsense reasoning) på naturligt språk. Benchmarket utvecklades av en forskargrupp från University of Washington och Allen Institute for Artificial Intelligence.

HellaSwags uppgift består i att välja den mest trovärdiga avslutningen för ett givet textsammanhang. En central egenskap hos datasetet är att det är trivialt för människor, men sätter i kläm även avancerade språkmodeller som förlitar sig på ytliga statistiska mönster.

Historia och bakgrund

HellaSwag är en vidareutveckling av idéerna bakom datasetet SWAG (Situations With Adversarial Generations), som föreslogs av samma forskargrupp år 2018. I SWAG-uppgiften krävdes det att modeller valde den mest sannolika fortsättningen för en beskrivning av en enkel situation. Inledningsvis var SWAG svårt för algoritmer, men i och med att modellen BERT introducerades nådde dess resultat på SWAG nivån ~86%, vilket praktiskt taget var i nivå med mänsklig prestanda.

Denna framgång väckte tvivel: förstår BERT verkligen text, eller har den helt enkelt lärt sig att känna igen statistiska artefakter och mönster som finns i datasetet? Författarna till HellaSwag ställde hypotesen att BERTs höga resultat inte förklaras av genuin förståelse, utan av anpassning till datasetets specifika egenskaper. De visade att vid minsta förändring av datadistributionen sjunker BERTs noggrannhet kraftigt. Detta innebar att ett nytt, mer komplext och mer utmanande benchmark behövdes för en objektiv utvärdering av framsteg inom NLP.

Beskrivning och mål med datasetet

HellaSwag skapades som ett test avsett att blottlägga begränsningarna hos moderna modeller vad gäller förståelse av orsak-verkan-samband och vardagsscenarier.

Uppgiftens struktur

Varje exempel i HellaSwag består av två delar:

1. Kontext: Ett kort stycke (upp till tre meningar) som beskriver inledningen av en viss situation.
2. Fyra avslutningsalternativ: Fyra möjliga fortsättningar på berättelsen, även de bestående av flera meningar.

Endast en av dessa avslutningar är korrekt (verklig), medan de övriga tre är falska och speciellt genererade för att förvirra modellen.

Datakällor

Situationsexemplen hämtades från två källor som täcker ett brett spektrum av vardagsscenarier:

• ActivityNet Captions: Beskrivningar av handlingar från videor (t.ex. "en person öppnar en burk med gurkor").
• WikiHow: Instruktioner från artiklar (t.ex. "hur man byter däck på en bil").

Målet med HellaSwag är att skapa ett benchmark som en människa enkelt löser (intuitivt), men som maximalt försvårar uppgiften för modeller som saknar ett fullständigt sunt förnuft. Denna effekt kallade författarna för "Guldlock-effekten" (Goldilocks effect).

Metoden Adversarial Filtering (AF)

Den viktigaste innovationen vid skapandet av HellaSwag var metoden Adversarial Filtering (AF) — ett iterativt urval av "fällor" anpassade för en specifik målmodell. Denna metod möjliggjorde skapandet av falska alternativ som på ett bedrägligt sätt liknar de korrekta ur statistiska modellers synvinkel.

AF-metodens arbetsgång ser ut som följer:

1. Generering. Utifrån det ursprungliga sammanhanget genererar en språkmodell (t.ex. GPT) ett stort antal potentiella felaktiga avslutningar.
2. Diskriminering. En klassificeringsmodell (t.ex. BERT), som fungerar som "måltavla", försöker skilja de genererade fortsättningarna från den verkliga (korrekta).
3. Urval. De falska alternativ väljs ut som klassificeraren ansåg vara mest trovärdiga, det vill säga de som den med störst sannolikhet hade fel på.
4. Iteration. Processen upprepas många gånger tills de falska svaren är maximalt lika det korrekta för algoritmen.
5. Mänsklig verifiering. I det sista steget utvärderas de framtagna uppsättningarna (kontext + 1 korrekt avslutning + 3 bästa falska) av människor. Bedömarna bekräftar att det korrekta alternativet otvetydigt är det mest naturliga, och att alla alternativ innehåller någon form av ologiskhet som är märkbar för en människa.

Tack vare AF är varje exempel i HellaSwag från grunden konstruerat för att vilseleda modellen, men ändå förbli transparent för en människa.

Resultat och betydelse

HellaSwag blev ett rigoröst prov för textförståelsemodeller. Testresultaten visade ett enormt gap mellan maskinell och mänsklig intelligens:

• Människor löser HellaSwag-uppgifter nästan felfritt, med en noggrannhet på ungefär 95–96%.
• Den bästa modellen vid tidpunkten för datasetets skapande, BERT-Large, nådde bara ~47% noggrannhet. Enklare metoder visade resultat inte mycket bättre än slumpmässig gissning (25%).

Gapet på mer än 45 procentenheter bekräftade hypotesen om att höga resultat på tidigare tester inte innebar genuin förståelse. HellaSwag visade att även efter träning på enorma datamängder kan modeller inte utveckla ett allmänt sunt förnuft för nya situationer.

Under de följande åren kom HellaSwag att ingå bland standardtester för nya språkmodeller. Framstegen hos AI-system kunde följas genom deras resultat på detta benchmark.

• År 2020 uppnådde modellen GPT-3 (175 miljarder parametrar) en noggrannhet på ~79% i few-shot-läge, vilket översteg nivån för många specialiserade modeller under den perioden, men fortfarande låg betydligt under människans nivå.
• Först år 2023 lyckades nästa generations modeller, såsom GPT-4, nå ett resultat på HellaSwag som är jämförbart med mänskligt (ungefär 95% noggrannhet).

Skapandet av HellaSwag markerade ett nytt förhållningssätt till utvärdering av framsteg inom NLP, grundat på idén om evolverande benchmark: i takt med att modeller förbättras måste nya, mer komplexa tester skapas som blottlägger deras svagheter.

Länkar

• Officiell webbplats för HellaSwag-projektet
• Vetenskaplig artikel «HellaSwag: Can a Machine Really Finish Your Sentence?»

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.