HellaSwag Benchmark (CS)

HellaSwag — je referenční datová sada (benchmark), představená v roce 2019 za účelem hodnocení schopnosti modelů umělé inteligence porozumět každodenním situacím (commonsense reasoning) v přirozeném jazyce. Benchmark byl vyvinut skupinou výzkumníků z Washingtonské univerzity a Allenova institutu pro umělou inteligenci.

Úkolem HellaSwag je vybrat nejpravděpodobnější zakončení pro zadaný textový kontext. Klíčovou vlastností datové sady je to, že je triviální pro člověka, ale přivádí do úzkých i pokročilé jazykové modely, které se spoléhají na povrchní statistické vzory.

Historie a předpoklady

HellaSwag je rozvíjením myšlenek datasetu SWAG (Situations With Adversarial Generations), navrženého stejnou skupinou autorů v roce 2018. V úloze SWAG měly modely vybrat nejpravděpodobnější pokračování popisu jednoduché situace. Zpočátku byl SWAG pro algoritmy obtížný, avšak s příchodem modelu BERT dosáhly jeho výsledky na SWAG úrovně přibližně ~86 %, čímž se prakticky vyrovnaly výsledkům lidí.

Tento úspěch vzbudil pochybnosti: rozumí BERT textu skutečně, nebo se pouze naučil rozpoznávat statistické artefakty a vzory přítomné v datové sadě? Autoři HellaSwag vyslovili hypotézu, že vysoký výsledek BERT není způsoben skutečným porozuměním, ale přizpůsobením se specifikám datasetu. Ukázali, že při sebemenší změně distribuce dat přesnost BERT prudce klesá. To znamenalo, že pro objektivní hodnocení pokroku v NLP je zapotřebí nový, náročnější a „zákeřnější" benchmark.

Popis a cíle datové sady

HellaSwag byl vytvořen jako test, jehož cílem je odhalit omezení současných modelů v porozumění příčinno-následkovým vztahům a každodenním scénářům.

Struktura úlohy

Každý příklad v HellaSwag se skládá ze dvou částí:

1. Kontext: Krátký odstavec (do tří vět) popisující začátek určité situace.
2. Čtyři varianty zakončení: Čtyři možná pokračování příběhu, také tvořená několika větami.

Pouze jedno z těchto zakončení je správné (skutečné), zatímco zbývající tři jsou falešná, generovaná speciálně proto, aby zmátla model.

Zdroje dat

Příklady situací byly převzaty ze dvou zdrojů pokrývajících široké spektrum každodenních scénářů:

• ActivityNet Captions: Popisy akcí z videí (například „člověk otevírá sklenici s okurkami").
• WikiHow: Návody ze článků (například „jak vyměnit kolo na automobilu").

Cílem HellaSwag je vytvořit benchmark, který člověk snadno vyřeší (intuitivně), ale který maximálně ztěžuje úlohu modelům, jež nedisponují plnohodnotným zdravým rozumem. Tento efekt autoři nazvali „efektem Zlatovlásky" (Goldilocks effect).

Metodika Adversarial Filtering (AF)

Klíčovou inovací při tvorbě HellaSwag se stala metoda Adversarial Filtering (AF) — iterativní výběr „pastí" určených pro konkrétní cílový model. Tato metoda umožnila vytvořit falešné varianty, které jsou ze statistického hlediska klamně podobné těm správným.

Princip fungování AF je následující:

1. Generování. Na základě výchozího kontextu generuje jazykový model-generátor (například GPT) množství potenciálních nesprávných zakončení.
2. Diskriminace. Model-klasifikátor (například BERT), vystupující v roli „oběti", se pokouší odlišit vygenerovaná pokračování od skutečného (správného).
3. Výběr. Jsou vybrány ty falešné varianty, které klasifikátor považoval za nejpravděpodobnější, tedy ty, u nichž se nejspíše zmýlil.
4. Iterace. Proces se opakuje mnohokrát, dokud falešné odpovědi nejsou pro algoritmus maximálně podobné té správné.
5. Ověření člověkem. V závěrečné fázi jsou získané sady (kontext + 1 správné zakončení + 3 nejlepší falešné) hodnoceny lidmi. Hodnotitelé potvrzují, že správná varianta je jednoznačně nejpřirozenější a všechny alternativy obsahují nějakou nelogičnost, kterou si člověk všimne.

Díky AF je každý příklad v HellaSwag od počátku zkonstruován tak, aby model uvedl v omyl, a přitom zůstal pro člověka srozumitelný.

Výsledky a význam

HellaSwag se stal přísnou zkouškou pro modely porozumění textu. Výsledky testování odhalily obrovský rozdíl mezi strojovou a lidskou inteligencí:

• Člověk řeší úlohy HellaSwag prakticky bezchybně, s přesností přibližně 95–96 %.
• Nejlepší model v době vzniku, BERT-Large, dosáhl pouhých přibližně ~47 % přesnosti. Jednodušší metody vykazovaly výsledky jen o málo lepší než náhodný odhad (25 %).

Rozdíl více než 45 procentních bodů potvrdil hypotézu, že vysoké výsledky v předchozích testech neznamenaly skutečné porozumění. HellaSwag prokázal, že ani po trénování na obrovských objemech dat nedokážou modely vyvinout obecný zdravý rozum pro nové situace.

V následujících letech se HellaSwag zařadil mezi standardní testy pro nové jazykové modely. Pokrok AI systémů bylo možné sledovat podle jejich výsledků na tomto benchmarku.

• V roce 2020 dosáhl model GPT-3 (175 miliard parametrů) přesnosti ~79 % v režimu few-shot, čímž překonal úroveň mnoha specializovaných modelů tehdejší doby, ale stále výrazně zaostával za člověkem.
• Teprve v roce 2023 dokázaly modely nové generace, jako GPT-4, dosáhnout na HellaSwag výsledku srovnatelného s lidským (přibližně 95 % přesnosti).

Vytvoření HellaSwag označilo nový přístup k hodnocení pokroku v NLP, založený na myšlence vyvíjejících se benchmarků: jak se modely zdokonalují, je nutné vytvářet nové, náročnější testy odhalující jejich slabá místa.

Odkazy

• Oficiální stránky projektu HellaSwag
• Vědecký článek „HellaSwag: Can a Machine Really Finish Your Sentence?"

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.