HellaSwag Benchmark (PL)

HellaSwag — to wzorcowy zbiór danych (benchmark), przedstawiony w 2019 roku w celu oceny zdolności modeli sztucznej inteligencji do rozumienia codziennych sytuacji (commonsense reasoning) w języku naturalnym. Benchmark został opracowany przez grupę badaczy z Uniwersytetu Waszyngtońskiego oraz Instytutu Sztucznej Inteligencji Allena.

Zadanie HellaSwag polega na wyborze najbardziej prawdopodobnego zakończenia dla danego kontekstu tekstowego. Kluczową cechą zbioru danych jest to, że jest on trywialny dla człowieka, lecz wprawia w zakłopotanie nawet zaawansowane modele językowe, które opierają się na powierzchownych wzorcach statystycznych.

Historia i przesłanki

HellaSwag jest rozwinięciem idei datasetu SWAG (Situations With Adversarial Generations), zaproponowanego przez tę samą grupę autorów w 2018 roku. W zadaniu SWAG modele musiały wybrać najbardziej prawdopodobne kontynuowanie opisu prostej sytuacji. Początkowo SWAG był trudny dla algorytmów, jednak wraz z pojawieniem się modelu BERT jego wyniki na SWAG osiągnęły poziom ~86%, praktycznie dorównując wynikom człowieka.

Ten sukces wzbudził wątpliwości: czy BERT naprawdę „rozumie" tekst, czy też po prostu nauczył się rozpoznawać artefakty statystyczne i wzorce obecne w zbiorze danych? Autorzy HellaSwag wysunęli hipotezę, że wysokie wyniki BERT wynikają nie z prawdziwego rozumienia, lecz z dopasowania do specyfiki datasetu. Wykazali, że przy najmniejszej zmianie rozkładu danych dokładność BERT gwałtownie spada. Oznaczało to, że do obiektywnej oceny postępu w NLP potrzebny jest nowy, bardziej złożony i „podchwytliwy" benchmark.

Opis i cele datasetu

HellaSwag został stworzony jako test mający ujawnić ograniczenia współczesnych modeli w rozumieniu związków przyczynowo-skutkowych oraz codziennych scenariuszy.

Struktura zadania

Każdy przykład w HellaSwag składa się z dwóch części:

1. Kontekst: Krótki akapit (do trzech zdań) opisujący początek pewnej sytuacji.
2. Cztery warianty zakończenia: Cztery możliwe kontynuacje historii, również składające się z kilku zdań.

Tylko jedno z tych zakończeń jest prawidłowe (rzeczywiste), a pozostałe trzy są fałszywe — wygenerowane specjalnie po to, by zmylić model.

Źródła danych

Przyklady sytuacji zostały zaczerpnięte z dwóch źródeł obejmujących szeroki zakres codziennych scenariuszy:

• ActivityNet Captions: Opisy czynności z materiałów wideo (np. „człowiek otwiera słoik z ogórkami").
• WikiHow: Instrukcje z artykułów (np. „jak wymienić koło w samochodzie\").

Celem HellaSwag jest stworzenie benchmarku, który człowiek rozwiązuje z łatwością (intuicyjnie), lecz maksymalnie utrudnia zadanie modelom nieposiadającym pełnowartościowego zdrowego rozsądku. Efekt ten autorzy nazwali „efektem Złotowłosej" (Goldilocks effect).

Metodyka Adversarial Filtering (AF)

Kluczową innowacją przy tworzeniu HellaSwag była metoda Adversarial Filtering (AF) — iteracyjny dobór „pułapek" przeznaczonych dla konkretnego modelu-„ofiary". Metoda ta pozwoliła na stworzenie fałszywych wariantów, które są zwodniczo podobne do prawidłowych z punktu widzenia modeli statystycznych.

Schema działania AF wygląda następująco:

1. Generowanie. Na podstawie wyjściowego kontekstu model językowy-generator (np. GPT) tworzy wiele potencjalnych błędnych zakończeń.
2. Dyskryminacja. Model-klasyfikator (np. BERT), pełniący rolę „ofiary", próbuje odróżnić wygenerowane kontynuacje od rzeczywistej (prawidłowej).
3. Selekcja. Wybierane są te fałszywe warianty, które klasyfikator uznał za najbardziej wiarygodne, czyli te, na których z największym prawdopodobieństwem się pomylił.
4. Iteracja. Proces powtarzany jest wielokrotnie, aż fałszywe odpowiedzi staną się maksymalnie podobne do prawidłowej dla algorytmu.
5. Weryfikacja przez człowieka. Na finalnym etapie uzyskane zestawy (kontekst + 1 prawidłowe zakończenie + 3 najlepsze fałszywe) są oceniane przez ludzi. Oceniający potwierdzają, że prawidłowy wariant jest jednoznacznie najbardziej naturalny, a wszystkie alternatywy zawierają pewną nielogiczność zauważalną dla człowieka.

Dzięki AF każdy przykład w HellaSwag jest od początku skonstruowany tak, aby wprowadzić model w błąd, pozostając jednocześnie przejrzystym dla człowieka.

Wyniki i znaczenie

HellaSwag stał się rygorystycznym sprawdzianem dla modeli rozumienia tekstu. Wyniki testowania ujawniły ogromną przepaść między inteligencją maszynową a ludzką:

• Człowiek rozwiązuje zadania HellaSwag niemal bezbłędnie, z dokładnością około 95–96%.
• Najlepszy model w chwili powstania benchmarku, BERT-Large, osiągnął jedynie ~47% dokładności. Prostsze metody uzyskiwały wynik niewiele wyższy niż losowe zgadywanie (25%).

Różnica wynosząca ponad 45 punktów procentowych potwierdziła hipotezę, że wysokie wyniki w poprzednich testach nie oznaczały rzeczywistego rozumienia. HellaSwag wykazał, że nawet po trenowaniu na ogromnych ilościach danych modele nie są w stanie wykształcić ogólnego zdrowego rozsądku w odniesieniu do nowych sytuacji.

W kolejnych latach HellaSwag wszedł do grona standardowych testów dla nowych modeli językowych. Postęp systemów AI można było śledzić na podstawie ich wyników w tym benchmarku.

• W 2020 roku model GPT-3 (175 mld parametrów) osiągnął dokładność ~79% w trybie few-shot, co przewyższyło poziom wielu wyspecjalizowanych modeli tamtego okresu, lecz nadal znacznie ustępowało człowiekowi.
• Dopiero w 2023 roku modele nowej generacji, takie jak GPT-4, zdołały osiągnąć na HellaSwag wynik porównywalny z ludzkim (około 95% dokładności).

Powstanie HellaSwag wyznaczyło nowe podejście do oceny postępu w NLP, oparte na idei ewoluujących benchmarków: w miarę jak modele się doskonalą, konieczne jest tworzenie nowych, bardziej złożonych testów ujawniających ich słabe strony.

Linki

• Oficjalna strona projektu HellaSwag
• Artykuł naukowy „HellaSwag: Can a Machine Really Finish Your Sentence?"

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.