HellaSwag Benchmark

HellaSwag ist ein Referenzdatensatz (Benchmark), der 2019 vorgestellt wurde, um die Fähigkeit von Modellen der künstlichen Intelligenz zum Verstehen von Alltagssituationen (commonsense reasoning) in natürlicher Sprache zu bewerten. Der Benchmark wurde von einer Gruppe von Forschern der University of Washington und des Allen Institute for Artificial Intelligence entwickelt.

Die Aufgabe bei HellaSwag besteht darin, die plausibelste Fortsetzung für einen gegebenen Textkontext auszuwählen. Das Hauptmerkmal des Datensatzes ist, dass er für Menschen trivial ist, aber selbst fortgeschrittene Sprachmodelle vor große Herausforderungen stellt, die sich auf oberflächliche statistische Muster stützen.

Geschichte und Hintergrund

HellaSwag ist eine Weiterentwicklung der Ideen des Datensatzes SWAG (Situations With Adversarial Generations), der 2018 von derselben Autorengruppe vorgeschlagen wurde. Bei der SWAG-Aufgabe mussten Modelle die wahrscheinlichste Fortsetzung einer einfachen Situationsbeschreibung auswählen. Ursprünglich war SWAG für Algorithmen schwierig, aber mit dem Aufkommen des BERT-Modells erreichten dessen Ergebnisse auf SWAG ein Niveau von ~86 % und waren damit fast mit der menschlichen Leistung vergleichbar.

Dieser Erfolg ließ Zweifel aufkommen: „Versteht“ BERT den Text wirklich, oder hat es nur gelernt, statistische Artefakte und Muster im Datensatz zu erkennen? Die Autoren von HellaSwag stellten die Hypothese auf, dass das hohe Ergebnis von BERT nicht auf echtem Verständnis beruhte, sondern auf einer Überanpassung an die Besonderheiten des Datensatzes. Sie zeigten, dass die Genauigkeit von BERT bei der geringsten Änderung der Datenverteilung drastisch abfiel. Dies bedeutete, dass für eine objektive Bewertung des Fortschritts in der NLP ein neuer, komplexerer und „kniffligerer“ Benchmark erforderlich war.

Beschreibung und Ziele des Datensatzes

HellaSwag wurde als Test entwickelt, um die Grenzen moderner Modelle beim Verständnis von kausalen Zusammenhängen und Alltagsszenarien aufzuzeigen.

Struktur der Aufgabe

Jedes Beispiel in HellaSwag besteht aus zwei Teilen:

1. Kontext: Ein kurzer Absatz (bis zu drei Sätze), der den Beginn einer Situation beschreibt.
2. Vier mögliche Fortsetzungen: Vier mögliche Fortsetzungen der Geschichte, die ebenfalls aus mehreren Sätzen bestehen.

Nur eine dieser Fortsetzungen ist korrekt (die reale), während die anderen drei falsch sind und speziell generiert wurden, um das Modell in die Irre zu führen.

Datenquellen

Die Situationsbeispiele wurden aus zwei Quellen entnommen, die ein breites Spektrum an Alltagsszenarien abdecken:

• ActivityNet Captions: Beschreibungen von Handlungen aus Videos (z. B. „eine Person öffnet ein Gurkenglas“).
• WikiHow: Anleitungen aus Artikeln (z. B. „wie man einen Autoreifen wechselt“).

Das Ziel von HellaSwag ist es, einen Benchmark zu schaffen, der für Menschen leicht (intuitiv) zu lösen ist, aber die Aufgabe für Modelle, die nicht über ein umfassendes Alltagsverständnis verfügen, maximal erschwert. Diesen Effekt nannten die Autoren den „Goldlöckchen-Effekt“ (Goldilocks effect).

Die Methode des Adversarial Filtering (AF)

Die zentrale Innovation bei der Erstellung von HellaSwag war die Methode des Adversarial Filtering (AF) – eine iterative Auswahl von „Fallen“, die auf ein bestimmtes „Opfer“-Modell zugeschnitten sind. Diese Methode ermöglichte es, falsche Optionen zu erstellen, die aus Sicht statistischer Modelle täuschend echt wirken.

Das Schema von AF funktioniert wie folgt:

1. Generierung. Auf Basis des ursprünglichen Kontexts erzeugt ein generatives Sprachmodell (z. B. GPT) eine Vielzahl potenziell falscher Endungen.
2. Diskriminierung. Ein Klassifikator-Modell (z. B. BERT), das als „Opfer“ dient, versucht, die generierten Fortsetzungen von der realen (korrekten) zu unterscheiden.
3. Auswahl. Es werden jene falschen Optionen ausgewählt, die der Klassifikator als am plausibelsten eingestuft hat, d. h. jene, bei denen er am wahrscheinlichsten einen Fehler gemacht hätte.
4. Iteration. Der Prozess wird mehrfach wiederholt, bis die falschen Antworten für den Algorithmus der korrekten Antwort maximal ähneln.
5. Menschliche Verifizierung. In der letzten Phase werden die erstellten Sets (Kontext + 1 korrekte Endung + 3 beste falsche Endungen) von Menschen bewertet. Die Bewerter bestätigen, dass die korrekte Option eindeutig die natürlichste ist, während alle Alternativen eine für den Menschen erkennbare Unlogik aufweisen.

Dank AF ist jedes Beispiel in HellaSwag von vornherein so konstruiert, dass es das Modell in die Irre führt, aber für einen Menschen transparent bleibt.

Ergebnisse und Bedeutung

HellaSwag erwies sich als harter Test für Modelle zum Textverständnis. Die Testergebnisse zeigten eine enorme Kluft zwischen maschineller und menschlicher Intelligenz:

• Ein Mensch löst die HellaSwag-Aufgaben praktisch fehlerfrei mit einer Genauigkeit von etwa 95–96 %.
• Das zum Zeitpunkt der Erstellung beste Modell, BERT-Large, erreichte nur eine Genauigkeit von ~47 %. Einfachere Methoden erzielten Ergebnisse, die nur geringfügig über dem zufälligen Raten (25 %) lagen.

Die Lücke von mehr als 45 Prozentpunkten bestätigte die Hypothese, dass hohe Ergebnisse in früheren Tests kein echtes Verständnis bedeuteten. HellaSwag zeigte, dass Modelle selbst nach dem Training mit riesigen Datenmengen keinen allgemeinen gesunden Menschenverstand für neue Situationen entwickeln können.

In den folgenden Jahren etablierte sich HellaSwag als einer der Standardtests für neue Sprachmodelle. Der Fortschritt von KI-Systemen konnte anhand ihrer Ergebnisse in diesem Benchmark verfolgt werden.

• Im Jahr 2020 erreichte das Modell GPT-3 (175 Milliarden Parameter) im Few-Shot-Modus eine Genauigkeit von ~79 %, was die Leistung vieler spezialisierter Modelle dieser Zeit übertraf, aber immer noch deutlich unter der menschlichen lag.
• Erst im Jahr 2023 konnten Modelle der neuen Generation, wie GPT-4, bei HellaSwag ein mit dem Menschen vergleichbares Ergebnis erzielen (etwa 95 % Genauigkeit).

Die Entwicklung von HellaSwag markierte einen neuen Ansatz zur Bewertung des Fortschritts im NLP, der auf der Idee der evolvierenden Benchmarks basiert: Mit der Verbesserung der Modelle müssen neue, anspruchsvollere Tests entwickelt werden, die ihre Schwachstellen aufdecken.

Weblinks

• Offizielle Website des HellaSwag-Projekts
• Wissenschaftlicher Artikel „HellaSwag: Can a Machine Really Finish Your Sentence?“

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.