HellaSwag Benchmark (BG)

From Systems analysis Wiki
Jump to navigation Jump to search

HellaSwag — това е еталонен набор от данни (benchmark), представен през 2019 година за оценка на способността на модели с изкуствен интелект за разбиране на ежедневни ситуации (commonsense reasoning) на естествен език[1]. Benchmark-ът е разработен от група изследователи от Вашингтонския университет и Института за изкуствен интелект на Алън.

Задачата на HellaSwag се състои в избора на най-правдоподобното завършване за зададен текстов контекст. Ключовата особеност на набора от данни е, че той е тривиален за човека, но поставя в задънена улица дори напреднали езикови модели, които разчитат на повърхностни статистически закономерности[2].

История и предпоставки

HellaSwag е развитие на идеите на dataset-а SWAG (Situations With Adversarial Generations), предложен от същата група автори през 2018 година. В задачата SWAG моделите трябваше да изберат най-вероятното продължение за описание на проста ситуация. Първоначално SWAG беше труден за алгоритмите, но с появата на модела BERT резултатите му на SWAG достигнаха ниво от ~86%, практически изравнявайки се с човешките[2].

Този успех породи съмнения: наистина ли BERT „разбира" текста, или просто се е научил да разпознава статистически артефакти и шаблони, присъстващи в набора от данни? Авторите на HellaSwag издигнаха хипотезата, че високият резултат на BERT се обяснява не с истинско разбиране, а с приспособяване към спецификата на dataset-а. Те показаха, че при най-малка промяна в разпределението на данните точността на BERT рязко спада. Това означаваше, че за обективна оценка на напредъка в NLP е необходим нов, по-сложен и „коварен" benchmark[2].

Описание и цели на dataset-а

HellaSwag е създаден като тест, предназначен да разкрие ограниченията на съвременните модели в разбирането на причинно-следствени връзки и ежедневни сценарии.

Структура на задачата

Всеки пример в HellaSwag се състои от две части:

  1. Контекст: Кратък абзац (до три изречения), описващ началото на определена ситуация.
  2. Четири варианта на завършване: Четири възможни продължения на историята, също състоящи се от няколко изречения.

Само едно от тези завършвания е правилното (реалното), а останалите три са неверни, генерирани специално за да объркат модела.

Източници на данни

Примерите за ситуации са взети от два източника, обхващащи широк спектър от ежедневни сценарии:

  • ActivityNet Captions: Описания на действия от видеоклипове (например „човек отваря буркан с краставици").
  • WikiHow: Инструкции от статии (например „как да смените колело на автомобил").

Целта на HellaSwag е да се създаде benchmark, който лесно се решава от човека (интуитивно), но максимално затруднява задачата за модели, които не притежават пълноценен здрав разум. Авторите нарекоха този ефект „ефект на Златокоска" (Goldilocks effect)[1].

Методика Adversarial Filtering (AF)

Ключовата иновация при създаването на HellaSwag е методът Adversarial Filtering (AF) — итеративен подбор на „капани", предназначени за конкретен модел-„жертва". Този метод позволи да се създадат неверни варианти, които са измамно подобни на правилните от гледна точка на статистическите модели.

Схемата на работа на AF изглежда по следния начин:

  1. Генериране. Въз основа на изходния контекст езиковият модел-генератор (например GPT) създава множество потенциални неправилни завършвания.
  2. Дискриминация. Моделът-класификатор (например BERT), изпълняващ ролята на „жертва", се опитва да различи генерираните продължения от реалното (правилното).
  3. Подбор. Отбират се онези неверни варианти, които класификаторът е счел за най-правдоподобни, тоест тези, при които с най-голяма вероятност е сгрешил.
  4. Итерация. Процесът се повтаря многократно, докато неверните отговори не станат максимално подобни на правилния за алгоритъма.
  5. Верификация от човек. На финалния етап получените набори (контекст + 1 правилно завършване + 3 най-добри неверни) се оценяват от хора. Оценяващите потвърждават, че правилният вариант е недвусмислено най-естественият, а всички алтернативи съдържат някаква нелогичност, забележима за човека[2].

Благодарение на AF, всеки пример в HellaSwag е изначално конструиран така, че да въведе модела в заблуждение, но същевременно да остане прозрачен за човека.

Резултати и значение

HellaSwag се превърна в строго изпитание за модели за разбиране на текст. Резултатите от тестването показаха огромна пропаст между машинния и човешкия интелект:

  • Човекът решава задачите на HellaSwag практически безгрешно, с точност около 95-96%[2].
  • Най-добрият модел към момента на създаване, BERT-Large, постигна само ~47% точност. По-простите методи показваха резултат малко по-висок от случайното познаване (25%)[2].

Разликата от повече от 45 процентни пункта потвърди хипотезата, че високите показатели на предишните тестове не означаваха реално разбиране. HellaSwag демонстрира, че дори след обучение върху огромни обеми данни моделите не могат да изградят общ здрав разум за нови ситуации.

В следващите години HellaSwag влезе в броя на стандартните тестове за нови езикови модели. Напредъкът на AI системите можеше да се проследява по резултатите им на този benchmark.

  • През 2020 година моделът GPT-3 (175 млрд. параметъра) показа точност ~79% в режим few-shot, което надхвърли нивото на много специализирани модели от онзи период, но все още значително отстъпваше на човека[3].
  • Едва през 2023 година моделите от ново поколение, като GPT-4, успяха да достигнат на HellaSwag резултат, сравним с човешкия (около 95% точност)[4].

Създаването на HellaSwag очерта нов подход към оценката на напредъка в NLP, основан на идеята за еволюиращи benchmark-ове: с усъвършенстването на моделите е необходимо да се създават нови, по-сложни тестове, разкриващи техните слаби места.

Връзки

  • Официален сайт на проекта HellaSwag
  • Научна статия „HellaSwag: Can a Machine Really Finish Your Sentence?"

Литература

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Бележки

  1. ↑ 1.0 1.1 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv:1905.07830, 2019. [2]
  3. ↑ Brown, T. B. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165, 2020. [3]
  4. ↑ Zellers, R. et al. «HellaSwag Project Page». [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=HellaSwag_Benchmark_(BG)&oldid=2832"