HellaSwag Benchmark (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

HellaSwag — 2019년에 발표된 기준 데이터셋(benchmark)으로, 인공지능 모델의 일상적 상황 이해 능력(commonsense reasoning)을 자연어로 평가하기 위해 설계되었습니다[1]. 이 benchmark는 워싱턴 대학교와 Allen 인공지능 연구소 소속 연구자 그룹이 개발하였습니다.

HellaSwag의 과제는 주어진 텍스트 문맥에 대해 가장 그럴듯한 이어지는 내용을 선택하는 것입니다. 이 데이터셋의 핵심 특징은 인간에게는 매우 쉬운 반면, 표면적인 통계적 패턴에 의존하는 고급 언어 모델조차 어려움을 겪는다는 점입니다[2].

역사와 배경

HellaSwag는 같은 연구자 그룹이 2018년에 제안한 SWAG (Situations With Adversarial Generations) 데이터셋의 아이디어를 발전시킨 것입니다. SWAG 과제에서 모델은 간단한 상황 설명에 대해 가장 그럴듯한 이어지는 내용을 선택해야 했습니다. 초기에는 SWAG가 알고리즘에게 어려운 과제였으나, BERT 모델의 등장 이후 SWAG에서의 성능이 ~86%에 달하며 인간 수준과 거의 동등해졌습니다[2].

이러한 성공은 의구심을 불러일으켰습니다. BERT가 진정으로 텍스트를 '이해'하는 것인지, 아니면 단순히 데이터셋에 존재하는 통계적 패턴과 아티팩트를 인식하는 법을 익힌 것인지에 대한 의문이었습니다. HellaSwag의 저자들은 BERT의 높은 성능이 진정한 이해가 아니라 데이터셋의 특성에 대한 과적합에서 비롯된다는 가설을 제시했습니다. 그들은 데이터 분포를 조금만 바꿔도 BERT의 정확도가 급격히 떨어진다는 것을 보여주었습니다. 이는 NLP 발전을 객관적으로 평가하기 위해 더 어렵고 '까다로운' 새로운 benchmark가 필요하다는 것을 의미했습니다[2].

데이터셋의 설명과 목표

HellaSwag는 현대 모델들이 인과관계와 일상적 시나리오를 이해하는 데 있어 갖는 한계를 드러내기 위한 테스트로 만들어졌습니다.

과제 구조

HellaSwag의 각 예시는 두 부분으로 구성됩니다:

  1. 문맥: 어떤 상황의 시작을 묘사하는 짧은 단락(최대 세 문장).
  2. 네 가지 이어지는 내용: 이야기의 가능한 네 가지 계속되는 내용으로, 각각 여러 문장으로 구성됩니다.

이 중 하나만이 정답(실제)이며, 나머지 셋은 모델을 혼란시키기 위해 특별히 생성된 오답입니다.

데이터 출처

상황 예시들은 다양한 일상적 시나리오를 포괄하는 두 가지 출처에서 가져왔습니다:

  • ActivityNet Captions: 동영상에서 발췌한 행동 설명(예: "사람이 오이 병을 열고 있다").
  • WikiHow: 기사에서 발췌한 지침(예: "자동차 타이어 교체 방법").

HellaSwag의 목표는 인간이 (직관적으로) 쉽게 풀 수 있지만, 온전한 상식을 갖추지 못한 모델에게는 최대한 어려운 benchmark를 만드는 것입니다. 저자들은 이 효과를 '골디락스 효과'(Goldilocks effect)라고 불렀습니다[1].

Adversarial Filtering (AF) 방법론

HellaSwag 제작에 있어 핵심적인 혁신은 Adversarial Filtering (AF) 방법으로, 특정 '피해자' 모델을 대상으로 설계된 '함정'을 반복적으로 선별하는 기법입니다. 이 방법을 통해 통계적 모델의 관점에서 정답과 혼동하기 쉬운 오답 선택지를 만들 수 있었습니다.

AF의 작동 방식은 다음과 같습니다:

  1. 생성. 원래 문맥을 바탕으로 생성 언어 모델(예: GPT)이 다수의 잠재적 오답 결말을 생성합니다.
  2. 판별. '피해자' 역할을 하는 분류 모델(예: BERT)이 생성된 이어지는 내용을 실제(정답)와 구별하려 시도합니다.
  3. 선별. 분류기가 가장 그럴듯하다고 판단한, 즉 오류를 범할 가능성이 가장 높았던 오답 선택지들이 선별됩니다.
  4. 반복. 오답이 알고리즘에게 정답과 최대한 유사해질 때까지 이 과정을 여러 번 반복합니다.
  5. 사람에 의한 검증. 최종 단계에서 완성된 세트(문맥 + 정답 결말 1개 + 최선의 오답 3개)를 사람이 평가합니다. 평가자들은 정답 선택지가 명확하게 가장 자연스러우며, 모든 대안에는 사람이 알아챌 수 있는 비논리성이 포함되어 있음을 확인합니다[2].

AF 덕분에 HellaSwag의 각 예시는 처음부터 모델을 혼란시키도록 구성되어 있으면서도 사람에게는 명확하게 이해될 수 있도록 설계되었습니다.

결과와 의의

HellaSwag는 텍스트 이해 모델에 대한 엄격한 시험이 되었습니다. 테스트 결과는 기계 지능과 인간 지능 사이의 거대한 격차를 보여주었습니다:

  • 인간은 약 95-96%의 정확도로 HellaSwag 과제를 거의 오류 없이 풀었습니다[2].
  • 당시 최고 성능 모델이었던 BERT-Large는 겨우 ~47%의 정확도를 달성했습니다. 더 단순한 방법들은 무작위 추측(25%)보다 약간 높은 수준에 불과했습니다[2].

45 퍼센트포인트 이상의 격차는 이전 테스트에서의 높은 점수가 진정한 이해를 의미하지 않는다는 가설을 확인해 주었습니다. HellaSwag는 방대한 데이터로 훈련된 이후에도 모델들이 새로운 상황에 대한 일반적인 상식을 발전시키지 못한다는 것을 보여주었습니다.

이후 몇 년간 HellaSwag는 새로운 언어 모델의 표준 테스트 중 하나가 되었습니다. AI 시스템의 발전은 이 benchmark에서의 성능을 통해 추적할 수 있게 되었습니다.

  • 2020년, GPT-3 (1,750억 개 파라미터) 모델은 few-shot 방식으로 ~79%의 정확도를 기록하여 당시 많은 특화 모델을 능가했지만, 여전히 인간 수준에는 크게 미치지 못했습니다[3].
  • 2023년에 이르러서야 GPT-4와 같은 차세대 모델들이 HellaSwag에서 인간과 비슷한 수준(약 95%의 정확도)을 달성할 수 있었습니다[4].

HellaSwag의 탄생은 NLP 발전 평가에 대한 새로운 접근 방식을 제시했습니다. 이는 진화하는 benchmark라는 개념에 기반한 것으로, 모델이 발전함에 따라 약점을 드러내는 더 어려운 새로운 테스트를 만들어야 한다는 것을 의미합니다.

링크

  • HellaSwag 프로젝트 공식 사이트
  • 논문 「HellaSwag: Can a Machine Really Finish Your Sentence?」

참고 문헌

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

주석

  1. ↑ 1.0 1.1 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv:1905.07830, 2019. [2]
  3. ↑ Brown, T. B. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165, 2020. [3]
  4. ↑ Zellers, R. et al. «HellaSwag Project Page». [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=HellaSwag_Benchmark_(KO)&oldid=2844"