WinoGrande Benchmark (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

WinoGrande — 인공지능 시스템의 상식 추론 능력을 평가하기 위해 설계된 대규모 벤치마크 데이터셋입니다. 이 데이터셋은 Winograd Schema Challenge(WSC) 형식을 기반으로 약 44,000개의 문제를 포함하고 있으며, 통계적 단서를 제거하기 위한 '적대적(adversarial)' 필터링 방법을 통해 크게 확장되고 난이도가 높아졌습니다[1].

이 데이터셋은 2019년 Allen Institute for AI와 워싱턴 대학교의 연구팀에 의해 개발되었습니다. 각 문제는 문맥과 상황 이해를 바탕으로 두 가지 선택지 중 하나를 골라 빈칸을 채우는 형태로 구성되어 있습니다. WinoGrande는 자연어 처리(NLP) 분야의 핵심 benchmark 중 하나로 자리잡았습니다[2].

개발 배경: WSC의 한계

2011년에 제안된 원본 Winograd Schema Challenge(WSC)는 273개의 문제만을 포함하고 있었으며, 오랫동안 상식 추론의 신뢰할 수 있는 테스트로 여겨졌습니다. 이 문제들은 단순한 단어 매칭이 아닌 세계에 대한 이해를 요구하도록 설계되었습니다[3].

그러나 2018~2019년경, BERT와 같은 Transformer 아키텍처 기반의 대형 언어 모델이 등장하면서 상황이 달라졌습니다. 모델들은 실제 이해가 아닌 데이터 내의 의도치 않은 통계적 패턴(아티팩트)을 활용하는 방식으로 테스트를 '해킹'하여 약 90%의 정확도를 달성하는 법을 익혔습니다[4]. WSC는 더 이상 신뢰할 수 있는 지표가 되지 못했고, 이로 인해 더 복잡하고 대규모의 새로운 benchmark인 WinoGrande의 개발이 필요하게 되었습니다.

개발 과정 및 adversarial filtering 방법

WinoGrande의 제작은 크게 두 단계로 이루어졌습니다: 대규모 문제 생성과 그 후의 필터링.

크라우드소싱

첫 번째 단계에서는 Amazon Mechanical Turk 플랫폼을 활용하여 47,000개 이상의 문장으로 구성된 대규모 데이터베이스를 수집했습니다. 크라우드 작업자들이 Winograd 방식에 따라 문장 쌍을 생성함으로써, 소수의 전문가가 작성한 문제와 달리 자연어에서 나타나는 언어적 다양성과 '노이즈'가 확보되었습니다[1].

AfLite 알고리즘

WinoGrande의 핵심 혁신은 AfLite(Adversarial Filtering Lite) 알고리즘입니다. 이 방법은 상식 없이도 단순한 통계적 단서만으로 풀 수 있는 문제를 자동으로 걸러내기 위해 개발되었습니다. 알고리즘은 간단한 모델을 사용하여 정답 선택지 중 하나가 문장 내 다른 단어들과 지나치게 명확하게 연관된 예시를 찾아내고 제거했습니다. 예를 들어, "사자들이 얼룩말을 먹었다. 왜냐하면 그들은 육식동물이기 때문이다"와 같은 문제는 '육식동물'이라는 단어가 통계적으로 '사자'와 강하게 연관되어 있으므로 필터링 대상이 됩니다.

필터링 결과 수집된 데이터의 약 14%가 제거되었습니다. 최종 데이터셋은 43,972개의 문제를 포함하며, 이를 통해 훨씬 더 신뢰할 수 있고 난이도 높은 테스트가 완성되었습니다[1].

모델 성능 및 발전 현황

WinoGrande가 출시되었을 당시, 당시 최고 성능의 모델들은 인간 수준에 크게 못 미치는 결과를 보였습니다.

  • RoBERTa(BERT의 개선 버전)는 ~79%의 정확도를 달성했습니다.
  • 인간은 평균적으로 ~94%의 정확도로 문제를 풀었습니다[1].

이 격차는 AfLite 필터링이 모델에게 유리한 많은 '쉬운' 경로를 성공적으로 제거했음을 입증했습니다. 그러나 LLM의 발전에 따라 이 격차는 좁혀지기 시작했습니다.

  • 2022년에 이르러 ST-MoE-32B 모델은 96.1%의 정확도를 달성하며 인간 수준을 넘어섰습니다[5].
  • GPT-3는 약 88%의 결과를 기록했습니다[6].
  • GPT-4는 별도의 fine-tuning 없이 ~87.5%의 정확도로 문제를 풉니다[7].

영향 및 비판

WinoGrande는 상식 추론 평가를 위한 핵심 benchmark 중 하나가 되었으며, 새로운 모델 테스트에 정기적으로 활용됩니다. 이 benchmark의 결과는 주요 AI 기업의 기술 보고서와 모델 비교 플랫폼에서 공개됩니다[8].

한편, 데이터셋 제작 방법론은 학술적 논의의 대상이 되기도 했습니다. 일부 연구자들은 대규모 크라우드소싱이 부자연스럽거나 모호한 표현을 초래할 수 있다고 지적합니다. 또한 AfLite 자동 필터링이 숨겨진 아티팩트를 완전히 제거할 수 있는지에 대한 의문도 제기되었습니다[5]. 그럼에도 불구하고, WinoGrande는 성능 지표의 발전뿐만 아니라 더 견고하고 신뢰할 수 있는 AI 평가 방법 개발에 관한 중요한 논의를 촉진시켰습니다.

외부 링크

  • WinoGrande 공식 웹사이트
  • Hugging Face 플랫폼의 데이터셋

참고 문헌

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

각주

  1. ↑ 1.0 1.1 1.2 1.3 Sakaguchi, K., Le Bras, R., Bhagavatula, C., Choi, Y. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv:1907.10641. [1]
  2. ↑ «allenai/winogrande». Hugging Face. [2]
  3. ↑ «Winograd schema challenge». In Wikipedia. [3]
  4. ↑ Kocijan, V. et al. «The defeat of the Winograd Schema Challenge». Artificial Intelligence. [4]
  5. ↑ 5.0 5.1 Lepore, J. «AI Has Been Surprising for Years». Carnegie Endowment for International Peace. [5]
  6. ↑ Brown, T. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165. [6]
  7. ↑ OpenAI. «GPT-4 Technical Report». arXiv:2303.08774. [7]
  8. ↑ «Common Sense Reasoning On Winogrande». HyperAI. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=WinoGrande_Benchmark_(KO)&oldid=8484"