---
title: "MMLU Benchmark (KO)"
source: "https://systems-analysis.info/int/MMLU_Benchmark_(KO)"
wiki: "systems-analysis.info/int"
article: "MMLU_Benchmark_(KO)"
language: "ko"
categories:
- "Category:Korean"
- "Category:Large language models"
- "Category:LLM benchmarks"
- "Category:Machine learning"
revision_id: 4081
wiki_created_at: 2026-09-06T23:30:16Z
wiki_modified_at: 2026-09-06T23:30:16Z
downloaded_at: 2026-09-07T23:00:47Z
---
# MMLU Benchmark (KO)
**MMLU** (**Measuring Massive Multitask Language Understanding**의 약어) — 대규모 언어 모델(LLM)의 광범위한 주제 영역에 걸친 능력을 평가하기 위해 설계된 벤치마크입니다. 이 벤치마크는 2020년 UC Berkeley의 **댄 헨드릭스**(*Dan Hendrycks*) 주도 하에 연구팀이 개발하였으며, 2021년 ICLR 학술대회에서 발표되었습니다[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_paper-1).
MMLU의 목적은 추가적인 fine-tuning 없이 *zero-shot* 또는 *few-shot* 방식의 테스트를 통해, 사전학습(pre-training) 단계에서 습득한 다양한 지식과 능력을 모델이 얼마나 잘 내재화하고 있는지를 검증하는 것입니다. MMLU는 2020년 무렵 많은 모델들이 이미 인간 수준에 도달했던 기존 테스트(GLUE, SuperGLUE 등)보다 더 어려운 대안으로 개발되었습니다[\[2\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_wiki-2).
## 설명 및 내용
MMLU는 **57개 분야**를 아우르는 **15,908개의 객관식 문제**로 구성되어 있습니다. 문제의 주제는 다음을 포함합니다:
- STEM 분야 과목 (수학, 물리학, 생물학, 컴퓨터 과학).
- 인문·사회과학 (역사, 문학, 법학, 행정학).
- 응용·전문 분야 (의학, 법학, 경영학)[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_paper-1).
난이도는 초등학교 수준부터 고급 전문가 수준까지 다양합니다. 문제는 GRE, USMLE 등 학교, 대학, 전문 시험의 실제 시험 자료를 기반으로 합니다[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_paper-1). 문제 형식은 각 문항마다 4개의 보기가 제공되며, 이는 무작위 선택 시 정확도가 25%임을 의미합니다. 높은 점수를 달성하려면 모델이 광범위한 백과사전적 지식과 추론 능력을 갖추어야 합니다.
## 결과 및 발전
2020년 MMLU가 출시될 당시 대부분의 LLM은 무작위 추측보다 약간 높은 수준의 결과만을 보였습니다. 가장 좋은 성적을 거둔 모델은 GPT-3 (1,750억 개의 매개변수)으로, **~43.9%**의 정답률을 기록했습니다. 비교하자면, 인간 전문가는 평균 **~90%**에 달했습니다[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_paper-1). 이러한 격차는 새로운 벤치마크의 높은 난이도와 기준을 입증했습니다.
시간이 지남에 따라 MMLU는 LLM을 위한 가장 인기 있는 테스트 중 하나가 되었으며, 주요 AI 기업들의 보고서에서 '황금 표준'으로 자리매김했습니다[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-new_savanna_2024-3). 2023~2024년에 이르러 GPT-4, Google의 **Gemini Ultra**, Anthropic의 **Claude 3.5** 등 최신 모델들이 **~85~90%**의 정확도를 달성하며 인간 수준에 근접했습니다[\[2\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_wiki-2)[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-new_savanna_2024-3).
빠른 발전으로 인해 벤치마크가 점차 '포화' 상태에 이르렀습니다. 선두 모델들이 최고 점수에 근접한 결과를 내게 되면서 MMLU가 모델들의 지적 능력을 구별하는 기능이 약화되었습니다. 이는 연구 커뮤니티가 더 어려운 새로운 테스트를 개발하도록 자극했습니다[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-new_savanna_2024-3).
## 한계 및 비판
널리 사용되고 있음에도 불구하고, MMLU에는 몇 가지 중요한 한계가 있습니다.
### 데이터 품질 및 정확성
2024년 6월, 연구자들이 MMLU의 5,700개 문제 샘플을 수동으로 분석한 결과 상당수의 오류가 발견되었습니다[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-done_with_mmlu_2024-4).
- MMLU 전체 문제의 약 **6.5%**에 레이블링 또는 문항 오류가 포함되어 있습니다.
- 일부 카테고리에서는 오류가 있는 문제의 비율이 매우 높습니다. 예를 들어 '바이러스학' 섹션에서는 문제의 **57%**에 오류(복수의 정답, 부정확한 문항 표현 또는 잘못 지정된 정답)가 포함되어 있었습니다.
이는 완벽한 모델조차 원본 dataset에서 100%를 달성할 수 없으며, 지표 개선의 일부는 모델이 dataset의 체계적 오류를 암기하는 것과 관련이 있을 수 있음을 의미합니다[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-done_with_mmlu_2024-4).
### 평가 방법론 및 데이터 오염
- **테스트 표준의 부재**. 개발자마다 서로 다른 prompt와 few-shot 방식을 사용할 수 있어 모델 결과를 직접 비교하기 어렵습니다.
- **데이터 오염** (*data contamination*). 공개 벤치마크의 문제와 정답이 LLM의 학습 데이터에 포함될 위험이 있습니다. 이 경우 모델이 사실상 정답을 '알고' 있어 평가가 공정하지 않게 됩니다[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-new_savanna_2024-3).
## 파생 버전 및 확장
기존 MMLU의 문제점을 해결하기 위해 여러 변형 버전이 개발되었습니다.
- **MMLU-Redux**. 2024년 6월에 출시된 수정·개선 버전입니다. 30개 카테고리에서 재레이블링된 3,000개의 문제를 포함하며, 데이터 오류로 인한 왜곡 없이 더 신뢰성 있는 모델 평가를 위해 설계되었습니다[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-done_with_mmlu_2024-4).
- **MMLU-Pro**. 2024년 말에 출시된 확장·강화 버전입니다. 12,000개 이상의 문제를 포함하며, 각 문항마다 4개 대신 **10개의 선택지**가 제공됩니다. 이는 무작위 추측 확률을 10%로 낮춥니다. 문제는 전문가 검토를 거쳤으며 더 어려운 출처의 새로운 문항을 포함합니다[\[5\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmlu_pro_vals_ai-5).
- **MMMLU** (*Multilingual MMLU*). 2023년 OpenAI가 출시한 다국어 버전입니다. MMLU 전체 세트가 전문 번역가에 의해 주요 언어(스페인어, 중국어, 러시아어)와 저자원 언어(예: 요루바어)를 포함한 14개 언어로 번역되었습니다. 이를 통해 다양한 언어에서 모델의 능력을 평가하고 비교할 수 있습니다[\[6\]](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_note-mmmlu_hf-6).
## 외부 링크
- GitHub의 공식 MMLU 저장소
- 모델 결과가 포함된 Papers with Code의 MMLU 페이지
## 참고 문헌
- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232.
## 각주
1. ↑ [1.0](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_paper_1-0) [1.1](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_paper_1-1) [1.2](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_paper_1-2) [1.3](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_paper_1-3) Hendrycks, D. et al. «Measuring Massive Multitask Language Understanding». *arXiv:2009.03300*, 2021. [1]
2. ↑ [2.0](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_wiki_2-0) [2.1](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_wiki_2-1) «MMLU». In *Wikipedia*. [2]
3. ↑ [3.0](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-new_savanna_2024_3-0) [3.1](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-new_savanna_2024_3-1) [3.2](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-new_savanna_2024_3-2) [3.3](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-new_savanna_2024_3-3) «NEW SAVANNA: The AI industry lacks useful ways of measuring performance». *New Savanna Blog*, 2024. [3]
4. ↑ [4.0](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-done_with_mmlu_2024_4-0) [4.1](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-done_with_mmlu_2024_4-1) [4.2](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-done_with_mmlu_2024_4-2) Gema, A. P. et al. «Are We Done with MMLU?». *arXiv:2406.04127*, 2024. [4]
5. [↑](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmlu_pro_vals_ai_5-0) «MMLU Pro». *Vals.ai*, 2025. [5]
6. [↑](https://systems-analysis.info/int/MMLU_Benchmark_(KO)#cite_ref-mmmlu_hf_6-0) «openai/MMMLU». *Hugging Face Datasets*. [6]