---
title: "MMLU benchmark"
source: "https://systems-analysis.info/wiki/MMLU_benchmark"
wiki: "systems-analysis.info/wiki"
article: "MMLU_benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 147
wiki_created_at: 2026-09-06T21:55:44Z
wiki_modified_at: 2026-09-06T21:55:44Z
downloaded_at: 2026-09-07T22:17:47Z
---

# MMLU benchmark

**MMLU** (аббревиатура от **Measuring Massive Multitask Language Understanding**) — это эталонный набор задач (бенчмарк), предназначенный для оценки способностей [больших языковых моделей (LLM)](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") по широкому кругу предметных областей. Бенчмарк был разработан в 2020 году командой исследователей под руководством **Дэна Хендрикса** (*Dan Hendrycks*) из UC Berkeley и опубликован на конференции ICLR в 2021 году<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_paper-1)</sup>.

Цель MMLU — проверить, насколько модель усваивает разнообразные знания и умения, приобретённые на этапе [предобучения](https://systems-analysis.info/wiki/%D0%9F%D1%80%D0%B5%D0%B4%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 "Предобучение"), путём тестирования в режиме *нулевого* или *нескольких примеров* (*zero/few-shot*) без дополнительной донастройки. MMLU был создан как более сложная альтернатива ранее существовавшим тестам (таким как GLUE и [SuperGLUE](https://systems-analysis.info/wiki/SuperGLUE "SuperGLUE")), на которых многие модели к 2020 году уже достигли уровня человека<sup>[\[2\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_wiki-2)</sup>.

## Описание и содержание

MMLU состоит из **15 908 вопросов** с множественным выбором ответа, охватывающих **57 различных дисциплин**. Тематика заданий включает:

- Предметы STEM-направления (математика, физика, биология, информатика).
- Гуманитарные и социальные науки (история, литература, право, управление).
- Прикладные и профессиональные области (медицина, юриспруденция, бизнес)<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_paper-1)</sup>.

Диапазон сложности варьируется от уровня начальной школы до продвинутого профессионального уровня. Вопросы основаны на реальных экзаменационных материалах для школ, вузов и профессиональных тестов, таких как GRE и USMLE<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_paper-1)</sup>. Формат заданий — четыре варианта ответа на каждый вопрос, что означает, что при случайном выборе точность составляет 25%. Для достижения высокого результата модель должна обладать обширными энциклопедическими знаниями и способностью к рассуждению.

## Результаты и развитие

При выпуске MMLU в 2020 году большинство LLM показывали результаты лишь ненамного выше случайного угадывания. Лучший результат продемонстрировала модель GPT-3 (175 млрд параметров), набрав **~43,9%** правильных ответов. Для сравнения, человек-эксперт в среднем достигал **~90%**<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_paper-1)</sup>. Этот разрыв подтвердил сложность и высокую планку нового бенчмарка.

Со временем MMLU стал одним из наиболее популярных тестов для LLM, получив статус «золотого стандарта» в отчётах ведущих AI-компаний<sup>[\[3\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-new_savanna_2024-3)</sup>. К 2023-2024 годам новейшие модели, такие как GPT-4, **[Gemini](https://systems-analysis.info/wiki/Gemini "Gemini") Ultra** от Google и **[Claude](https://systems-analysis.info/wiki/Claude "Claude") 3.5** от Anthropic, приблизились к человеческому уровню, достигнув **~85-90%** точности<sup>[\[2\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_wiki-2)[\[3\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-new_savanna_2024-3)</sup>.

Быстрый прогресс привёл к постепенному «насыщению» бенчмарка: ведущие модели стали достигать близких к максимальным оценок, что снизило способность MMLU различать их интеллектуальные возможности. Это стимулировало сообщество к разработке новых, более трудных тестов<sup>[\[3\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-new_savanna_2024-3)</sup>.

## Ограничения и критика

Несмотря на широкое распространение, MMLU имеет ряд существенных ограничений.

### Качество и корректность данных

В июне 2024 года исследователи провели ручной анализ выборки из 5700 вопросов MMLU и обнаружили значительное количество ошибок<sup>[\[4\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-done_with_mmlu_2024-4)</sup>.

- Около **6,5%** всех вопросов MMLU содержат ошибки в разметке или формулировках.
- В отдельных категориях доля некорректных заданий очень высока. Например, в разделе «Вирусология» **57%** заданий содержали ошибки (несколько правильных ответов, некорректные формулировки или неверно указанный эталонный ответ).

Это означает, что даже идеальная модель не может набрать 100% на исходном датасете, а часть улучшений в метриках может быть связана с запоминанием моделью систематических ошибок набора<sup>[\[4\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-done_with_mmlu_2024-4)</sup>.

### Методика оценки и утечка данных

- **Отсутствие стандарта тестирования**. Разные разработчики могут использовать разные промпты и режимы few-shot, что затрудняет прямое сравнение результатов моделей.
- **Утечка данных** (*data contamination*). Существует риск попадания вопросов и ответов из публичных бенчмарков в обучающие выборки LLM. В таком случае модель фактически «знает» правильные ответы, что делает оценку нечестной<sup>[\[3\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-new_savanna_2024-3)</sup>.

## Производные версии и расширения

Для решения проблем оригинального MMLU было создано несколько его вариантов.

- **MMLU-Redux**. Исправленная и уточнённая версия набора, представленная в июне 2024 года. Она включает 3000 переразмеченных вопросов из 30 категорий и предназначена для более надёжной оценки моделей без искажений, вызванных ошибками в данных<sup>[\[4\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-done_with_mmlu_2024-4)</sup>.
- **MMLU-Pro**. Расширенный и усложнённый вариант теста, представленный в конце 2024 года. Он содержит более 12 000 вопросов, на каждый из которых даётся **10 вариантов ответа** вместо четырёх. Это снижает вероятность случайного угадывания до 10%. Вопросы прошли проверку экспертами и включают новые задания из более сложных источников<sup>[\[5\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmlu_pro_vals_ai-5)</sup>.
- **MMMLU** (*Multilingual MMLU*). Многоязычная версия, выпущенная OpenAI в 2023 году. Весь набор MMLU был переведён профессиональными переводчиками на 14 языков, включая как распространённые (испанский, китайский, русский), так и низкоресурсные (например, йоруба). Это позволяет оценивать и сопоставлять возможности моделей на разных языках<sup>[\[6\]](https://systems-analysis.info/wiki/MMLU_benchmark#cite_note-mmmlu_hf-6)</sup>.

## См. также

- [MT-Bench benchmark](https://systems-analysis.info/wiki/MT-Bench_benchmark "MT-Bench benchmark")
- [GSM8K](https://systems-analysis.info/wiki/GSM8K "GSM8K")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [SafetyBench](https://systems-analysis.info/wiki/SafetyBench "SafetyBench")

## Ссылки

- <a href="https://github.com/hendrycks/test" class="external text" rel="nofollow">Официальный репозиторий MMLU на GitHub</a>
- <a href="https://paperswithcode.com/dataset/mmlu" class="external text" rel="nofollow">Страница MMLU на Papers with Code с результатами моделей</a>

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Примечания

1.  <span id="cite_note-mmlu_paper-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_paper_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_paper_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_paper_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_paper_1-3)</sup> Hendrycks, D. et al. «Measuring Massive Multitask Language Understanding». *arXiv:2009.03300*, 2021. <a href="https://ar5iv.labs.arxiv.org/html/2009.03300" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-mmlu_wiki-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_wiki_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_wiki_2-1)</sup> «MMLU». In *Wikipedia*. <a href="https://en.wikipedia.org/wiki/MMLU" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-new_savanna_2024-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-new_savanna_2024_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-new_savanna_2024_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-new_savanna_2024_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-new_savanna_2024_3-3)</sup> «NEW SAVANNA: The AI industry lacks useful ways of measuring performance». *New Savanna Blog*, 2024. <a href="https://new-savanna.blogspot.com/2024/04/the-ai-industry-lacks-useful-ways-of.html" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-done_with_mmlu_2024-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-done_with_mmlu_2024_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-done_with_mmlu_2024_4-1)</sup> <sup>[4,2](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-done_with_mmlu_2024_4-2)</sup> Gema, A. P. et al. «Are We Done with MMLU?». *arXiv:2406.04127*, 2024. <a href="https://ar5iv.labs.arxiv.org/html/2406.04127" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-mmlu_pro_vals_ai-5">[↑](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmlu_pro_vals_ai_5-0) «MMLU Pro». *Vals.ai*, 2025. <a href="https://www.vals.ai/benchmarks/mmlu_pro-04-15-2025" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-mmmlu_hf-6">[↑](https://systems-analysis.info/wiki/MMLU_benchmark#cite_ref-mmmlu_hf_6-0) «openai/MMMLU». *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/openai/MMMLU" class="external autonumber" rel="nofollow">[6]</a></span>