---
title: "MMLU-Pro Benchmark"
source: "https://systems-analysis.info/wiki/MMLU-Pro_Benchmark"
wiki: "systems-analysis.info/wiki"
article: "MMLU-Pro_Benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3752
wiki_created_at: 2026-11-19T08:28:50Z
wiki_modified_at: 2026-11-19T10:34:52Z
downloaded_at: 2026-11-19T10:41:13Z
---

# MMLU-Pro Benchmark

**MMLU-Pro** — [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM"), предназначенный для оценки знаний и способностей к рассуждению [больших языковых моделей (LLM)](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели"). Он представлен в июне 2024 года в статье *MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark*; в числе основных авторов — **Юбо Ван** (Yubo Wang), **Сюэгуан Ма** (Xueguang Ma) и **Вэньху Чэнь** (Wenhu Chen); авторы представляют Университет Ватерлоо (там работает группа TIGER-Lab), Торонтский университет и Университет Карнеги — Меллона. Статья была опубликована на конференции NeurIPS 2024 в треке Datasets and Benchmarks<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

MMLU-Pro создан как прямой преемник исходного [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark"), полезность которого снизилась по мере того, как ведущие модели приблизились к его «потолку». Новый бенчмарк отвечает на это «насыщение» добавлением более сложных в плане рассуждения вопросов, расширением числа вариантов ответа с четырёх до десяти и удалением тривиальных или некорректно размеченных элементов, унаследованных от исходного набора<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

## Предыстория

К 2024 году [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark") стал фактическим стандартом оценки LLM, однако прогресс на нём остановился. С момента, когда [GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4") достигла **86,4 %** в марте 2023 года, frontier-модели — [GPT-4-Turbo](https://systems-analysis.info/wiki/GPT-4_Turbo "GPT-4 Turbo"), [Gemini 1.5 Pro](https://systems-analysis.info/wiki/Gemini_1.5_Pro "Gemini 1.5 Pro"), Claude 3 и Llama 3 — сбились в узкий диапазон примерно **86–87 %**<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>. Такая кластеризация лишила бенчмарк способности различать сильнейшие системы. Авторы отмечали, что [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o"), несмотря на крупные приросты на других тестах, улучшила свой результат на MMLU лишь примерно на 1 % (до 87,4 %), что поставило под вопрос способность бенчмарка отслеживать дальнейший прогресс<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

Исходный [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark") имел и две структурные слабости, которые MMLU-Pro должен был устранить: формат с четырьмя вариантами, допускающий 25 % успеха при случайном угадывании, и долю «шумных» или не имеющих ответа вопросов, искусственно ограничивающих «потолок» результатов<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

## Описание и содержание

MMLU-Pro состоит из **12 032 вопросов** с выбором варианта ответа, распределённых по **14 дисциплинам**<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)[\[2\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-split_note-2)</sup>. Это биология, бизнес, химия, информатика, экономика, инженерное дело, здоровье, история, право, математика, философия, физика, психология и категория «прочее»<sup>[\[3\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_github-3)</sup>.

Построение началось с объединения 57 исходных предметов MMLU в эти 14 более широких категорий и удаления слишком лёгких вопросов: восемь небольших моделей пропустили через MMLU, и каждый вопрос, на который правильно ответили более четырёх из них, отбрасывался — так было устранено **5 886 вопросов** (около 42 % исходного набора). Затем новые вопросы были взяты из трёх дополнительных источников — онлайн-коллекции STEM-задач, *TheoremQA* и *SciBench* — а GPT-4-Turbo использовалась как для преобразования их в формат с выбором варианта, так и для расширения каждого вопроса с четырёх до десяти опций путём генерации шести дополнительных дистракторов. Наконец, набор прошёл два раунда экспертной проверки: в первом человеческие эксперты проверяли корректность ответов и удаляли непригодные вопросы; во втором модель Gemini-1.5-Pro помечала варианты, которые могли оказаться дополнительными верными ответами («ложные негативы»), и человеческие аннотаторы повторно их рассматривали<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

В итоге около **57 %** финальных вопросов происходят из исходного MMLU, **34 %** — из STEM-коллекции, остальное — из TheoremQA (примерно 5 %) и SciBench (примерно 4,5 %)<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>. Смесь резко различается по дисциплинам. Богатые на рассуждения STEM-области были расширены новым материалом — лишь около трети вопросов по физике и одна шестая вопросов по химии взяты из MMLU, остальное поступило из добавленных источников, — тогда как опирающиеся на знания дисциплины вроде права и истории целиком основаны на MMLU и были сокращены, а не расширены, поскольку многие их вопросы были удалены как слишком лёгкие (история, например, сократилась с 930 вопросов MMLU до 381)<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

## Ключевые отличия от MMLU

MMLU-Pro отличается от исходного бенчмарка в трёх основных отношениях<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>:

- **Больше вариантов ответа**. Вопросы расширены с четырёх опций до десяти; в финальном наборе 83 % вопросов имеют десять вариантов, у остальных — меньше; в среднем **9,47** опции на вопрос. Это снижает ожидаемую точность случайного угадывания с 25 % примерно до **10 %** и делает стратегии исключения менее эффективными.
- **Акцент на рассуждениях**. Доля сложных задач вузовского уровня увеличена, поэтому сильный результат требует многошаговых рассуждений, а не одного припоминания фактов.
- **Чище данные**. Тривиальные, неоднозначные и некорректно размеченные вопросы исходного MMLU отфильтрованы, что повышает эффективный «потолок» бенчмарка.

Заметным следствием стала изменившаяся роль промптинга «[цепочкой мыслей](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting")» (CoT). На исходном MMLU многие модели набирали больше при прямом предсказании ответа, и CoT мог даже снижать точность; на MMLU-Pro CoT необходим для хороших результатов — он поднимает результат GPT-4o с **53,5 %** при прямом ответе до **72,6 %** с CoT, прирост составляет около 19 процентных пунктов<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

MMLU-Pro также более устойчив к вариациям промптов. По **24 различным стилям промптов** чувствительность результатов моделей к формулировкам снизилась с 4–5 % на MMLU примерно до **2 %** на MMLU-Pro, что делает результаты более воспроизводимыми<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

## Результаты

В статье было оценено более 50 моделей по стандартному протоколу 5-shot с промптингом «цепочкой мыслей» (две модели Gemini 1.5 запускались zero-shot); ответы извлекались из сгенерированного текста регулярными выражениями, а при неудаче извлечения выбирался случайный вариант<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>. В этой настройке бенчмарк привёл к резкому падению заявляемой точности: результаты снижались на **16–33 %** по сравнению с MMLU в зависимости от модели<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>. В оценке статьи сильнейшей из протестированных моделей была **GPT-4o** с общей точностью **72,6 %** — значительно ниже диапазона 86–87 %, которого ведущие модели достигали на исходном MMLU<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>. Среди моделей с открытыми весами лучшие результаты показали **Llama-3-70B-Instruct** (56,2 %) и **[DeepSeek-V2-Chat](https://systems-analysis.info/wiki/DeepSeek-V2-Chat "DeepSeek-V2-Chat")** (54,8 %), приближаясь к <a href="https://systems-analysis.info/wiki/Claude_3_Sonnet" class="mw-redirect" title="Claude 3 Sonnet">Claude 3 Sonnet</a>, но всё ещё уступая GPT-4o и Claude 3 Opus<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

Бенчмарк также оказался более дискриминативным, чем предшественник. Разрыв между GPT-4o и GPT-4-Turbo, составлявший на [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark") лишь около 1 %, на MMLU-Pro вырос примерно до 9 %, что иллюстрирует более высокую способность разделять близкие по силе системы<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

С 2024 года MMLU-Pro получил широкое распространение и отслеживается независимыми публичными лидербордами<sup>[\[4\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-artificial_analysis-4)</sup>. Frontier-модели улучшались быстро: к середине 2026 года сильнейшие системы (например, [Gemini 3 Pro](https://systems-analysis.info/wiki/Gemini_3_Pro "Gemini 3 Pro") и [Claude Opus 4.5](https://systems-analysis.info/wiki/Claude_Opus_4.5 "Claude Opus 4.5")) достигли на этих лидербордах примерно **90 %**, сгруппировавшись в пределах около двух процентных пунктов друг от друга, — что возрождает то самое опасение насыщения, которое мотивировало создание MMLU-Pro<sup>[\[4\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-artificial_analysis-4)</sup>.

## Ограничения

Устраняя ряд проблем исходного [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark"), MMLU-Pro несёт ограничения, на которых акцентируются сами его авторы. Главное из них — сам формат с выбором варианта, который не способен отразить глубину понимания или генерацию свободной формы так же, как свободные ответы, а также исключительная ориентация бенчмарка на текст и отсутствие какой-либо мультимодальной оценки<sup>[\[1\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_paper-1)</sup>.

Он также разделяет слабости, общие для публичных бенчмарков. Тестовые вопросы уязвимы к *загрязнению данных* (data contamination), при котором элементы попадают в обучающие данные модели и завышают её видимую производительность<sup>[\[5\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-contamination_survey-5)</sup>. Набор не полностью свободен от ошибок разметки, и его сопровождающие продолжают принимать правки от сообщества<sup>[\[6\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-mmlu_pro_hf-6)</sup>. Наконец, публикуемые цифры часто сообщаются самими разработчиками и зависят от того, использовался ли промптинг «цепочкой мыслей», и от конкретной оценочной обвязки, поэтому результаты из разных источников не всегда напрямую сопоставимы<sup>[\[7\]](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_note-leaderboard_note-7)</sup>.

## Ссылки

- <a href="https://github.com/TIGER-AI-Lab/MMLU-Pro" class="external text" rel="nofollow">Официальный репозиторий MMLU-Pro на GitHub</a>
- <a href="https://huggingface.co/spaces/TIGER-Lab/MMLU-Pro" class="external text" rel="nofollow">Лидерборд MMLU-Pro на Hugging Face</a>
- <a href="https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro" class="external text" rel="nofollow">Набор данных MMLU-Pro на Hugging Face</a>
- <a href="https://aiwiki.ai/wiki/mmlu_pro" class="external text" rel="nofollow">MMLU-Pro — AI Wiki</a>
- <a href="https://en.wikipedia.org/wiki/MMLU" class="external text" rel="nofollow">MMLU — английская Википедия</a> (о предшественнике — исходном бенчмарке MMLU; отдельной статьи о MMLU-Pro в английской Википедии нет)
- <a href="https://systems-analysis.info/eng/MMLU-Pro_Benchmark" class="external text" rel="nofollow">MMLU-Pro Benchmark — англоязычная версия статьи</a>

## См. также

- [MMLU benchmark](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark")
- [MMMU-Pro Benchmark](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark "MMMU-Pro Benchmark")
- [Chain-of-Thought Prompting](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Big-Bench Hard](https://systems-analysis.info/wiki/Big-Bench_Hard "Big-Bench Hard")

## Литература

- Wang, Y. et al. (2024). *MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark*. <a href="https://arxiv.org/abs/2406.01574" class="external text" rel="nofollow">arXiv:2406.01574</a>.
- Hendrycks, D. et al. (2021). *Measuring Massive Multitask Language Understanding*. <a href="https://arxiv.org/abs/2009.03300" class="external text" rel="nofollow">arXiv:2009.03300</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.

## Примечания

1.  <span id="cite_note-mmlu_pro_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-13)</sup> <sup>[1,14](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-14)</sup> <sup>[1,15](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-15)</sup> <sup>[1,16](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-16)</sup> <sup>[1,17](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_paper_1-17)</sup> Wang, Y. et al. "MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark". *arXiv:2406.01574*, 2024 (NeurIPS 2024, Datasets and Benchmarks Track). <a href="https://arxiv.org/abs/2406.01574" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-split_note-2">[↑](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-split_note_2-0) Цифра 12 032 относится к основному тестовому набору. Публичный выпуск на Hugging Face включает также небольшой валидационный сплит из 70 вопросов — по пять демонстрационных примеров на каждую из 14 дисциплин, используемых для few-shot-промптинга, — всего 12 102 строки. <a href="https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-mmlu_pro_github-3">[↑](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_github_3-0) "TIGER-AI-Lab/MMLU-Pro". *GitHub*. <a href="https://github.com/TIGER-AI-Lab/MMLU-Pro" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-artificial_analysis-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-artificial_analysis_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-artificial_analysis_4-1)</sup> "MMLU-Pro Benchmark Leaderboard". *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/mmlu-pro" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-contamination_survey-5">[↑](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-contamination_survey_5-0) Xu, C. et al. "Benchmark Data Contamination of Large Language Models: A Survey". *arXiv:2406.04244*, 2024. <a href="https://arxiv.org/abs/2406.04244" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-mmlu_pro_hf-6">[↑](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-mmlu_pro_hf_6-0) "TIGER-Lab/MMLU-Pro". *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-leaderboard_note-7">[↑](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark#cite_ref-leaderboard_note_7-0) Сопровождающие набора отмечают, что публикуемые результаты поступают как от самих авторов, так и от третьих сторон, как правило при 5-shot-оценке, хотя некоторые модели (например, Gemini 1.5) оцениваются в zero-shot; поэтому результаты из разных источников следует сравнивать с осторожностью. <a href="https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro" class="external autonumber" rel="nofollow">[7]</a></span>
