---
title: "MMMU-Pro Benchmark"
source: "https://systems-analysis.info/wiki/MMMU-Pro_Benchmark"
wiki: "systems-analysis.info/wiki"
article: "MMMU-Pro_Benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3734
wiki_created_at: 2026-11-19T07:26:14Z
wiki_modified_at: 2026-11-19T09:43:22Z
downloaded_at: 2026-11-19T09:56:12Z
---

# MMMU-Pro Benchmark

**MMMU-Pro** (**A More Robust Multi-discipline Multimodal Understanding Benchmark**) — [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для оценки мультимодальных моделей, [больших мультимодальных моделей](https://systems-analysis.info/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BC%D0%BE%D0%B4%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_LLM "Мультимодальные LLM") (LMM), одновременно обрабатывающих изображения и текст; разработан как более строгая и сложная версия бенчмарка [MMMU](https://systems-analysis.info/wiki/MMMU_Benchmark "MMMU Benchmark"). Представлен в сентябре 2024 года в статье «MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark» Сян Юэ (Xiang Yue), Тяньюем Чжэном (Tianyu Zheng), Юаньшэном Ни (Yuansheng Ni) и коллегами и опубликован на конференции ACL в 2025 году<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

MMMU-Pro создан в ответ на слабые места исходного MMMU: часть вопросов оказывалась по силам чисто текстовым языковым моделям, которые не обращались к изображению, а формат с четырьмя вариантами ответа позволял моделям приходить к правильному ответу путём угадывания или использования закономерностей среди самих вариантов. Цель бенчмарка — измерять подлинное мультимодальное понимание и рассуждение на материале академических дисциплин вузовского уровня, а не способность эксплуатировать текстовые подсказки или особенности вариантов ответа<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

## Предыстория

MMMU (*Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI*) — мультимодальный бенчмарк вузовского уровня из **11 550** вопросов «изображение + текст», охватывающий шесть дисциплин, 30 предметов и 183 подобласти; опубликован на конференции CVPR 2024<sup>[\[2\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_paper-2)</sup>. После выхода MMMU быстро стал стандартной оценкой для новых мультимодальных моделей. Однако авторы MMMU-Pro обнаружили, что чисто текстовые LLM способны правильно отвечать на некоторые вопросы MMMU без какого-либо визуального входа — либо потому, что вопрос практически не зависел от своего изображения, либо потому, что модели использовали корреляции между четырьмя вариантами ответа. В сочетании с ограниченным пространством вариантов это поставило под сомнение, отражают ли высокие баллы MMMU подлинное мультимодальное рассуждение, и мотивировало создание более устойчивого бенчмарка<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

## Построение

MMMU-Pro построен на основе MMMU в три шага:

- **Фильтрация.** Четыре сильные открытые чисто текстовые [LLM](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") — Llama-3-70B-Instruct, [Qwen2-72B-Instruct](https://systems-analysis.info/wiki/Qwen "Qwen"), Yi-1.5-34B-Chat и [Mixtral-8×22B-Instruct](https://systems-analysis.info/wiki/Mixtral_8x22B "Mixtral 8x22B") — каждая по десять раз пытались ответить на вопросы MMMU без доступа к изображениям. Вопрос считался решаемым без изображения и исключался, если не менее трёх из четырёх моделей отвечали на него правильно в большинстве попыток. Из оставшегося пула авторы отобрали 1 800 вопросов, равномерно распределённых по 30 предметам (по 60 на предмет).
- **Расширение вариантов ответа.** Число вариантов увеличено с четырёх до (обычно) десяти, что затрудняет опору на угадывание. Дополнительные варианты были сгенерированы GPT-4o, отфильтрованы Claude 3.5, а затем уточнены в двух раундах ручной проверки; на этом шаге было удалено 70 вопросов, осталось **1 730**.
- **Только визуальный вход.** Каждый вопрос дополнительно отрисован в виде скриншота или фотографии, вручную подготовленной аннотаторами на разнообразных фонах, со разными шрифтами и размерами, причём текст вопроса встроен в изображение, а отдельный текстовый промпт отсутствует. Модель обязана прочитать вопрос визуально и одновременно анализировать изображение; это устраняет отдельный текстовый канал и существенно сокращает текстовые шорткаты (хотя, как отмечают авторы, часть тонких статистических шорткатов может остаться)<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

Всего MMMU-Pro состоит из **3 460 заданий** — тех же **1 730 вопросов** в двух форматах (стандартном и визуальном), охватывающих шесть дисциплин и 30 предметов MMMU. Увеличение числа вариантов с четырёх до десяти снижает достижимую за счёт угадывания точность: номинально примерно с 25 % до 10 %, хотя случайный базовый уровень, приведённый в статье, составляет около 12–13 % (12,8 % в стандартной десятивариантной конфигурации и 12,4 % в визуальной), поскольку не у каждого вопроса полный набор из десяти вариантов<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

## Оценка и подсчёт баллов

Модели оцениваются в трёх конфигурациях: стандартной с четырьмя вариантами (приводится только для сравнения с исходным MMMU), стандартной с десятью вариантами и визуальной. Итоговый балл MMMU-Pro вычисляется как **среднее между стандартной десятивариантной и визуальной конфигурациями**; четырёхвариантная конфигурация и результаты на валидационной выборке исходного MMMU включены исключительно для подчёркивания возросшей сложности<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

Модели оцениваются как с промптами прямого ответа, так и с [цепочкой рассуждений](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting") (*CoT*, chain-of-thought); учитывается более высокий балл. Авторы нашли, что CoT-промптинг в целом улучшает результаты, хотя выигрыш зависит от модели и дисциплины: значительный прирост дают насыщенные рассуждением области вроде Tech & Engineering, небольшой или нулевой — Art & Design. Явные OCR-промпты почти не влияют на результат, поскольку сильные модели и так извлекают встроенный текст; авторы подчёркивают, что точного распознавания текста недостаточно — визуальная конфигурация требует также понимания текста в его визуальном контексте<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

## Результаты и развитие

К моменту выхода бенчмарка в конце 2024 года результаты моделей на MMMU-Pro были существенно ниже, чем на исходном MMMU: зафиксировано падение на **16,8–26,9 %** в зависимости от модели. Лучшая на момент релиза модель [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") снизилась с 69,1 % на [MMMU](https://systems-analysis.info/wiki/MMMU_Benchmark "MMMU Benchmark") до примерно **52 %** на MMMU-Pro; сопоставимо упали и другие сильные системы вроде [Claude 3.5 Sonnet](https://systems-analysis.info/wiki/Claude_Sonnet_3.5 "Claude Sonnet 3.5") и [Gemini 1.5 Pro](https://systems-analysis.info/wiki/Gemini_1.5_Pro "Gemini 1.5 Pro"), а открытые модели — ещё сильнее<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

Поскольку проведение новой строгой оценки людей на MMMU-Pro было бы дорогостоящим, авторы *аппроксимировали* уровень экспертов, переиспользовав данные экспертной оценки исходного MMMU (в которых эксперты записывали свои решения) и адаптировав их к более сложным десятивариантному и визуальному форматам. Ожидаемая итоговая точность человека — около **73,0 %** (low), **80,8 %** (medium) и **85,4 %** (high); авторы подчёркивают, что это приближение, а не прямое измерение<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

Передовые модели совершенствовались быстро, и к середине 2026 года на независимых лидербордах, оценивающих официальную конфигурацию из 3 460 заданий (например, Artificial Analysis), сильнейшие модели показывали результаты от низких до середины 80-х процентов — например, [Gemini 3.5 Flash](https://systems-analysis.info/wiki/Gemini_3.5_Flash "Gemini 3.5 Flash") около **84 %** — приближаясь к оцененному уровню лучших людей (около 85,4 %), но ещё не явно превосходя его; большинство записей в топе принадлежит рассуждающим («thinking») моделям<sup>[\[3\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-leaderboard-3)</sup>. Google сообщала, что [Gemini 3 Pro](https://systems-analysis.info/wiki/Gemini_3_Pro "Gemini 3 Pro") достиг **81,0 %** на MMMU-Pro<sup>[\[4\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-gemini3-4)</sup>. Публикуемые цифры заметно различаются между источниками — одни лидерборды размещают лучшие модели ближе к 81 %, другие ближе к 84 % — из-за различий в харнессах, протоколах промптинга и версиях датасета. В частности, некоторые лидерборды с маркировкой «MMMU-Pro» оценивают сокращённый четырёхвариантный формат примерно из 1 700 вопросов вместо официальной десятивариантной и визуальной конфигурации и сообщают соответственно более высокие баллы; заявленные самими вендорами цифры также могут отличаться от независимо проведённых оценок<sup>[\[5\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-vals_note-5)</sup>.

## Ограничения

Авторы MMMU-Pro отмечают несколько сохраняющихся ограничений. Датасет может всё ещё содержать тонкие статистические шорткаты, которыми модели способны пользоваться даже после фильтрации и расширения вариантов, а его область ограничена заранее заданными дисциплинами и форматами вопросов. Визуальная конфигурация повышает сложность, но не полностью отражает сложность человеческого восприятия. Наконец, поскольку уровень экспертов аппроксимирован по исходному MMMU, а не измерен напрямую, сравнения моделей с «уровнем эксперта» несут потенциальное смещение. Практически датасет обновлялся после релиза; в сочетании с различиями харнессов и протоколов промптинга это означает, что баллы MMMU-Pro сопоставимы только при указании версии датасета, формата вариантов, протокола промптинга и харнесса подсчёта<sup>[\[1\]](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_note-mmmu_pro_paper-1)</sup>.

## Ссылки

- <a href="https://github.com/MMMU-Benchmark/MMMU" class="external text" rel="nofollow">Official MMMU / MMMU-Pro repository on GitHub</a>
- <a href="https://mmmu-benchmark.github.io/" class="external text" rel="nofollow">MMMU project page and leaderboard</a>
- <a href="https://huggingface.co/datasets/MMMU/MMMU_Pro" class="external text" rel="nofollow">MMMU-Pro dataset on Hugging Face</a>
- MMMU — статья в англоязычной Википедии (<a href="https://en.wikipedia.org/wiki/MMMU" class="external text" rel="nofollow">en.wikipedia.org</a>; отдельной статьи о MMMU-Pro нет).
- Англоязычная версия статьи на systems-analysis.info: <a href="https://systems-analysis.info/eng/MMMU-Pro_Benchmark" class="external text" rel="nofollow">MMMU-Pro Benchmark</a>.

## Литература

- Yue, X. et al. (2025). *MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark*. ACL 2025. <a href="https://arxiv.org/abs/2409.02813" class="external text" rel="nofollow">arXiv:2409.02813</a>.
- Yue, X. et al. (2024). *MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI*. CVPR 2024. <a href="https://arxiv.org/abs/2311.16502" class="external text" rel="nofollow">arXiv:2311.16502</a>.
- Hu, K. et al. (2025). *Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos*. <a href="https://arxiv.org/abs/2501.13826" class="external text" rel="nofollow">arXiv:2501.13826</a>.
- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.

## См. также

- [MMMU Benchmark](https://systems-analysis.info/wiki/MMMU_Benchmark "MMMU Benchmark")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Мультимодальные LLM](https://systems-analysis.info/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BC%D0%BE%D0%B4%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_LLM "Мультимодальные LLM")
- [Мультимодальное рассуждение](https://systems-analysis.info/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BC%D0%BE%D0%B4%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5 "Мультимодальное рассуждение")

## Примечания

1.  <span id="cite_note-mmmu_pro_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_pro_paper_1-9)</sup> Yue, X.; Zheng, T.; Ni, Y. et al. "MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark". *arXiv:2409.02813*, 2024 (ACL 2025). <a href="https://arxiv.org/abs/2409.02813" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-mmmu_paper-2">[↑](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-mmmu_paper_2-0) Yue, X. et al. "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI". *arXiv:2311.16502*, 2023 (CVPR 2024). <a href="https://arxiv.org/abs/2311.16502" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-leaderboard-3">[↑](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-leaderboard_3-0) "MMMU-Pro Benchmark Leaderboard". *Artificial Analysis*, 2026. <a href="https://artificialanalysis.ai/evaluations/mmmu-pro" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-gemini3-4">[↑](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-gemini3_4-0) "A new era of intelligence with Gemini 3". *Google*, 2025. <a href="https://blog.google/products/gemini/gemini-3/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-vals_note-5">[↑](https://systems-analysis.info/wiki/MMMU-Pro_Benchmark#cite_ref-vals_note_5-0) The Vals AI "MMMU Pro" leaderboard (2026) states that it evaluates a standard four-option format of approximately 1,700 questions and benchmarks against the original MMMU human baseline, a configuration that differs from the official MMMU-Pro. <a href="https://www.vals.ai/benchmarks/mmmu" class="external autonumber" rel="nofollow">[5]</a></span>
