MMMU Benchmark
MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) — бенчмарк, предназначенный для оценки возможностей мультимодальных моделей — больших мультимодальных моделей (LMM), совместно обрабатывающих изображения и текст, — по широкому спектру академических дисциплин. Бенчмарк был представлен в 2023 году в статье MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI группы исследователей под руководством Сяна Юэ (Xiang Yue) и опубликован в формате устного доклада на конференции CVPR в 2024 году[1].
MMMU создан для измерения трёх ключевых навыков мультимодальных моделей — восприятия (perception), знаний (knowledge) и рассуждения (reasoning) — на уровне вузовских программ. Он позиционируется как мультимодальный аналог чисто текстовых бенчмарков знаний, таких как MMLU, и как более требовательная альтернатива ранним бенчмаркам визуального ответа на вопросы (например, ScienceQA), на которых передовые модели начали выходить на высокие результаты. В отличие от тех наборов, MMMU требует осознанных рассуждений в сочетании с профильными экспертными знаниями, а не опоры на здравый смысл или простое перцептивное понимание[1]. Несмотря на слова «Expert AGI» в названии, авторы прямо предупреждают, что высокие результаты на MMMU следует считать необходимым, но не достаточным критерием экспертного искусственного общего интеллекта[1].
Описание и содержание
MMMU состоит из 11 550 мультимодальных вопросов, охватывающих шесть базовых дисциплин, 30 предметов и 183 подобласти. Вопросы были вручную собраны командой из примерно 50 студентов (включая соавторов работы) из вузовских экзаменов, тестов, учебников и лекционных материалов, после чего прошли дедупликацию и фильтрацию по формату, вариантам ответов и чрезмерной лёгкости. Датасет разделён на набор разработки для формата few-shot (150 вопросов, по 5 на предмет), валидационный набор (900 вопросов) и тестовый набор (10 500 вопросов)[1]. Шесть дисциплин:
- Искусство и дизайн (искусство, теория искусства, дизайн, музыка).
- Бизнес (бухгалтерский учёт, экономика, финансы, менеджмент, маркетинг).
- Естественные науки (биология, химия, физика, математика, география).
- Здоровье и медицина (клиническая медицина, фармация, общественное здоровье, базовые и диагностические медицинские науки).
- Гуманитарные и социальные науки (история, литература, социология, психология).
- Техника и инженерия (информатика, электроника, машиностроение и материаловедение, энергетика)[1].
Определяющая особенность MMMU — разнообразие визуального материала: в вопросы входят 30 сильно гетерогенных типов изображений, включая графики, диаграммы, карты, таблицы, ноты, химические структуры, медицинские снимки, живопись и геометрические фигуры[1][2]. Примерно 97,5 % вопросов содержат хотя бы одно изображение в условии, а около 7,4 % включают несколько изображений[1].
Большинство вопросов представлены в формате множественного выбора — 10 861 (94,03 %) с четырьмя вариантами ответа каждый, остальные 689 (5,97 %) являются открытыми. На подмножестве с выбором ответа случайное угадывание даёт примерно 25 % точности. Авторы размечают вопросы по сложности на лёгкие (28 %), средние (45 %) и трудные (27 %) и оценивают модели преимущественно в режиме zero-shot без донастройки, используя микроусреднённую точность с извлечением ответа на основе правил (невалидные ответы в задачах с выбором трактуются как случайные)[1].
Результаты и развитие
На момент релиза MMMU в конце 2023 года даже сильнейшие проприетарные модели показывали результаты, значительно уступающие экспертам-людям. На валидационном наборе GPT-4V(ision) достигала около 56 %, а Google Gemini Ultra — около 59 % (округлённые значения из аннотации статьи), тогда как большинство открытых LMM показывали существенно более низкие результаты[1]. Для сравнения: результат эксперта-человека был позже добавлен в официальный лидерборд в январе 2024 года — в исходной статье его не было — и приводится для трёх уровней: 76,2 % (худший), 82,6 % (средний) и 88,6 % (лучший)[3].
Прогресс на исходном MMMU (с четырьмя вариантами ответа) был стремительным. По данным сторонних агрегаторов, к началу-середине 2026 года сильнейшие модели достигли примерно 85–87 % на валидационном наборе, приблизившись к уровню лучшего эксперта (88,6 %); большинство лидеров — рассуждающие модели («thinking»)[4]. Такие величины напрямую несопоставимы между источниками, поскольку различаются обвязки для оценки, протоколы промптинга (zero-shot против chain-of-thought) и даже сам состав вопросов. Например, лидерборд Vals AI приводит результаты около 88–89 %, однако его оценка использует четырёхвариантный формат примерно из 1 700 вопросов, взятых из датасета MMMU-Pro, и сравнивает их с человеческим базовым уровнем исходного MMMU — конфигурация, отличающаяся и от тестового набора исходного MMMU, и от официального бенчмарка MMMU-Pro[5].
Такое скопление лидирующих моделей у отметки лучшего эксперта означало постепенное «насыщение» исходного четырёхвариантного формата и снижение его способности различать передовые системы — та же траектория, что ранее наблюдалась у MMLU, — и мотивировало выпуск более сложных вариантов (см. ниже). На существенно более трудном официальном MMMU-Pro разрыв больше: на момент релиза (конец 2024 года) протестированные модели показывали относительное снижение точности от 16,8 % до 26,9 % по сравнению с MMMU, однако новейшие передовые модели закрыли значительную часть этого разрыва. Google сообщила, что Gemini 3 Pro набрала 81,0 % на MMMU-Pro (и 87,6 % на видеобенчмарке Video-MMMU)[6], приблизившись к оценённому лучшему человеческому уровню для MMMU-Pro — около 85,4 %, причём сама эта величина является приближением, а не прямым измерением (см. ниже). Некоторые публичные лидерборды описывают прогресс как приближение к асимптотическому пределу, однако это интерпретация конкретного лидерборда, а не установленный результат, и она зависит от того, какой вариант датасета и протокол используются[5].
К свежим результатам применима ещё одна оговорка: официальные ответы тестового набора MMMU были опубликованы в феврале 2026 года, поэтому результаты, заявленные после этой даты, следует интерпретировать с осторожностью в части возможного загрязнения данных (data contamination), особенно для моделей, обучавшихся или донастраивавшихся после релиза[7].
Ограничения и критика
Несмотря на широкое распространение в качестве стандартной мультимодальной оценки, MMMU имеет ряд заметных ограничений.
Формат множественного выбора и «шорткаты»
При всего четырёх вариантах ответа модель иной раз может прийти к правильному ответу через исключение или статистические упрощения, а не подлинное мультимодальное понимание, что может завышать её фактические способности. Смежная проблема — часть вопросов поддаётся чисто текстовым моделям вовсе без обращения к изображению, то есть некоторая доля бенчмарка строго не требует визуального восприятия. Обе проблемы были среди главных мотивов для варианта MMMU-Pro, который отфильтровывает вопросы, отвечаемые без изображения, и расширяет набор вариантов[8].
Методология оценки
Результаты сильно зависят от протокола оценки — zero-shot против промптинга chain-of-thought, конкретных формулировок промпта, способа подсчёта и обвязки для оценки, — а также от используемого разбиения (валидационное или тестовое). Поэтому результаты напрямую нельзя сравнивать, если протокол полностью не специфицирован. Авторы MMMU-Pro сообщают, что рассуждения chain-of-thought в целом повышают результаты, тогда как явные OCR-промпты почти не влияют, поскольку сильные модели и так извлекают встроенный текст без них[8].
Качество данных и человеческий базовый уровень
В исходной статье авторы вручную проанализировали 150 ошибок GPT-4V и обнаружили преобладание перцептивных ошибок, но также выявили небольшую долю ошибок разметки (около 2 %), что указывает на присутствие шума в метках[1]. Кроме того, результат эксперта-человека на более сложном MMMU-Pro не измерен напрямую, а приближённо выведен из данных оценки исходного MMMU (с оценённой точностью верхнего уровня около 85,4 %), что, как признают авторы, вносит потенциальное смещение в заявленный человеческий потолок и усложняет утверждения о достижении моделями «уровня эксперта»[8].
Производные версии и связанные расширения
Для устранения ограничений исходного MMMU и распространения его на новые сценарии создан ряд вариантов и родственных бенчмарков.
- MMMU-Pro. Более устойчивая и сложная версия, представленная в сентябре 2024 года и опубликованная на ACL 2025. Она построена в три шага: фильтрация вопросов, отвечаемых чисто текстовыми моделями, расширение набора кандидатов с четырёх до десяти и добавление режима vision-only, в котором текст вопроса встроен в изображение без сопровождающего текстового промпта, что заставляет модель читать и рассуждать одновременно. Итоговый набор содержит 3 460 вопросов (1 730 в стандартном формате и 1 730 с vision-входом); протестированные на релизе модели показали относительное снижение точности от 16,8 % до 26,9 % относительно исходного MMMU[8].
- Video-MMMU. Видеобенчмарк под руководством Кайруя Ху (Kairui Hu) и коллег (включая нескольких авторов MMMU), представленный в январе 2025 года; оценивает приобретение знаний из обучающих видео. Включает 300 видео экспертного уровня по тем же шести дисциплинам и проверяет три когнитивные стадии — восприятие, понимание и адаптацию. С помощью метрики прироста знаний (Δknowledge — улучшение после просмотра видео, а не абсолютная точность) он выявил большой разрыв между людьми и моделями: эксперты-люди улучшали результат на 33,1 %, а лучшая модель того времени (GPT-4o) — лишь на 15,6 %[9].
- Uni-MMMU. Родственный бенчмарк, представленный в октябре 2025 года; совместно оценивает мультимодальное понимание и генерацию изображений по восьми предметным областям, ориентированным на рассуждения, используя проверяемые промежуточные шаги рассуждения и воспроизводимый протокол подсчёта как для текстовых, так и для визуальных результатов[10].
См. также
- Бенчмарки LLM
- Мультимодальные LLM
- Большие языковые модели
- MMMU-Pro Benchmark
- MMLU benchmark
- Big-Bench Hard
- MATH-500
- Terminal-Bench
- LiveCodeBench
- ARC-AGI-2
- OSWorld
- τ-bench
- FrontierMath
- SWE-bench Pro
- SWE-bench Verified
- GDPval-AA v2
Ссылки
- Официальный репозиторий MMMU на GitHub
- Проектная страница MMMU и лидерборд
- Датасет MMMU на Hugging Face
- MMMU — статья в англоязычной Википедии (en.wikipedia.org).
- Англоязычная версия статьи на systems-analysis.info: MMMU Benchmark.
Литература
- Yue, X. et al. (2024). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. CVPR 2024. arXiv:2311.16502.
- Yue, X. et al. (2025). MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark. ACL 2025. arXiv:2409.02813.
- Hu, K. et al. (2025). Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos. arXiv:2501.13826.
- Zou, K. et al. (2025). Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark. arXiv:2510.13759.
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Yue, X. et al. "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI". arXiv:2311.16502, 2023 (CVPR 2024, pp. 9556–9567). [1]
- ↑ The arXiv abstract and several dataset mirrors state 30 image types, while the official GitHub repository and the CVPR poster list 32, apparently reflecting a later revision of the taxonomy. [2]
- ↑ Human Expert performance was added to the MMMU leaderboard on 31 January 2024; the reported values are 76.2% (worst), 82.6% (medium), and 88.6% (best expert). MMMU project page. [3]
- ↑ "MMMU Leaderboard". LLM-Stats, 2026. [4]
- ↑ 5,0 5,1 Vals AI, "MMMU Pro" leaderboard, 2026: the page evaluates a four-option format of approximately 1,700 questions and benchmarks against the original MMMU human baseline (76.2–88.6%). [5]
- ↑ "A new era of intelligence with Gemini 3". Google, 2025. [6]
- ↑ MMMU-Benchmark, GitHub: "[2026-02-12] We have released the answers for the MMMU test set." [7]
- ↑ 8,0 8,1 8,2 8,3 Yue, X. et al. "MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark". arXiv:2409.02813, 2024 (ACL 2025). [8]
- ↑ Hu, K. et al. "Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos". arXiv:2501.13826, 2025. [9]
- ↑ Zou, K. et al. "Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark". arXiv:2510.13759, 2025. [10]