MMMU Benchmark

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) — бенчмарк, предназначенный для оценки возможностей мультимодальных моделей — больших мультимодальных моделей (LMM), совместно обрабатывающих изображения и текст, — по широкому спектру академических дисциплин. Бенчмарк был представлен в 2023 году в статье MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI группы исследователей под руководством Сяна Юэ (Xiang Yue) и опубликован в формате устного доклада на конференции CVPR в 2024 году[1].

MMMU создан для измерения трёх ключевых навыков мультимодальных моделей — восприятия (perception), знаний (knowledge) и рассуждения (reasoning) — на уровне вузовских программ. Он позиционируется как мультимодальный аналог чисто текстовых бенчмарков знаний, таких как MMLU, и как более требовательная альтернатива ранним бенчмаркам визуального ответа на вопросы (например, ScienceQA), на которых передовые модели начали выходить на высокие результаты. В отличие от тех наборов, MMMU требует осознанных рассуждений в сочетании с профильными экспертными знаниями, а не опоры на здравый смысл или простое перцептивное понимание[1]. Несмотря на слова «Expert AGI» в названии, авторы прямо предупреждают, что высокие результаты на MMMU следует считать необходимым, но не достаточным критерием экспертного искусственного общего интеллекта[1].

Описание и содержание

MMMU состоит из 11 550 мультимодальных вопросов, охватывающих шесть базовых дисциплин, 30 предметов и 183 подобласти. Вопросы были вручную собраны командой из примерно 50 студентов (включая соавторов работы) из вузовских экзаменов, тестов, учебников и лекционных материалов, после чего прошли дедупликацию и фильтрацию по формату, вариантам ответов и чрезмерной лёгкости. Датасет разделён на набор разработки для формата few-shot (150 вопросов, по 5 на предмет), валидационный набор (900 вопросов) и тестовый набор (10 500 вопросов)[1]. Шесть дисциплин:

  • Искусство и дизайн (искусство, теория искусства, дизайн, музыка).
  • Бизнес (бухгалтерский учёт, экономика, финансы, менеджмент, маркетинг).
  • Естественные науки (биология, химия, физика, математика, география).
  • Здоровье и медицина (клиническая медицина, фармация, общественное здоровье, базовые и диагностические медицинские науки).
  • Гуманитарные и социальные науки (история, литература, социология, психология).
  • Техника и инженерия (информатика, электроника, машиностроение и материаловедение, энергетика)[1].

Определяющая особенность MMMU — разнообразие визуального материала: в вопросы входят 30 сильно гетерогенных типов изображений, включая графики, диаграммы, карты, таблицы, ноты, химические структуры, медицинские снимки, живопись и геометрические фигуры[1][2]. Примерно 97,5 % вопросов содержат хотя бы одно изображение в условии, а около 7,4 % включают несколько изображений[1].

Большинство вопросов представлены в формате множественного выбора — 10 861 (94,03 %) с четырьмя вариантами ответа каждый, остальные 689 (5,97 %) являются открытыми. На подмножестве с выбором ответа случайное угадывание даёт примерно 25 % точности. Авторы размечают вопросы по сложности на лёгкие (28 %), средние (45 %) и трудные (27 %) и оценивают модели преимущественно в режиме zero-shot без донастройки, используя микроусреднённую точность с извлечением ответа на основе правил (невалидные ответы в задачах с выбором трактуются как случайные)[1].

Результаты и развитие

На момент релиза MMMU в конце 2023 года даже сильнейшие проприетарные модели показывали результаты, значительно уступающие экспертам-людям. На валидационном наборе GPT-4V(ision) достигала около 56 %, а Google Gemini Ultra — около 59 % (округлённые значения из аннотации статьи), тогда как большинство открытых LMM показывали существенно более низкие результаты[1]. Для сравнения: результат эксперта-человека был позже добавлен в официальный лидерборд в январе 2024 года — в исходной статье его не было — и приводится для трёх уровней: 76,2 % (худший), 82,6 % (средний) и 88,6 % (лучший)[3].

Прогресс на исходном MMMU (с четырьмя вариантами ответа) был стремительным. По данным сторонних агрегаторов, к началу-середине 2026 года сильнейшие модели достигли примерно 85–87 % на валидационном наборе, приблизившись к уровню лучшего эксперта (88,6 %); большинство лидеров — рассуждающие модели («thinking»)[4]. Такие величины напрямую несопоставимы между источниками, поскольку различаются обвязки для оценки, протоколы промптинга (zero-shot против chain-of-thought) и даже сам состав вопросов. Например, лидерборд Vals AI приводит результаты около 88–89 %, однако его оценка использует четырёхвариантный формат примерно из 1 700 вопросов, взятых из датасета MMMU-Pro, и сравнивает их с человеческим базовым уровнем исходного MMMU — конфигурация, отличающаяся и от тестового набора исходного MMMU, и от официального бенчмарка MMMU-Pro[5].

Такое скопление лидирующих моделей у отметки лучшего эксперта означало постепенное «насыщение» исходного четырёхвариантного формата и снижение его способности различать передовые системы — та же траектория, что ранее наблюдалась у MMLU, — и мотивировало выпуск более сложных вариантов (см. ниже). На существенно более трудном официальном MMMU-Pro разрыв больше: на момент релиза (конец 2024 года) протестированные модели показывали относительное снижение точности от 16,8 % до 26,9 % по сравнению с MMMU, однако новейшие передовые модели закрыли значительную часть этого разрыва. Google сообщила, что Gemini 3 Pro набрала 81,0 % на MMMU-Pro (и 87,6 % на видеобенчмарке Video-MMMU)[6], приблизившись к оценённому лучшему человеческому уровню для MMMU-Pro — около 85,4 %, причём сама эта величина является приближением, а не прямым измерением (см. ниже). Некоторые публичные лидерборды описывают прогресс как приближение к асимптотическому пределу, однако это интерпретация конкретного лидерборда, а не установленный результат, и она зависит от того, какой вариант датасета и протокол используются[5].

К свежим результатам применима ещё одна оговорка: официальные ответы тестового набора MMMU были опубликованы в феврале 2026 года, поэтому результаты, заявленные после этой даты, следует интерпретировать с осторожностью в части возможного загрязнения данных (data contamination), особенно для моделей, обучавшихся или донастраивавшихся после релиза[7].

Ограничения и критика

Несмотря на широкое распространение в качестве стандартной мультимодальной оценки, MMMU имеет ряд заметных ограничений.

Формат множественного выбора и «шорткаты»

При всего четырёх вариантах ответа модель иной раз может прийти к правильному ответу через исключение или статистические упрощения, а не подлинное мультимодальное понимание, что может завышать её фактические способности. Смежная проблема — часть вопросов поддаётся чисто текстовым моделям вовсе без обращения к изображению, то есть некоторая доля бенчмарка строго не требует визуального восприятия. Обе проблемы были среди главных мотивов для варианта MMMU-Pro, который отфильтровывает вопросы, отвечаемые без изображения, и расширяет набор вариантов[8].

Методология оценки

Результаты сильно зависят от протокола оценки — zero-shot против промптинга chain-of-thought, конкретных формулировок промпта, способа подсчёта и обвязки для оценки, — а также от используемого разбиения (валидационное или тестовое). Поэтому результаты напрямую нельзя сравнивать, если протокол полностью не специфицирован. Авторы MMMU-Pro сообщают, что рассуждения chain-of-thought в целом повышают результаты, тогда как явные OCR-промпты почти не влияют, поскольку сильные модели и так извлекают встроенный текст без них[8].

Качество данных и человеческий базовый уровень

В исходной статье авторы вручную проанализировали 150 ошибок GPT-4V и обнаружили преобладание перцептивных ошибок, но также выявили небольшую долю ошибок разметки (около 2 %), что указывает на присутствие шума в метках[1]. Кроме того, результат эксперта-человека на более сложном MMMU-Pro не измерен напрямую, а приближённо выведен из данных оценки исходного MMMU (с оценённой точностью верхнего уровня около 85,4 %), что, как признают авторы, вносит потенциальное смещение в заявленный человеческий потолок и усложняет утверждения о достижении моделями «уровня эксперта»[8].

Производные версии и связанные расширения

Для устранения ограничений исходного MMMU и распространения его на новые сценарии создан ряд вариантов и родственных бенчмарков.

  • MMMU-Pro. Более устойчивая и сложная версия, представленная в сентябре 2024 года и опубликованная на ACL 2025. Она построена в три шага: фильтрация вопросов, отвечаемых чисто текстовыми моделями, расширение набора кандидатов с четырёх до десяти и добавление режима vision-only, в котором текст вопроса встроен в изображение без сопровождающего текстового промпта, что заставляет модель читать и рассуждать одновременно. Итоговый набор содержит 3 460 вопросов (1 730 в стандартном формате и 1 730 с vision-входом); протестированные на релизе модели показали относительное снижение точности от 16,8 % до 26,9 % относительно исходного MMMU[8].
  • Video-MMMU. Видеобенчмарк под руководством Кайруя Ху (Kairui Hu) и коллег (включая нескольких авторов MMMU), представленный в январе 2025 года; оценивает приобретение знаний из обучающих видео. Включает 300 видео экспертного уровня по тем же шести дисциплинам и проверяет три когнитивные стадии — восприятие, понимание и адаптацию. С помощью метрики прироста знаний (Δknowledge — улучшение после просмотра видео, а не абсолютная точность) он выявил большой разрыв между людьми и моделями: эксперты-люди улучшали результат на 33,1 %, а лучшая модель того времени (GPT-4o) — лишь на 15,6 %[9].
  • Uni-MMMU. Родственный бенчмарк, представленный в октябре 2025 года; совместно оценивает мультимодальное понимание и генерацию изображений по восьми предметным областям, ориентированным на рассуждения, используя проверяемые промежуточные шаги рассуждения и воспроизводимый протокол подсчёта как для текстовых, так и для визуальных результатов[10].

См. также

Ссылки

Литература

  • Yue, X. et al. (2024). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. CVPR 2024. arXiv:2311.16502.
  • Yue, X. et al. (2025). MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark. ACL 2025. arXiv:2409.02813.
  • Hu, K. et al. (2025). Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos. arXiv:2501.13826.
  • Zou, K. et al. (2025). Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark. arXiv:2510.13759.
  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Yue, X. et al. "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI". arXiv:2311.16502, 2023 (CVPR 2024, pp. 9556–9567). [1]
  2. ↑ The arXiv abstract and several dataset mirrors state 30 image types, while the official GitHub repository and the CVPR poster list 32, apparently reflecting a later revision of the taxonomy. [2]
  3. ↑ Human Expert performance was added to the MMMU leaderboard on 31 January 2024; the reported values are 76.2% (worst), 82.6% (medium), and 88.6% (best expert). MMMU project page. [3]
  4. ↑ "MMMU Leaderboard". LLM-Stats, 2026. [4]
  5. ↑ 5,0 5,1 Vals AI, "MMMU Pro" leaderboard, 2026: the page evaluates a four-option format of approximately 1,700 questions and benchmarks against the original MMMU human baseline (76.2–88.6%). [5]
  6. ↑ "A new era of intelligence with Gemini 3". Google, 2025. [6]
  7. ↑ MMMU-Benchmark, GitHub: "[2026-02-12] We have released the answers for the MMMU test set." [7]
  8. ↑ 8,0 8,1 8,2 8,3 Yue, X. et al. "MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark". arXiv:2409.02813, 2024 (ACL 2025). [8]
  9. ↑ Hu, K. et al. "Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos". arXiv:2501.13826, 2025. [9]
  10. ↑ Zou, K. et al. "Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark". arXiv:2510.13759, 2025. [10]