MMMU-Pro Benchmark
MMMU-Pro (A More Robust Multi-discipline Multimodal Understanding Benchmark) — бенчмарк для оценки мультимодальных моделей, больших мультимодальных моделей (LMM), одновременно обрабатывающих изображения и текст; разработан как более строгая и сложная версия бенчмарка MMMU. Представлен в сентябре 2024 года в статье «MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark» Сян Юэ (Xiang Yue), Тяньюем Чжэном (Tianyu Zheng), Юаньшэном Ни (Yuansheng Ni) и коллегами и опубликован на конференции ACL в 2025 году[1].
MMMU-Pro создан в ответ на слабые места исходного MMMU: часть вопросов оказывалась по силам чисто текстовым языковым моделям, которые не обращались к изображению, а формат с четырьмя вариантами ответа позволял моделям приходить к правильному ответу путём угадывания или использования закономерностей среди самих вариантов. Цель бенчмарка — измерять подлинное мультимодальное понимание и рассуждение на материале академических дисциплин вузовского уровня, а не способность эксплуатировать текстовые подсказки или особенности вариантов ответа[1].
Предыстория
MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) — мультимодальный бенчмарк вузовского уровня из 11 550 вопросов «изображение + текст», охватывающий шесть дисциплин, 30 предметов и 183 подобласти; опубликован на конференции CVPR 2024[2]. После выхода MMMU быстро стал стандартной оценкой для новых мультимодальных моделей. Однако авторы MMMU-Pro обнаружили, что чисто текстовые LLM способны правильно отвечать на некоторые вопросы MMMU без какого-либо визуального входа — либо потому, что вопрос практически не зависел от своего изображения, либо потому, что модели использовали корреляции между четырьмя вариантами ответа. В сочетании с ограниченным пространством вариантов это поставило под сомнение, отражают ли высокие баллы MMMU подлинное мультимодальное рассуждение, и мотивировало создание более устойчивого бенчмарка[1].
Построение
MMMU-Pro построен на основе MMMU в три шага:
- Фильтрация. Четыре сильные открытые чисто текстовые LLM — Llama-3-70B-Instruct, Qwen2-72B-Instruct, Yi-1.5-34B-Chat и Mixtral-8×22B-Instruct — каждая по десять раз пытались ответить на вопросы MMMU без доступа к изображениям. Вопрос считался решаемым без изображения и исключался, если не менее трёх из четырёх моделей отвечали на него правильно в большинстве попыток. Из оставшегося пула авторы отобрали 1 800 вопросов, равномерно распределённых по 30 предметам (по 60 на предмет).
- Расширение вариантов ответа. Число вариантов увеличено с четырёх до (обычно) десяти, что затрудняет опору на угадывание. Дополнительные варианты были сгенерированы GPT-4o, отфильтрованы Claude 3.5, а затем уточнены в двух раундах ручной проверки; на этом шаге было удалено 70 вопросов, осталось 1 730.
- Только визуальный вход. Каждый вопрос дополнительно отрисован в виде скриншота или фотографии, вручную подготовленной аннотаторами на разнообразных фонах, со разными шрифтами и размерами, причём текст вопроса встроен в изображение, а отдельный текстовый промпт отсутствует. Модель обязана прочитать вопрос визуально и одновременно анализировать изображение; это устраняет отдельный текстовый канал и существенно сокращает текстовые шорткаты (хотя, как отмечают авторы, часть тонких статистических шорткатов может остаться)[1].
Всего MMMU-Pro состоит из 3 460 заданий — тех же 1 730 вопросов в двух форматах (стандартном и визуальном), охватывающих шесть дисциплин и 30 предметов MMMU. Увеличение числа вариантов с четырёх до десяти снижает достижимую за счёт угадывания точность: номинально примерно с 25 % до 10 %, хотя случайный базовый уровень, приведённый в статье, составляет около 12–13 % (12,8 % в стандартной десятивариантной конфигурации и 12,4 % в визуальной), поскольку не у каждого вопроса полный набор из десяти вариантов[1].
Оценка и подсчёт баллов
Модели оцениваются в трёх конфигурациях: стандартной с четырьмя вариантами (приводится только для сравнения с исходным MMMU), стандартной с десятью вариантами и визуальной. Итоговый балл MMMU-Pro вычисляется как среднее между стандартной десятивариантной и визуальной конфигурациями; четырёхвариантная конфигурация и результаты на валидационной выборке исходного MMMU включены исключительно для подчёркивания возросшей сложности[1].
Модели оцениваются как с промптами прямого ответа, так и с цепочкой рассуждений (CoT, chain-of-thought); учитывается более высокий балл. Авторы нашли, что CoT-промптинг в целом улучшает результаты, хотя выигрыш зависит от модели и дисциплины: значительный прирост дают насыщенные рассуждением области вроде Tech & Engineering, небольшой или нулевой — Art & Design. Явные OCR-промпты почти не влияют на результат, поскольку сильные модели и так извлекают встроенный текст; авторы подчёркивают, что точного распознавания текста недостаточно — визуальная конфигурация требует также понимания текста в его визуальном контексте[1].
Результаты и развитие
К моменту выхода бенчмарка в конце 2024 года результаты моделей на MMMU-Pro были существенно ниже, чем на исходном MMMU: зафиксировано падение на 16,8–26,9 % в зависимости от модели. Лучшая на момент релиза модель GPT-4o снизилась с 69,1 % на MMMU до примерно 52 % на MMMU-Pro; сопоставимо упали и другие сильные системы вроде Claude 3.5 Sonnet и Gemini 1.5 Pro, а открытые модели — ещё сильнее[1].
Поскольку проведение новой строгой оценки людей на MMMU-Pro было бы дорогостоящим, авторы аппроксимировали уровень экспертов, переиспользовав данные экспертной оценки исходного MMMU (в которых эксперты записывали свои решения) и адаптировав их к более сложным десятивариантному и визуальному форматам. Ожидаемая итоговая точность человека — около 73,0 % (low), 80,8 % (medium) и 85,4 % (high); авторы подчёркивают, что это приближение, а не прямое измерение[1].
Передовые модели совершенствовались быстро, и к середине 2026 года на независимых лидербордах, оценивающих официальную конфигурацию из 3 460 заданий (например, Artificial Analysis), сильнейшие модели показывали результаты от низких до середины 80-х процентов — например, Gemini 3.5 Flash около 84 % — приближаясь к оцененному уровню лучших людей (около 85,4 %), но ещё не явно превосходя его; большинство записей в топе принадлежит рассуждающим («thinking») моделям[3]. Google сообщала, что Gemini 3 Pro достиг 81,0 % на MMMU-Pro[4]. Публикуемые цифры заметно различаются между источниками — одни лидерборды размещают лучшие модели ближе к 81 %, другие ближе к 84 % — из-за различий в харнессах, протоколах промптинга и версиях датасета. В частности, некоторые лидерборды с маркировкой «MMMU-Pro» оценивают сокращённый четырёхвариантный формат примерно из 1 700 вопросов вместо официальной десятивариантной и визуальной конфигурации и сообщают соответственно более высокие баллы; заявленные самими вендорами цифры также могут отличаться от независимо проведённых оценок[5].
Ограничения
Авторы MMMU-Pro отмечают несколько сохраняющихся ограничений. Датасет может всё ещё содержать тонкие статистические шорткаты, которыми модели способны пользоваться даже после фильтрации и расширения вариантов, а его область ограничена заранее заданными дисциплинами и форматами вопросов. Визуальная конфигурация повышает сложность, но не полностью отражает сложность человеческого восприятия. Наконец, поскольку уровень экспертов аппроксимирован по исходному MMMU, а не измерен напрямую, сравнения моделей с «уровнем эксперта» несут потенциальное смещение. Практически датасет обновлялся после релиза; в сочетании с различиями харнессов и протоколов промптинга это означает, что баллы MMMU-Pro сопоставимы только при указании версии датасета, формата вариантов, протокола промптинга и харнесса подсчёта[1].
Ссылки
- Official MMMU / MMMU-Pro repository on GitHub
- MMMU project page and leaderboard
- MMMU-Pro dataset on Hugging Face
- MMMU — статья в англоязычной Википедии (en.wikipedia.org; отдельной статьи о MMMU-Pro нет).
- Англоязычная версия статьи на systems-analysis.info: MMMU-Pro Benchmark.
Литература
- Yue, X. et al. (2025). MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark. ACL 2025. arXiv:2409.02813.
- Yue, X. et al. (2024). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. CVPR 2024. arXiv:2311.16502.
- Hu, K. et al. (2025). Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos. arXiv:2501.13826.
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
См. также
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Yue, X.; Zheng, T.; Ni, Y. et al. "MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark". arXiv:2409.02813, 2024 (ACL 2025). [1]
- ↑ Yue, X. et al. "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI". arXiv:2311.16502, 2023 (CVPR 2024). [2]
- ↑ "MMMU-Pro Benchmark Leaderboard". Artificial Analysis, 2026. [3]
- ↑ "A new era of intelligence with Gemini 3". Google, 2025. [4]
- ↑ The Vals AI "MMMU Pro" leaderboard (2026) states that it evaluates a standard four-option format of approximately 1,700 questions and benchmarks against the original MMMU human baseline, a configuration that differs from the official MMMU-Pro. [5]