MMMU-Pro Benchmark

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

MMMU-Pro (A More Robust Multi-discipline Multimodal Understanding Benchmark) — бенчмарк для оценки мультимодальных моделей, больших мультимодальных моделей (LMM), одновременно обрабатывающих изображения и текст; разработан как более строгая и сложная версия бенчмарка MMMU. Представлен в сентябре 2024 года в статье «MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark» Сян Юэ (Xiang Yue), Тяньюем Чжэном (Tianyu Zheng), Юаньшэном Ни (Yuansheng Ni) и коллегами и опубликован на конференции ACL в 2025 году[1].

MMMU-Pro создан в ответ на слабые места исходного MMMU: часть вопросов оказывалась по силам чисто текстовым языковым моделям, которые не обращались к изображению, а формат с четырьмя вариантами ответа позволял моделям приходить к правильному ответу путём угадывания или использования закономерностей среди самих вариантов. Цель бенчмарка — измерять подлинное мультимодальное понимание и рассуждение на материале академических дисциплин вузовского уровня, а не способность эксплуатировать текстовые подсказки или особенности вариантов ответа[1].

Предыстория

MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) — мультимодальный бенчмарк вузовского уровня из 11 550 вопросов «изображение + текст», охватывающий шесть дисциплин, 30 предметов и 183 подобласти; опубликован на конференции CVPR 2024[2]. После выхода MMMU быстро стал стандартной оценкой для новых мультимодальных моделей. Однако авторы MMMU-Pro обнаружили, что чисто текстовые LLM способны правильно отвечать на некоторые вопросы MMMU без какого-либо визуального входа — либо потому, что вопрос практически не зависел от своего изображения, либо потому, что модели использовали корреляции между четырьмя вариантами ответа. В сочетании с ограниченным пространством вариантов это поставило под сомнение, отражают ли высокие баллы MMMU подлинное мультимодальное рассуждение, и мотивировало создание более устойчивого бенчмарка[1].

Построение

MMMU-Pro построен на основе MMMU в три шага:

  • Фильтрация. Четыре сильные открытые чисто текстовые LLM — Llama-3-70B-Instruct, Qwen2-72B-Instruct, Yi-1.5-34B-Chat и Mixtral-8×22B-Instruct — каждая по десять раз пытались ответить на вопросы MMMU без доступа к изображениям. Вопрос считался решаемым без изображения и исключался, если не менее трёх из четырёх моделей отвечали на него правильно в большинстве попыток. Из оставшегося пула авторы отобрали 1 800 вопросов, равномерно распределённых по 30 предметам (по 60 на предмет).
  • Расширение вариантов ответа. Число вариантов увеличено с четырёх до (обычно) десяти, что затрудняет опору на угадывание. Дополнительные варианты были сгенерированы GPT-4o, отфильтрованы Claude 3.5, а затем уточнены в двух раундах ручной проверки; на этом шаге было удалено 70 вопросов, осталось 1 730.
  • Только визуальный вход. Каждый вопрос дополнительно отрисован в виде скриншота или фотографии, вручную подготовленной аннотаторами на разнообразных фонах, со разными шрифтами и размерами, причём текст вопроса встроен в изображение, а отдельный текстовый промпт отсутствует. Модель обязана прочитать вопрос визуально и одновременно анализировать изображение; это устраняет отдельный текстовый канал и существенно сокращает текстовые шорткаты (хотя, как отмечают авторы, часть тонких статистических шорткатов может остаться)[1].

Всего MMMU-Pro состоит из 3 460 заданий — тех же 1 730 вопросов в двух форматах (стандартном и визуальном), охватывающих шесть дисциплин и 30 предметов MMMU. Увеличение числа вариантов с четырёх до десяти снижает достижимую за счёт угадывания точность: номинально примерно с 25 % до 10 %, хотя случайный базовый уровень, приведённый в статье, составляет около 12–13 % (12,8 % в стандартной десятивариантной конфигурации и 12,4 % в визуальной), поскольку не у каждого вопроса полный набор из десяти вариантов[1].

Оценка и подсчёт баллов

Модели оцениваются в трёх конфигурациях: стандартной с четырьмя вариантами (приводится только для сравнения с исходным MMMU), стандартной с десятью вариантами и визуальной. Итоговый балл MMMU-Pro вычисляется как среднее между стандартной десятивариантной и визуальной конфигурациями; четырёхвариантная конфигурация и результаты на валидационной выборке исходного MMMU включены исключительно для подчёркивания возросшей сложности[1].

Модели оцениваются как с промптами прямого ответа, так и с цепочкой рассуждений (CoT, chain-of-thought); учитывается более высокий балл. Авторы нашли, что CoT-промптинг в целом улучшает результаты, хотя выигрыш зависит от модели и дисциплины: значительный прирост дают насыщенные рассуждением области вроде Tech & Engineering, небольшой или нулевой — Art & Design. Явные OCR-промпты почти не влияют на результат, поскольку сильные модели и так извлекают встроенный текст; авторы подчёркивают, что точного распознавания текста недостаточно — визуальная конфигурация требует также понимания текста в его визуальном контексте[1].

Результаты и развитие

К моменту выхода бенчмарка в конце 2024 года результаты моделей на MMMU-Pro были существенно ниже, чем на исходном MMMU: зафиксировано падение на 16,8–26,9 % в зависимости от модели. Лучшая на момент релиза модель GPT-4o снизилась с 69,1 % на MMMU до примерно 52 % на MMMU-Pro; сопоставимо упали и другие сильные системы вроде Claude 3.5 Sonnet и Gemini 1.5 Pro, а открытые модели — ещё сильнее[1].

Поскольку проведение новой строгой оценки людей на MMMU-Pro было бы дорогостоящим, авторы аппроксимировали уровень экспертов, переиспользовав данные экспертной оценки исходного MMMU (в которых эксперты записывали свои решения) и адаптировав их к более сложным десятивариантному и визуальному форматам. Ожидаемая итоговая точность человека — около 73,0 % (low), 80,8 % (medium) и 85,4 % (high); авторы подчёркивают, что это приближение, а не прямое измерение[1].

Передовые модели совершенствовались быстро, и к середине 2026 года на независимых лидербордах, оценивающих официальную конфигурацию из 3 460 заданий (например, Artificial Analysis), сильнейшие модели показывали результаты от низких до середины 80-х процентов — например, Gemini 3.5 Flash около 84 % — приближаясь к оцененному уровню лучших людей (около 85,4 %), но ещё не явно превосходя его; большинство записей в топе принадлежит рассуждающим («thinking») моделям[3]. Google сообщала, что Gemini 3 Pro достиг 81,0 % на MMMU-Pro[4]. Публикуемые цифры заметно различаются между источниками — одни лидерборды размещают лучшие модели ближе к 81 %, другие ближе к 84 % — из-за различий в харнессах, протоколах промптинга и версиях датасета. В частности, некоторые лидерборды с маркировкой «MMMU-Pro» оценивают сокращённый четырёхвариантный формат примерно из 1 700 вопросов вместо официальной десятивариантной и визуальной конфигурации и сообщают соответственно более высокие баллы; заявленные самими вендорами цифры также могут отличаться от независимо проведённых оценок[5].

Ограничения

Авторы MMMU-Pro отмечают несколько сохраняющихся ограничений. Датасет может всё ещё содержать тонкие статистические шорткаты, которыми модели способны пользоваться даже после фильтрации и расширения вариантов, а его область ограничена заранее заданными дисциплинами и форматами вопросов. Визуальная конфигурация повышает сложность, но не полностью отражает сложность человеческого восприятия. Наконец, поскольку уровень экспертов аппроксимирован по исходному MMMU, а не измерен напрямую, сравнения моделей с «уровнем эксперта» несут потенциальное смещение. Практически датасет обновлялся после релиза; в сочетании с различиями харнессов и протоколов промптинга это означает, что баллы MMMU-Pro сопоставимы только при указании версии датасета, формата вариантов, протокола промптинга и харнесса подсчёта[1].

Ссылки

Литература

  • Yue, X. et al. (2025). MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark. ACL 2025. arXiv:2409.02813.
  • Yue, X. et al. (2024). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. CVPR 2024. arXiv:2311.16502.
  • Hu, K. et al. (2025). Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos. arXiv:2501.13826.
  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.

См. также

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Yue, X.; Zheng, T.; Ni, Y. et al. "MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark". arXiv:2409.02813, 2024 (ACL 2025). [1]
  2. ↑ Yue, X. et al. "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI". arXiv:2311.16502, 2023 (CVPR 2024). [2]
  3. ↑ "MMMU-Pro Benchmark Leaderboard". Artificial Analysis, 2026. [3]
  4. ↑ "A new era of intelligence with Gemini 3". Google, 2025. [4]
  5. ↑ The Vals AI "MMMU Pro" leaderboard (2026) states that it evaluates a standard four-option format of approximately 1,700 questions and benchmarks against the original MMMU human baseline, a configuration that differs from the official MMMU-Pro. [5]