MMLU-Pro Benchmark
MMLU-Pro — бенчмарк, предназначенный для оценки знаний и способностей к рассуждению больших языковых моделей (LLM). Он представлен в июне 2024 года в статье MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark; в числе основных авторов — Юбо Ван (Yubo Wang), Сюэгуан Ма (Xueguang Ma) и Вэньху Чэнь (Wenhu Chen); авторы представляют Университет Ватерлоо (там работает группа TIGER-Lab), Торонтский университет и Университет Карнеги — Меллона. Статья была опубликована на конференции NeurIPS 2024 в треке Datasets and Benchmarks[1].
MMLU-Pro создан как прямой преемник исходного MMLU, полезность которого снизилась по мере того, как ведущие модели приблизились к его «потолку». Новый бенчмарк отвечает на это «насыщение» добавлением более сложных в плане рассуждения вопросов, расширением числа вариантов ответа с четырёх до десяти и удалением тривиальных или некорректно размеченных элементов, унаследованных от исходного набора[1].
Предыстория
К 2024 году MMLU стал фактическим стандартом оценки LLM, однако прогресс на нём остановился. С момента, когда GPT-4 достигла 86,4 % в марте 2023 года, frontier-модели — GPT-4-Turbo, Gemini 1.5 Pro, Claude 3 и Llama 3 — сбились в узкий диапазон примерно 86–87 %[1]. Такая кластеризация лишила бенчмарк способности различать сильнейшие системы. Авторы отмечали, что GPT-4o, несмотря на крупные приросты на других тестах, улучшила свой результат на MMLU лишь примерно на 1 % (до 87,4 %), что поставило под вопрос способность бенчмарка отслеживать дальнейший прогресс[1].
Исходный MMLU имел и две структурные слабости, которые MMLU-Pro должен был устранить: формат с четырьмя вариантами, допускающий 25 % успеха при случайном угадывании, и долю «шумных» или не имеющих ответа вопросов, искусственно ограничивающих «потолок» результатов[1].
Описание и содержание
MMLU-Pro состоит из 12 032 вопросов с выбором варианта ответа, распределённых по 14 дисциплинам[1][2]. Это биология, бизнес, химия, информатика, экономика, инженерное дело, здоровье, история, право, математика, философия, физика, психология и категория «прочее»[3].
Построение началось с объединения 57 исходных предметов MMLU в эти 14 более широких категорий и удаления слишком лёгких вопросов: восемь небольших моделей пропустили через MMLU, и каждый вопрос, на который правильно ответили более четырёх из них, отбрасывался — так было устранено 5 886 вопросов (около 42 % исходного набора). Затем новые вопросы были взяты из трёх дополнительных источников — онлайн-коллекции STEM-задач, TheoremQA и SciBench — а GPT-4-Turbo использовалась как для преобразования их в формат с выбором варианта, так и для расширения каждого вопроса с четырёх до десяти опций путём генерации шести дополнительных дистракторов. Наконец, набор прошёл два раунда экспертной проверки: в первом человеческие эксперты проверяли корректность ответов и удаляли непригодные вопросы; во втором модель Gemini-1.5-Pro помечала варианты, которые могли оказаться дополнительными верными ответами («ложные негативы»), и человеческие аннотаторы повторно их рассматривали[1].
В итоге около 57 % финальных вопросов происходят из исходного MMLU, 34 % — из STEM-коллекции, остальное — из TheoremQA (примерно 5 %) и SciBench (примерно 4,5 %)[1]. Смесь резко различается по дисциплинам. Богатые на рассуждения STEM-области были расширены новым материалом — лишь около трети вопросов по физике и одна шестая вопросов по химии взяты из MMLU, остальное поступило из добавленных источников, — тогда как опирающиеся на знания дисциплины вроде права и истории целиком основаны на MMLU и были сокращены, а не расширены, поскольку многие их вопросы были удалены как слишком лёгкие (история, например, сократилась с 930 вопросов MMLU до 381)[1].
Ключевые отличия от MMLU
MMLU-Pro отличается от исходного бенчмарка в трёх основных отношениях[1]:
- Больше вариантов ответа. Вопросы расширены с четырёх опций до десяти; в финальном наборе 83 % вопросов имеют десять вариантов, у остальных — меньше; в среднем 9,47 опции на вопрос. Это снижает ожидаемую точность случайного угадывания с 25 % примерно до 10 % и делает стратегии исключения менее эффективными.
- Акцент на рассуждениях. Доля сложных задач вузовского уровня увеличена, поэтому сильный результат требует многошаговых рассуждений, а не одного припоминания фактов.
- Чище данные. Тривиальные, неоднозначные и некорректно размеченные вопросы исходного MMLU отфильтрованы, что повышает эффективный «потолок» бенчмарка.
Заметным следствием стала изменившаяся роль промптинга «цепочкой мыслей» (CoT). На исходном MMLU многие модели набирали больше при прямом предсказании ответа, и CoT мог даже снижать точность; на MMLU-Pro CoT необходим для хороших результатов — он поднимает результат GPT-4o с 53,5 % при прямом ответе до 72,6 % с CoT, прирост составляет около 19 процентных пунктов[1].
MMLU-Pro также более устойчив к вариациям промптов. По 24 различным стилям промптов чувствительность результатов моделей к формулировкам снизилась с 4–5 % на MMLU примерно до 2 % на MMLU-Pro, что делает результаты более воспроизводимыми[1].
Результаты
В статье было оценено более 50 моделей по стандартному протоколу 5-shot с промптингом «цепочкой мыслей» (две модели Gemini 1.5 запускались zero-shot); ответы извлекались из сгенерированного текста регулярными выражениями, а при неудаче извлечения выбирался случайный вариант[1]. В этой настройке бенчмарк привёл к резкому падению заявляемой точности: результаты снижались на 16–33 % по сравнению с MMLU в зависимости от модели[1]. В оценке статьи сильнейшей из протестированных моделей была GPT-4o с общей точностью 72,6 % — значительно ниже диапазона 86–87 %, которого ведущие модели достигали на исходном MMLU[1]. Среди моделей с открытыми весами лучшие результаты показали Llama-3-70B-Instruct (56,2 %) и DeepSeek-V2-Chat (54,8 %), приближаясь к Claude 3 Sonnet, но всё ещё уступая GPT-4o и Claude 3 Opus[1].
Бенчмарк также оказался более дискриминативным, чем предшественник. Разрыв между GPT-4o и GPT-4-Turbo, составлявший на MMLU лишь около 1 %, на MMLU-Pro вырос примерно до 9 %, что иллюстрирует более высокую способность разделять близкие по силе системы[1].
С 2024 года MMLU-Pro получил широкое распространение и отслеживается независимыми публичными лидербордами[4]. Frontier-модели улучшались быстро: к середине 2026 года сильнейшие системы (например, Gemini 3 Pro и Claude Opus 4.5) достигли на этих лидербордах примерно 90 %, сгруппировавшись в пределах около двух процентных пунктов друг от друга, — что возрождает то самое опасение насыщения, которое мотивировало создание MMLU-Pro[4].
Ограничения
Устраняя ряд проблем исходного MMLU, MMLU-Pro несёт ограничения, на которых акцентируются сами его авторы. Главное из них — сам формат с выбором варианта, который не способен отразить глубину понимания или генерацию свободной формы так же, как свободные ответы, а также исключительная ориентация бенчмарка на текст и отсутствие какой-либо мультимодальной оценки[1].
Он также разделяет слабости, общие для публичных бенчмарков. Тестовые вопросы уязвимы к загрязнению данных (data contamination), при котором элементы попадают в обучающие данные модели и завышают её видимую производительность[5]. Набор не полностью свободен от ошибок разметки, и его сопровождающие продолжают принимать правки от сообщества[6]. Наконец, публикуемые цифры часто сообщаются самими разработчиками и зависят от того, использовался ли промптинг «цепочкой мыслей», и от конкретной оценочной обвязки, поэтому результаты из разных источников не всегда напрямую сопоставимы[7].
Ссылки
- Официальный репозиторий MMLU-Pro на GitHub
- Лидерборд MMLU-Pro на Hugging Face
- Набор данных MMLU-Pro на Hugging Face
- MMLU-Pro — AI Wiki
- MMLU — английская Википедия (о предшественнике — исходном бенчмарке MMLU; отдельной статьи о MMLU-Pro в английской Википедии нет)
- MMLU-Pro Benchmark — англоязычная версия статьи
См. также
Литература
- Wang, Y. et al. (2024). MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark. arXiv:2406.01574.
- Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 Wang, Y. et al. "MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark". arXiv:2406.01574, 2024 (NeurIPS 2024, Datasets and Benchmarks Track). [1]
- ↑ Цифра 12 032 относится к основному тестовому набору. Публичный выпуск на Hugging Face включает также небольшой валидационный сплит из 70 вопросов — по пять демонстрационных примеров на каждую из 14 дисциплин, используемых для few-shot-промптинга, — всего 12 102 строки. [2]
- ↑ "TIGER-AI-Lab/MMLU-Pro". GitHub. [3]
- ↑ 4,0 4,1 "MMLU-Pro Benchmark Leaderboard". Artificial Analysis. [4]
- ↑ Xu, C. et al. "Benchmark Data Contamination of Large Language Models: A Survey". arXiv:2406.04244, 2024. [5]
- ↑ "TIGER-Lab/MMLU-Pro". Hugging Face Datasets. [6]
- ↑ Сопровождающие набора отмечают, что публикуемые результаты поступают как от самих авторов, так и от третьих сторон, как правило при 5-shot-оценке, хотя некоторые модели (например, Gemini 1.5) оцениваются в zero-shot; поэтому результаты из разных источников следует сравнивать с осторожностью. [7]