MATH-500

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

MATH-500 — компактный бенчмарк, предназначенный для оценки способностей больших языковых моделей (LLM) решать математические задачи и выполнять многошаговые рассуждения. Он представляет собой фиксированный поднабор из 500 задач со свободной формой ответа, отобранный из тестовой части (test split) набора данных MATH. Поднабор был представлен в исследовательской работе OpenAI 2023 года Let's Verify Step by Step Хантера Лайтмана (Hunter Lightman) и коллег, позднее опубликованной на конференции ICLR 2024[1].

В исходной статье эта коллекция описывалась как репрезентативный поднабор тестовой части MATH, без отдельного формального названия бенчмарка. Впоследствии она получила широкую известность как MATH-500 и была выпущена в виде самостоятельного набора данных через репозиторий OpenAI PRM800K и публичные зеркала датасетов[2][3].

В отличие от бенчмарков с вариантами ответа, MATH-500 требует, чтобы модель выдавала численный, алгебраический или символьный ответ, как правило, после генерации пошагового решения. Бенчмарк широко используется в исследованиях цепочек рассуждений (chain-of-thought), моделей вознаграждения за процесс (process reward models), обучения с подкреплением на проверяемых вознаграждениях, дистилляции моделей и вычислений на этапе инференса (test-time computation).

Происхождение и построение

MATH-500 произведён от исходного набора данных MATH, формально названного Mathematics Aptitude Test of Heuristics. Представленный Дэном Хендриксом (Dan Hendrycks) и коллегами в 2021 году, MATH содержит 12 500 конкурсных математических задач, разделённых на 7 500 обучающих и 5 000 тестовых. Задачи собраны из таких конкурсов, как AMC 10, AMC 12, AIME, и смежных источников; каждый элемент включает полное эталонное решение и итоговый ответ[4].

В ходе исследования, породившего набор данных PRM800K для надзора на уровне процесса (process supervision), исследователям OpenAI требовался более крупный и разнообразный пул обучающих задач. Повторный сбор разметки решений только для исходных 7 500 обучающих задач MATH создавал риск переобучения. Поэтому авторы приняли нестандартное разбиение:

  • Исходные 7 500 обучающих задач MATH были сохранены.
  • 4 500 задач из исходной тестовой части MATH были добавлены к обучающему пулу.
  • Оставшиеся 500 тестовых задач были зарезервированы для оценки[1][2].

500 оценочных задач были отобраны равномерно случайным образом. Авторы сравнили распределение задач по темам и уровням сложности в поднаборе с распределением в полной тестовой части MATH из 5 000 задач и заключили, что меньший поднабор в целом репрезентативен для исходного тестового распределения[1].

Несмотря на название, MATH-500 не является набором из 500 самых сложных задач MATH. Он содержит задачи всех пяти уровней сложности MATH. Его не следует путать с MATH-Hard или MATH Level 5 — версиями, отфильтрованными по сложности и содержащими только самую трудную категорию задач.

Содержание и формат

MATH-500 содержит задачи, записанные на английском языке с использованием математической нотации. Формулировки задач и эталонные решения используют LaTeX; некоторые геометрические элементы, унаследованные из MATH, могут включать диаграммы, закодированные на векторно-графическом языке Asymptote[4].

Бенчмарк охватывает те же семь предметных областей, что и полный набор MATH:

  • Преалгебра (Prealgebra).
  • Алгебра (Algebra).
  • Теория чисел (Number Theory).
  • Счёт и вероятность (Counting and Probability).
  • Геометрия (Geometry).
  • Промежуточная алгебра (Intermediate Algebra).
  • Предварительное исчисление (Precalculus).

Каждая задача также имеет метку сложности от Уровня 1 до Уровня 5. Уровни относительны в рамках предмета: Уровень 1 соответствует самым простым задачам внутри предмета, Уровень 5 — самым сложным[4].

Распространённая на Hugging Face версия набора данных предоставляет единственный тестовый сплит из 500 строк со следующими полями[3]:

Поле Описание
problem Формулировка задачи на естественном языке и в LaTeX.
solution Полное эталонное решение с промежуточными рассуждениями.
answer Нормализованный итоговый ответ, извлечённый из эталонного решения.
subject Одна из семи математических предметных категорий.
level Оценка сложности от 1 до 5.
unique_id Путь-подобный идентификатор, унаследованный из исходного набора MATH.

Поскольку бенчмарк содержит ровно 500 задач, каждая корректно или некорректно оценённая задача меняет агрегированный балл на 0,2 процентного пункта.

Методология оценки

Оценка по итоговому ответу

Стандартная постановка задачи: модели предъявляется условие задачи, и она должна сгенерировать решение, за которым следует итоговый ответ. Промпты часто предписывают модели поместить итоговый результат в LaTeX-выражение вида \boxed{...}.

Типичный конвейер оценки выполняет следующие операции:

  1. Сгенерировать один или несколько ответов модели на каждую задачу.
  2. Извлечь итоговый ответ, как правило, из последнего выражения \boxed{...}.
  3. Нормализовать различия в пробелах, LaTeX-командах, дробях, единицах измерения, знаках и эквивалентном форматировании.
  4. Сравнить извлечённый ответ с эталонным.
  5. Сообщить долю правильно решённых задач.

Основная метрика обычно называется точность (accuracy) или pass@1. В детерминированной оценке это процент задач, решённых одним ответом на задачу. В оценках, основанных на сэмплировании, pass@1 может вместо этого оцениваться по нескольким стохастическим ответам, сгенерированным для каждой задачи.

Исходная оценка MATH использовала нормализованное точное совпадение. Позднейшие реализации добавили символьные проверки, включая сравнение выражений с помощью SymPy. Выпущенный OpenAI грейдер намеренно консервативен и может отклонить некоторые математически верные ответы; репозиторий также признаёт, что несовершенный парсер изредка может принять неверный ответ[5].

Поиск и верификация на этапе инференса

MATH-500 также часто используется для оценки методов, которые генерируют несколько кандидатов-решений и тратят дополнительные вычисления на выбор ответа. Распространённые протоколы включают:

  • Голосование большинством (majority voting) или консенсус, при котором выбирается самый частый итоговый ответ среди нескольких генераций.
  • Отбор Best-of-N, при котором модель вознаграждения или верификатор ранжирует N кандидатов-решений.
  • Отбор на основе модели вознаграждения за процесс, при котором оцениваются отдельные шаги рассуждения и объединяются в балл уровня решения.
  • Pass@k, измеряющий, верно ли хотя бы одно из k сгенерированных решений.
  • Оценку с инструментами, использующую интерпретатор Python или систему компьютерной алгебры.

В работе Let's Verify Step by Step генератор выдавал до 1 860 кандидатов-решений на задачу. Модель вознаграждения за процесс ранжировала этих кандидатов, и решение с наивысшим рангом автоматически оценивалось. Итоговая система решила 78 % из 500 задач[1][2]. Этот результат представляет собой балл отбора best-of-1,860 и напрямую не сопоставим с точностью одиночного ответа.

Поэтому отчёты об оценке должны указывать промпт, версию модели, температуру сэмплирования, число генераций, бюджет токенов, парсер ответов, доступ к инструментам и метод отбора кандидатов. Баллы, полученные при разных протоколах, могут измерять существенно разные комбинации базовых способностей модели и вычислений на этапе инференса.

Исследовательское использование и развитие

MATH-500 первоначально использовался для сравнения надзора на уровне процесса (process supervision) с надзором по итогу (outcome supervision). Модели вознаграждения, обученные по итогу, получают метку для всего решения, основанную прежде всего на его конечном результате. Модели вознаграждения, обученные на уровне процесса, вместо этого получают метки корректности для отдельных шагов рассуждения.

Связанный набор PRM800K содержит около 800 000 меток уровня шагов для 75 000 сгенерированных моделью решений примерно 12 000 задач MATH. Разметчики-люди помечали шаги как положительные, отрицательные или нейтральные. Исследование показало, что модель вознаграждения, обученная на уровне процесса, существенно эффективнее отбирает корректные решения из больших пулов кандидатов, чем альтернатива, обученная по итогу[1].

Позднее бенчмарк стал стандартной оценкой для моделей, ориентированных на рассуждения, дистилляции математических моделей, обучения с подкреплением и поиска на этапе инференса. Отдельные опубликованные результаты иллюстрируют и быстрый прогресс, и трудность сравнения протоколов:

Избранные опубликованные результаты на сплите MATH-500
Год Система Заявленный балл Примечание по оценке
2023 Генератор OpenAI с моделью вознаграждения за процесс 78,0 % Отбор из 1 860 кандидатов (best-of-1,860); результат не является одиночной генерацией[1].
2024 GPT-4o 60,3 % Pass@1 в zero-shot-оценке цепочек рассуждений OpenAI[6].
2024 OpenAI o1 94,8 % Pass@1 в режиме высоких вычислений на этапе инференса; OpenAI использовала тот же сплит из 500 задач[6].
2025 DeepSeek-R1 97,3 % Заявленная оценка pass@1; для оценки метрики использовалось 64 сэмплированных ответа на задачу[7].

Эти цифры не являются строгим лидербордом: они получены с разными версиями моделей, процедурами сэмплирования, промптами, бюджетами токенов и системами верификации.

К сентябрю 2024 года OpenAI заявляла, что новейшие передовые модели справляются с MATH и GSM8K настолько хорошо, что бенчмарки перестают различать ведущие системы. Результат по MATH в том отчёте использовал тот же сплит из 500 задач, который позднее стал широко обозначаться как MATH-500[6]. Это насыщение стимулировало более широкое использование более сложных или недавно выпущенных конкурсных задач, включая AIME, бенчмарки олимпиадного уровня и динамически обновляемые оценки.

Ограничения и критика

Публичный тестовый набор и загрязнение данных

MATH-500 — публичный статический тестовый набор, производный от конкурсных задач, множество лет циркулировавших в интернете. Авторы Let's Verify Step by Step признавали, что некоторые задачи MATH, вероятно, присутствовали в предобучающих данных их моделей. Хотя они пытались удалить задачи MATH из своего дополнительного обучающего корпуса MathMix с помощью строкового сопоставления, они не могли исключить парафразы и другие менее очевидные формы пересечения[1].

Исследование 2025 года сообщило, что некоторые модели семейства Qwen2.5 способны восстановить существенные части формулировок задач MATH-500, получив лишь частичные условия. Авторы интерпретировали это поведение как свидетельство того, что результаты на публичных математических бенчмарках могут завышаться за счёт запоминания или загрязнения обучающих данных[8]. Такие выводы специфичны для конкретных моделей и не устанавливают степень загрязнения в каждой оцениваемой системе, однако показывают, почему происхождение бенчмарка необходимо учитывать при интерпретации высоких баллов.

Итоговый ответ не проверяет корректность рассуждений

Стандартная точность MATH-500 проверяет итоговый ответ, а не логическую корректность полного решения. Модель может получить зачёт, использовав неверные рассуждения, которые случайно привели к верному результату. И наоборот, корректное решение может быть зачтено как ошибочное, если его итоговое выражение не удалось распарсить или нормализовать.

Это различие было центральным в исходном исследовании надзора на уровне процесса: проверка итогового ответа может давать ложноположительные метки для решений с ошибками рассуждения, тогда как оценка на уровне шагов позволяет определить, где внешне правдоподобное решение впервые становится некорректным[1].

Зависимость от протокола

Заявленная производительность может меняться в зависимости от:

  • того, является ли генерация жадной или сэмплированной;
  • того, требует ли промпт цепочку рассуждений (chain-of-thought);
  • числа генерируемых кандидатов-решений;
  • использования голосования большинством, моделей вознаграждения или символьных верификаторов;
  • максимального бюджета токенов рассуждения;
  • доступа к Python, калькуляторам, поиску или системам компьютерной алгебры;
  • реализации извлечения и нормализации ответов;
  • того, сохраняются ли встроенные Asymptote-диаграммы в виде исходного кода, удаляются или рендерятся.

Следовательно, две оценки, описанные лишь как «точность MATH-500», могут быть напрямую несопоставимы.

Размер, охват и насыщение

Из-за всего 500 задач бенчмарк имеет ограниченное статистическое разрешение. Разница в одной решённой задаче меняет балл на 0,2 процентного пункта, а малые различия баллов могут попадать в пределы обычной вариации сэмплирования.

Бенчмарк также измеряет ограниченную область: конкурсная математика уровня старшей школы на английском языке по семи предметным категориям. Он не проверяет исчерпывающе построение формальных доказательств, продвинутую университетскую математику, исследовательскую математику, количественное моделирование реального мира или интерактивное доказательство теорем.

Наконец, баллы, близкие к потолку, снижают способность бенчмарка различать сильнейшие модели рассуждения. Модель с баллом 97 % не решает лишь около 15 задач, оставляя относительно немного простора для измерения дальнейшего прогресса или диагностики способностей по предметам и уровням сложности.

Ссылки

См. также

Литература

  • Hendrycks, D. et al. (2021). Measuring Mathematical Problem Solving With the MATH Dataset. NeurIPS. arXiv:2103.03874.
  • Lightman, H. et al. (2024). Let's Verify Step by Step. ICLR 2024. arXiv:2305.20050.
  • Uesato, J. et al. (2022). Solving Math Word Problems with Process- and Outcome-Based Feedback. arXiv:2211.14275.
  • Snell, C. et al. (2024). Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters. arXiv:2408.03314.
  • DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948.
  • Wu, M. et al. (2025). Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination. arXiv:2507.10532.

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 Lightman, H. et al. "Let's Verify Step by Step". arXiv:2305.20050, 2023; ICLR 2024. [1]
  2. ↑ 2,0 2,1 2,2 OpenAI. "PRM800K: 800,000 step-level correctness labels on LLM solutions to MATH problems". GitHub. [2]
  3. ↑ 3,0 3,1 Hugging Face H4. "MATH-500". Hugging Face Datasets. [3]
  4. ↑ 4,0 4,1 4,2 Hendrycks, D. et al. "Measuring Mathematical Problem Solving With the MATH Dataset". NeurIPS, 2021. [4]
  5. ↑ OpenAI. "Answer Grading". PRM800K repository. [5]
  6. ↑ 6,0 6,1 6,2 OpenAI. "Learning to reason with LLMs". 2024. [6]
  7. ↑ DeepSeek-AI. "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning". arXiv:2501.12948, 2025. [7]
  8. ↑ Wu, M. et al. "Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination". arXiv:2507.10532, 2025. [8]