---
title: "MATH-500"
source: "https://systems-analysis.info/wiki/MATH-500"
wiki: "systems-analysis.info/wiki"
article: "MATH-500"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3750
wiki_created_at: 2026-11-19T08:22:45Z
wiki_modified_at: 2026-11-19T10:26:07Z
downloaded_at: 2026-11-19T10:26:14Z
---

# MATH-500

**MATH-500** — компактный [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM"), предназначенный для оценки способностей [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM) решать математические задачи и выполнять многошаговые рассуждения. Он представляет собой фиксированный поднабор из **500 задач со свободной формой ответа**, отобранный из тестовой части (test split) набора данных MATH. Поднабор был представлен в исследовательской работе OpenAI 2023 года *Let's Verify Step by Step* Хантера Лайтмана (Hunter Lightman) и коллег, позднее опубликованной на конференции ICLR 2024<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.

В исходной статье эта коллекция описывалась как репрезентативный поднабор тестовой части MATH, без отдельного формального названия бенчмарка. Впоследствии она получила широкую известность как **MATH-500** и была выпущена в виде самостоятельного набора данных через репозиторий OpenAI PRM800K и публичные зеркала датасетов<sup>[\[2\]](https://systems-analysis.info/wiki/MATH-500#cite_note-prm800k_repo-2)[\[3\]](https://systems-analysis.info/wiki/MATH-500#cite_note-math500_hf-3)</sup>.

В отличие от бенчмарков с вариантами ответа, MATH-500 требует, чтобы модель выдавала численный, алгебраический или символьный ответ, как правило, после генерации пошагового решения. Бенчмарк широко используется в исследованиях цепочек рассуждений (chain-of-thought), моделей вознаграждения за процесс (process reward models), обучения с подкреплением на проверяемых вознаграждениях, дистилляции моделей и вычислений на этапе инференса (test-time computation).

## Происхождение и построение

MATH-500 произведён от исходного набора данных **[MATH](https://systems-analysis.info/wiki/MATH_benchmark "MATH benchmark")**, формально названного *Mathematics Aptitude Test of Heuristics*. Представленный Дэном Хендриксом (Dan Hendrycks) и коллегами в 2021 году, MATH содержит **12 500 конкурсных математических задач**, разделённых на 7 500 обучающих и 5 000 тестовых. Задачи собраны из таких конкурсов, как AMC 10, AMC 12, AIME, и смежных источников; каждый элемент включает полное эталонное решение и итоговый ответ<sup>[\[4\]](https://systems-analysis.info/wiki/MATH-500#cite_note-math_paper-4)</sup>.

В ходе исследования, породившего набор данных PRM800K для надзора на уровне процесса (process supervision), исследователям OpenAI требовался более крупный и разнообразный пул обучающих задач. Повторный сбор разметки решений только для исходных 7 500 обучающих задач MATH создавал риск переобучения. Поэтому авторы приняли нестандартное разбиение:

- Исходные 7 500 обучающих задач MATH были сохранены.
- **4 500** задач из исходной тестовой части MATH были добавлены к обучающему пулу.
- Оставшиеся **500** тестовых задач были зарезервированы для оценки<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)[\[2\]](https://systems-analysis.info/wiki/MATH-500#cite_note-prm800k_repo-2)</sup>.

500 оценочных задач были отобраны **равномерно случайным образом**. Авторы сравнили распределение задач по темам и уровням сложности в поднаборе с распределением в полной тестовой части MATH из 5 000 задач и заключили, что меньший поднабор в целом репрезентативен для исходного тестового распределения<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.

Несмотря на название, MATH-500 **не является набором из 500 самых сложных задач MATH**. Он содержит задачи всех пяти уровней сложности MATH. Его не следует путать с MATH-Hard или MATH Level 5 — версиями, отфильтрованными по сложности и содержащими только самую трудную категорию задач.

## Содержание и формат

MATH-500 содержит задачи, записанные на английском языке с использованием математической нотации. Формулировки задач и эталонные решения используют LaTeX; некоторые геометрические элементы, унаследованные из MATH, могут включать диаграммы, закодированные на векторно-графическом языке Asymptote<sup>[\[4\]](https://systems-analysis.info/wiki/MATH-500#cite_note-math_paper-4)</sup>.

Бенчмарк охватывает те же семь предметных областей, что и полный набор MATH:

- **Преалгебра** (Prealgebra).
- **Алгебра** (Algebra).
- **Теория чисел** (Number Theory).
- **Счёт и вероятность** (Counting and Probability).
- **Геометрия** (Geometry).
- **Промежуточная алгебра** (Intermediate Algebra).
- **Предварительное исчисление** (Precalculus).

Каждая задача также имеет метку сложности от **Уровня 1** до **Уровня 5**. Уровни относительны в рамках предмета: Уровень 1 соответствует самым простым задачам внутри предмета, Уровень 5 — самым сложным<sup>[\[4\]](https://systems-analysis.info/wiki/MATH-500#cite_note-math_paper-4)</sup>.

Распространённая на Hugging Face версия набора данных предоставляет единственный тестовый сплит из 500 строк со следующими полями<sup>[\[3\]](https://systems-analysis.info/wiki/MATH-500#cite_note-math500_hf-3)</sup>:

| Поле        | Описание                                                              |
|-------------|-----------------------------------------------------------------------|
| `problem`   | Формулировка задачи на естественном языке и в LaTeX.                  |
| `solution`  | Полное эталонное решение с промежуточными рассуждениями.              |
| `answer`    | Нормализованный итоговый ответ, извлечённый из эталонного решения.    |
| `subject`   | Одна из семи математических предметных категорий.                     |
| `level`     | Оценка сложности от 1 до 5.                                           |
| `unique_id` | Путь-подобный идентификатор, унаследованный из исходного набора MATH. |

Поскольку бенчмарк содержит ровно 500 задач, каждая корректно или некорректно оценённая задача меняет агрегированный балл на **0,2 процентного пункта**.

## Методология оценки

### Оценка по итоговому ответу

Стандартная постановка задачи: модели предъявляется условие задачи, и она должна сгенерировать решение, за которым следует итоговый ответ. Промпты часто предписывают модели поместить итоговый результат в LaTeX-выражение вида `\boxed{...}`.

Типичный конвейер оценки выполняет следующие операции:

1.  Сгенерировать один или несколько ответов модели на каждую задачу.
2.  Извлечь итоговый ответ, как правило, из последнего выражения `\boxed{...}`.
3.  Нормализовать различия в пробелах, LaTeX-командах, дробях, единицах измерения, знаках и эквивалентном форматировании.
4.  Сравнить извлечённый ответ с эталонным.
5.  Сообщить долю правильно решённых задач.

Основная метрика обычно называется **точность** (accuracy) или **pass@1**. В детерминированной оценке это процент задач, решённых одним ответом на задачу. В оценках, основанных на сэмплировании, pass@1 может вместо этого оцениваться по нескольким стохастическим ответам, сгенерированным для каждой задачи.

Исходная оценка MATH использовала нормализованное точное совпадение. Позднейшие реализации добавили символьные проверки, включая сравнение выражений с помощью SymPy. Выпущенный OpenAI грейдер намеренно консервативен и может отклонить некоторые математически верные ответы; репозиторий также признаёт, что несовершенный парсер изредка может принять неверный ответ<sup>[\[5\]](https://systems-analysis.info/wiki/MATH-500#cite_note-grading_repo-5)</sup>.

### Поиск и верификация на этапе инференса

MATH-500 также часто используется для оценки методов, которые генерируют несколько кандидатов-решений и тратят дополнительные вычисления на выбор ответа. Распространённые протоколы включают:

- **Голосование большинством** (majority voting) или консенсус, при котором выбирается самый частый итоговый ответ среди нескольких генераций.
- **Отбор Best-of-N**, при котором модель вознаграждения или верификатор ранжирует N кандидатов-решений.
- **Отбор на основе модели вознаграждения за процесс**, при котором оцениваются отдельные шаги рассуждения и объединяются в балл уровня решения.
- **Pass@k**, измеряющий, верно ли хотя бы одно из k сгенерированных решений.
- Оценку с инструментами, использующую интерпретатор Python или систему компьютерной алгебры.

В работе *Let's Verify Step by Step* генератор выдавал до **1 860 кандидатов-решений на задачу**. Модель вознаграждения за процесс ранжировала этих кандидатов, и решение с наивысшим рангом автоматически оценивалось. Итоговая система решила **78 %** из 500 задач<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)[\[2\]](https://systems-analysis.info/wiki/MATH-500#cite_note-prm800k_repo-2)</sup>. Этот результат представляет собой балл отбора best-of-1,860 и напрямую не сопоставим с точностью одиночного ответа.

Поэтому отчёты об оценке должны указывать промпт, версию модели, температуру сэмплирования, число генераций, бюджет токенов, парсер ответов, доступ к инструментам и метод отбора кандидатов. Баллы, полученные при разных протоколах, могут измерять существенно разные комбинации базовых способностей модели и вычислений на этапе инференса.

## Исследовательское использование и развитие

MATH-500 первоначально использовался для сравнения **надзора на уровне процесса** (process supervision) с **надзором по итогу** (outcome supervision). Модели вознаграждения, обученные по итогу, получают метку для всего решения, основанную прежде всего на его конечном результате. Модели вознаграждения, обученные на уровне процесса, вместо этого получают метки корректности для отдельных шагов рассуждения.

Связанный набор PRM800K содержит около **800 000 меток уровня шагов** для 75 000 сгенерированных моделью решений примерно 12 000 задач MATH. Разметчики-люди помечали шаги как положительные, отрицательные или нейтральные. Исследование показало, что модель вознаграждения, обученная на уровне процесса, существенно эффективнее отбирает корректные решения из больших пулов кандидатов, чем альтернатива, обученная по итогу<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.

Позднее бенчмарк стал стандартной оценкой для моделей, ориентированных на рассуждения, дистилляции математических моделей, обучения с подкреплением и поиска на этапе инференса. Отдельные опубликованные результаты иллюстрируют и быстрый прогресс, и трудность сравнения протоколов:

| Год  | Система                                              | Заявленный балл | Примечание по оценке                                                                                                                                                                       |
|------|------------------------------------------------------|-----------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 2023 | Генератор OpenAI с моделью вознаграждения за процесс | **78,0 %**      | Отбор из 1 860 кандидатов (best-of-1,860); результат не является одиночной генерацией<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.           |
| 2024 | GPT-4o                                               | **60,3 %**      | Pass@1 в zero-shot-оценке цепочек рассуждений OpenAI<sup>[\[6\]](https://systems-analysis.info/wiki/MATH-500#cite_note-openai_o1-6)</sup>.                                                 |
| 2024 | OpenAI o1                                            | **94,8 %**      | Pass@1 в режиме высоких вычислений на этапе инференса; OpenAI использовала тот же сплит из 500 задач<sup>[\[6\]](https://systems-analysis.info/wiki/MATH-500#cite_note-openai_o1-6)</sup>. |
| 2025 | DeepSeek-R1                                          | **97,3 %**      | Заявленная оценка pass@1; для оценки метрики использовалось 64 сэмплированных ответа на задачу<sup>[\[7\]](https://systems-analysis.info/wiki/MATH-500#cite_note-deepseek_r1-7)</sup>.     |

Избранные опубликованные результаты на сплите MATH-500

Эти цифры не являются строгим лидербордом: они получены с разными версиями моделей, процедурами сэмплирования, промптами, бюджетами токенов и системами верификации.

К сентябрю 2024 года OpenAI заявляла, что новейшие передовые модели справляются с MATH и [GSM8K](https://systems-analysis.info/wiki/GSM8K "GSM8K") настолько хорошо, что бенчмарки перестают различать ведущие системы. Результат по MATH в том отчёте использовал тот же сплит из 500 задач, который позднее стал широко обозначаться как MATH-500<sup>[\[6\]](https://systems-analysis.info/wiki/MATH-500#cite_note-openai_o1-6)</sup>. Это насыщение стимулировало более широкое использование более сложных или недавно выпущенных конкурсных задач, включая AIME, бенчмарки олимпиадного уровня и динамически обновляемые оценки.

## Ограничения и критика

### Публичный тестовый набор и загрязнение данных

MATH-500 — публичный статический тестовый набор, производный от конкурсных задач, множество лет циркулировавших в интернете. Авторы *Let's Verify Step by Step* признавали, что некоторые задачи [MATH](https://systems-analysis.info/wiki/MATH_benchmark "MATH benchmark"), вероятно, присутствовали в предобучающих данных их моделей. Хотя они пытались удалить задачи MATH из своего дополнительного обучающего корпуса MathMix с помощью строкового сопоставления, они не могли исключить парафразы и другие менее очевидные формы пересечения<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.

Исследование 2025 года сообщило, что некоторые модели семейства Qwen2.5 способны восстановить существенные части формулировок задач MATH-500, получив лишь частичные условия. Авторы интерпретировали это поведение как свидетельство того, что результаты на публичных математических бенчмарках могут завышаться за счёт запоминания или загрязнения обучающих данных<sup>[\[8\]](https://systems-analysis.info/wiki/MATH-500#cite_note-contamination_paper-8)</sup>. Такие выводы специфичны для конкретных моделей и не устанавливают степень загрязнения в каждой оцениваемой системе, однако показывают, почему происхождение бенчмарка необходимо учитывать при интерпретации высоких баллов.

### Итоговый ответ не проверяет корректность рассуждений

Стандартная точность MATH-500 проверяет итоговый ответ, а не логическую корректность полного решения. Модель может получить зачёт, использовав неверные рассуждения, которые случайно привели к верному результату. И наоборот, корректное решение может быть зачтено как ошибочное, если его итоговое выражение не удалось распарсить или нормализовать.

Это различие было центральным в исходном исследовании надзора на уровне процесса: проверка итогового ответа может давать ложноположительные метки для решений с ошибками рассуждения, тогда как оценка на уровне шагов позволяет определить, где внешне правдоподобное решение впервые становится некорректным<sup>[\[1\]](https://systems-analysis.info/wiki/MATH-500#cite_note-lightman_paper-1)</sup>.

### Зависимость от протокола

Заявленная производительность может меняться в зависимости от:

- того, является ли генерация жадной или сэмплированной;
- того, требует ли промпт цепочку рассуждений (chain-of-thought);
- числа генерируемых кандидатов-решений;
- использования голосования большинством, моделей вознаграждения или символьных верификаторов;
- максимального бюджета токенов рассуждения;
- доступа к Python, калькуляторам, поиску или системам компьютерной алгебры;
- реализации извлечения и нормализации ответов;
- того, сохраняются ли встроенные Asymptote-диаграммы в виде исходного кода, удаляются или рендерятся.

Следовательно, две оценки, описанные лишь как «точность MATH-500», могут быть напрямую несопоставимы.

### Размер, охват и насыщение

Из-за всего 500 задач бенчмарк имеет ограниченное статистическое разрешение. Разница в одной решённой задаче меняет балл на 0,2 процентного пункта, а малые различия баллов могут попадать в пределы обычной вариации сэмплирования.

Бенчмарк также измеряет ограниченную область: конкурсная математика уровня старшей школы на английском языке по семи предметным категориям. Он не проверяет исчерпывающе построение формальных доказательств, продвинутую университетскую математику, исследовательскую математику, количественное моделирование реального мира или интерактивное доказательство теорем.

Наконец, баллы, близкие к потолку, снижают способность бенчмарка различать сильнейшие модели рассуждения. Модель с баллом 97 % не решает лишь около 15 задач, оставляя относительно немного простора для измерения дальнейшего прогресса или диагностики способностей по предметам и уровням сложности.

## Ссылки

- <a href="https://systems-analysis.info/eng/MATH-500" class="external text" rel="nofollow">MATH-500</a> — англоязычная версия статьи в Systems Analysis Wiki
- <a href="https://github.com/openai/prm800k" class="external text" rel="nofollow">Официальный репозиторий PRM800K и сплит MATH-500</a>
- <a href="https://huggingface.co/datasets/HuggingFaceH4/MATH-500" class="external text" rel="nofollow">Набор данных MATH-500 на Hugging Face</a>
- <a href="https://github.com/hendrycks/math" class="external text" rel="nofollow">Официальный репозиторий исходного набора данных MATH</a>

## См. также

- [GSM8K](https://systems-analysis.info/wiki/GSM8K "GSM8K")
- [FrontierMath](https://systems-analysis.info/wiki/FrontierMath "FrontierMath")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")

## Литература

- Hendrycks, D. et al. (2021). *Measuring Mathematical Problem Solving With the MATH Dataset*. NeurIPS. <a href="https://arxiv.org/abs/2103.03874" class="external text" rel="nofollow">arXiv:2103.03874</a>.
- Lightman, H. et al. (2024). *Let's Verify Step by Step*. ICLR 2024. <a href="https://arxiv.org/abs/2305.20050" class="external text" rel="nofollow">arXiv:2305.20050</a>.
- Uesato, J. et al. (2022). *Solving Math Word Problems with Process- and Outcome-Based Feedback*. <a href="https://arxiv.org/abs/2211.14275" class="external text" rel="nofollow">arXiv:2211.14275</a>.
- Snell, C. et al. (2024). *Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters*. <a href="https://arxiv.org/abs/2408.03314" class="external text" rel="nofollow">arXiv:2408.03314</a>.
- DeepSeek-AI (2025). *DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning*. <a href="https://arxiv.org/abs/2501.12948" class="external text" rel="nofollow">arXiv:2501.12948</a>.
- Wu, M. et al. (2025). *Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination*. <a href="https://arxiv.org/abs/2507.10532" class="external text" rel="nofollow">arXiv:2507.10532</a>.

## Примечания

1.  <span id="cite_note-lightman_paper-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-3)</sup> <sup>[1,4](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-4)</sup> <sup>[1,5](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-5)</sup> <sup>[1,6](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-6)</sup> <sup>[1,7](https://systems-analysis.info/wiki/MATH-500#cite_ref-lightman_paper_1-7)</sup> Lightman, H. et al. "Let's Verify Step by Step". *arXiv:2305.20050*, 2023; ICLR 2024. <a href="https://arxiv.org/abs/2305.20050" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-prm800k_repo-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/MATH-500#cite_ref-prm800k_repo_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/MATH-500#cite_ref-prm800k_repo_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/MATH-500#cite_ref-prm800k_repo_2-2)</sup> OpenAI. "PRM800K: 800,000 step-level correctness labels on LLM solutions to MATH problems". *GitHub*. <a href="https://github.com/openai/prm800k" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-math500_hf-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/MATH-500#cite_ref-math500_hf_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/MATH-500#cite_ref-math500_hf_3-1)</sup> Hugging Face H4. "MATH-500". *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/HuggingFaceH4/MATH-500" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-math_paper-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/MATH-500#cite_ref-math_paper_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/MATH-500#cite_ref-math_paper_4-1)</sup> <sup>[4,2](https://systems-analysis.info/wiki/MATH-500#cite_ref-math_paper_4-2)</sup> Hendrycks, D. et al. "Measuring Mathematical Problem Solving With the MATH Dataset". *NeurIPS*, 2021. <a href="https://arxiv.org/abs/2103.03874" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-grading_repo-5">[↑](https://systems-analysis.info/wiki/MATH-500#cite_ref-grading_repo_5-0) OpenAI. "Answer Grading". *PRM800K repository*. <a href="https://github.com/openai/prm800k#answer-grading" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-openai_o1-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/MATH-500#cite_ref-openai_o1_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/MATH-500#cite_ref-openai_o1_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/MATH-500#cite_ref-openai_o1_6-2)</sup> OpenAI. "Learning to reason with LLMs". 2024. <a href="https://openai.com/index/learning-to-reason-with-llms/" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-deepseek_r1-7">[↑](https://systems-analysis.info/wiki/MATH-500#cite_ref-deepseek_r1_7-0) DeepSeek-AI. "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning". *arXiv:2501.12948*, 2025. <a href="https://arxiv.org/abs/2501.12948" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-contamination_paper-8">[↑](https://systems-analysis.info/wiki/MATH-500#cite_ref-contamination_paper_8-0) Wu, M. et al. "Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination". *arXiv:2507.10532*, 2025. <a href="https://arxiv.org/abs/2507.10532" class="external autonumber" rel="nofollow">[8]</a></span>
