---
title: "MATH benchmark"
source: "https://systems-analysis.info/wiki/MATH_benchmark"
wiki: "systems-analysis.info/wiki"
article: "MATH_benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 140
wiki_created_at: 2026-09-06T21:55:38Z
wiki_modified_at: 2026-09-06T21:55:38Z
downloaded_at: 2026-09-07T22:17:45Z
---

# MATH benchmark

**МАТН** (акроним от англ. **Mathematics Aptitude Test of Heuristics**) — это крупный набор данных и [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для оценки математических способностей и навыков решения задач у [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM). Датасет был представлен в 2021 году группой исследователей под руководством **Дэна Хендрикса** (Dan Hendrycks) и содержит **12 500 задач**, взятых из американских математических соревнований для старших классов, таких как AMC 10, AMC 12 и AIME<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

Задачи охватывают широкий спектр областей (алгебра, геометрия, теория чисел, комбинаторика и др.) и имеют градацию по уровню сложности. В отличие от стандартных учебных задач, они зачастую требуют творческого подхода и эвристических методов, а не прямого применения формул. Каждое задание сопровождается полным пошаговым решением и финальным ответом, что делает МАТН ценным ресурсом как для обучения, так и для тестирования моделей<sup>[\[2\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-llm_eval_datasets-2)</sup>.

## Структура и особенности датасета

Бенчмарк МАТН обладает рядом ключевых особенностей, делающих его сложным и надёжным инструментом оценки.

### Формат задач

Все задания и решения представлены в формате LaTeX, а для описания геометрических чертежей используется язык **Asymptote**. Это позволяет представить все условия, включая изображения, в текстовом виде, доступном для обработки языковой моделью. Каждой задаче присвоены метки по семи областям математики и по пяти уровням сложности<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

### Автоматическая оценка

Финальные ответы в датасете заключены в специальный формат \`\boxed{...}\` и приведены к строгому стандарту (например, дроби в несократимом виде). Это позволяет проводить автоматическую оценку моделей по метрике **точного совпадения** (*exact match*), что исключает субъективность и неоднозначность при проверке результатов. Модель должна выдать строго правильный ответ, чтобы задача считалась решённой<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

## Сложность задач и уровень человека

МАТН является одним из самых сложных математических тестов для ИИ. Задачи представляют сложность даже для людей с сильной математической подготовкой.

- В ходе исследования датасета группу **студентов университета** протестировали с результатами от **~40%** до **~90%** у победителей олимпиад.
- Даже обладатель трёх золотых медалей Международной математической олимпиады не смог решить все задания без ошибок<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

Это показывает, что для успешного решения задач МАТН требуется не только знание, но и высокая точность и математическая интуиция.

## Результаты моделей и прогресс в решении

### Первоначальные результаты (2021)

При запуске бенчмарка в 2021 году даже самые крупные модели показывали крайне низкие результаты.

- Модель **GPT-3** (175 млрд параметров) смогла правильно решить лишь около **5%** задач.
- Дообученные версии **GPT-2** показывали точность 6-7%<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

Авторы пришли к выводу, что простое увеличение масштаба моделей почти не влияет на производительность и для прогресса требуются новые алгоритмические подходы<sup>[\[3\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-lang_models_surprised-3)</sup>.

### Прорыв Minerva и GPT-4 (2022–2023)

Прорыв произошёл с появлением моделей, специально обученных на научных текстах, и новых методов решения.

- В 2022 году модель **Google Minerva** достигла точности около **50%**, продемонстрировав, что сочетание масштаба и специализированной подготовки может резко повысить качество решения<sup>[\[3\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-lang_models_surprised-3)</sup>.
- В 2023 году **GPT-4** от OpenAI показала новый скачок. Используя инструменты, модель смогла значительно улучшить свои результаты:
  - С **Code Interpreter** (выполнение кода для проверки вычислений) точность достигла почти **70%**.
  - С методом *code-based self-verification* (самопроверка и исправление ошибок с помощью кода) был установлен рекорд в **84,3%** решённых задач<sup>[\[4\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-decoder_gpt4-4)</sup>.

Этот результат сопоставим с уровнем сильных участников-людей и приближается к экспертному порогу.

## Значение и влияние

Бенчмарк МАТН сыграл ключевую роль в развитии математических способностей LLM. Он наглядно продемонстрировал, что для решения сложных задач недостаточно простого масштабирования, а необходимы новые подходы, такие как:

- Обучение на полных пошаговых решениях.
- Специализированная подготовка на научных данных.
- Использование внешних инструментов для вычислений и верификации.

Несмотря на значительный прогресс, МАТН остаётся важным и сложным испытанием. Он продолжает служить индикатором уровня математического мышления у LLM и стимулирует исследования в области надёжного решения задач, требующих многошаговых рассуждений<sup>[\[1\]](https://systems-analysis.info/wiki/MATH_benchmark#cite_note-hendrycks2021-1)</sup>.

## См. также

- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [HumanEval benchmark](https://systems-analysis.info/wiki/HumanEval_benchmark "HumanEval benchmark")
- [MT-Bench benchmark](https://systems-analysis.info/wiki/MT-Bench_benchmark "MT-Bench benchmark")
- [TruthfulQA benchmark](https://systems-analysis.info/wiki/TruthfulQA_benchmark "TruthfulQA benchmark")
- [GLUE benchmark](https://systems-analysis.info/wiki/GLUE_benchmark "GLUE benchmark")

## Ссылки

- <a href="https://github.com/hendrycks/math" class="external text" rel="nofollow">Официальный репозиторий датасета МАТН на GitHub</a>
- <a href="https://paperswithcode.com/dataset/math" class="external text" rel="nofollow">Страница датасета на Papers With Code</a>

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Примечания

1.  <span id="cite_note-hendrycks2021-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-3)</sup> <sup>[1,4](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-4)</sup> <sup>[1,5](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-hendrycks2021_1-5)</sup> Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». *arXiv:2103.03874*. <a href="https://arxiv.org/abs/2103.03874" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-llm_eval_datasets-2">[↑](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-llm_eval_datasets_2-0) «AI Benchmarks and Datasets for LLM Evaluation». *arXiv:2412.01020*. <a href="https://arxiv.org/html/2412.01020v1" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-lang_models_surprised-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-lang_models_surprised_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-lang_models_surprised_3-1)</sup> «Language models surprised us». *Planned-Obsolescence.org*. <a href="https://www.planned-obsolescence.org/language-models-surprised-us/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-decoder_gpt4-4">[↑](https://systems-analysis.info/wiki/MATH_benchmark#cite_ref-decoder_gpt4_4-0) «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». *The Decoder*. <a href="https://the-decoder.com/gpt-4-code-interpreter-smashes-maths-benchmarks-hits-new-sota/" class="external autonumber" rel="nofollow">[4]</a></span>