--- title: "MATH Benchmark (CS)" source: "https://systems-analysis.info/int/MATH_Benchmark_(CS)" wiki: "systems-analysis.info/int" article: "MATH_Benchmark_(CS)" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 3963 wiki_created_at: 2026-09-06T23:28:33Z wiki_modified_at: 2026-09-06T23:28:33Z downloaded_at: 2026-09-07T22:59:54Z --- # MATH Benchmark (CS) **MATH** (akronym z angl. **Mathematics Aptitude Test of Heuristics**) — je rozsáhlý dataset a benchmark pro hodnocení matematických schopností a dovedností řešení úloh u velkých jazykových modelů (LLM). Dataset byl představen v roce 2021 skupinou výzkumníků pod vedením **Dana Hendryckse** (Dan Hendrycks) a obsahuje **12 500 úloh**, převzatých z amerických matematických soutěží pro střední školy, jako jsou AMC 10, AMC 12 a AIME[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). Úlohy pokrývají široké spektrum oblastí (algebra, geometrie, teorie čísel, kombinatorika aj.) a jsou rozděleny podle úrovně obtížnosti. Na rozdíl od standardních školních úloh často vyžadují kreativní přístup a heuristické metody, nikoli přímé aplikování vzorců. Každé zadání je doplněno úplným postupem řešení krok za krokem a výslednou odpovědí, což činí MATH cenným zdrojem jak pro trénování, tak pro testování modelů[\[2\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-llm_eval_datasets-2). ## Struktura a vlastnosti datasetu Benchmark MATH disponuje řadou klíčových vlastností, které z něj činí náročný a spolehlivý nástroj hodnocení. ### Formát úloh Všechna zadání a řešení jsou prezentována ve formátu LaTeX, přičemž pro popis geometrických nákresů se používá jazyk **Asymptote**. To umožňuje vyjádřit veškeré podmínky, včetně obrázků, v textové podobě zpracovatelné jazykovým modelem. Každé úloze jsou přiřazeny štítky podle sedmi matematických oblastí a pěti úrovní obtížnosti[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). ### Automatické hodnocení Výsledné odpovědi v datasetu jsou uzavřeny do speciálního formátu \`\boxed{...}\` a převedeny do přísného standardu (například zlomky v nesoudělném tvaru). To umožňuje provádět automatické hodnocení modelů podle metriky **přesné shody** (*exact match*), což vylučuje subjektivitu a nejednoznačnost při ověřování výsledků. Model musí poskytnout zcela správnou odpověď, aby byla úloha považována za vyřešenou[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). ## Obtížnost úloh a úroveň člověka MATH je jedním z nejtěžších matematických testů pro umělou inteligenci. Úlohy představují výzvu i pro lidi se silným matematickým zázemím. - Při výzkumu datasetu byla testována skupina **vysokoškolských studentů** s výsledky od **~40 %** do **~90 %** u vítězů olympiád. - Dokonce ani držitel tří zlatých medailí z Mezinárodní matematické olympiády nebyl schopen vyřešit všechna zadání bez chyb[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). To ukazuje, že pro úspěšné řešení úloh MATH je zapotřebí nejen znalostí, ale také vysoké přesnosti a matematické intuice. ## Výsledky modelů a pokrok v řešení ### Počáteční výsledky (2021) Při spuštění benchmarku v roce 2021 dosahovaly i největší modely velmi nízkých výsledků. - Model **GPT-3** (175 miliard parametrů) dokázal správně vyřešit pouze přibližně **5 %** úloh. - Doladěné verze **GPT-2** dosahovaly přesnosti 6–7 %[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). Autoři dospěli k závěru, že pouhé zvětšování měřítka modelů nemá na výkon téměř žádný vliv a že pro pokrok jsou zapotřebí nové algoritmické přístupy[\[3\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-lang_models_surprised-3). ### Průlom Minervy a GPT-4 (2022–2023) Průlom nastal s příchodem modelů speciálně trénovaných na vědeckých textech a nových metod řešení. - V roce 2022 dosáhl model **Google Minerva** přesnosti přibližně **50 %**, čímž prokázal, že kombinace měřítka a specializované přípravy může výrazně zvýšit kvalitu řešení[\[3\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-lang_models_surprised-3). - V roce 2023 zaznamenal **GPT-4** od OpenAI nový skok. S využitím nástrojů model dokázal výrazně zlepšit své výsledky: - S **Code Interpreter** (spouštění kódu pro ověření výpočtů) dosáhla přesnost téměř **70 %**. - S metodou *code-based self-verification* (samokontrola a oprava chyb pomocí kódu) byl stanoven rekord **84,3 %** vyřešených úloh[\[4\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-decoder_gpt4-4). Tento výsledek je srovnatelný s úrovní silných lidských účastníků a přibližuje se expertnímu prahu. ## Význam a vliv Benchmark MATH sehrál klíčovou roli v rozvoji matematických schopností LLM. Názorně prokázal, že pro řešení složitých úloh nestačí pouhé škálování, ale jsou zapotřebí nové přístupy, jako jsou: - Trénování na úplných postupech řešení krok za krokem. - Specializovaná příprava na vědeckých datech. - Využívání externích nástrojů pro výpočty a verifikaci. Nes přes výrazný pokrok zůstává MATH důležitou a náročnou zkouškou. Nadále slouží jako indikátor úrovně matematického myšlení u LLM a podněcuje výzkum v oblasti spolehlivého řešení úloh vyžadujících vícekrokové uvažování[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_note-hendrycks2021-1). ## Odkazy - Oficiální repozitář datasetu MATH na GitHubu - Stránka datasetu na Papers With Code ## Literatura - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Poznámky 1. ↑ [1.0](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-0) [1.1](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-1) [1.2](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-2) [1.3](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-3) [1.4](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-4) [1.5](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-hendrycks2021_1-5) Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». *arXiv:2103.03874*. [1] 2. [↑](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-llm_eval_datasets_2-0) «AI Benchmarks and Datasets for LLM Evaluation». *arXiv:2412.01020*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-lang_models_surprised_3-0) [3.1](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-lang_models_surprised_3-1) «Language models surprised us». *Planned-Obsolescence.org*. [3] 4. [↑](https://systems-analysis.info/int/MATH_Benchmark_(CS)#cite_ref-decoder_gpt4_4-0) «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». *The Decoder*. [4]