MATH Benchmark (CS)

From Systems analysis Wiki
Jump to navigation Jump to search

MATH (akronym z angl. Mathematics Aptitude Test of Heuristics) — je rozsáhlý dataset a benchmark pro hodnocení matematických schopností a dovedností řešení úloh u velkých jazykových modelů (LLM). Dataset byl představen v roce 2021 skupinou výzkumníků pod vedením Dana Hendryckse (Dan Hendrycks) a obsahuje 12 500 úloh, převzatých z amerických matematických soutěží pro střední školy, jako jsou AMC 10, AMC 12 a AIME[1].

Úlohy pokrývají široké spektrum oblastí (algebra, geometrie, teorie čísel, kombinatorika aj.) a jsou rozděleny podle úrovně obtížnosti. Na rozdíl od standardních školních úloh často vyžadují kreativní přístup a heuristické metody, nikoli přímé aplikování vzorců. Každé zadání je doplněno úplným postupem řešení krok za krokem a výslednou odpovědí, což činí MATH cenným zdrojem jak pro trénování, tak pro testování modelů[2].

Struktura a vlastnosti datasetu

Benchmark MATH disponuje řadou klíčových vlastností, které z něj činí náročný a spolehlivý nástroj hodnocení.

Formát úloh

Všechna zadání a řešení jsou prezentována ve formátu LaTeX, přičemž pro popis geometrických nákresů se používá jazyk Asymptote. To umožňuje vyjádřit veškeré podmínky, včetně obrázků, v textové podobě zpracovatelné jazykovým modelem. Každé úloze jsou přiřazeny štítky podle sedmi matematických oblastí a pěti úrovní obtížnosti[1].

Automatické hodnocení

Výsledné odpovědi v datasetu jsou uzavřeny do speciálního formátu `\boxed{...}` a převedeny do přísného standardu (například zlomky v nesoudělném tvaru). To umožňuje provádět automatické hodnocení modelů podle metriky přesné shody (exact match), což vylučuje subjektivitu a nejednoznačnost při ověřování výsledků. Model musí poskytnout zcela správnou odpověď, aby byla úloha považována za vyřešenou[1].

Obtížnost úloh a úroveň člověka

MATH je jedním z nejtěžších matematických testů pro umělou inteligenci. Úlohy představují výzvu i pro lidi se silným matematickým zázemím.

  • Při výzkumu datasetu byla testována skupina vysokoškolských studentů s výsledky od ~40 % do ~90 % u vítězů olympiád.
  • Dokonce ani držitel tří zlatých medailí z Mezinárodní matematické olympiády nebyl schopen vyřešit všechna zadání bez chyb[1].

To ukazuje, že pro úspěšné řešení úloh MATH je zapotřebí nejen znalostí, ale také vysoké přesnosti a matematické intuice.

Výsledky modelů a pokrok v řešení

Počáteční výsledky (2021)

Při spuštění benchmarku v roce 2021 dosahovaly i největší modely velmi nízkých výsledků.

  • Model GPT-3 (175 miliard parametrů) dokázal správně vyřešit pouze přibližně 5 % úloh.
  • Doladěné verze GPT-2 dosahovaly přesnosti 6–7 %[1].

Autoři dospěli k závěru, že pouhé zvětšování měřítka modelů nemá na výkon téměř žádný vliv a že pro pokrok jsou zapotřebí nové algoritmické přístupy[3].

Průlom Minervy a GPT-4 (2022–2023)

Průlom nastal s příchodem modelů speciálně trénovaných na vědeckých textech a nových metod řešení.

  • V roce 2022 dosáhl model Google Minerva přesnosti přibližně 50 %, čímž prokázal, že kombinace měřítka a specializované přípravy může výrazně zvýšit kvalitu řešení[3].
  • V roce 2023 zaznamenal GPT-4 od OpenAI nový skok. S využitím nástrojů model dokázal výrazně zlepšit své výsledky:
    • S Code Interpreter (spouštění kódu pro ověření výpočtů) dosáhla přesnost téměř 70 %.
    • S metodou code-based self-verification (samokontrola a oprava chyb pomocí kódu) byl stanoven rekord 84,3 % vyřešených úloh[4].

Tento výsledek je srovnatelný s úrovní silných lidských účastníků a přibližuje se expertnímu prahu.

Význam a vliv

Benchmark MATH sehrál klíčovou roli v rozvoji matematických schopností LLM. Názorně prokázal, že pro řešení složitých úloh nestačí pouhé škálování, ale jsou zapotřebí nové přístupy, jako jsou:

  • Trénování na úplných postupech řešení krok za krokem.
  • Specializovaná příprava na vědeckých datech.
  • Využívání externích nástrojů pro výpočty a verifikaci.

Nes přes výrazný pokrok zůstává MATH důležitou a náročnou zkouškou. Nadále slouží jako indikátor úrovně matematického myšlení u LLM a podněcuje výzkum v oblasti spolehlivého řešení úloh vyžadujících vícekrokové uvažování[1].

Odkazy

  • Oficiální repozitář datasetu MATH na GitHubu
  • Stránka datasetu na Papers With Code

Literatura

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Poznámky

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv:2103.03874. [1]
  2. ↑ «AI Benchmarks and Datasets for LLM Evaluation». arXiv:2412.01020. [2]
  3. ↑ 3.0 3.1 «Language models surprised us». Planned-Obsolescence.org. [3]
  4. ↑ «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». The Decoder. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=MATH_Benchmark_(CS)&oldid=3963"