MATH Benchmark (HU)

MATH (a Mathematics Aptitude Test of Heuristics angol kifejezés rövidítése) — egy nagy adatkészlet és benchmark a nagy nyelvi modellek (LLM) matematikai képességeinek és problémamegoldó készségeinek értékelésére. Az adatkészletet 2021-ben mutatta be egy Dan Hendrycks vezette kutatócsoport, és 12 500 feladatot tartalmaz, amelyeket amerikai középiskolás matematikaversenyekből, például az AMC 10, AMC 12 és AIME versenyekből vettek.

A feladatok témák széles spektrumát fedik le (algebra, geometria, számelmélet, kombinatorika stb.), és nehézségi szint szerint is kategorizáltak. A hagyományos tankönyvi feladatokkal ellentétben ezek gyakran kreatív megközelítést és heurisztikus módszereket igényelnek, nem csupán képletek közvetlen alkalmazását. Minden feladathoz teljes, lépésről lépésre haladó megoldás és végeredmény tartozik, ami a MATH-ot értékes erőforrássá teszi mind a modellek tanítása, mind tesztelése szempontjából.

Az adatkészlet szerkezete és jellemzői

A MATH benchmark számos olyan kulcsfontosságú tulajdonsággal rendelkezik, amelyek nehézzé és megbízható értékelési eszközzé teszik.

A feladatok formátuma

Minden feladat és megoldás LaTeX formátumban van megadva, a geometriai ábrák leírásához pedig az Asymptote nyelvet használják. Ez lehetővé teszi, hogy az összes feltétel — beleértve az ábrákat is — szöveges formában legyen elérhető a nyelvi modell számára. Minden feladathoz hét matematikai terület és öt nehézségi szint szerinti jelölést rendelnek.

Automatikus kiértékelés

Az adatkészletben szereplő végeredményeket speciális `\boxed{...}` formátumba helyezik, és szigorú szabvány szerint adják meg (például törteket egyszerűsített alakban). Ez lehetővé teszi a modellek automatikus értékelését a pontos egyezés (exact match) metrika alapján, ami kizárja a szubjektivitást és az eredmények ellenőrzésekor felmerülő kétértelműségeket. A modellnek szigorúan helyes választ kell adnia ahhoz, hogy a feladat megoldottnak számítson.

A feladatok nehézsége és az emberi teljesítmény szintje

A MATH az egyik legnehezebb matematikai teszt a mesterséges intelligencia számára. A feladatok még az erős matematikai háttérrel rendelkező emberek számára is kihívást jelentenek.

• Az adatkészlet vizsgálata során egyetemi hallgatókat teszteltek, akik ~40% és ~90% közötti eredményeket értek el, az olimpiai bajnokok javára.
• Még egy háromszoros Nemzetközi Matematikai Olimpia aranyérmese sem tudta hibátlanul megoldani az összes feladatot.

Ez azt mutatja, hogy a MATH feladatok sikeres megoldásához nem csupán tudásra, hanem nagy pontosságra és matematikai intuícióra is szükség van.

A modellek eredményei és a megoldási teljesítmény fejlődése

Kezdeti eredmények (2021)

A benchmark 2021-es indításakor még a legnagyobb modellek is rendkívül gyenge eredményeket mutattak.

• A GPT-3 modell (175 milliárd paraméter) a feladatoknak mindössze körülbelül 5%-át oldotta meg helyesen.
• A GPT-2 finomhangolt változatai 6–7%-os pontosságot mutattak.

A szerzők arra a következtetésre jutottak, hogy a modellek egyszerű méretének növelése alig befolyásolja a teljesítményt, és az előrelépéshez új algoritmikus megközelítések szükségesek.

A Minerva és a GPT-4 áttörése (2022–2023)

Az áttörés a tudományos szövegeken speciálisan betanított modellek és az új megoldási módszerek megjelenésével következett be.

• 2022-ben a Google Minerva modell körülbelül 50%-os pontosságot ért el, bizonyítva, hogy a méret és a specializált felkészítés kombinációja drasztikusan javíthatja a megoldás minőségét.
• 2023-ban az OpenAI GPT-4 modellje újabb ugrást mutatott. Eszközök segítségével a modell jelentősen javítani tudta eredményeit:
  • A Code Interpreter (kód futtatása a számítások ellenőrzéséhez) segítségével a pontosság közel 70%-ot ért el.
  • A code-based self-verification módszerrel (önellenőrzés és hibajavítás kód segítségével) 84,3%-os rekordot állítottak fel a megoldott feladatok arányában.

Ez az eredmény összemérhető az erős emberi versenyzők szintjével, és közelít a szakértői küszöbhöz.

Jelentősége és hatása

A MATH benchmark kulcsszerepet játszott az LLM-ek matematikai képességeinek fejlesztésében. Szemléletesen bebizonyította, hogy a bonyolult feladatok megoldásához az egyszerű méretezés nem elegendő, és új megközelítések szükségesek, mint például:

• Teljes, lépésről lépésre haladó megoldásokon alapuló tanítás.
• Specializált felkészítés tudományos adatokon.
• Külső eszközök használata a számításokhoz és az ellenőrzéshez.

A jelentős fejlődés ellenére a MATH továbbra is fontos és komoly kihívást jelent. Továbbra is az LLM-ek matematikai gondolkodási szintjének mutatójaként szolgál, és ösztönzi a többlépéses következtetést igénylő feladatok megbízható megoldásával kapcsolatos kutatásokat.

Hivatkozások

• A MATH adatkészlet hivatalos GitHub-tárháza
• Az adatkészlet oldala a Papers With Code oldalon

Irodalom

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.