---
title: "MATH Benchmark (TH)"
source: "https://systems-analysis.info/int/MATH_Benchmark_(TH)"
wiki: "systems-analysis.info/int"
article: "MATH_Benchmark_(TH)"
language: "th"
categories:
  - "Category:Large language models"
  - "Category:LLM benchmarks"
  - "Category:Machine learning"
  - "Category:Thai"
revision_id: 3979
wiki_created_at: 2026-09-06T23:28:46Z
wiki_modified_at: 2026-09-06T23:28:46Z
downloaded_at: 2026-09-07T22:59:59Z
---

# MATH Benchmark (TH)

**MATH** (ตัวย่อจากภาษาอังกฤษ **Mathematics Aptitude Test of Heuristics**) — คือ dataset ขนาดใหญ่และ benchmark สำหรับประเมินความสามารถทางคณิตศาสตร์และทักษะการแก้ปัญหาของ large language model (LLM) dataset นี้ถูกนำเสนอในปี ค.ศ. 2021 โดยกลุ่มนักวิจัยภายใต้การนำของ **Dan Hendrycks** และประกอบด้วย **โจทย์ 12,500 ข้อ** ที่นำมาจากการแข่งขันคณิตศาสตร์ระดับมัธยมปลายของสหรัฐอเมริกา เช่น AMC 10, AMC 12 และ AIME<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

โจทย์ครอบคลุมสาขาวิชาหลากหลาย (พีชคณิต, เรขาคณิต, ทฤษฎีจำนวน, คณิตศาสตร์เชิงการจัด และอื่นๆ) และมีการจัดระดับความยากตามลำดับขั้น ต่างจากโจทย์ในตำราเรียนทั่วไป โจทย์เหล่านี้มักต้องอาศัยความคิดสร้างสรรค์และวิธีการแบบ heuristics มากกว่าการประยุกต์สูตรโดยตรง โจทย์แต่ละข้อมาพร้อมกับวิธีแก้แบบทีละขั้นตอนอย่างครบถ้วนและคำตอบสุดท้าย ทำให้ MATH เป็นทรัพยากรที่มีคุณค่าทั้งในด้านการฝึกอบรมและการทดสอบโมเดล<sup>[\[2\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-llm_eval_datasets-2)</sup>

## โครงสร้างและลักษณะเฉพาะของ dataset

benchmark MATH มีลักษณะเด่นสำคัญหลายประการที่ทำให้เป็นเครื่องมือประเมินที่ท้าทายและเชื่อถือได้

### รูปแบบของโจทย์

โจทย์และวิธีแก้ทั้งหมดนำเสนอในรูปแบบ LaTeX และใช้ภาษา **Asymptote** สำหรับอธิบายภาพเรขาคณิต วิธีนี้ช่วยให้นำเสนอเงื่อนไขทั้งหมด รวมถึงรูปภาพ ในรูปแบบข้อความที่โมเดลภาษาสามารถประมวลผลได้ โจทย์แต่ละข้อถูกติดป้ายกำกับตามเจ็ดสาขาของคณิตศาสตร์และห้าระดับความยาก<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

### การประเมินผลอัตโนมัติ

คำตอบสุดท้ายใน dataset ถูกบรรจุไว้ในรูปแบบพิเศษ \`\boxed{...}\` และกำหนดมาตรฐานอย่างเข้มงวด (เช่น เศษส่วนในรูปอย่างต่ำ) วิธีนี้ช่วยให้สามารถประเมินโมเดลโดยอัตโนมัติด้วยเมตริก **exact match** ซึ่งขจัดความเป็นอัตวิสัยและความคลุมเครือในการตรวจผล โมเดลต้องให้คำตอบที่ถูกต้องอย่างแม่นยำจึงจะถือว่าแก้โจทย์ข้อนั้นได้<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

## ความยากของโจทย์และระดับมนุษย์

MATH เป็นหนึ่งในแบบทดสอบคณิตศาสตร์ที่ยากที่สุดสำหรับ AI โจทย์เหล่านี้ท้าทายแม้กระทั่งผู้ที่มีพื้นฐานคณิตศาสตร์แข็งแกร่ง

- ในการศึกษา dataset กลุ่ม **นักศึกษาระดับมหาวิทยาลัย** ถูกทดสอบและได้คะแนนตั้งแต่ **~40%** ถึง **~90%** สำหรับผู้ชนะการแข่งขันโอลิมปิก
- แม้แต่ผู้ที่ได้รับเหรียญทองสามครั้งจากการแข่งขันคณิตศาสตร์โอลิมปิกระหว่างประเทศก็ยังไม่สามารถทำโจทย์ทั้งหมดได้โดยไม่มีข้อผิดพลาด<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

สิ่งนี้แสดงให้เห็นว่าการแก้โจทย์ MATH ได้สำเร็จต้องอาศัยไม่เพียงแต่ความรู้ แต่ยังต้องมีความแม่นยำสูงและสัญชาตญาณทางคณิตศาสตร์ด้วย

## ผลลัพธ์ของโมเดลและความก้าวหน้าในการแก้ปัญหา

### ผลลัพธ์เบื้องต้น (ปี ค.ศ. 2021)

เมื่อเปิดตัว benchmark ในปี ค.ศ. 2021 แม้แต่โมเดลขนาดใหญ่ที่สุดก็ยังให้ผลลัพธ์ที่ต่ำมาก

- โมเดล **GPT-3** (175 พันล้านพารามิเตอร์) สามารถแก้โจทย์ได้ถูกต้องเพียงประมาณ **5%** เท่านั้น
- เวอร์ชันที่ผ่าน fine-tuning ของ **GPT-2** มีความแม่นยำ 6-7%<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

ผู้เขียนสรุปว่าการเพิ่มขนาดโมเดลเพียงอย่างเดียวแทบไม่ส่งผลต่อประสิทธิภาพ และจำเป็นต้องมีแนวทางเชิงอัลกอริทึมใหม่เพื่อความก้าวหน้า<sup>[\[3\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-lang_models_surprised-3)</sup>

### ความก้าวหน้าของ Minerva และ GPT-4 (ปี ค.ศ. 2022–2023)

ความก้าวหน้าครั้งสำคัญเกิดขึ้นพร้อมกับการปรากฏของโมเดลที่ได้รับการฝึกอบรมเฉพาะทางบนข้อความทางวิทยาศาสตร์และวิธีการแก้ปัญหาใหม่

- ในปี ค.ศ. 2022 โมเดล **Google Minerva** บรรลุความแม่นยำประมาณ **50%** แสดงให้เห็นว่าการผสมผสานระหว่างขนาดและการฝึกอบรมเฉพาะทางสามารถเพิ่มคุณภาพการแก้ปัญหาได้อย่างมาก<sup>[\[3\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-lang_models_surprised-3)</sup>
- ในปี ค.ศ. 2023 **GPT-4** จาก OpenAI แสดงให้เห็นการก้าวกระโดดอีกครั้ง โดยใช้เครื่องมือต่างๆ โมเดลสามารถพัฒนาผลลัพธ์ได้อย่างมีนัยสำคัญ:
  - ด้วย **Code Interpreter** (การรันโค้ดเพื่อตรวจสอบการคำนวณ) ความแม่นยำสูงถึงเกือบ **70%**
  - ด้วยวิธี *code-based self-verification* (การตรวจสอบตนเองและแก้ไขข้อผิดพลาดด้วยโค้ด) ได้สถิติสูงสุดที่ **84.3%** ของโจทย์ที่แก้ได้<sup>[\[4\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-decoder_gpt4-4)</sup>

ผลลัพธ์นี้เทียบได้กับระดับของผู้เข้าแข่งขันมนุษย์ที่เก่งและใกล้เคียงกับเกณฑ์ระดับผู้เชี่ยวชาญ

## ความสำคัญและผลกระทบ

benchmark MATH มีบทบาทสำคัญในการพัฒนาความสามารถทางคณิตศาสตร์ของ LLM โดยแสดงให้เห็นอย่างชัดเจนว่าการขยายขนาดโมเดลเพียงอย่างเดียวไม่เพียงพอสำหรับการแก้ปัญหาที่ซับซ้อน แต่จำเป็นต้องมีแนวทางใหม่ เช่น:

- การฝึกอบรมบนวิธีแก้แบบทีละขั้นตอนอย่างครบถ้วน
- การเตรียมการเฉพาะทางบนข้อมูลทางวิทยาศาสตร์
- การใช้เครื่องมือภายนอกสำหรับการคำนวณและการตรวจสอบ

แม้จะมีความก้าวหน้าอย่างมีนัยสำคัญ MATH ยังคงเป็นการทดสอบที่สำคัญและท้าทาย โดยยังคงทำหน้าที่เป็นตัวชี้วัดระดับการคิดเชิงคณิตศาสตร์ของ LLM และกระตุ้นการวิจัยในด้านการแก้ปัญหาที่เชื่อถือได้ซึ่งต้องการการใช้เหตุผลหลายขั้นตอน<sup>[\[1\]](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_note-hendrycks2021-1)</sup>

## ลิงก์ภายนอก

- คลังข้อมูลอย่างเป็นทางการของ dataset MATH บน GitHub
- หน้า dataset บน Papers With Code

## เอกสารอ้างอิง

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232.

## หมายเหตุ

1.  <span id="cite_note-hendrycks2021-1">↑ <sup>[1.0](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-hendrycks2021_1-5)</sup> Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». *arXiv:2103.03874*. <a href="https://arxiv.org/abs/2103.03874" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-llm_eval_datasets-2">[↑](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-llm_eval_datasets_2-0) «AI Benchmarks and Datasets for LLM Evaluation». *arXiv:2412.01020*. <a href="https://arxiv.org/html/2412.01020v1" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-lang_models_surprised-3">↑ <sup>[3.0](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-lang_models_surprised_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-lang_models_surprised_3-1)</sup> «Language models surprised us». *Planned-Obsolescence.org*. <a href="https://www.planned-obsolescence.org/language-models-surprised-us/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-decoder_gpt4-4">[↑](https://systems-analysis.info/int/MATH_Benchmark_(TH)#cite_ref-decoder_gpt4_4-0) «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». *The Decoder*. <a href="https://the-decoder.com/gpt-4-code-interpreter-smashes-maths-benchmarks-hits-new-sota/" class="external autonumber" rel="nofollow">[4]</a></span>