MATH Benchmark (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

MATH (ตัวย่อจากภาษาอังกฤษ Mathematics Aptitude Test of Heuristics) — คือ dataset ขนาดใหญ่และ benchmark สำหรับประเมินความสามารถทางคณิตศาสตร์และทักษะการแก้ปัญหาของ large language model (LLM) dataset นี้ถูกนำเสนอในปี ค.ศ. 2021 โดยกลุ่มนักวิจัยภายใต้การนำของ Dan Hendrycks และประกอบด้วย โจทย์ 12,500 ข้อ ที่นำมาจากการแข่งขันคณิตศาสตร์ระดับมัธยมปลายของสหรัฐอเมริกา เช่น AMC 10, AMC 12 และ AIME[1]

โจทย์ครอบคลุมสาขาวิชาหลากหลาย (พีชคณิต, เรขาคณิต, ทฤษฎีจำนวน, คณิตศาสตร์เชิงการจัด และอื่นๆ) และมีการจัดระดับความยากตามลำดับขั้น ต่างจากโจทย์ในตำราเรียนทั่วไป โจทย์เหล่านี้มักต้องอาศัยความคิดสร้างสรรค์และวิธีการแบบ heuristics มากกว่าการประยุกต์สูตรโดยตรง โจทย์แต่ละข้อมาพร้อมกับวิธีแก้แบบทีละขั้นตอนอย่างครบถ้วนและคำตอบสุดท้าย ทำให้ MATH เป็นทรัพยากรที่มีคุณค่าทั้งในด้านการฝึกอบรมและการทดสอบโมเดล[2]

โครงสร้างและลักษณะเฉพาะของ dataset

benchmark MATH มีลักษณะเด่นสำคัญหลายประการที่ทำให้เป็นเครื่องมือประเมินที่ท้าทายและเชื่อถือได้

รูปแบบของโจทย์

โจทย์และวิธีแก้ทั้งหมดนำเสนอในรูปแบบ LaTeX และใช้ภาษา Asymptote สำหรับอธิบายภาพเรขาคณิต วิธีนี้ช่วยให้นำเสนอเงื่อนไขทั้งหมด รวมถึงรูปภาพ ในรูปแบบข้อความที่โมเดลภาษาสามารถประมวลผลได้ โจทย์แต่ละข้อถูกติดป้ายกำกับตามเจ็ดสาขาของคณิตศาสตร์และห้าระดับความยาก[1]

การประเมินผลอัตโนมัติ

คำตอบสุดท้ายใน dataset ถูกบรรจุไว้ในรูปแบบพิเศษ `\boxed{...}` และกำหนดมาตรฐานอย่างเข้มงวด (เช่น เศษส่วนในรูปอย่างต่ำ) วิธีนี้ช่วยให้สามารถประเมินโมเดลโดยอัตโนมัติด้วยเมตริก exact match ซึ่งขจัดความเป็นอัตวิสัยและความคลุมเครือในการตรวจผล โมเดลต้องให้คำตอบที่ถูกต้องอย่างแม่นยำจึงจะถือว่าแก้โจทย์ข้อนั้นได้[1]

ความยากของโจทย์และระดับมนุษย์

MATH เป็นหนึ่งในแบบทดสอบคณิตศาสตร์ที่ยากที่สุดสำหรับ AI โจทย์เหล่านี้ท้าทายแม้กระทั่งผู้ที่มีพื้นฐานคณิตศาสตร์แข็งแกร่ง

  • ในการศึกษา dataset กลุ่ม นักศึกษาระดับมหาวิทยาลัย ถูกทดสอบและได้คะแนนตั้งแต่ ~40% ถึง ~90% สำหรับผู้ชนะการแข่งขันโอลิมปิก
  • แม้แต่ผู้ที่ได้รับเหรียญทองสามครั้งจากการแข่งขันคณิตศาสตร์โอลิมปิกระหว่างประเทศก็ยังไม่สามารถทำโจทย์ทั้งหมดได้โดยไม่มีข้อผิดพลาด[1]

สิ่งนี้แสดงให้เห็นว่าการแก้โจทย์ MATH ได้สำเร็จต้องอาศัยไม่เพียงแต่ความรู้ แต่ยังต้องมีความแม่นยำสูงและสัญชาตญาณทางคณิตศาสตร์ด้วย

ผลลัพธ์ของโมเดลและความก้าวหน้าในการแก้ปัญหา

ผลลัพธ์เบื้องต้น (ปี ค.ศ. 2021)

เมื่อเปิดตัว benchmark ในปี ค.ศ. 2021 แม้แต่โมเดลขนาดใหญ่ที่สุดก็ยังให้ผลลัพธ์ที่ต่ำมาก

  • โมเดล GPT-3 (175 พันล้านพารามิเตอร์) สามารถแก้โจทย์ได้ถูกต้องเพียงประมาณ 5% เท่านั้น
  • เวอร์ชันที่ผ่าน fine-tuning ของ GPT-2 มีความแม่นยำ 6-7%[1]

ผู้เขียนสรุปว่าการเพิ่มขนาดโมเดลเพียงอย่างเดียวแทบไม่ส่งผลต่อประสิทธิภาพ และจำเป็นต้องมีแนวทางเชิงอัลกอริทึมใหม่เพื่อความก้าวหน้า[3]

ความก้าวหน้าของ Minerva และ GPT-4 (ปี ค.ศ. 2022–2023)

ความก้าวหน้าครั้งสำคัญเกิดขึ้นพร้อมกับการปรากฏของโมเดลที่ได้รับการฝึกอบรมเฉพาะทางบนข้อความทางวิทยาศาสตร์และวิธีการแก้ปัญหาใหม่

  • ในปี ค.ศ. 2022 โมเดล Google Minerva บรรลุความแม่นยำประมาณ 50% แสดงให้เห็นว่าการผสมผสานระหว่างขนาดและการฝึกอบรมเฉพาะทางสามารถเพิ่มคุณภาพการแก้ปัญหาได้อย่างมาก[3]
  • ในปี ค.ศ. 2023 GPT-4 จาก OpenAI แสดงให้เห็นการก้าวกระโดดอีกครั้ง โดยใช้เครื่องมือต่างๆ โมเดลสามารถพัฒนาผลลัพธ์ได้อย่างมีนัยสำคัญ:
    • ด้วย Code Interpreter (การรันโค้ดเพื่อตรวจสอบการคำนวณ) ความแม่นยำสูงถึงเกือบ 70%
    • ด้วยวิธี code-based self-verification (การตรวจสอบตนเองและแก้ไขข้อผิดพลาดด้วยโค้ด) ได้สถิติสูงสุดที่ 84.3% ของโจทย์ที่แก้ได้[4]

ผลลัพธ์นี้เทียบได้กับระดับของผู้เข้าแข่งขันมนุษย์ที่เก่งและใกล้เคียงกับเกณฑ์ระดับผู้เชี่ยวชาญ

ความสำคัญและผลกระทบ

benchmark MATH มีบทบาทสำคัญในการพัฒนาความสามารถทางคณิตศาสตร์ของ LLM โดยแสดงให้เห็นอย่างชัดเจนว่าการขยายขนาดโมเดลเพียงอย่างเดียวไม่เพียงพอสำหรับการแก้ปัญหาที่ซับซ้อน แต่จำเป็นต้องมีแนวทางใหม่ เช่น:

  • การฝึกอบรมบนวิธีแก้แบบทีละขั้นตอนอย่างครบถ้วน
  • การเตรียมการเฉพาะทางบนข้อมูลทางวิทยาศาสตร์
  • การใช้เครื่องมือภายนอกสำหรับการคำนวณและการตรวจสอบ

แม้จะมีความก้าวหน้าอย่างมีนัยสำคัญ MATH ยังคงเป็นการทดสอบที่สำคัญและท้าทาย โดยยังคงทำหน้าที่เป็นตัวชี้วัดระดับการคิดเชิงคณิตศาสตร์ของ LLM และกระตุ้นการวิจัยในด้านการแก้ปัญหาที่เชื่อถือได้ซึ่งต้องการการใช้เหตุผลหลายขั้นตอน[1]

ลิงก์ภายนอก

  • คลังข้อมูลอย่างเป็นทางการของ dataset MATH บน GitHub
  • หน้า dataset บน Papers With Code

เอกสารอ้างอิง

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

หมายเหตุ

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv:2103.03874. [1]
  2. ↑ «AI Benchmarks and Datasets for LLM Evaluation». arXiv:2412.01020. [2]
  3. ↑ 3.0 3.1 «Language models surprised us». Planned-Obsolescence.org. [3]
  4. ↑ «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». The Decoder. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=MATH_Benchmark_(TH)&oldid=3979"