GSM8K (Grade School Math 8K) (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

GSM8K (Grade School Math 8K) — คือชุดข้อมูลอ้างอิงมาตรฐานที่ประกอบด้วยโจทย์คณิตศาสตร์ระดับชั้นประถมและมัธยมต้นจำนวนประมาณ 8,500 ข้อในรูปแบบข้อความ ถูกสร้างขึ้นในปี 2021 โดยนักวิจัยจาก OpenAI เพื่อประเมินและพัฒนาความสามารถของโมเดลภาษาขนาดใหญ่ (LLM) ในการใช้เหตุผลทางคณิตศาสตร์แบบหลายขั้นตอน[1] GSM8K ได้กลายเป็นหนึ่งใน benchmark หลักสำหรับวัดความก้าวหน้าในด้านการคิดเชิงคณิตศาสตร์ของปัญญาประดิษฐ์

โจทย์แต่ละข้อใน dataset นี้เป็นเรื่องราวสั้น ๆ ในรูปแบบข้อความ ซึ่งการแก้ปัญหาต้องอาศัยการดำเนินการทางคณิตศาสตร์พื้นฐาน 2 ถึง 8 ขั้นตอนต่อเนื่องกัน ได้แก่ การบวก การลบ การคูณ และการหาร แม้ดูเหมือนจะเรียบง่าย แต่โจทย์เหล่านี้ต้องการความเข้าใจข้อความอย่างลึกซึ้งและการใช้เหตุผลเชิงตรรกะ ซึ่งทำให้เป็นความท้าทายสำหรับ LLM จำนวนมาก[2]

ลักษณะสำคัญ

ขนาดและโครงสร้าง

Dataset GSM8K ประกอบด้วยโจทย์ประมาณ 8,500 ข้อ ซึ่งแบ่งออกเป็นสองส่วน:

  • ชุดฝึกอบรม: ประมาณ 7,500 ข้อ สำหรับใช้ใน fine-tuning โมเดล โดยโจทย์แต่ละข้อมีเฉลยแบบเป็นขั้นตอนโดยละเอียด
  • ชุดทดสอบ: ประมาณ 1,000 ข้อ สำหรับประเมินประสิทธิภาพของโมเดลอย่างเป็นอิสระ[1]

ระดับความยากและเนื้อหา

โจทย์ถูกออกแบบโดยเจตนาให้นักเรียนมัธยมต้นที่มีความสามารถสามารถแก้ได้ แต่ในขณะเดียวกันก็ต้องการการใช้เหตุผลหลายขั้นตอน สิ่งนี้ช่วยให้สามารถทดสอบไม่เพียงแค่ความรู้ทางคณิตศาสตร์ของโมเดล แต่ยังรวมถึงความสามารถในการแยกย่อยปัญหาและดำเนินการเชิงตรรกะอย่างเป็นลำดับ

ความหลากหลายทางภาษา

การกำหนดโจทย์ใน GSM8K มีความหลากหลายในด้านรูปแบบและโครงสร้างภาษาอย่างมาก สิ่งนี้ทำขึ้นเพื่อทดสอบความสามารถของโมเดลในการทำความเข้าใจเงื่อนไขโจทย์ที่แสดงออกในหลายวิธี และหลีกเลี่ยงการ "ท่องจำ" รูปแบบเฉพาะ[3]

ประวัติและวิวัฒนาการของการประเมินโมเดล

โมเดลยุคแรกและผลลัพธ์พื้นฐาน

ในงานวิจัยต้นฉบับปี 2021 ผู้เขียนแสดงให้เห็นว่าแม้แต่โมเดลขนาดใหญ่ในขณะนั้น เช่น GPT-3 (175 พันล้านพารามิเตอร์) ก็ยังประสบความยากลำบากอย่างมากกับ dataset นี้ หลังจาก fine-tuning และการใช้โมเดลตรวจสอบเสริม ความแม่นยำในการแก้ปัญหาอยู่ที่เพียงประมาณ 55%[1] ผลลัพธ์นี้แสดงให้เห็นว่าข้อผิดพลาดเพียงเล็กน้อยในห่วงโซ่การใช้เหตุผลสามารถนำไปสู่คำตอบที่ผิดพลาดโดยสิ้นเชิง

เทคนิคที่เป็นก้าวสำคัญ: Chain-of-Thought

ก้าวสำคัญในการแก้โจทย์ GSM8K คือแนวทาง «ห่วงโซ่การใช้เหตุผล» (Chain-of-Thought, CoT) ในปี 2022 นักวิจัยจาก Google แสดงให้เห็นว่าหากกระตุ้นให้โมเดลเขียนขั้นตอนการแก้ปัญหาอย่างชัดเจนก่อนให้คำตอบ ความแม่นยำจะเพิ่มขึ้นอย่างมีนัยสำคัญ โมเดล PaLM (540 พันล้านพารามิเตอร์) ที่ใช้ CoT บรรลุความแม่นยำ 58%[4] การใช้เทคนิคขั้นสูงกว่าคือ self-consistency (การสร้างคำตอบหลายรูปแบบและเลือกคำตอบที่พบบ่อยที่สุด) ทำให้ความแม่นยำเพิ่มขึ้นถึง 74%[4]

การก้าวข้ามระดับมนุษย์

ตั้งแต่ปี 2023 เป็นต้นมา โมเดล Generative ล่าสุดได้แซงหน้าระดับมนุษย์บน benchmark นี้

  • GPT-4 จาก OpenAI ในโหมด few-shot CoT (เมื่อมีการให้ตัวอย่างโจทย์ที่แก้แล้วหลายข้อใน prompt) บรรลุความแม่นยำประมาณ 92%[5] และด้วยกลยุทธ์เพิ่มเติม — สูงถึง 97%[6]
  • Claude 2 จาก Anthropic แสดงผลลัพธ์ 88% ส่วนเวอร์ชันใหม่กว่า Claude 3 — ประมาณ 95%[3]

คะแนนสูงเช่นนี้บ่งชี้ถึงความก้าวหน้าอย่างมีนัยสำคัญในความสามารถด้านการใช้เหตุผลของ LLM แต่ยังชี้ให้เห็นด้วยว่า GSM8K กำลังกลายเป็นปัญหาที่ "แทบจะแก้ได้แล้ว" สำหรับโมเดลชั้นนำ ซึ่งกระตุ้นให้มีการพัฒนา benchmark ที่ซับซ้อนกว่า เช่น MATH และ MMLU

บทบาทในการฝึกอบรมและพัฒนาโมเดล

นอกจากการประเมินแล้ว GSM8K ยังถูกนำมาใช้อย่างแข็งขันสำหรับการฝึกอบรมและปรับปรุงโมเดล

  • Fine-tuning (การปรับแต่งเพิ่มเติม): ชุดฝึกอบรมที่มีเฉลยแบบเป็นขั้นตอนเป็นทรัพยากรอันมีค่าสำหรับ fine-tuning โมเดลด้านตรรกะทางคณิตศาสตร์
  • การฝึกตัวตรวจสอบ: ในงานวิจัยต้นฉบับของ OpenAI ส่วนหนึ่งของข้อมูล GSM8K ถูกใช้เพื่อฝึกโมเดลตัวตรวจสอบแยกต่างหาก ซึ่งประเมินความถูกต้องของคำตอบที่สร้างขึ้น แนวทางการฝึกแยกระหว่างตัวสร้างและตัววิจารณ์นี้ได้พิสูจน์ประสิทธิผลของมันแล้ว[1]
  • Prompt Engineering: การมีตัวอย่างจำนวนมากช่วยให้นักวิจัยสามารถพัฒนาและขัดเกลาเทคนิคการให้ prompt เช่น Chain-of-Thought และ Tree-of-Thought ซึ่งสอนให้โมเดลใช้เหตุผลโดยไม่ต้องเปลี่ยนแปลงน้ำหนักของมัน

ลิงก์

  • หน้า dataset บน Papers With Code
  • คลังข้อมูลทางการบน GitHub

เอกสารอ้างอิง

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

หมายเหตุ

  1. ↑ 1.0 1.1 1.2 1.3 Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». arXiv:2110.14168. [1]
  2. ↑ «GSM8K Dataset». Papers With Code. [2]
  3. ↑ 3.0 3.1 «GSM8K Benchmark». Klu.ai. [3]
  4. ↑ 4.0 4.1 Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». Google Research Blog. [4]
  5. ↑ Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». EMNLP 2023. [5]
  6. ↑ «Achieving >97% on GSM8K». arXiv:2404.14963. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=GSM8K_(Grade_School_Math_8K)_(TH)&oldid=2507"