MATH Benchmark (UR)
MATH (اختصار انگریزی Mathematics Aptitude Test of Heuristics سے ماخوذ) — یہ بڑے زبان کے ماڈلز (LLM) کی ریاضیاتی صلاحیتوں اور مسائل حل کرنے کی مہارتوں کو جانچنے کے لیے ایک بڑا dataset اور benchmark ہے۔ یہ dataset 2021 میں ڈین ہینڈریکس (Dan Hendrycks) کی قیادت میں محققین کے ایک گروپ نے پیش کیا اور اس میں 12,500 مسائل شامل ہیں جو امریکی ہائی اسکول کے ریاضی مقابلوں جیسے AMC 10، AMC 12 اور AIME سے لیے گئے ہیں[1]۔
یہ مسائل ریاضی کے وسیع شعبوں (الجبرا، جیومیٹری، نظریہ اعداد، امتزاجیات وغیرہ) کا احاطہ کرتے ہیں اور دشواری کی سطح کے لحاظ سے درجہ بند ہیں۔ معیاری درسی مسائل کے برعکس، ان میں اکثر تخلیقی سوچ اور اکتشافی طریقوں کی ضرورت ہوتی ہے نہ کہ محض فارمولوں کے براہ راست اطلاق کی۔ ہر سوال کے ساتھ مکمل مرحلہ وار حل اور حتمی جواب موجود ہے، جو MATH کو ماڈلز کی تربیت اور جانچ دونوں کے لیے ایک قیمتی وسیلہ بناتا ہے[2]۔
Dataset کی ساخت اور خصوصیات
MATH benchmark میں کئی اہم خصوصیات ہیں جو اسے ایک مشکل اور قابل اعتماد جانچ کا آلہ بناتی ہیں۔
مسائل کا فارمیٹ
تمام سوالات اور حل LaTeX فارمیٹ میں پیش کیے گئے ہیں، جبکہ جیومیٹری کے خاکوں کی وضاحت کے لیے Asymptote زبان استعمال کی گئی ہے۔ اس سے تمام شرائط، بشمول تصاویر، متنی شکل میں پیش کرنا ممکن ہو جاتا ہے جسے زبان کا ماڈل پروسیس کر سکے۔ ہر مسئلے کو ریاضی کے سات شعبوں اور پانچ دشواری کی سطحوں کے مطابق لیبل کیا گیا ہے[1]۔
خودکار تشخیص
Dataset میں حتمی جوابات ایک خاص فارمیٹ `\boxed{...}` میں بند ہیں اور سخت معیار کے مطابق ہیں (مثلاً کسر ناقابل تقسیم شکل میں)۔ اس سے ماڈلز کا exact match کی metric کے ذریعے خودکار جائزہ لینا ممکن ہوتا ہے، جو نتائج کی جانچ میں ذاتی رائے اور ابہام کو ختم کرتا ہے۔ مسئلہ حل شدہ شمار ہونے کے لیے ماڈل کو بالکل درست جواب دینا ضروری ہے[1]۔
مسائل کی دشواری اور انسانی سطح
MATH مصنوعی ذہانت کے لیے سب سے مشکل ریاضی ٹیسٹوں میں سے ایک ہے۔ یہ مسائل مضبوط ریاضی کی تیاری رکھنے والے لوگوں کے لیے بھی مشکل ہیں۔
- Dataset کی تحقیق کے دوران یونیورسٹی کے طلباء کے ایک گروپ کی جانچ کی گئی جن کے نتائج ~40% سے لے کر اولمپیاڈ فاتحین میں ~90% تک رہے۔
- یہاں تک کہ بین الاقوامی ریاضی اولمپیاڈ کے تین طلائی تمغے کے حامل بھی تمام سوالات بغیر غلطی کے حل نہ کر سکے[1]۔
یہ ظاہر کرتا ہے کہ MATH کے مسائل کو کامیابی سے حل کرنے کے لیے علم کے ساتھ ساتھ اعلی درستگی اور ریاضیاتی وجدان کی بھی ضرورت ہے۔
ماڈلز کے نتائج اور حل میں پیشرفت
ابتدائی نتائج (2021)
2021 میں benchmark کے آغاز پر بڑے سے بڑے ماڈلز بھی انتہائی کم نتائج دکھاتے تھے۔
- ماڈل GPT-3 (175 ارب پیرامیٹرز) صرف تقریباً 5% مسائل درست حل کر سکا۔
- GPT-2 کے fine-tuned ورژن 6-7% درستگی دکھاتے تھے[1]۔
مصنفین اس نتیجے پر پہنچے کہ ماڈلز کا محض حجم بڑھانے سے کارکردگی پر بہت کم اثر پڑتا ہے اور پیشرفت کے لیے نئے الگورتھمی طریقوں کی ضرورت ہے[3]۔
Minerva اور GPT-4 کی پیش قدمی (2022–2023)
یہ پیش قدمی سائنسی متون پر خصوصی تربیت یافتہ ماڈلز اور حل کے نئے طریقوں کے ظہور سے ہوئی۔
- 2022 میں Google Minerva نے تقریباً 50% درستگی حاصل کی، جس سے ظاہر ہوا کہ حجم اور خصوصی تیاری کا امتزاج حل کے معیار کو نمایاں طور پر بہتر بنا سکتا ہے[3]۔
- 2023 میں OpenAI کے GPT-4 نے ایک نئی چھلانگ لگائی۔ اوزار استعمال کرتے ہوئے ماڈل اپنے نتائج میں نمایاں بہتری لا سکا:
- Code Interpreter (حسابات کی تصدیق کے لیے کوڈ چلانا) کے ساتھ درستگی تقریباً 70% تک پہنچ گئی۔
- code-based self-verification (کوڈ کی مدد سے خود جانچ اور غلطیوں کی اصلاح) کے طریقے سے 84.3% حل شدہ مسائل کا ریکارڈ قائم ہوا[4]۔
یہ نتیجہ مضبوط انسانی شرکاء کی سطح سے موازنہ رکھتا ہے اور ماہرانہ دہلیز کے قریب پہنچتا ہے۔
اہمیت اور اثرات
MATH benchmark نے LLM کی ریاضیاتی صلاحیتوں کی ترقی میں کلیدی کردار ادا کیا ہے۔ اس نے واضح طور پر ثابت کیا کہ مشکل مسائل کے حل کے لیے محض پیمانے کا بڑھانا کافی نہیں بلکہ نئے طریقوں کی ضرورت ہے، جیسے:
- مکمل مرحلہ وار حل پر تربیت۔
- سائنسی ڈیٹا پر خصوصی تیاری۔
- حسابات اور تصدیق کے لیے بیرونی اوزاروں کا استعمال۔
نمایاں پیشرفت کے باوجود، MATH ایک اہم اور مشکل امتحان بنا ہوا ہے۔ یہ LLM کے ریاضیاتی استدلال کی سطح کا اشاریہ بنتا رہتا ہے اور کثیر مراحل پر مشتمل استدلال کے قابل اعتماد حل کے شعبے میں تحقیق کو تحریک دیتا ہے[1]۔
روابط
- GitHub پر MATH dataset کا سرکاری ذخیرہ
- Papers With Code پر dataset کا صفحہ
کتابیات
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
حواشی
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv:2103.03874. [1]
- ↑ «AI Benchmarks and Datasets for LLM Evaluation». arXiv:2412.01020. [2]
- ↑ 3.0 3.1 «Language models surprised us». Planned-Obsolescence.org. [3]
- ↑ «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». The Decoder. [4]