MATH Benchmark (BN)
MATH (আক্রোনিম ইংরেজি Mathematics Aptitude Test of Heuristics থেকে) — এটি বড় ভাষা মডেলগুলির (LLM) গাণিতিক দক্ষতা এবং সমস্যা সমাধানের দক্ষতা মূল্যায়নের জন্য একটি বৃহৎ dataset এবং benchmark। Dataset টি ২০২১ সালে ড্যান হেন্ড্রিকসের (Dan Hendrycks) নেতৃত্বে একটি গবেষক দল উপস্থাপন করেছিলেন এবং এতে ১২,৫০০টি সমস্যা রয়েছে, যা AMC 10, AMC 12 এবং AIME-এর মতো আমেরিকান উচ্চ বিদ্যালয়ের গণিত প্রতিযোগিতা থেকে নেওয়া হয়েছে[1]।
সমস্যাগুলি বিস্তৃত বিষয় জুড়ে বিস্তৃত (বীজগণিত, জ্যামিতি, সংখ্যা তত্ত্ব, কম্বিনেটরিক্স ইত্যাদি) এবং কঠিনতার স্তর অনুযায়ী বিভাজিত। প্রামাণিক পাঠ্যক্রমের সমস্যাগুলির বিপরীতে, এগুলির জন্য প্রায়শই সূত্রের সরাসরি প্রয়োগের পরিবর্তে সৃজনশীল পদ্ধতি এবং হিউরিস্টিক পদ্ধতির প্রয়োজন হয়। প্রতিটি কার্যটি একটি সম্পূর্ণ ধাপে-ধাপে সমাধান এবং চূড়ান্ত উত্তর সহ আসে, যা MATH কে মডেলগুলির প্রশিক্ষণ এবং পরীক্ষা উভয়ের জন্যই একটি মূল্যবান সম্পদ করে তোলে[2]।
Dataset-এর কাঠামো ও বৈশিষ্ট্য
MATH benchmark-এ বেশ কিছু মূল বৈশিষ্ট্য রয়েছে যা এটিকে একটি কঠিন ও নির্ভরযোগ্য মূল্যায়ন সরঞ্জামে পরিণত করে।
সমস্যার বিন্যাস
সমস্ত কার্য এবং সমাধান LaTeX বিন্যাসে উপস্থাপন করা হয়েছে এবং জ্যামিতিক চিত্র বর্ণনার জন্য Asymptote ভাষা ব্যবহার করা হয়েছে। এটি চিত্রসহ সমস্ত শর্তগুলিকে পাঠ্য আকারে উপস্থাপন করা সম্ভব করে, যা একটি ভাষা মডেলের দ্বারা প্রক্রিয়াযোগ্য। প্রতিটি সমস্যায় গণিতের সাতটি শাখা এবং পাঁচটি কঠিনতার স্তর অনুযায়ী লেবেল দেওয়া হয়েছে[1]।
স্বয়ংক্রিয় মূল্যায়ন
Dataset-এ চূড়ান্ত উত্তরগুলি একটি বিশেষ `\boxed{...}` বিন্যাসে আবদ্ধ এবং একটি কঠোর মানদণ্ডে (যেমন, অখণ্ড ভগ্নাংশ) নিয়ে আসা হয়েছে। এটি সঠিক মিলান (exact match) মেট্রিকের মাধ্যমে মডেলগুলির স্বয়ংক্রিয় মূল্যায়ন পরিচালনা করার সুযোগ দেয়, যা ফলাফল যাচাইয়ে বিষয়গততা ও অস্পষ্টতা দূর করে। সমস্যাটি সমাধান হয়েছে বলে গণ্য হওয়ার জন্য মডেলকে অবশ্যই একটি কঠোরভাবে সঠিক উত্তর দিতে হবে[1]।
সমস্যার কঠিনতা ও মানব স্তর
MATH হল AI-এর জন্য সবচেয়ে কঠিন গাণিতিক পরীক্ষাগুলির মধ্যে একটি। সমস্যাগুলি শক্তিশালী গাণিতিক প্রস্তুতিসম্পন্ন মানুষের জন্যও কঠিন।
- Dataset গবেষণার সময় বিশ্ববিদ্যালয়ের শিক্ষার্থীদের একটি দলকে পরীক্ষা করা হয়েছিল এবং অলিম্পিয়াড বিজয়ীদের ক্ষেত্রে ফলাফল ~৪০% থেকে ~৯০% পর্যন্ত ছিল।
- এমনকি আন্তর্জাতিক গণিত অলিম্পিয়াডের তিনটি স্বর্ণপদকের অধিকারীও ভুল ছাড়া সমস্ত কার্য সমাধান করতে পারেননি[1]।
এটি দেখায় যে MATH সমস্যাগুলি সফলভাবে সমাধান করতে কেবল জ্ঞানই নয়, উচ্চ নির্ভুলতা এবং গাণিতিক অন্তর্দৃষ্টিরও প্রয়োজন।
মডেলের ফলাফল এবং সমাধানে অগ্রগতি
প্রাথমিক ফলাফল (২০২১)
২০২১ সালে benchmark চালু হওয়ার সময়, এমনকি সবচেয়ে বড় মডেলগুলিও অত্যন্ত কম ফলাফল দেখিয়েছিল।
- GPT-3 মডেল (১৭৫ বিলিয়ন প্যারামিটার) মাত্র প্রায় ৫% সমস্যা সঠিকভাবে সমাধান করতে পেরেছিল।
- Fine-tuned GPT-2 সংস্করণগুলি ৬-৭% নির্ভুলতা দেখিয়েছিল[1]।
লেখকরা এই সিদ্ধান্তে এসেছিলেন যে মডেলের স্কেল কেবল বাড়ানো কার্যকারিতার উপর প্রায় কোনো প্রভাব ফেলে না এবং অগ্রগতির জন্য নতুন অ্যালগরিদমিক পদ্ধতির প্রয়োজন[3]।
Minerva এবং GPT-4-এর অগ্রগতি (২০২২–২০২৩)
বৈজ্ঞানিক পাঠ্যে বিশেষভাবে প্রশিক্ষিত মডেল এবং নতুন সমাধান পদ্ধতির আবির্ভাবের সাথে একটি অগ্রগতি হয়েছিল।
- ২০২২ সালে Google Minerva মডেল প্রায় ৫০% নির্ভুলতা অর্জন করেছিল, যা দেখিয়েছিল যে স্কেল এবং বিশেষায়িত প্রস্তুতির সমন্বয় সমাধানের মান আমূলভাবে উন্নত করতে পারে[3]।
- ২০২৩ সালে OpenAI-এর GPT-4 একটি নতুন লাফ দিয়েছে। সরঞ্জাম ব্যবহার করে মডেলটি তার ফলাফল উল্লেখযোগ্যভাবে উন্নত করতে পেরেছিল:
- Code Interpreter সহ (গণনা যাচাই করতে কোড সম্পাদন) নির্ভুলতা প্রায় ৭০% এ পৌঁছেছিল।
- code-based self-verification পদ্ধতিতে (কোড ব্যবহার করে স্ব-যাচাই এবং ত্রুটি সংশোধন) ৮৪.৩% সমাধানকৃত সমস্যার একটি রেকর্ড স্থাপিত হয়েছিল[4]।
এই ফলাফল শক্তিশালী মানব অংশগ্রহণকারীদের স্তরের সাথে তুলনীয় এবং বিশেষজ্ঞ দোরগোড়ার কাছাকাছি।
গুরুত্ব ও প্রভাব
MATH benchmark LLM-এর গাণিতিক দক্ষতার বিকাশে একটি মূল ভূমিকা পালন করেছে। এটি স্পষ্টভাবে প্রদর্শন করেছে যে জটিল সমস্যা সমাধানের জন্য কেবল স্কেলিং যথেষ্ট নয়, বরং নতুন পদ্ধতির প্রয়োজন, যেমন:
- সম্পূর্ণ ধাপে-ধাপে সমাধানে প্রশিক্ষণ।
- বৈজ্ঞানিক ডেটায় বিশেষায়িত প্রস্তুতি।
- গণনা ও যাচাইয়ের জন্য বাহ্যিক সরঞ্জামের ব্যবহার।
উল্লেখযোগ্য অগ্রগতি সত্ত্বেও, MATH একটি গুরুত্বপূর্ণ ও কঠিন পরীক্ষা হিসেবে রয়ে গেছে। এটি LLM-এর গাণিতিক চিন্তার স্তরের একটি সূচক হিসেবে কাজ করতে থাকে এবং বহু-পদক্ষেপের যুক্তির প্রয়োজনীয় সমস্যার নির্ভরযোগ্য সমাধানের ক্ষেত্রে গবেষণাকে উৎসাহিত করে[1]।
তথ্যসূত্র
- GitHub-এ MATH dataset-এর অফিশিয়াল রিপোজিটরি
- Papers With Code-এ dataset-এর পৃষ্ঠা
সাহিত্য
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
টীকা
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Hendrycks, D., et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv:2103.03874. [১]
- ↑ «AI Benchmarks and Datasets for LLM Evaluation». arXiv:2412.01020. [২]
- ↑ 3.0 3.1 «Language models surprised us». Planned-Obsolescence.org. [৩]
- ↑ «GPT-4 Code Interpreter smashes maths benchmarks, hits new SOTA». The Decoder. [৪]