GSM8K (Grade School Math 8K) (BN)

From Systems analysis Wiki
Jump to navigation Jump to search

GSM8K (Grade School Math 8K) — এটি একটি মানদণ্ড dataset, যাতে বিদ্যালয়-স্তরের প্রায় ৮,৫ হাজার পাঠ্য গণিত সমস্যা রয়েছে। এটি ২০২১ সালে OpenAI-এর গবেষকরা বৃহৎ ভাষা মডেলের (LLM) বহু-ধাপ গাণিতিক যুক্তি-তর্কের সক্ষমতা মূল্যায়ন ও উন্নয়নের জন্য তৈরি করেছিলেন[1]। GSM8K কৃত্রিম বুদ্ধিমত্তার গাণিতিক চিন্তাশক্তির অগ্রগতি পরিমাপের অন্যতম প্রধান benchmark হিসেবে পরিগণিত হয়েছে।

dataset-এর প্রতিটি সমস্যা একটি সংক্ষিপ্ত পাঠ্য বিবরণী, যার সমাধানের জন্য ২ থেকে ৮টি ক্রমিক পাটিগাণিতিক ক্রিয়া (যোগ, বিয়োগ, গুণ, ভাগ) সম্পাদন করতে হয়। আপাতদৃষ্টিতে সহজ মনে হলেও, এই সমস্যাগুলো গভীর পাঠ-বোধ ও যৌক্তিক বিশ্লেষণ দাবি করে, যা অনেক LLM-এর জন্য কঠিন করে তোলে[2]।

মূল বৈশিষ্ট্যসমূহ

পরিমাণ ও কাঠামো

GSM8K dataset-এ প্রায় ৮৫০০টি সমস্যা রয়েছে, যা দুটি ভাগে বিভক্ত:

  • প্রশিক্ষণ সেট: প্রায় ৭৫০০টি সমস্যা, যা মডেলের fine-tuning-এর জন্য নির্ধারিত। প্রতিটি সমস্যায় বিস্তারিত ধাপে ধাপে সমাধান দেওয়া আছে।
  • পরীক্ষামূলক সেট: প্রায় ১০০০টি সমস্যা, যা মডেলের কর্মক্ষমতার স্বাধীন মূল্যায়নের জন্য ব্যবহৃত হয়[1]।

জটিলতা ও বিষয়বস্তু

সমস্যাগুলো ইচ্ছাকৃতভাবে এমনভাবে তৈরি করা হয়েছে যাতে একজন দক্ষ মাধ্যমিক বিদ্যালয়ের শিক্ষার্থী সেগুলো সমাধান করতে পারে, তবে এর জন্য বহু-ধাপ যুক্তি-তর্ক প্রয়োজন। এটি মডেলের গাণিতিক জ্ঞানের চেয়ে বরং সমস্যা বিশ্লেষণ করার এবং ক্রমানুসারে যৌক্তিক অপারেশন সম্পাদনের সক্ষমতা যাচাই করে।

ভাষাগত বৈচিত্র্য

GSM8K-এর সমস্যাগুলোর বর্ণনায় বিভিন্ন ধরনের শৈলী ও ভাষাগত কাঠামো ব্যবহার করা হয়েছে। এটি করা হয়েছে যাতে মডেলগুলো বিভিন্ন উপায়ে প্রকাশিত সমস্যার শর্ত বুঝতে পারে কিনা এবং নির্দিষ্ট ছাঁচ "মুখস্থ" করা এড়াতে পারে কিনা তা পরীক্ষা করা যায়[3]।

মডেল মূল্যায়নের ইতিহাস ও বিবর্তন

প্রারম্ভিক মডেল ও ভিত্তি-ফলাফল

২০২১ সালের মূল গবেষণাপত্রে লেখকরা দেখিয়েছেন যে সেই সময়ের বৃহৎ মডেলগুলো, যেমন GPT-3 (১৭৫ বিলিয়ন প্যারামিটার), dataset-এ উল্লেখযোগ্য অসুবিধায় পড়েছিল। fine-tuning এবং একটি সহায়ক যাচাইকারী মডেল ব্যবহারের পরেও সমাধানের নির্ভুলতা মাত্র প্রায় ৫৫%-এ পৌঁছেছিল[1]। এই ফলাফল প্রমাণ করেছে যে যুক্তি-শৃঙ্খলে একটি ছোট ভুলও সম্পূর্ণ ভুল উত্তর দিতে পারে।

যুগান্তকারী পদ্ধতি: Chain-of-Thought

GSM8K সমস্যা সমাধানে যুগান্তকারী অগ্রগতি এসেছিল «যুক্তির শৃঙ্খল» (Chain-of-Thought, CoT) পদ্ধতির মাধ্যমে। ২০২২ সালে Google-এর গবেষকরা দেখিয়েছেন যে যদি মডেলকে উত্তর দেওয়ার আগে সমাধানের ধাপগুলো স্পষ্টভাবে লিখতে উৎসাহিত করা হয়, তাহলে নির্ভুলতা উল্লেখযোগ্যভাবে বৃদ্ধি পায়। PaLM মডেল (৫৪০ বিলিয়ন প্যারামিটার) CoT ব্যবহার করে ৫৮% নির্ভুলতা অর্জন করেছিল[4]। আরও জটিল self-consistency কৌশল প্রয়োগ করে (একাধিক সমাধান তৈরি করা এবং সবচেয়ে ঘন ঘন উত্তর বেছে নেওয়া) নির্ভুলতা ৭৪%-এ উন্নীত করা সম্ভব হয়েছিল[4]।

মানবিক স্তর অতিক্রম

২০২৩ সাল থেকে, সর্বশেষ জেনারেটিভ মডেলগুলো এই benchmark-এ মানবিক স্তর অতিক্রম করেছে।

  • OpenAI-এর GPT-4 few-shot CoT মোডে (যখন prompt-এ কয়েকটি সমাধান করা সমস্যার উদাহরণ দেওয়া হয়) প্রায় ৯২% নির্ভুলতা অর্জন করেছে[5], এবং অতিরিক্ত কৌশল ব্যবহার করে ৯৭% পর্যন্ত পৌঁছেছে[6]।
  • Anthropic-এর Claude 2 ৮৮% ফলাফল দেখিয়েছে, এবং আরও নতুন সংস্করণ Claude 3 প্রায় ৯৫% অর্জন করেছে[3]।

এই উচ্চ সূচকগুলো LLM-এর যুক্তি-তর্ক সক্ষমতায় উল্লেখযোগ্য অগ্রগতির প্রমাণ, তবে এটিও ইঙ্গিত দেয় যে GSM8K অগ্রণী মডেলগুলোর জন্য "প্রায় সমাধান হয়ে গেছে", যা MATH এবং MMLU-এর মতো আরও জটিল benchmark তৈরির অনুপ্রেরণা দিচ্ছে।

মডেলের প্রশিক্ষণ ও উন্নয়নে ভূমিকা

মূল্যায়নের পাশাপাশি, GSM8K মডেলের প্রশিক্ষণ ও উন্নয়নে সক্রিয়ভাবে ব্যবহৃত হয়।

  • Fine-tuning (দক্ষতা বৃদ্ধি): ধাপে ধাপে সমাধান সহ প্রশিক্ষণ সেটটি মডেলকে গাণিতিক যুক্তিতর্কে fine-tuning করার জন্য একটি মূল্যবান সম্পদ।
  • যাচাইকারী প্রশিক্ষণ: OpenAI-এর মূল গবেষণায় GSM8K-এর একটি অংশ ডেটা একটি পৃথক যাচাইকারী মডেল প্রশিক্ষণের জন্য ব্যবহৃত হয়েছিল, যা তৈরি করা সমাধানের সঠিকতা মূল্যায়ন করত। জেনারেটর ও সমালোচকের পৃথক প্রশিক্ষণের এই পদ্ধতি তার কার্যকারিতা প্রমাণ করেছে[1]।
  • Prompt Engineering: বিপুল সংখ্যক উদাহরণের উপস্থিতি গবেষকদের Chain-of-Thought এবং Tree-of-Thought-এর মতো prompt কৌশল তৈরি ও পরিশোধন করার সুযোগ দিয়েছে, যা মডেলের ওজন পরিবর্তন না করেই তাকে যুক্তি করতে শেখায়।

ссылки

  • Papers With Code-এ dataset-এর পাতা
  • GitHub-এ অফিসিয়াল রিপোজিটরি

সাহিত্য

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

টীকা

  1. ↑ 1.0 1.1 1.2 1.3 Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». arXiv:2110.14168. [১]
  2. ↑ «GSM8K Dataset». Papers With Code. [২]
  3. ↑ 3.0 3.1 «GSM8K Benchmark». Klu.ai. [৩]
  4. ↑ 4.0 4.1 Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». Google Research Blog. [৪]
  5. ↑ Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». EMNLP 2023. [৫]
  6. ↑ «Achieving >97% on GSM8K». arXiv:2404.14963. [৬]
Retrieved from "https://systems-analysis.info/int/index.php?title=GSM8K_(Grade_School_Math_8K)_(BN)&oldid=2489"