--- title: "GSM8K (Grade School Math 8K) (BN)" source: "https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)" wiki: "systems-analysis.info/int" article: "GSM8K_(Grade_School_Math_8K)_(BN)" language: "bn" categories: - "Category:Bengali" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 2489 wiki_created_at: 2026-09-06T23:04:58Z wiki_modified_at: 2026-09-06T23:04:58Z downloaded_at: 2026-09-07T22:51:40Z --- # GSM8K (Grade School Math 8K) (BN) **GSM8K** (**Grade School Math 8K**) — এটি একটি মানদণ্ড dataset, যাতে বিদ্যালয়-স্তরের প্রায় ৮,৫ হাজার পাঠ্য গণিত সমস্যা রয়েছে। এটি ২০২১ সালে **OpenAI**-এর গবেষকরা বৃহৎ ভাষা মডেলের (LLM) বহু-ধাপ গাণিতিক যুক্তি-তর্কের সক্ষমতা মূল্যায়ন ও উন্নয়নের জন্য তৈরি করেছিলেন[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-openai2021-1)। GSM8K কৃত্রিম বুদ্ধিমত্তার গাণিতিক চিন্তাশক্তির অগ্রগতি পরিমাপের অন্যতম প্রধান benchmark হিসেবে পরিগণিত হয়েছে। dataset-এর প্রতিটি সমস্যা একটি সংক্ষিপ্ত পাঠ্য বিবরণী, যার সমাধানের জন্য ২ থেকে ৮টি ক্রমিক পাটিগাণিতিক ক্রিয়া (যোগ, বিয়োগ, গুণ, ভাগ) সম্পাদন করতে হয়। আপাতদৃষ্টিতে সহজ মনে হলেও, এই সমস্যাগুলো গভীর পাঠ-বোধ ও যৌক্তিক বিশ্লেষণ দাবি করে, যা অনেক LLM-এর জন্য কঠিন করে তোলে[\[2\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-pwc-2)। ## মূল বৈশিষ্ট্যসমূহ ### পরিমাণ ও কাঠামো GSM8K dataset-এ প্রায় **৮৫০০টি সমস্যা** রয়েছে, যা দুটি ভাগে বিভক্ত: - **প্রশিক্ষণ সেট**: প্রায় ৭৫০০টি সমস্যা, যা মডেলের *fine-tuning*-এর জন্য নির্ধারিত। প্রতিটি সমস্যায় বিস্তারিত ধাপে ধাপে সমাধান দেওয়া আছে। - **পরীক্ষামূলক সেট**: প্রায় ১০০০টি সমস্যা, যা মডেলের কর্মক্ষমতার স্বাধীন মূল্যায়নের জন্য ব্যবহৃত হয়[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-openai2021-1)। ### জটিলতা ও বিষয়বস্তু সমস্যাগুলো ইচ্ছাকৃতভাবে এমনভাবে তৈরি করা হয়েছে যাতে একজন দক্ষ মাধ্যমিক বিদ্যালয়ের শিক্ষার্থী সেগুলো সমাধান করতে পারে, তবে এর জন্য **বহু-ধাপ যুক্তি-তর্ক** প্রয়োজন। এটি মডেলের গাণিতিক জ্ঞানের চেয়ে বরং সমস্যা বিশ্লেষণ করার এবং ক্রমানুসারে যৌক্তিক অপারেশন সম্পাদনের সক্ষমতা যাচাই করে। ### ভাষাগত বৈচিত্র্য GSM8K-এর সমস্যাগুলোর বর্ণনায় বিভিন্ন ধরনের শৈলী ও ভাষাগত কাঠামো ব্যবহার করা হয়েছে। এটি করা হয়েছে যাতে মডেলগুলো বিভিন্ন উপায়ে প্রকাশিত সমস্যার শর্ত বুঝতে পারে কিনা এবং নির্দিষ্ট ছাঁচ "মুখস্থ" করা এড়াতে পারে কিনা তা পরীক্ষা করা যায়[\[3\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-klu_benchmark-3)। ## মডেল মূল্যায়নের ইতিহাস ও বিবর্তন ### প্রারম্ভিক মডেল ও ভিত্তি-ফলাফল ২০২১ সালের মূল গবেষণাপত্রে লেখকরা দেখিয়েছেন যে সেই সময়ের বৃহৎ মডেলগুলো, যেমন **GPT-3** (১৭৫ বিলিয়ন প্যারামিটার), dataset-এ উল্লেখযোগ্য অসুবিধায় পড়েছিল। fine-tuning এবং একটি সহায়ক যাচাইকারী মডেল ব্যবহারের পরেও সমাধানের নির্ভুলতা মাত্র প্রায় **৫৫%**-এ পৌঁছেছিল[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-openai2021-1)। এই ফলাফল প্রমাণ করেছে যে যুক্তি-শৃঙ্খলে একটি ছোট ভুলও সম্পূর্ণ ভুল উত্তর দিতে পারে। ### যুগান্তকারী পদ্ধতি: Chain-of-Thought GSM8K সমস্যা সমাধানে যুগান্তকারী অগ্রগতি এসেছিল **«যুক্তির শৃঙ্খল»** (**Chain-of-Thought, CoT**) পদ্ধতির মাধ্যমে। ২০২২ সালে Google-এর গবেষকরা দেখিয়েছেন যে যদি মডেলকে উত্তর দেওয়ার আগে সমাধানের ধাপগুলো স্পষ্টভাবে লিখতে উৎসাহিত করা হয়, তাহলে নির্ভুলতা উল্লেখযোগ্যভাবে বৃদ্ধি পায়। **PaLM** মডেল (৫৪০ বিলিয়ন প্যারামিটার) CoT ব্যবহার করে **৫৮%** নির্ভুলতা অর্জন করেছিল[\[4\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-google_cot-4)। আরও জটিল **self-consistency** কৌশল প্রয়োগ করে (একাধিক সমাধান তৈরি করা এবং সবচেয়ে ঘন ঘন উত্তর বেছে নেওয়া) নির্ভুলতা **৭৪%**-এ উন্নীত করা সম্ভব হয়েছিল[\[4\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-google_cot-4)। ### মানবিক স্তর অতিক্রম ২০২৩ সাল থেকে, সর্বশেষ জেনারেটিভ মডেলগুলো এই benchmark-এ মানবিক স্তর অতিক্রম করেছে। - OpenAI-এর **GPT-4** *few-shot CoT* মোডে (যখন prompt-এ কয়েকটি সমাধান করা সমস্যার উদাহরণ দেওয়া হয়) প্রায় **৯২%** নির্ভুলতা অর্জন করেছে[\[5\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-gpt4_92-5), এবং অতিরিক্ত কৌশল ব্যবহার করে **৯৭%** পর্যন্ত পৌঁছেছে[\[6\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-gpt4_97-6)। - Anthropic-এর **Claude 2** **৮৮%** ফলাফল দেখিয়েছে, এবং আরও নতুন সংস্করণ **Claude 3** প্রায় **৯৫%** অর্জন করেছে[\[3\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-klu_benchmark-3)। এই উচ্চ সূচকগুলো LLM-এর যুক্তি-তর্ক সক্ষমতায় উল্লেখযোগ্য অগ্রগতির প্রমাণ, তবে এটিও ইঙ্গিত দেয় যে GSM8K অগ্রণী মডেলগুলোর জন্য "প্রায় সমাধান হয়ে গেছে", যা **MATH** এবং **MMLU**-এর মতো আরও জটিল benchmark তৈরির অনুপ্রেরণা দিচ্ছে। ## মডেলের প্রশিক্ষণ ও উন্নয়নে ভূমিকা মূল্যায়নের পাশাপাশি, GSM8K মডেলের **প্রশিক্ষণ ও উন্নয়নে** সক্রিয়ভাবে ব্যবহৃত হয়। - **Fine-tuning (দক্ষতা বৃদ্ধি)**: ধাপে ধাপে সমাধান সহ প্রশিক্ষণ সেটটি মডেলকে গাণিতিক যুক্তিতর্কে fine-tuning করার জন্য একটি মূল্যবান সম্পদ। - **যাচাইকারী প্রশিক্ষণ**: OpenAI-এর মূল গবেষণায় GSM8K-এর একটি অংশ ডেটা একটি পৃথক **যাচাইকারী** মডেল প্রশিক্ষণের জন্য ব্যবহৃত হয়েছিল, যা তৈরি করা সমাধানের সঠিকতা মূল্যায়ন করত। জেনারেটর ও সমালোচকের পৃথক প্রশিক্ষণের এই পদ্ধতি তার কার্যকারিতা প্রমাণ করেছে[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_note-openai2021-1)। - **Prompt Engineering**: বিপুল সংখ্যক উদাহরণের উপস্থিতি গবেষকদের **Chain-of-Thought** এবং **Tree-of-Thought**-এর মতো prompt কৌশল তৈরি ও পরিশোধন করার সুযোগ দিয়েছে, যা মডেলের ওজন পরিবর্তন না করেই তাকে যুক্তি করতে শেখায়। ## ссылки - Papers With Code-এ dataset-এর পাতা - GitHub-এ অফিসিয়াল রিপোজিটরি ## সাহিত্য - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## টীকা 1. ↑ [1.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-openai2021_1-0) [1.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-openai2021_1-1) [1.2](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-openai2021_1-2) [1.3](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-openai2021_1-3) Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». *arXiv:2110.14168*. [১] 2. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-pwc_2-0) «GSM8K Dataset». *Papers With Code*. [২] 3. ↑ [3.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-klu_benchmark_3-0) [3.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-klu_benchmark_3-1) «GSM8K Benchmark». *Klu.ai*. [৩] 4. ↑ [4.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-google_cot_4-0) [4.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-google_cot_4-1) Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». *Google Research Blog*. [৪] 5. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-gpt4_92_5-0) Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». *EMNLP 2023*. [৫] 6. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(BN)#cite_ref-gpt4_97_6-0) «Achieving \>97% on GSM8K». *arXiv:2404.14963*. [৬]