--- title: "GSM8K (Grade School Math 8K) (SV)" source: "https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)" wiki: "systems-analysis.info/int" article: "GSM8K_(Grade_School_Math_8K)_(SV)" language: "sv" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Swedish" revision_id: 2506 wiki_created_at: 2026-09-06T23:05:16Z wiki_modified_at: 2026-09-06T23:05:16Z downloaded_at: 2026-09-07T22:51:46Z --- # GSM8K (Grade School Math 8K) (SV) **GSM8K** (**Grade School Math 8K**) — är ett referensdataset som innehåller ungefär 8 500 textuppgifter i matematik på grundskolenivå. Det skapades år 2021 av forskare från **OpenAI** för att utvärdera och utveckla stora språkmodellers (LLM) förmåga till matematiska resonemang i flera steg^{[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-openai2021-1)}. GSM8K har blivit ett av de viktigaste benchmark-testerna för att mäta framsteg inom artificiell intelligens matematiskt tänkande. Varje uppgift i datasetet utgörs av en kort textberättelse vars lösning kräver mellan 2 och 8 sekventiella aritmetiska operationer (addition, subtraktion, multiplikation, division). Trots den till synes enkla karaktären kräver uppgifterna djup textförståelse och logiska resonemang, vilket gör dem svåra för många LLM^{[\[2\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-pwc-2)}. ## Viktiga egenskaper ### Volym och struktur Datasetet GSM8K innehåller ungefär **8 500 uppgifter**, fördelade på två delar: - **Träningsurval**: ~7 500 uppgifter avsedda för fine-tuning av modeller. Varje uppgift åtföljs av en utförlig steg-för-steg-lösning. - **Testurval**: ~1 000 uppgifter som används för oberoende utvärdering av modellernas prestanda^{[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-openai2021-1)}. ### Svårighetsgrad och innehåll Uppgifterna är avsiktligt utformade så att en duktig grundskoleelev ska kunna lösa dem, men de kräver ändå **resonemang i flera steg**. Detta gör det möjligt att testa inte så mycket modellens matematiska kunskaper som dess förmåga att dela upp ett problem och utföra logiska operationer i sekvens. ### Språklig variation Formuleringarna i GSM8K kännetecknas av stor variation i stil och språkliga konstruktioner. Detta är avsett för att testa modellernas förmåga att förstå uppgifter uttryckta på olika sätt och att undvika att "memorera" specifika mönster^{[\[3\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-klu_benchmark-3)}. ## Historia och utveckling av modellutvärdering ### Tidiga modeller och grundresultat I det ursprungliga arbetet från 2021 visade författarna att även stora modeller vid den tiden, såsom **GPT-3** (175 miljarder parametrar), hade betydande svårigheter med datasetet. Efter fine-tuning och användning av en hjälpmodell som verifierare nådde lösningsnoggrannheten bara omkring **55%**^{[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-openai2021-1)}. Detta resultat visade att ett enda litet fel i resonemangskedjan kan leda till ett helt felaktigt svar. ### Genombrytande metoder: Chain-of-Thought Ett genombrott i lösningen av GSM8K-uppgifter var tillvägagångssättet **"resonemangskedja"** (**Chain-of-Thought, CoT**). År 2022 visade forskare från Google att om man uppmuntrar modellen att explicit skriva ut lösningsstegen innan svaret presenteras, ökar noggrannheten avsevärt. Modellen **PaLM** (540 miljarder parametrar) med CoT nådde **58%** noggrannhet^{[\[4\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-google_cot-4)}. Användningen av den mer avancerade tekniken **self-consistency** (generering av flera lösningsalternativ och val av det vanligaste svaret) möjliggjorde en ökning av noggrannheten till **74%**^{[\[4\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-google_cot-4)}. ### Överskridande av mänsklig nivå Från och med 2023 har de senaste generativa modellerna överträffat mänsklig nivå på detta benchmark. - **GPT-4** från OpenAI i läget *few-shot CoT* (där ett fåtal lösta exempeluppgifter ges i ledtråden) nådde en noggrannhet på ungefär **92%**^{[\[5\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-gpt4_92-5)}, och med ytterligare strategier upp till **97%**^{[\[6\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-gpt4_97-6)}. - **Claude 2** från Anthropic uppvisade ett resultat på **88%**, och den nyare versionen **Claude 3** — omkring **95%**^{[\[3\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-klu_benchmark-3)}. Sådana höga resultat vittnar om betydande framsteg i LLM:ers resonemangsförmåga, men indikerar också att GSM8K håller på att bli "nästan löst" för de mest avancerade modellerna, vilket stimulerar utvecklingen av mer komplexa benchmark-tester, såsom **MATH** och **MMLU**. ## Rollen i träning och utveckling av modeller Utöver utvärdering används GSM8K aktivt för **träning och förbättring** av modeller. - **Fine-tuning**: Träningsurvalet med steg-för-steg-lösningar är en värdefull resurs för fine-tuning av modeller i matematisk logik. - **Träning av verifierare**: I OpenAI:s ursprungliga arbete användes en del av GSM8K:s data för att träna en separat **verifierar**modell som utvärderade korrektheten hos genererade lösningar. Detta tillvägagångssätt med separat träning av generator och kritiker visade sin effektivitet^{[\[1\]](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_note-openai2021-1)}. - **Prompt Engineering**: Det stora antalet exempel har gjort det möjligt för forskare att utveckla och förfina tekniker för ledtrådar, såsom **Chain-of-Thought** och **Tree-of-Thought**, vilka lär modellen att resonera utan att förändra dess vikter. ## Länkar - Datasetsida på Papers With Code - Officiellt arkiv på GitHub ## Litteratur - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Noter 1. ↑ ^{[1.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-openai2021_1-0)} ^{[1.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-openai2021_1-1)} ^{[1.2](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-openai2021_1-2)} ^{[1.3](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-openai2021_1-3)} Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». *arXiv:2110.14168*. [1] 2. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-pwc_2-0) «GSM8K Dataset». *Papers With Code*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-klu_benchmark_3-0)} ^{[3.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-klu_benchmark_3-1)} «GSM8K Benchmark». *Klu.ai*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-google_cot_4-0)} ^{[4.1](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-google_cot_4-1)} Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». *Google Research Blog*. [4] 5. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-gpt4_92_5-0) Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». *EMNLP 2023*. [5] 6. [↑](https://systems-analysis.info/int/GSM8K_(Grade_School_Math_8K)_(SV)#cite_ref-gpt4_97_6-0) «Achieving \>97% on GSM8K». *arXiv:2404.14963*. [6]