GSM8K (Grade School Math 8K) (SV)
GSM8K (Grade School Math 8K) — är ett referensdataset som innehåller ungefär 8 500 textuppgifter i matematik på grundskolenivå. Det skapades år 2021 av forskare från OpenAI för att utvärdera och utveckla stora språkmodellers (LLM) förmåga till matematiska resonemang i flera steg[1]. GSM8K har blivit ett av de viktigaste benchmark-testerna för att mäta framsteg inom artificiell intelligens matematiskt tänkande.
Varje uppgift i datasetet utgörs av en kort textberättelse vars lösning kräver mellan 2 och 8 sekventiella aritmetiska operationer (addition, subtraktion, multiplikation, division). Trots den till synes enkla karaktären kräver uppgifterna djup textförståelse och logiska resonemang, vilket gör dem svåra för många LLM[2].
Viktiga egenskaper
Volym och struktur
Datasetet GSM8K innehåller ungefär 8 500 uppgifter, fördelade på två delar:
- Träningsurval: ~7 500 uppgifter avsedda för fine-tuning av modeller. Varje uppgift åtföljs av en utförlig steg-för-steg-lösning.
- Testurval: ~1 000 uppgifter som används för oberoende utvärdering av modellernas prestanda[1].
Svårighetsgrad och innehåll
Uppgifterna är avsiktligt utformade så att en duktig grundskoleelev ska kunna lösa dem, men de kräver ändå resonemang i flera steg. Detta gör det möjligt att testa inte så mycket modellens matematiska kunskaper som dess förmåga att dela upp ett problem och utföra logiska operationer i sekvens.
Språklig variation
Formuleringarna i GSM8K kännetecknas av stor variation i stil och språkliga konstruktioner. Detta är avsett för att testa modellernas förmåga att förstå uppgifter uttryckta på olika sätt och att undvika att "memorera" specifika mönster[3].
Historia och utveckling av modellutvärdering
Tidiga modeller och grundresultat
I det ursprungliga arbetet från 2021 visade författarna att även stora modeller vid den tiden, såsom GPT-3 (175 miljarder parametrar), hade betydande svårigheter med datasetet. Efter fine-tuning och användning av en hjälpmodell som verifierare nådde lösningsnoggrannheten bara omkring 55%[1]. Detta resultat visade att ett enda litet fel i resonemangskedjan kan leda till ett helt felaktigt svar.
Genombrytande metoder: Chain-of-Thought
Ett genombrott i lösningen av GSM8K-uppgifter var tillvägagångssättet "resonemangskedja" (Chain-of-Thought, CoT). År 2022 visade forskare från Google att om man uppmuntrar modellen att explicit skriva ut lösningsstegen innan svaret presenteras, ökar noggrannheten avsevärt. Modellen PaLM (540 miljarder parametrar) med CoT nådde 58% noggrannhet[4]. Användningen av den mer avancerade tekniken self-consistency (generering av flera lösningsalternativ och val av det vanligaste svaret) möjliggjorde en ökning av noggrannheten till 74%[4].
Överskridande av mänsklig nivå
Från och med 2023 har de senaste generativa modellerna överträffat mänsklig nivå på detta benchmark.
- GPT-4 från OpenAI i läget few-shot CoT (där ett fåtal lösta exempeluppgifter ges i ledtråden) nådde en noggrannhet på ungefär 92%[5], och med ytterligare strategier upp till 97%[6].
- Claude 2 från Anthropic uppvisade ett resultat på 88%, och den nyare versionen Claude 3 — omkring 95%[3].
Sådana höga resultat vittnar om betydande framsteg i LLM:ers resonemangsförmåga, men indikerar också att GSM8K håller på att bli "nästan löst" för de mest avancerade modellerna, vilket stimulerar utvecklingen av mer komplexa benchmark-tester, såsom MATH och MMLU.
Rollen i träning och utveckling av modeller
Utöver utvärdering används GSM8K aktivt för träning och förbättring av modeller.
- Fine-tuning: Träningsurvalet med steg-för-steg-lösningar är en värdefull resurs för fine-tuning av modeller i matematisk logik.
- Träning av verifierare: I OpenAI:s ursprungliga arbete användes en del av GSM8K:s data för att träna en separat verifierarmodell som utvärderade korrektheten hos genererade lösningar. Detta tillvägagångssätt med separat träning av generator och kritiker visade sin effektivitet[1].
- Prompt Engineering: Det stora antalet exempel har gjort det möjligt för forskare att utveckla och förfina tekniker för ledtrådar, såsom Chain-of-Thought och Tree-of-Thought, vilka lär modellen att resonera utan att förändra dess vikter.
Länkar
- Datasetsida på Papers With Code
- Officiellt arkiv på GitHub
Litteratur
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
Noter
- ↑ 1.0 1.1 1.2 1.3 Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». arXiv:2110.14168. [1]
- ↑ «GSM8K Dataset». Papers With Code. [2]
- ↑ 3.0 3.1 «GSM8K Benchmark». Klu.ai. [3]
- ↑ 4.0 4.1 Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». Google Research Blog. [4]
- ↑ Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». EMNLP 2023. [5]
- ↑ «Achieving >97% on GSM8K». arXiv:2404.14963. [6]