GSM8K (Grade School Math 8K) (SV)

From Systems analysis Wiki
Jump to navigation Jump to search

GSM8K (Grade School Math 8K) — är ett referensdataset som innehåller ungefär 8 500 textuppgifter i matematik på grundskolenivå. Det skapades år 2021 av forskare från OpenAI för att utvärdera och utveckla stora språkmodellers (LLM) förmåga till matematiska resonemang i flera steg[1]. GSM8K har blivit ett av de viktigaste benchmark-testerna för att mäta framsteg inom artificiell intelligens matematiskt tänkande.

Varje uppgift i datasetet utgörs av en kort textberättelse vars lösning kräver mellan 2 och 8 sekventiella aritmetiska operationer (addition, subtraktion, multiplikation, division). Trots den till synes enkla karaktären kräver uppgifterna djup textförståelse och logiska resonemang, vilket gör dem svåra för många LLM[2].

Viktiga egenskaper

Volym och struktur

Datasetet GSM8K innehåller ungefär 8 500 uppgifter, fördelade på två delar:

  • Träningsurval: ~7 500 uppgifter avsedda för fine-tuning av modeller. Varje uppgift åtföljs av en utförlig steg-för-steg-lösning.
  • Testurval: ~1 000 uppgifter som används för oberoende utvärdering av modellernas prestanda[1].

Svårighetsgrad och innehåll

Uppgifterna är avsiktligt utformade så att en duktig grundskoleelev ska kunna lösa dem, men de kräver ändå resonemang i flera steg. Detta gör det möjligt att testa inte så mycket modellens matematiska kunskaper som dess förmåga att dela upp ett problem och utföra logiska operationer i sekvens.

Språklig variation

Formuleringarna i GSM8K kännetecknas av stor variation i stil och språkliga konstruktioner. Detta är avsett för att testa modellernas förmåga att förstå uppgifter uttryckta på olika sätt och att undvika att "memorera" specifika mönster[3].

Historia och utveckling av modellutvärdering

Tidiga modeller och grundresultat

I det ursprungliga arbetet från 2021 visade författarna att även stora modeller vid den tiden, såsom GPT-3 (175 miljarder parametrar), hade betydande svårigheter med datasetet. Efter fine-tuning och användning av en hjälpmodell som verifierare nådde lösningsnoggrannheten bara omkring 55%[1]. Detta resultat visade att ett enda litet fel i resonemangskedjan kan leda till ett helt felaktigt svar.

Genombrytande metoder: Chain-of-Thought

Ett genombrott i lösningen av GSM8K-uppgifter var tillvägagångssättet "resonemangskedja" (Chain-of-Thought, CoT). År 2022 visade forskare från Google att om man uppmuntrar modellen att explicit skriva ut lösningsstegen innan svaret presenteras, ökar noggrannheten avsevärt. Modellen PaLM (540 miljarder parametrar) med CoT nådde 58% noggrannhet[4]. Användningen av den mer avancerade tekniken self-consistency (generering av flera lösningsalternativ och val av det vanligaste svaret) möjliggjorde en ökning av noggrannheten till 74%[4].

Överskridande av mänsklig nivå

Från och med 2023 har de senaste generativa modellerna överträffat mänsklig nivå på detta benchmark.

  • GPT-4 från OpenAI i läget few-shot CoT (där ett fåtal lösta exempeluppgifter ges i ledtråden) nådde en noggrannhet på ungefär 92%[5], och med ytterligare strategier upp till 97%[6].
  • Claude 2 från Anthropic uppvisade ett resultat på 88%, och den nyare versionen Claude 3 — omkring 95%[3].

Sådana höga resultat vittnar om betydande framsteg i LLM:ers resonemangsförmåga, men indikerar också att GSM8K håller på att bli "nästan löst" för de mest avancerade modellerna, vilket stimulerar utvecklingen av mer komplexa benchmark-tester, såsom MATH och MMLU.

Rollen i träning och utveckling av modeller

Utöver utvärdering används GSM8K aktivt för träning och förbättring av modeller.

  • Fine-tuning: Träningsurvalet med steg-för-steg-lösningar är en värdefull resurs för fine-tuning av modeller i matematisk logik.
  • Träning av verifierare: I OpenAI:s ursprungliga arbete användes en del av GSM8K:s data för att träna en separat verifierarmodell som utvärderade korrektheten hos genererade lösningar. Detta tillvägagångssätt med separat träning av generator och kritiker visade sin effektivitet[1].
  • Prompt Engineering: Det stora antalet exempel har gjort det möjligt för forskare att utveckla och förfina tekniker för ledtrådar, såsom Chain-of-Thought och Tree-of-Thought, vilka lär modellen att resonera utan att förändra dess vikter.

Länkar

  • Datasetsida på Papers With Code
  • Officiellt arkiv på GitHub

Litteratur

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noter

  1. 1.0 1.1 1.2 1.3 Cobbe, Karl et al. «Training Verifiers to Solve Math Word Problems». arXiv:2110.14168. [1]
  2. «GSM8K Dataset». Papers With Code. [2]
  3. 3.0 3.1 «GSM8K Benchmark». Klu.ai. [3]
  4. 4.0 4.1 Wei, Jason et al. «Language Models Perform Reasoning via Chain of Thought». Google Research Blog. [4]
  5. Yu, L., et al. «Solving Challenging Math Word Problems Using GPT-4». EMNLP 2023. [5]
  6. «Achieving >97% on GSM8K». arXiv:2404.14963. [6]