Self-consistency prompting (SV)

Självkonsekvent avkodning (eng. Self-Consistency Prompting, SC) — är en metod eller avkodningsstrategi inom prompt-engineering, avsedd att förbättra noggrannheten och tillförlitligheten hos stora språkmodeller (LLM) vid lösning av uppgifter som kräver flerstegsresonemang, såsom aritmetiska och logiska problem. Metoden föreslogs av forskare vid Google Research år 2022 som en vidareutveckling av tekniken "tankekedja" (Chain-of-Thought, CoT).

Grundidén är att inte begränsa sig till en enda "girig" slutledning, utan i stället generera ett flertal olika resonemangsvarianter för samma fråga och sedan välja det slutsvar som förekommer oftast bland dessa varianter. Tillvägagångssättet bygger på en intuitiv princip: om modellen, genom att resonera på olika sätt, upprepade gånger når samma resultat, är det resultatet med hög sannolikhet korrekt.

Kontext och förutsättningar

Metoden Self-Consistency är en direkt vidareutveckling av tekniken Chain-of-Thought (CoT). CoT-tekniken, föreslagen av Wei m.fl. (2022), förbättrade avsevärt LLM:ers förmåga att lösa komplexa uppgifter genom att uppmuntra modellen att explicit redovisa lösningsstegen. I sin grundläggande implementation använder CoT dock "girig avkodning" (greedy decoding), där det mest sannolika nästa token väljs vid varje steg. Detta skapar en begränsning: om modellen gör ett fel tidigt kan den inte avvika från den felaktiga banan och korrigera sig. Self-Consistency föreslogs för att lösa just detta problem.

Funktionssätt

Algoritmen Self-Consistency ersätter det deterministiska giriga tillvägagångssättet med en procedur av "sampling följt av aggregering" och består av följande steg:

1. Generering av flera resonemangsstigar: I stället för ett enda svar genererar modellen ett flertal gånger (exempelvis upp till 40 gånger) en lösning för samma fråga med hjälp av tankekedjestekniken. För att få varierade resonemangsstigar används stokastiska avkodningsmetoder, såsom temperatursampning (med temperaturparameter > 0).
2. Aggregering och val av svar: Från alla genererade tankekedjesekvenser extraheras enbart de slutliga svaren (exempelvis ett numeriskt värde). Därefter väljs det svar som förekommer oftast. Detta svar presenteras som det slutliga svaret.

Detta tillvägagångssätt efterliknar principen om "självensemblering", där ett flertal slutledningar från en och samma modell används för att öka tillförlitligheten och jämna ut slumpmässiga fel.

Effektivitet och resultat

I den ursprungliga studien visade Self-Consistency en betydande noggrannhetsökning på ett antal populära benchmark, särskilt i uppgifter som kräver aritmetiska och logiska resonemang.

• På benchmark för matematiska uppgifter GSM8K ökade noggrannheten för modellen PaLM-540B från 56,6 % (med CoT) till 74,4 % (med Self-Consistency), vilket innebar en ökning med 17,8 %.
• På andra aritmetiska uppgifter, såsom SVAMP och AQuA, uppgick ökningen till +11,0 % respektive +12,2 %.
• På uppgifter som kräver logik och sunt förnuft, såsom StrategyQA, uppgick förbättringen till +6,4 %.

Användningen av Self-Consistency möjliggjorde nya prestandarekord (state-of-the-art) på många benchmark vid användning av stora modeller som GPT-3 175B och PaLM 540B.

Fördelar och begränsningar

Fördelar

• Ökad noggrannhet: Förbättrar avsevärt resultaten på uppgifter som kräver komplexa flerstegsresonemang.
• Tillförlitlighet: Metoden är mer robust mot fel som kan uppstå i en enda resonemangsskedja.
• Enkel implementation: Kräver ingen ytterligare träning eller förändring av modellarkitekturen. Metoden kan implementeras som ett enkelt "omslag" runt en redan befintlig modell.

Begränsningar

• Höga beräkningskostnader: Den främsta nackdelen är behovet av att generera svar upprepade gånger (exempelvis 10, 20 eller 40 gånger) för en enda fråga, vilket proportionellt ökar kostnaden och inferenstiden.
• Begränsad tillämplighet: Standardmetoden är mest effektiv för uppgifter med ett tydligt definierat svarsformat (exempelvis ett tal, "ja/nej", ett alternativ från en lista), där det är enkelt att rösta om majoriteten. Den är svår att tillämpa på uppgifter med öppen generering (skrivande av essä, sammanfattning), där svaren till sin form är unika.
• Risk för systematiska fel: Om modellen systematiskt genererar felaktiga resonemang som av en slump konvergerar mot samma felaktiga svar, kommer Self-Consistency inte bara att misslyckas med att korrigera felet, utan även förstärka övertygelsen om det.

Metodens utveckling: Universal Self-Consistency

Begränsningarna i basmetoden för uppgifter med fri svarsform adresserades i efterföljande forskning. I slutet av 2023 föreslog en grupp forskare från Google DeepMind tillvägagångssättet Universal Self-Consistency (USC).

I USC används LLM:en själv som "domare" för aggregering, i stället för enkel omröstning om de slutliga svaren. Modellen genererar flera fullständiga lösningsvarianter och får sedan en ny prompt med en begäran att välja den "mest konsekventa" eller "mest kvalitativa" bland dem. Detta tillvägagångssätt möjliggör tillämpning av principerna för självkonsekvent resonemang på uppgifter med öppet och kreativt svarsformat.

Källor

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — den ursprungliga vetenskapliga artikeln från Google Research.
• Self-Consistency — vägledning i Prompt Engineering Guide.

Litteratur

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.