Self-consistency prompting (NL)

Zelfconsistente decodering (Engels: Self-Consistency Prompting, SC) — dit is een methode of decoderingsstrategie in prompt engineering, bedoeld om de nauwkeurigheid en betrouwbaarheid van grote taalmodellen (LLM) te verhogen bij het oplossen van taken die meerstapsredenering vereisen, zoals rekenkundige en logische puzzels. De methode werd in 2022 voorgesteld door onderzoekers van Google Research als een verbetering van de techniek «Chain-of-Thought» (CoT).

Het basisidee is om zich niet te beperken tot één enkele «gretige» inferentie, maar in plaats daarvan meerdere uiteenlopende redeneerroutes voor dezelfde vraag te genereren en vervolgens het eindantwoord te kiezen dat het vaakst voorkomt onder deze varianten. De aanpak is gebaseerd op een intuïtief principe: als een model via verschillende redeneerpaden herhaaldelijk tot hetzelfde resultaat komt, is dat resultaat met grote waarschijnlijkheid correct.

Context en achtergrond

De methode Self-Consistency is een directe ontwikkeling van de techniek Chain-of-Thought (CoT). De CoT-techniek, voorgesteld door Wei et al. (2022), verbeterde het vermogen van LLM's aanzienlijk om complexe taken op te lossen door het model aan te zetten tot het expliciet uitschrijven van oplossingstappen. In de basisimplementatie van CoT wordt echter gebruik gemaakt van «gretig decoderen» (greedy decoding), waarbij bij elke stap het meest waarschijnlijke volgende token wordt gekozen. Dit creëert een beperking: als het model in een vroeg stadium een fout maakt, kan het niet afwijken van dat onjuiste pad en de fout corrigeren. Self-Consistency werd voorgesteld om precies dit probleem op te lossen.

Werkingsmechanisme

Het Self-Consistency-algoritme vervangt de deterministische gretige aanpak door een procedure van «sampling met daaropvolgende aggregatie» en bestaat uit de volgende stappen:

1. Generatie van meerdere redeneerpaden: In plaats van één antwoord genereert het model meerdere keren (bijvoorbeeld tot 40 keer) een oplossing voor dezelfde query, met gebruikmaking van de Chain-of-Thought-methode. Om gevarieerde redeneerpaden te verkrijgen worden stochastische decodeermethoden toegepast, zoals temperatuursampling (met een temperatuurparameter > 0).
2. Aggregatie en antwoordselectie: Uit alle gegenereerde redeneringsketens worden alleen de eindantwoorden geëxtraheerd (bijvoorbeeld een numerieke waarde). Vervolgens wordt het meest voorkomende antwoord onder deze antwoorden geselecteerd. Dit antwoord wordt als definitief resultaat teruggegeven.

Deze aanpak imiteert het principe van «zelf-ensembling», waarbij meerdere inferenties van hetzelfde model worden gebruikt om de betrouwbaarheid te verhogen en toevallige fouten uit te middelen.

Effectiviteit en resultaten

In het originele onderzoek liet Self-Consistency een aanzienlijke nauwkeurigheidswinst zien op een aantal populaire benchmarks, met name bij taken die rekenkundige en logische redenering vereisen.

• Op de benchmark voor wiskundige problemen GSM8K steeg de nauwkeurigheid van het model PaLM-540B van 56,6% (met CoT) naar 74,4% (met Self-Consistency), wat een verbetering van 17,8% betekende.
• Op andere rekenkundige taken, zoals SVAMP en AQuA, bedroeg de verbetering respectievelijk +11,0% en +12,2%.
• Op taken die logica en gezond verstand vereisen, zoals StrategyQA, bedroeg de verbetering +6,4%.

De toepassing van Self-Consistency maakte het mogelijk nieuwe prestatierecords (state-of-the-art) te vestigen op veel benchmarks bij gebruik van grote modellen zoals GPT-3 175B en PaLM 540B.

Voordelen en beperkingen

Voordelen

• Verhoogde nauwkeurigheid: Verbetert de resultaten aanzienlijk bij taken die complexe meerstapsredenering vereisen.
• Betrouwbaarheid: De methode is robuuster tegen fouten die kunnen optreden in een enkele redeneeringsketens.
• Eenvoudige implementatie: Vereist geen aanvullende training of wijziging van de modelarchitectuur. De methode kan worden geïmplementeerd als een eenvoudige «wrapper» rondom een reeds bestaand model.

Beperkingen

• Hoge rekenkosten: Het belangrijkste nadeel is de noodzaak om voor één query meerdere keren een antwoord te genereren (bijvoorbeeld 10, 20 of 40 keer), wat de kosten en de inferentietijd proportioneel verhoogt.
• Beperkte toepasbaarheid: De standaardmethode is het meest effectief voor taken met een duidelijk gedefinieerd antwoordformaat (bijvoorbeeld een getal, «ja/nee», een optie uit een lijst), waarbij meerderheidstemming eenvoudig uitvoerbaar is. De methode is slecht toepasbaar op taken met open-ended generatie (het schrijven van essays, samenvatten), waarbij antwoorden uniek van vorm zijn.
• Risico op systematische fouten: Als het model stelselmatig onjuiste redeneringen genereert die toevallig convergeren naar hetzelfde verkeerde antwoord, zal Self-Consistency de fout niet alleen niet corrigeren, maar ook de zekerheid daarin versterken.

Ontwikkeling van de methode: Universal Self-Consistency

De beperking van de basismethode bij taken met vrije antwoordvorm werd aangepakt in vervolgonderzoeken. Eind 2023 stelde een groep onderzoekers van Google DeepMind de aanpak Universal Self-Consistency (USC) voor.

In USC wordt in plaats van eenvoudige stemming op eindantwoorden de LLM zelf als «rechter» gebruikt voor aggregatie. Het model genereert meerdere volledige oplossingsversies en ontvangt vervolgens een nieuwe prompt met het verzoek daaruit de «meest consistente» of «meest kwalitatieve» te kiezen. Deze aanpak maakt het mogelijk de principes van zelfconsistentie toe te passen op taken met een open en creatief antwoordformaat.

Zie ook

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — origineel wetenschappelijk artikel van Google Research.
• Self-Consistency — handleiding op de Prompt Engineering Guide.

Literatuur

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.