Self-consistency prompting (DE)

Self-Consistency Prompting (SC), auch als selbstkonsistente Dekodierung bezeichnet, ist eine Methode oder Dekodierungsstrategie im Prompt-Engineering, die darauf abzielt, die Genauigkeit und Zuverlässigkeit von großen Sprachmodellen (LLMs) bei Aufgaben zu verbessern, die mehrstufiges Schlussfolgern erfordern, wie z. B. arithmetische und logische Rätsel. Die Methode wurde 2022 von Forschern bei Google Research als Weiterentwicklung der „Chain-of-Thought“ (CoT)-Technik vorgeschlagen.

Die Grundidee besteht darin, sich nicht auf eine einzige „greedy“ (gierige) Ausgabe zu beschränken, sondern stattdessen mehrere verschiedene Schlussfolgerungspfade zu derselben Frage zu generieren und dann diejenige Antwort auszuwählen, die unter diesen Varianten am häufigsten vorkommt. Dieser Ansatz basiert auf dem intuitiven Prinzip, dass ein Ergebnis mit hoher Wahrscheinlichkeit korrekt ist, wenn ein Modell über verschiedene Denkwege wiederholt zum selben Schluss kommt.

Kontext und Grundlagen

Die Self-Consistency-Methode ist eine direkte Weiterentwicklung der Chain-of-Thought (CoT)-Technik. Die CoT-Technik, vorgeschlagen von Wei et al. (2022), verbesserte die Fähigkeit von LLMs zur Lösung komplexer Probleme erheblich, indem sie das Modell dazu anregt, die einzelnen Lösungsschritte explizit darzulegen. In der grundlegenden Implementierung von CoT wird jedoch die „gierige Dekodierung“ (greedy decoding) verwendet, bei der bei jedem Schritt der wahrscheinlichste nächste Token ausgewählt wird. Dies führt zu einer Einschränkung: Wenn das Modell in einem frühen Stadium einen Fehler macht, kann es von diesem falschen Pfad nicht mehr abweichen und ihn korrigieren. Self-Consistency wurde genau zur Lösung dieses Problems vorgeschlagen.

Funktionsweise

Der Self-Consistency-Algorithmus ersetzt den deterministischen Greedy-Ansatz durch ein Verfahren des „Samplings mit anschließender Aggregation“ und besteht aus den folgenden Schritten:

1. Generierung mehrerer Schlussfolgerungspfade: Anstatt einer einzigen Antwort generiert das Modell mehrmals (z. B. bis zu 40 Mal) eine Lösung für dieselbe Anfrage unter Verwendung der Chain-of-Thought-Methode. Um vielfältige Schlussfolgerungspfade zu erhalten, werden stochastische Dekodierungsmethoden wie das Temperature-Sampling (mit einem Temperaturparameter > 0) angewendet.
2. Aggregation und Auswahl der Antwort: Aus allen generierten Gedankengängen werden nur die finalen Antworten extrahiert (z. B. ein numerischer Wert). Anschließend wird die am häufigsten vorkommende Antwort ausgewählt. Diese wird als endgültiges Ergebnis ausgegeben.

Dieser Ansatz simuliert das Prinzip des „Self-Ensembling“, bei dem mehrere Ausgaben desselben Modells genutzt werden, um die Zuverlässigkeit zu erhöhen und zufällige Fehler auszugleichen.

Wirksamkeit und Ergebnisse

In der Originalstudie zeigte Self-Consistency eine signifikante Genauigkeitssteigerung bei einer Reihe populärer Benchmarks, insbesondere bei Aufgaben, die arithmetisches und logisches Denken erfordern.

• Auf dem Benchmark für mathematische Aufgaben GSM8K stieg die Genauigkeit des PaLM-540B-Modells von 56,6 % (mit CoT) auf 74,4 % (mit Self-Consistency), was einer Steigerung von 17,8 % entspricht.
• Bei anderen arithmetischen Aufgaben wie SVAMP und AQuA betrug die Steigerung +11,0 % bzw. +12,2 %.
• Bei Aufgaben, die Logik und gesunden Menschenverstand erfordern, wie StrategyQA, betrug die Verbesserung +6,4 %.

Die Anwendung von Self-Consistency ermöglichte es, neue State-of-the-Art-Leistungsrekorde auf vielen Benchmarks bei Verwendung großer Modelle wie GPT-3 175B und PaLM 540B aufzustellen.

Vorteile und Einschränkungen

Vorteile

• Erhöhte Genauigkeit: Verbessert die Ergebnisse bei Aufgaben, die komplexe, mehrstufige Schlussfolgerungen erfordern, erheblich.
• Zuverlässigkeit: Die Methode ist robuster gegenüber Fehlern, die in einer einzelnen Gedankenkette auftreten können.
• Einfache Implementierung: Erfordert kein zusätzliches Training oder Änderungen an der Modellarchitektur. Die Methode kann als einfacher „Wrapper“ um ein bereits vorhandenes Modell implementiert werden.

Einschränkungen

• Hoher Rechenaufwand: Der Hauptnachteil ist die Notwendigkeit, für eine einzige Anfrage mehrfach eine Antwort zu generieren (z. B. 10, 20 oder 40 Mal), was die Kosten und die Inferenzzeit proportional erhöht.
• Begrenzte Anwendbarkeit: Die Standardmethode ist am effektivsten für Aufgaben mit einem klar definierten Antwortformat (z. B. eine Zahl, „Ja/Nein“, eine Auswahl aus einer Liste), bei denen eine Mehrheitsabstimmung leicht durchzuführen ist. Sie ist weniger geeignet für Aufgaben mit offener Generierung (z. B. das Verfassen von Aufsätzen, Zusammenfassungen), bei denen die Antworten in ihrer Form einzigartig sind.
• Risiko systematischer Fehler: Wenn das Modell systematisch falsche Schlussfolgerungen generiert, die zufällig zur selben falschen Antwort konvergieren, wird Self-Consistency den Fehler nicht nur nicht korrigieren, sondern die Gewissheit darüber sogar noch verstärken.

Weiterentwicklung: Universal Self-Consistency

Die Einschränkung der Basismethode bei Aufgaben mit offenem Antwortformat wurde in nachfolgenden Forschungsarbeiten adressiert. Ende 2023 schlug eine Gruppe von Forschern von Google DeepMind den Ansatz der Universal Self-Consistency (USC) vor.

Bei USC wird anstelle einer einfachen Abstimmung über die finalen Antworten zur Aggregation das LLM selbst als „Richter“ eingesetzt. Das Modell generiert mehrere vollständige Lösungsvarianten und erhält dann einen neuen Prompt mit der Aufgabe, daraus die „konsistenteste“ oder „qualitativ hochwertigste“ auszuwählen. Dieser Ansatz ermöglicht die Anwendung der Prinzipien der Selbstkonsistenz auf Aufgaben mit offenen und kreativen Antwortformaten.

Weblinks

• Self-Consistency Improves Chain of Thought Reasoning in Language Models – Originalartikel von Google Research.
• Self-Consistency – Anleitung im Prompt Engineering Guide.

Literatur

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let’s Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.