Chain-of-Thought Prompting (DE)

Chain-of-Thought Prompting (CoT, von engl. chain of thought, dt. „Gedankenkette“) ist eine Methode des Prompt-Engineerings, die darauf abzielt, die Fähigkeit von großen Sprachmodellen (LLMs) zu verbessern, komplexe Aufgaben zu lösen, die mehrstufige Schlussfolgerungen erfordern. Anstatt die Antwort direkt zu generieren, veranlasst ein CoT-Prompt das Modell, zunächst explizit eine Abfolge von Zwischenschritten der Argumentation zu reproduzieren, die zur endgültigen Schlussfolgerung führen.

Dieser Ansatz, der den menschlichen Denkprozess nachahmt, verbessert die Genauigkeit der Modelle bei arithmetischen, logischen und symbolischen Aufgaben erheblich.

Die Kernidee

Das Grundprinzip von CoT besteht darin, das Modell dazu zu bringen, „laut zu denken“ und seine Überlegungen in natürlicher Sprache auszudrücken, bevor es die endgültige Antwort gibt. Die Generierung dieser Zwischenschritte ermöglicht:

• Dekomposition komplexer Aufgaben: Das Modell zerlegt ein komplexes Problem in kleinere und leichter zu handhabende Teilaufgaben und konzentriert sich nacheinander auf jede von ihnen.
• Fehlerminimierung: Der schrittweise Prozess reduziert die Wahrscheinlichkeit von logischen Fehlern, die bei dem Versuch, eine Antwort in einem einzigen Schritt zu geben, häufig auftreten.
• Verbesserung von Transparenz und Interpretierbarkeit: Benutzer und Entwickler können die Logik des Modells nachvollziehen, was die Fehlersuche, die Überprüfung der Ergebnisse und den Aufbau von Vertrauen erleichtert.

Historischer Kontext

Die CoT-Methode wurde erstmals am 28. Januar 2022 von Forschern von Google Research in der Arbeit „Chain of Thought Prompting Elicits Reasoning in Large Language Models“ (Jason Wei, Denny Zhou et al.) vorgestellt. Sie stellten fest, dass das Bereitstellen einiger Beispiele von Aufgaben mit schrittweisen Lösungen (Few-Shot CoT) die Leistung des Modells bei komplexen Aufgaben drastisch erhöht.

Diese Entdeckung zeigte, dass die Fähigkeit zu mehrstufigen Schlussfolgerungen eine emergente Eigenschaft großer Modelle ist. Wie in der Originalarbeit festgestellt wurde, führt CoT nur bei Modellen ab einer bestimmten Größe (etwa 100 Milliarden Parameter und mehr) zu einer Leistungssteigerung. Bei kleineren Modellen ist dieser Effekt kaum vorhanden; sie neigen bei der Anwendung von CoT dazu, unlogische Schlussfolgerungen zu generieren und schlechtere Ergebnisse zu erzielen.

Varianten des CoT-Promptings

Few-Shot CoT: Lernen anhand von Beispielen

Dies ist die ursprüngliche und zuverlässigste CoT-Methode.

• Prinzip: Dem Modell werden einige (typischerweise 2 bis 8) Beispiele vorgelegt, die jeweils aus der Kombination Frage – Gedankenkette – Antwort bestehen.
• Vorteile: Hohe Genauigkeit, da das Modell einen bestimmten Stil und ein bestimmtes Format für die Argumentation erlernt.
• Nachteile: Erfordert die manuelle Erstellung hochwertiger und vielfältiger Beispiele.

Zero-Shot CoT: „Lass uns Schritt für Schritt denken“

Diese Methode wurde später, am 24. Mai 2022, in der Arbeit „Large Language Models are Zero-Shot Reasoners“ (Takeshi Kojima et al.) vorgeschlagen und ist eine deutlich einfachere Variante.

• Prinzip: An den ursprünglichen Prompt wird eine einfache auslösende Phrase angehängt, wie zum Beispiel „Lass uns Schritt für Schritt denken“ (engl. „Let's think step by step“).
• Vorteile: Einfachheit, Flexibilität und es werden keine Beispiele benötigt.
• Nachteile: Kann bei sehr spezifischen Aufgaben weniger genau sein als Few-Shot CoT.

Automatic CoT (Auto-CoT)

Dieser Ansatz, der in der Arbeit von Zhang et al. (2022) vorgeschlagen wurde, automatisiert die Erstellung von Demonstrationen für Few-Shot CoT.

• Prinzip:

1. Fragen aus einem neuen Datensatz werden geclustert.
2. Aus jedem Cluster wird eine repräsentative Frage ausgewählt.
3. Für diese Fragen wird mittels Zero-Shot CoT eine Gedankenkette generiert.
4. Die so erstellten Demonstrationen werden verwendet, um den Prompt zu erstellen.

• Ziel: Den manuellen Aufwand reduzieren und die Anwendung von CoT skalieren, um eine Leistung zu erzielen, die mit der manuellen Erstellung von Beispielen vergleichbar ist.

Multimodales CoT

Anwendung von CoT auf Aufgaben, die Daten aus mehreren Modalitäten (Text und Bilder) umfassen.

• Prinzip: Das Modell generiert Schlussfolgerungen, die textuelle und visuelle Informationen miteinander verknüpfen.
• Anwendung: Analyse von Diagrammen, Lösen von visuellen Rätseln.

Wirkungsweise und Effektivität

• Verbesserte Schlussfolgerungen: CoT leitet das Modell durch einen strukturierten Lösungsprozess, was logische Fehler minimiert und eine effizientere Nutzung seiner Wissensbasis ermöglicht.
• Empirische Belege: Die Wirksamkeit von CoT zeigt sich besonders bei komplexen Benchmarks. Beispielsweise erhöhte die grundlegende Few-Shot-CoT-Methode die Genauigkeit des PaLM-540B-Modells auf dem arithmetischen Benchmark GSM8K von 17,9 % auf 58,1 %. Die Anwendung fortschrittlicherer Techniken, die auf CoT aufbauen (wie Self-Consistency), ermöglicht Genauigkeiten von 74–78 %.
• Die Rolle des Argumentationsformats: Studien haben gezeigt, dass selbst Beispiele mit falschen Zwischenschritten das Ergebnis verbessern können, solange die allgemeine Struktur der Argumentation beibehalten wird. Dies deutet darauf hin, dass CoT dem Modell in erster Linie das Format des schrittweisen Denkens beibringt.

Bezug zu anderen Techniken

CoT ist eine grundlegende Komponente für fortgeschrittenere Methoden:

• Self-Consistency: Generiert mehrere unterschiedliche CoT-Ketten für eine Frage und wählt die häufigste Antwort durch eine Mehrheitsentscheidung (Voting). Dies erhöht die Zuverlässigkeit erheblich und führt zu Genauigkeitssteigerungen bei Benchmarks wie GSM8K (+17,9 %), SVAMP (+11,0 %) und AQuA (+12,2 %).
• Tree of Thoughts (ToT): Verallgemeinert CoT, indem es nicht nur einen, sondern einen ganzen Baum möglicher Argumentationspfade untersucht. Im Gegensatz zur linearen Kette von CoT ermöglicht ToT dem Modell, mehrere Zweige zu erkunden, Zwischengedanken zu bewerten und bei Erkennen eines aussichtslosen Pfades zurückzugehen (Backtracking). Dies ermöglicht die Lösung noch komplexerer Probleme, bei denen eine einfache lineare Argumentation nicht ausreicht (z. B. wurde die Lösungsgenauigkeit für das „Game of 24“ von 4 % auf 74 % gesteigert).

Siehe auch

• Große Sprachmodelle
• Prompt-Engineering
• Emergenz

Literatur

• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Wang, X. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Lightman, H. et al. (2023). Let’s Verify Step by Step. arXiv:2305.20050.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.