Self-Refine Prompting (DE)

Self-Refine (Selbstverfeinerung oder Selbstkorrektur) ist ein Ansatz im Bereich des Prompt-Engineerings, der es großen Sprachmodellen (LLMs) ermöglicht, eine generierte Antwort iterativ auf der Grundlage ihres eigenen Feedbacks zu verbessern. Die Idee wurde 2023 von einer Forschergruppe unter der Leitung von Aman Madaan vorgeschlagen und basiert auf der Beobachtung, dass Sprachmodelle, ähnlich wie Menschen, nicht immer beim ersten Versuch das beste Ergebnis erzielen.

Bei dieser Methode übernimmt dasselbe LLM nacheinander drei Rollen:

1. Generator: Erstellt eine erste Entwurfsantwort auf die Anfrage.
2. Kritiker (Feedback): Bewertet die eigene Antwort und gibt konstruktives Feedback.
3. Editor (Refiner): Verwendet dieses Feedback, um eine verbesserte Version der Antwort zu erstellen.

Dieser iterative Zyklus „Generierung → Feedback → Verbesserung“ kann mehrmals wiederholt werden, bis die gewünschte Qualität erreicht ist oder eine Abbruchbedingung erfüllt wird.

Wichtig ist, dass Self-Refine kein zusätzliches Training des Modells, keine Feinabstimmung (Fine-Tuning) oder externe Daten erfordert – der gesamte Prozess wird ausschließlich durch Prompts während der Inferenzphase (inference) gesteuert.

Funktionsweise

Die Self-Refine-Methode wird durch eine Abfolge speziell gestalteter Prompts implementiert, die das Verhalten des Modells steuern.

1. Initiale Generierung. Das Modell erhält den ursprünglichen Prompt und generiert eine Entwurfsantwort.
2. Erstellung von Feedback. Das Modell erhält die Anweisung, seine eigene vorherige Antwort zu analysieren und Schwachstellen zu identifizieren. Es könnte beispielsweise feststellen, dass die Antwort nicht detailliert genug ist oder einen logischen Fehler enthält. Das Ergebnis ist ein textbasiertes Feedback mit konkreten Anmerkungen und Empfehlungen.
3. Iterative Verbesserung. Das Modell erhält als neuen Prompt die ursprüngliche Anfrage, seine erste Antwort und das generierte Feedback. Auf dieser Grundlage erstellt es eine verbesserte Version der Antwort.

Dieser zweistufige Zyklus „Kritik → Überarbeitung“ kann mehrmals durchlaufen werden. In den Kontext jeder neuen Iteration werden die vorherigen Antwortversionen und Kommentare einbezogen, was dem Modell hilft, die Wiederholung von Fehlern zu vermeiden. Zur Steuerung des Modellverhaltens werden häufig Few-Shot-Prompting-Techniken eingesetzt, bei denen Beispiele für das gewünschte Format des Feedbacks und der Korrekturen in den Prompt aufgenommen werden.

Effektivität und Anwendung

Die Self-Refine-Methode hat ihre Wirksamkeit bei einer Reihe von Aufgaben bewiesen, die eine mehrfache Verfeinerung erfordern, wie zum Beispiel:

• Generierung von dialogbasierten Antworten.
• Kreatives Weiterschreiben von Geschichten.
• Lösen mathematischer Probleme durch schrittweises Schließen.
• Optimierung von Programmcode.

In der ursprünglichen Studie erwiesen sich die mit Self-Refine erzielten Antworten bei Bewertungen durch Menschen und automatische Metriken als im Durchschnitt um ~20 % besser als die durch eine einstufige Generierung erzeugten. Eine Verbesserung wurde selbst bei den fortschrittlichsten Modellen wie GPT-4 erzielt, was darauf hindeutet, dass selbst leistungsstarken LLMs oft nur ein zusätzlicher Reflexionsschritt fehlt, um ihre eigenen Fehler zu korrigieren.

Ähnliche Ansätze wie RCI (Recursive Criticism and Improvement) haben ebenfalls eine hohe Wirksamkeit bei interaktiven Aufgaben gezeigt, beispielsweise bei der Steuerung eines Computers und dem Lösen logischer Probleme. Die Kombination von RCI mit der „Chain-of-Thought“-Technik erzeugte einen synergistischen Effekt, der die Fähigkeit des Modells, komplexe Probleme zu lösen, durch einen integrierten Selbstüberprüfungsschritt deutlich verbesserte.

Einschränkungen und aktuelle Forschung

Trotz vielversprechender Erfolge zeigen Studien, dass die selbst-iterative Verbesserung eine Reihe von Einschränkungen aufweist.

• Selbst-Voreingenommenheit (Self-Bias): Modelle haben Schwierigkeiten, ihre eigenen Antworten unvoreingenommen zu beurteilen. LLMs neigen dazu, ihren selbst generierten Text wohlwollend aufzufassen und ihn nicht kritisch genug zu bewerten, was nach mehreren Iterationen zu Stagnation oder sogar zu einer Verschlechterung der Qualität führen kann.
• Übermäßiges Selbstvertrauen: Es wurde beobachtet, dass das Modell mit zunehmender Anzahl von Selbstkorrektur-Iterationen übermäßig zuversichtlich in seinen Antworten werden kann, auch wenn diese nicht genauer geworden sind. Dies führt zu einem Anstieg des Expected Calibration Error (ECE) – der Diskrepanz zwischen der Zuversicht des Modells und der tatsächlichen Genauigkeit.
• Rechenaufwand: Die Methode erfordert mehrere Aufrufe des LLM, um eine endgültige Antwort zu erhalten, was die Latenz und die Kosten im Vergleich zur einstufigen Generierung erheblich erhöht.

Aktuelle Forschungen zielen darauf ab, diese Probleme zu lösen. Ein Ansatz ist die Implementierung von Mechanismen zur Kalibrierung der Zuversicht in jedem Iterationsschritt. Ein anderer ist die Einbeziehung externer Informationsquellen oder Werkzeuge (z. B. Codeausführung, Datensuche) für eine objektivere Selbstbewertung.

Vergleich mit anderen Techniken

• Chain-of-Thought (CoT): CoT konzentriert sich auf die Generierung einer linearen Gedankenkette, um zu einer Antwort zu gelangen. Self-Refine hingegen konzentriert sich auf die iterative Verbesserung einer bereits generierten Antwort (die CoT beinhalten kann).
• Tree of Thoughts (ToT): ToT untersucht mehrere parallele Denkpfade in Form eines Baumes, während Self-Refine einen einzelnen Pfad iterativ verbessert. ToT ist eine Technik zur Erkundung des Lösungsraums, während Self-Refine eine Technik zur Optimierung einer spezifischen Lösung ist.

Weblinks

• Offizielle Website des Self-Refine-Projekts
• Originalartikel „Self-Refine: Iterative Refinement with Self-Feedback"

Literatur

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.