Self-Refine Prompting (SV)

Self-Refine (självförfining eller självkorrigering) — är ett tillvägagångssätt inom prompt-engineering som gör det möjligt för stora språkmodeller (LLM) att iterativt förbättra ett genererat svar baserat på sin egen återkoppling. Idén föreslogs av en grupp forskare under ledning av Aman Madaan år 2023 och bygger på observationen att språkmodeller, likt människor, inte alltid genererar det bästa resultatet vid första försöket.

I denna metod utför en och samma LLM sekventiellt tre roller:

1. Generator (Generator): skapar ett initialt utkast till svar på förfrågan.
2. Kritiker (Feedback): utvärderar sitt eget svar och ger konstruktiv återkoppling.
3. Redaktör (Refiner): använder denna återkoppling för att skapa en förbättrad version av svaret.

Denna iterativa cykel "generering → återkoppling → förbättring" kan upprepas flera gånger tills önskad kvalitet uppnåtts eller ett stoppvillkor är uppfyllt.

Viktigt är att Self-Refine inte kräver ytterligare träning av modellen, fine-tuning eller externa data — hela processen styrs uteslutande genom prompts vid inferensstadiet (inference).

Implementeringsmekanism

Metoden Self-Refine implementeras genom en sekvens av särskilt konstruerade prompts som styr modellens beteende.

1. Initial generering. Modellen tar emot den ursprungliga prompten och genererar ett utkast till svar.
2. Skapande av återkoppling. Modellen får instruktion att analysera sitt tidigare svar och identifiera brister i det. Den kan till exempel notera att svaret inte är tillräckligt detaljerat eller innehåller ett logiskt fel. Resultatet är en textbaserad återkoppling med konkreta anmärkningar och rekommendationer.
3. Iterativ förbättring. Modellen tar emot den ursprungliga förfrågan, sitt initiala svar och den genererade återkopplingen som en ny prompt. Utifrån detta skapar den en förbättrad version av svaret.

Denna tvåstegs-cykel "kritik → revision" kan utföras flera gånger. I kontexten för varje ny iteration inkluderas tidigare svarsvarianter och kommentarer, vilket hjälper modellen att undvika att upprepa misstag. För att styra modellens beteende används ofta tekniken few-shot prompting, där exempel på önskat format för återkoppling och korrigeringar inkluderas i prompten.

Effektivitet och tillämpning

Metoden Self-Refine har visat sin effektivitet på ett antal uppgifter som kräver upprepade förtydliganden, såsom:

• Generering av dialogsvar.
• Kreativ fortsättning av berättelser.
• Lösning av matematiska problem med stegvis resonemang.
• Optimering av programkod.

I den ursprungliga studien visade sig svar genererade med Self-Refine i genomsnitt vara ~20% mer föredragna enligt bedömningar av människor och automatiska mätvärden jämfört med engångsgenerering. Förbättringen uppnåddes även för de mest avancerade modellerna, såsom GPT-4, vilket indikerar att även kraftfulla LLM ofta bara behöver ett ytterligare reflektionssteg för att korrigera sina egna fel.

Liknande tillvägagångssätt, såsom RCI (Recursive Criticism and Improvement), har också visat hög effektivitet i interaktiva uppgifter, till exempel i datorkontroll och lösning av logiska problem. Kombinationen av RCI med tekniken "tankekedjor" (Chain-of-Thought) gav en synergieffekt som märkbart förbättrade modellens förmåga att lösa komplexa problem tack vare ett inbyggt självgranskningssteg.

Begränsningar och pågående forskning

Trots lovande framsteg visar forskning att själviterativ förbättring har ett antal begränsningar.

• Självbias (self-bias): Modeller har svårt att opartiskt bedöma sina egna svar. LLM tenderar att välvilligt uppfatta sin egen genererade text och bedöma den alltför okritiskt, vilket kan leda till stagnation eller till och med försämrad kvalitet efter flera iterationer.
• Överdrivet självförtroende: Det har observerats att med ett ökat antal självkorrigeringsiterationer kan modellen utveckla ett överdrivet självförtroende i sina svar, även om dessa inte blivit mer korrekta. Detta leder till en ökning av måttet Expected Calibration Error (ECE) — avvikelsen mellan modellens självförtroende och den faktiska noggrannheten.
• Beräkningskostnader: Metoden kräver flera anrop till LLM för att erhålla ett slutgiltigt svar, vilket avsevärt ökar fördröjning och kostnad jämfört med engångsgenerering.

Pågående forskning syftar till att lösa dessa problem. En inriktning är att införa kalibreringmekanismer för självförtroende vid varje iterationssteg. En annan är att involvera externa informationskällor eller verktyg (till exempel kodexekvering, datasökning) för en mer objektiv självbedömning.

Jämförelse med andra tekniker

• Chain-of-Thought (CoT): CoT fokuserar på att generera en linjär tankekedja för att nå ett svar. Self-Refine fokuserar å sin sida på iterativ förbättring av ett redan genererat svar (som kan inkludera CoT).
• Tree of Thoughts (ToT): ToT utforskar flera parallella tankevägar i form av ett träd, medan Self-Refine förbättrar en enda väg iterativt. ToT är en teknik för att utforska lösningsrymden, medan Self-Refine är en teknik för att optimera en specifik lösning.

Källor

• Officiell webbplats för Self-Refine-projektet
• Originalartikeln "Self-Refine: Iterative Refinement with Self-Feedback"

Litteratur

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.