Self-Refine Prompting (RO)

Self-Refine (auto-rafinare sau auto-corecție) — este o abordare în domeniul prompt engineering-ului, care permite modelelor lingvistice mari (LLM) să îmbunătățească iterativ răspunsul generat pe baza propriului feedback. Ideea a fost propusă de un grup de cercetători condus de Aman Madaan în 2023 și se bazează pe observația că, similar unui om, modelele lingvistice nu generează întotdeauna cel mai bun rezultat de la prima încercare.

În cadrul acestei metode, același LLM îndeplinește secvențial trei roluri:

1. Generator (Generator): creează un răspuns inițial de tip ciornă la cerere.
2. Critic (Feedback): evaluează propriul răspuns și furnizează feedback constructiv.
3. Editor (Refiner): utilizează acest feedback pentru a crea o versiune îmbunătățită a răspunsului.

Acest ciclu iterativ „generare → feedback → îmbunătățire" poate fi repetat de mai multe ori, până când este atinsă calitatea dorită sau este îndeplinită condiția de oprire.

Este important că Self-Refine nu necesită antrenament suplimentar al modelului, fine-tuning sau date externe — întregul proces este gestionat exclusiv prin prompturi în etapa de inferență (inference).

Mecanismul de implementare

Metoda Self-Refine este implementată printr-o secvență de prompturi special construite, care ghidează comportamentul modelului.

1. Generarea inițială. Modelul primește promptul inițial și generează un răspuns ciornă.
2. Crearea feedback-ului. Modelul primește instrucțiunea de a analiza propriul răspuns anterior și de a identifica deficiențele acestuia. De exemplu, poate observa că răspunsul este insuficient de detaliat sau conține o eroare logică. Rezultatul este un feedback textual cu observații și recomandări concrete.
3. Îmbunătățirea iterativă. Modelul primește ca nou prompt cererea inițială, propriul răspuns inițial și feedback-ul generat. Pe baza acestora, creează o versiune îmbunătățită a răspunsului.

Acest ciclu în două etape „critică → editare\" poate fi executat de mai multe ori. În contextul fiecărei noi iterații sunt incluse variantele anterioare ale răspunsului și comentariile, ceea ce ajută modelul să evite repetarea greșelilor. Pentru a gestiona comportamentul modelului se utilizează adesea tehnici de few-shot prompting, unde în prompt sunt incluse exemple ale formatului dorit de feedback și corecții.

Eficiență și aplicare

Metoda Self-Refine și-a demonstrat eficiența pe o serie de sarcini care necesită rafinări multiple, precum:

• Generarea răspunsurilor în dialog.
• Continuarea creativă a unei povești.
• Rezolvarea problemelor matematice prin raționament pas cu pas.
• Optimizarea codului sursă.

În cercetarea originală, răspunsurile obținute cu ajutorul Self-Refine au fost, în medie, cu ~20% mai preferate conform evaluărilor umane și ale metricilor automate, comparativ cu generarea într-un singur pas. Îmbunătățirea a fost obținută chiar și pentru cele mai avansate modele, precum GPT-4, ceea ce indică faptul că și LLM-urilor puternice le lipsește adesea doar un pas suplimentar de reflecție pentru corectarea propriilor erori.

Abordări similare, precum RCI (Recursive Criticism and Improvement), au demonstrat, de asemenea, o eficiență ridicată în sarcini interactive, de exemplu, în controlul computerului și rezolvarea problemelor logice. Combinarea RCI cu tehnica „lanțului de gânduri\" (Chain-of-Thought) a produs un efect sinergic, îmbunătățind vizibil capacitatea modelului de a rezolva probleme complexe printr-un pas integrat de auto-verificare.

Limitări și cercetări curente

În ciuda progreselor încurajatoare, cercetările arată că îmbunătățirea auto-iterativă prezintă o serie de limitări.

• Părtinirea față de sine (self-bias): Modelele întâmpină dificultăți în a-și evalua propriile răspunsuri în mod imparțial. LLM-urile tind să recepteze favorabil textul generat de ele însele și să îl evalueze insuficient de critic, ceea ce poate duce la stagnare sau chiar la degradarea calității după câteva iterații.
• Supraîncrederea: S-a observat că, odată cu creșterea numărului de iterații de auto-corecție, modelul poate dobândi o supraîncredere în răspunsurile sale, chiar dacă acestea nu au devenit mai precise. Aceasta conduce la creșterea indicatorului Expected Calibration Error (ECE) — neconcordanța dintre încrederea modelului și acuratețea reală.
• Costuri computaționale: Metoda necesită mai multe apeluri către LLM pentru a obține un singur răspuns final, ceea ce crește semnificativ latența și costurile față de generarea într-o singură trecere.

Cercetările actuale sunt orientate spre rezolvarea acestor probleme. O direcție este introducerea mecanismelor de calibrare a încrederii la fiecare pas al iterației. O altă direcție constă în implicarea unor surse externe de informații sau instrumente (de exemplu, execuția codului, căutarea datelor) pentru o auto-evaluare mai obiectivă.

Comparație cu alte tehnici

• Chain-of-Thought (CoT): CoT se concentrează pe generarea unui lanț liniar de raționamente pentru a ajunge la un răspuns. Self-Refine, la rândul său, se concentrează pe îmbunătățirea iterativă a unui răspuns deja generat (care poate include CoT).
• Tree of Thoughts (ToT): ToT explorează multiple căi paralele de raționament sub formă de arbore, în timp ce Self-Refine îmbunătățește o singură cale iterativ. ToT este o tehnică de explorare a spațiului soluțiilor, iar Self-Refine este o tehnică de optimizare a unei soluții concrete.

Referințe

• Site-ul oficial al proiectului Self-Refine
• Articolul științific original „Self-Refine: Iterative Refinement with Self-Feedback\"

Bibliografie

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.