Self-Refine Prompting (HU)

Self-Refine (önfinomítás vagy önkorrekció) — egy prompt-engineering megközelítés, amely lehetővé teszi a nagy nyelvi modellek (LLM) számára, hogy iteratívan javítsák a generált választ saját visszajelzésük alapján. Az ötletet Aman Madaan vezette kutatócsoport javasolta 2023-ban, és azon a megfigyelésen alapul, hogy a nyelvi modellek – az emberhez hasonlóan – nem mindig generálják a legjobb eredményt első próbálkozásra.

Ebben a módszerben ugyanaz az LLM egymás után három szerepet tölt be:

1. Generátor (Generator): létrehozza a kérésre adott kezdeti vázlatválaszt.
2. Kritikus (Feedback): értékeli a saját válaszát, és konstruktív visszajelzést ad.
3. Szerkesztő (Refiner): ezt a visszajelzést felhasználva létrehozza a válasz javított változatát.

Ez az iteratív „generálás → visszajelzés → javítás" ciklus többször megismételhető, amíg a kívánt minőség el nem érhető, vagy a leállási feltétel nem teljesül.

Fontos, hogy a Self-Refine nem igényel további modellbetanítást, finomhangolást (fine-tuning) vagy külső adatokat — a teljes folyamat kizárólag promptokon keresztül irányítható a következtetési (inference) fázisban.

A megvalósítás mechanizmusa

A Self-Refine módszer speciálisan összeállított promptok sorozatán keresztül valósul meg, amelyek irányítják a modell viselkedését.

1. Kezdeti generálás. A modell megkapja a kiindulási promptot, és létrehoz egy vázlatválaszt.
2. Visszajelzés létrehozása. A modell utasítást kap, hogy elemezze saját előző válaszát, és tárja fel annak hiányosságait. Például jelezheti, hogy a válasz nem elég részletes, vagy logikai hibát tartalmaz. Az eredmény egy szöveges visszajelzés konkrét megjegyzésekkel és javaslatokkal.
3. Iteratív javítás. A modell új promptként megkapja az eredeti kérést, saját korábbi válaszát és a generált visszajelzést. Ezek alapján létrehozza a válasz javított változatát.

Ez a kétlépéses „kritika → átdolgozás" ciklus többször is végrehajtható. Minden új iteráció kontextusába bekerülnek a korábbi válaszváltozatok és megjegyzések, ami segít a modellnek elkerülni a hibák megismétlését. A modell viselkedésének irányítására gyakran alkalmaznak few-shot prompting technikát, amelynek keretében a promptba bekerülnek a kívánt visszajelzési formátum és javítások példái.

Hatékonyság és alkalmazás

A Self-Refine módszer számos, többszöri pontosítást igénylő feladaton bizonyította hatékonyságát, például:

• Párbeszédes válaszok generálása.
• Történetek kreatív folytatása.
• Matematikai feladatok megoldása lépésenkénti érveléssel.
• Programkód optimalizálása.

Az eredeti kutatásban a Self-Refine segítségével kapott válaszok átlagosan ~20%-kal bizonyultak előnyösebbnek az emberi és automatikus mérőszámok értékelése alapján az egylépéses generáláshoz képest. A javulás még a legkorszerűbb modelleknél, mint például a GPT-4 esetében is megmutatkozott, ami azt jelzi, hogy még a nagy teljesítményű LLM-eknek is gyakran csupán egy további reflexiós lépésre van szükségük a saját hibáik kijavításához.

Hasonló megközelítések, mint például az RCI (Recursive Criticism and Improvement), szintén magas hatékonyságot mutattak interaktív feladatokban, például számítógép-vezérlésben és logikai feladatok megoldásában. Az RCI és a „gondolatmenetek lánca" (Chain-of-Thought) technika kombinálása szinergikus hatást eredményezett, és észrevehetően javította a modell összetett problémamegoldó képességét a beépített önellenőrzési lépésnek köszönhetően.

Korlátok és jelenlegi kutatások

Az biztató eredmények ellenére a kutatások azt mutatják, hogy az öniterációs javításnak számos korlátja van.

• Saját elfogultság (self-bias): A modellek számára nehézséget jelent saját válaszaik pártatlan megítélése. Az LLM-ek hajlamosak kedvezően fogadni a saját generált szövegüket, és nem értékelik azt kellően kritikusan, ami stagnáláshoz vagy akár minőségromláshoz vezethet néhány iteráció után.
• Túlzott magabiztosság: Megfigyelték, hogy az önkorrekciós iterációk számának növekedésével a modell túlzott magabiztosságra tehet szert a válaszaival kapcsolatban, még akkor is, ha azok nem lettek pontosabbak. Ez az Expected Calibration Error (ECE) — a modell magabiztossága és a tényleges pontosság közötti eltérés — növekedéséhez vezet.
• Számítási költségek: A módszer egyetlen végső válasz eléréséhez az LLM-hez való több fordulást igényel, ami jelentősen növeli a késleltetést és a költségeket az egymenetű generáláshoz képest.

A jelenlegi kutatások ezeknek a problémáknak a megoldására irányulnak. Az egyik irány a magabiztosság-kalibrálási mechanizmusok bevezetése minden iterációs lépésnél. Egy másik irány külső információforrások vagy eszközök bevonása (például kód futtatása, adatkeresés) az objektívebb önértékelés érdekében.

Összehasonlítás más technikákkal

• Chain-of-Thought (CoT): A CoT egy lineáris érvelési lánc generálására összpontosít a válasz eléréséhez. A Self-Refine ezzel szemben a már generált válasz iteratív javítására fókuszál (amely tartalmazhat CoT-t is).
• Tree of Thoughts (ToT): A ToT fa formájában párhuzamos érvelési útvonalak sokaságát vizsgálja, míg a Self-Refine egyetlen útvonalat javít iteratívan. A ToT a megoldástér feltárásának technikája, míg a Self-Refine egy konkrét megoldás optimalizálásának technikája.

Hivatkozások

• A Self-Refine projekt hivatalos weboldala
• Az eredeti tudományos cikk: „Self-Refine: Iterative Refinement with Self-Feedback"

Irodalom

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.