Self-Refine Prompting (TL)

Self-Refine (sariling pagpino o sariling pagwawasto) — ito ay isang diskarte sa larangan ng prompt engineering na nagbibigay-daan sa malalaking language model (LLM) na paulit-ulit na mapabuti ang nabuong sagot batay sa sarili nitong feedback. Ang ideya ay iminungkahi ng isang grupo ng mga mananaliksik sa ilalim ng pamumuno ni Aman Madaan noong 2023 at nakabatay sa obserbasyon na, tulad ng tao, ang mga language model ay hindi laging nakakabuo ng pinakamahusay na resulta sa unang pagtatangka.

Sa pamamaraang ito, ang iisang LLM ay sunud-sunod na gumaganap ng tatlong papel:

1. Generator (Tagabuo): lumilikha ng paunang balangkas ng sagot sa kahilingan.
2. Feedback (Kritiko): sinusuri ang sarili nitong sagot at nagbibigay ng konstruktibong feedback.
3. Refiner (Editor): ginagamit ang feedback na ito upang lumikha ng pinabuting bersyon ng sagot.

Ang paulit-ulit na siklong ito na "pagbuo → feedback → pagpapabuti" ay maaaring ulitin nang maraming beses hanggang sa makamit ang kinakailangang kalidad o matugunan ang kondisyon ng paghinto.

Mahalaga na ang Self-Refine ay hindi nangangailangan ng karagdagang pagsasanay ng modelo, fine-tuning, o panlabas na datos — ang buong proseso ay pinamamahalaan nang eksklusibo sa pamamagitan ng mga prompt sa yugto ng inference.

Mekanismo ng Pagpapatupad

Ang pamamaraan ng Self-Refine ay isinasagawa sa pamamagitan ng isang pagkakasunud-sunod ng espesyal na nabuong mga prompt na ginagabayan ang gawi ng modelo.

1. Paunang pagbuo. Tinatanggap ng modelo ang orihinal na prompt at bumubuo ng balangkas ng sagot.
2. Paglikha ng feedback. Tumatanggap ang modelo ng instruksyon na suriin ang sarili nitong nakaraang sagot at tukuyin ang mga pagkukulang dito. Halimbawa, maaari nitong mapansin na ang sagot ay hindi sapat na detalyado o naglalaman ng lohikal na pagkakamali. Ang resulta ay isang tekstwal na feedback na may mga tiyak na puna at rekomendasyon.
3. Paulit-ulit na pagpapabuti. Tinatanggap ng modelo bilang bagong prompt ang orihinal na kahilingan, ang sarili nitong unang sagot, at ang nabuong feedback. Batay dito, lumilikha ito ng pinabuting bersyon ng sagot.

Ang dalawang hakbang na siklong ito na "kritika → pagbabago" ay maaaring isagawa nang maraming beses. Sa konteksto ng bawat bagong ulit ay isinama ang mga nakaraang bersyon ng sagot at mga komento, na tumutulong sa modelo na maiwasan ang pag-uulit ng mga pagkakamali. Para sa pamamahala ng gawi ng modelo, madalas na ginagamit ang mga teknik ng few-shot prompting, kung saan ang mga halimbawa ng nais na format ng feedback at mga pagwawasto ay isinama sa prompt.

Bisa at Paggamit

Ipinakita ng pamamaraan ng Self-Refine ang bisa nito sa ilang mga gawain na nangangailangan ng maraming pagpino, tulad ng:

• Pagbuo ng mga sagot sa diyalogo.
• Malikhain na pagpapatuloy ng kwento.
• Paglutas ng mga gawaing matematikal sa pamamagitan ng hakbang-hakbang na pangangatwiran.
• Pag-optimize ng code ng programa.

Sa orihinal na pananaliksik, ang mga sagot na nakuha gamit ang Self-Refine ay naging ~20% na mas kanais-nais sa karaniwan ayon sa mga pagtatasa ng mga tao at awtomatikong sukatan kumpara sa isang hakbang na pagbuo. Nakamit ang pagpapabuti kahit para sa pinaka-makabagong mga modelo, tulad ng GPT-4, na nagpapahiwatig na kahit ang malakas na mga LLM ay madalas na kulang lamang ng karagdagang hakbang ng pag-iisip upang maitama ang sariling mga pagkakamali.

Ang mga katulad na diskarte, tulad ng RCI (Recursive Criticism and Improvement), ay nagpakita rin ng mataas na bisa sa mga interactive na gawain, halimbawa, sa pamamahala ng computer at paglutas ng mga lohikal na gawain. Ang pagsasama ng RCI sa teknik na "chain-of-thought" (Chain-of-Thought) ay nagbunga ng sinergistikong epekto, na kapansin-pansing nagpabuti ng kakayahan ng modelo na malutas ang mga kumplikadong problema sa pamamagitan ng isang naka-embed na hakbang ng sariling pagsusuri.

Mga Limitasyon at Kasalukuyang Pananaliksik

Sa kabila ng mga nakapagpapasiglang tagumpay, ipinapakita ng pananaliksik na ang sariling paulit-ulit na pagpapabuti ay may ilang mga limitasyon.

• Sariling kinikilingan (self-bias): Nahihirapan ang mga modelo na walang kinikilingang suriin ang sarili nilang mga sagot. Ang mga LLM ay may tendensyang mabuting-loob na tanggapin ang sariling nabuong teksto at hindi ito sapat na kritikal na tasahin, na maaaring humantong sa stagnasyon o kahit pagkasama ng kalidad pagkatapos ng ilang ulit.
• Labis na kumpiyansa: Napansin na sa pagtaas ng bilang ng mga ulit ng sariling pagwawasto, ang modelo ay maaaring makakuha ng labis na kumpiyansa sa mga sagot nito, kahit na hindi naging mas tumpak ang mga ito. Ito ay humahantong sa pagtaas ng sukatan ng Expected Calibration Error (ECE) — ang kaibahan sa pagitan ng kumpiyansa ng modelo at ng tunay na katumpakan.
• Mga gastos sa pagkalkula: Ang pamamaraan ay nangangailangan ng maraming pagtawag sa LLM upang makakuha ng isang panghuling sagot, na kapansin-pansing nagpapataas ng pagkaantala at gastos kumpara sa isang-daang pagbuo.

Ang kasalukuyang pananaliksik ay nakatuon sa paglutas ng mga problemang ito. Ang isa sa mga direksyon ay ang pagpapatupad ng mga mekanismo ng kalibrasiyon ng kumpiyansa sa bawat hakbang ng ulit. Ang isa pa ay ang pagsasangkot ng mga panlabas na pinagkukunan ng impormasyon o mga kasangkapan (halimbawa, pagpapatupad ng code, paghahanap ng datos) para sa mas layuning sariling pagtatasa.

Paghahambing sa Iba Pang mga Teknik

• Chain-of-Thought (CoT): Ang CoT ay nakatuon sa pagbuo ng linear na kadena ng pangangatwiran upang makarating sa sagot. Ang Self-Refine naman ay nakatuon sa paulit-ulit na pagpapabuti ng sagot na nabuo na (na maaaring magsama ng CoT).
• Tree of Thoughts (ToT): Ang ToT ay nag-eeksplora ng maraming parallel na landas ng pangangatwiran sa anyo ng puno, habang ang Self-Refine ay nagpapabuti ng isang landas nang paulit-ulit. Ang ToT ay isang teknik ng pag-eksplora ng espasyo ng mga solusyon, at ang Self-Refine ay isang teknik ng pag-optimize ng isang tiyak na solusyon.

Mga Sanggunian

• Opisyal na website ng proyektong Self-Refine
• Orihinal na siyentipikong papel na "Self-Refine: Iterative Refinement with Self-Feedback"

Talasanggunian

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.