Self-Refine Prompting (EL)

Self-Refine (αυτο-αποσαφήνιση ή αυτο-διόρθωση) — είναι μια προσέγγιση στον τομέα του prompt engineering, η οποία επιτρέπει στα μεγάλα γλωσσικά μοντέλα (LLM) να βελτιώνουν επαναληπτικά μια παραγόμενη απάντηση με βάση τη δική τους ανατροφοδότηση. Η ιδέα προτάθηκε από ομάδα ερευνητών υπό την καθοδήγηση του Aman Madaan το 2023 και βασίζεται στην παρατήρηση ότι, όπως ακριβώς ένας άνθρωπος, τα γλωσσικά μοντέλα δεν παράγουν πάντα το καλύτερο αποτέλεσμα από την πρώτη προσπάθεια.

Σε αυτή τη μέθοδο, το ίδιο LLM εκτελεί διαδοχικά τρεις ρόλους:

1. Γεννήτορας (Generator): δημιουργεί μια αρχική πρόχειρη απάντηση στο ερώτημα.
2. Κριτικός (Feedback): αξιολογεί τη δική του απάντηση και παρέχει εποικοδομητική ανατροφοδότηση.
3. Επεξεργαστής (Refiner): χρησιμοποιεί αυτή την ανατροφοδότηση για να δημιουργήσει μια βελτιωμένη έκδοση της απάντησης.

Αυτός ο επαναληπτικός κύκλος «παραγωγή → ανατροφοδότηση → βελτίωση» μπορεί να επαναλαμβάνεται πολλές φορές, έως ότου επιτευχθεί η απαιτούμενη ποιότητα ή πληρωθεί η συνθήκη τερματισμού.

Σημαντικό είναι ότι το Self-Refine δεν απαιτεί πρόσθετη εκπαίδευση του μοντέλου, fine-tuning ή εξωτερικά δεδομένα — η όλη διαδικασία διέπεται αποκλειστικά μέσω prompt κατά το στάδιο του inference.

Μηχανισμός υλοποίησης

Η μέθοδος Self-Refine υλοποιείται μέσω μιας ακολουθίας ειδικά κατασκευασμένων prompt, τα οποία κατευθύνουν τη συμπεριφορά του μοντέλου.

1. Αρχική παραγωγή. Το μοντέλο λαμβάνει το αρχικό prompt και παράγει μια πρόχειρη απάντηση.
2. Δημιουργία ανατροφοδότησης. Το μοντέλο λαμβάνει οδηγία να αναλύσει την προηγούμενη απάντησή του και να εντοπίσει τις αδυναμίες της. Για παράδειγμα, μπορεί να επισημάνει ότι η απάντηση δεν είναι αρκετά λεπτομερής ή περιέχει λογικό σφάλμα. Το αποτέλεσμα είναι μια κειμενική ανατροφοδότηση με συγκεκριμένες παρατηρήσεις και συστάσεις.
3. Επαναληπτική βελτίωση. Το μοντέλο λαμβάνει ως νέο prompt το αρχικό ερώτημα, την αρχική του απάντηση και την παραγόμενη ανατροφοδότηση. Με βάση αυτά, δημιουργεί μια βελτιωμένη έκδοση της απάντησης.

Αυτός ο διπλός κύκλος «κριτική → αναθεώρηση» μπορεί να εκτελεστεί αρκετές φορές. Στο πλαίσιο κάθε νέας επανάληψης περιλαμβάνονται οι προηγούμενες εκδόσεις της απάντησης και τα σχόλια, κάτι που βοηθά το μοντέλο να αποφεύγει την επανάληψη σφαλμάτων. Για τον έλεγχο της συμπεριφοράς του μοντέλου χρησιμοποιούνται συχνά τεχνικές few-shot prompting, όπου στο prompt περιλαμβάνονται παραδείγματα της επιθυμητής μορφής ανατροφοδότησης και διορθώσεων.

Αποτελεσματικότητα και εφαρμογή

Η μέθοδος Self-Refine απέδειξε την αποτελεσματικότητά της σε μια σειρά από εργασίες που απαιτούν πολλαπλές αποσαφηνίσεις, όπως:

• Παραγωγή διαλογικών απαντήσεων.
• Δημιουργική συνέχιση ιστορίας.
• Επίλυση μαθηματικών προβλημάτων με βηματική συλλογιστική.
• Βελτιστοποίηση κώδικα προγράμματος.

Στην πρωτότυπη έρευνα, οι απαντήσεις που λήφθηκαν με τη βοήθεια του Self-Refine ήταν κατά μέσο όρο ~20% πιο προτιμητέες σύμφωνα με αξιολογήσεις ανθρώπων και αυτόματων μετρικών σε σύγκριση με την μονοβηματική παραγωγή. Η βελτίωση επιτεύχθηκε ακόμη και για τα πιο σύγχρονα μοντέλα, όπως το GPT-4, γεγονός που υποδηλώνει ότι ακόμη και ισχυρά LLM χρειάζονται συχνά απλώς ένα επιπλέον βήμα συλλογισμού για να διορθώσουν τα δικά τους σφάλματα.

Παρόμοιες προσεγγίσεις, όπως το RCI (Recursive Criticism and Improvement), έχουν επίσης αποδείξει υψηλή αποτελεσματικότητα σε διαδραστικές εργασίες, για παράδειγμα στον έλεγχο υπολογιστή και στην επίλυση λογικών προβλημάτων. Ο συνδυασμός του RCI με την τεχνική της «αλυσίδας σκέψης» (Chain-of-Thought) απέδωσε συνεργιστικό αποτέλεσμα, βελτιώνοντας αισθητά την ικανότητα του μοντέλου να επιλύει σύνθετα προβλήματα χάρη στο ενσωματωμένο βήμα αυτο-ελέγχου.

Περιορισμοί και τρέχουσες έρευνες

Παρά τις ελπιδοφόρες επιτυχίες, οι έρευνες δείχνουν ότι η αυτο-επαναληπτική βελτίωση έχει ορισμένους περιορισμούς.

• Αυτο-προκατάληψη (self-bias): Τα μοντέλα αντιμετωπίζουν δυσκολία να κρίνουν αμερόληπτα τις δικές τους απαντήσεις. Τα LLM τείνουν να αντιμετωπίζουν ευνοϊκά το δικό τους παραγόμενο κείμενο και να το αξιολογούν ανεπαρκώς κριτικά, κάτι που μπορεί να οδηγήσει σε στασιμότητα ή ακόμη και επιδείνωση της ποιότητας μετά από αρκετές επαναλήψεις.
• Υπερβολική εμπιστοσύνη: Παρατηρήθηκε ότι με την αύξηση του αριθμού επαναλήψεων αυτο-διόρθωσης, το μοντέλο μπορεί να αποκτά υπερβολική εμπιστοσύνη στις απαντήσεις του, ακόμη και αν δεν έγιναν ακριβέστερες. Αυτό οδηγεί σε αύξηση του δείκτη Expected Calibration Error (ECE) — αποκλίσεως μεταξύ της εμπιστοσύνης του μοντέλου και της πραγματικής ακρίβειας.
• Υπολογιστικό κόστος: Η μέθοδος απαιτεί πολλαπλές κλήσεις στο LLM για την παραγωγή μιας τελικής απάντησης, κάτι που αυξάνει σημαντικά την καθυστέρηση και το κόστος σε σύγκριση με την παραγωγή σε ένα μόνο πέρασμα.

Οι τρέχουσες έρευνες στοχεύουν στην επίλυση αυτών των προβλημάτων. Μία κατεύθυνση είναι η εισαγωγή μηχανισμών βαθμονόμησης εμπιστοσύνης σε κάθε βήμα της επανάληψης. Μια άλλη είναι η αξιοποίηση εξωτερικών πηγών πληροφοριών ή εργαλείων (π.χ. εκτέλεση κώδικα, αναζήτηση δεδομένων) για πιο αντικειμενική αυτο-αξιολόγηση.

Σύγκριση με άλλες τεχνικές

• Chain-of-Thought (CoT): Το CoT εστιάζει στη δημιουργία μιας γραμμικής αλυσίδας συλλογισμού για να φτάσει σε μια απάντηση. Το Self-Refine, από την πλευρά του, εστιάζει στη επαναληπτική βελτίωση μιας ήδη παραγόμενης απάντησης (η οποία μπορεί να περιλαμβάνει CoT).
• Tree of Thoughts (ToT): Το ToT εξερευνά πολλαπλές παράλληλες διαδρομές συλλογισμού σε μορφή δέντρου, ενώ το Self-Refine βελτιώνει μια διαδρομή επαναληπτικά. Το ToT είναι μια τεχνική εξερεύνησης χώρου λύσεων, ενώ το Self-Refine είναι μια τεχνική βελτιστοποίησης μιας συγκεκριμένης λύσης.

Παραπομπές

• Επίσημος ιστότοπος του έργου Self-Refine
• Πρωτότυπο επιστημονικό άρθρο "Self-Refine: Iterative Refinement with Self-Feedback"

Βιβλιογραφία

• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Kim, G. et al. (2023). Language Models Can Solve Computer Tasks. arXiv:2303.17491.
• Gou, Z. et al. (2023). CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738.
• Huang, J. et al. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798.
• Pan, L. et al. (2023). Automatically Correcting Large Language Models: Surveying the Landscape of Diverse Self-Correction Strategies. arXiv:2308.03188.
• Jiang, C. et al. (2024). Importance Weighting Can Help Large Language Models Self-Improve. arXiv:2408.09849.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Zhu, D. et al. (2025). Beyond Accuracy: The Role of Calibration in Self-Improving Large Language Models. arXiv:2504.02902.
• Hao, Q. et al. (2025). RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning. arXiv:2505.14140.
• Cui, Y. et al. (2023). Check Your Facts and Try Again: Improving Large Language Models by Reducing Hallucination. arXiv:2302.12813.
• Wei, Z. et al. (2024). ReSearch: Iterative Self-Reflection for Better LLM Calibration. arXiv:2405.13022.