Self-consistency prompting (EL)

Αυτο-συνεπής αποκωδικοποίηση (αγγλ. Self-Consistency Prompting, SC) — είναι μια μέθοδος ή στρατηγική αποκωδικοποίησης στο prompt engineering, σχεδιασμένη για την αύξηση της ακρίβειας και της αξιοπιστίας των μεγάλων γλωσσικών μοντέλων (LLM) κατά την επίλυση προβλημάτων που απαιτούν πολυβηματική συλλογιστική, όπως αριθμητικά και λογικά παζλ. Η μέθοδος προτάθηκε από ερευνητές της Google Research το 2022 ως βελτίωση της τεχνικής «αλυσίδας σκέψης» (Chain-of-Thought, CoT).

Η βασική ιδέα είναι να μην περιορίζεται κανείς σε ένα μοναδικό «άπληστο» συμπέρασμα, αλλά αντ' αυτού να παράγει πολλαπλές διαφορετικές εκδοχές συλλογισμού για το ίδιο ερώτημα, και στη συνέχεια να επιλέγει την τελική απάντηση που εμφανίζεται πιο συχνά ανάμεσα σε αυτές τις εκδοχές. Η προσέγγιση βασίζεται σε έναν διαισθητικό αρχή: εάν το μοντέλο, συλλογιζόμενο με διαφορετικούς τρόπους, καταλήγει επανειλημμένα στο ίδιο αποτέλεσμα, τότε αυτό το αποτέλεσμα είναι πιθανότατα σωστό.

Πλαίσιο και προϋποθέσεις

Η μέθοδος Self-Consistency αποτελεί άμεση εξέλιξη της τεχνικής Chain-of-Thought (CoT). Η τεχνική CoT, που προτάθηκε από τους Wei και συν. (2022), βελτίωσε σημαντικά την ικανότητα των LLM να επιλύουν σύνθετες εργασίες, παροτρύνοντας το μοντέλο να αναπτύσσει ρητά τα βήματα της λύσης. Ωστόσο, στη βασική υλοποίηση του CoT χρησιμοποιείται «άπληστη αποκωδικοποίηση» (greedy decoding), κατά την οποία σε κάθε βήμα επιλέγεται το πιο πιθανό επόμενο token. Αυτό δημιουργεί έναν περιορισμό: εάν το μοντέλο κάνει λάθος σε πρώιμο στάδιο, δεν μπορεί να αποκλίνει από αυτή την εσφαλμένη τροχιά και να την διορθώσει. Το Self-Consistency προτάθηκε για την αντιμετώπιση ακριβώς αυτού του προβλήματος.

Μηχανισμός λειτουργίας

Ο αλγόριθμος Self-Consistency αντικαθιστά την ντετερμινιστική άπληστη προσέγγιση με μια διαδικασία «δειγματοληψίας με επακόλουθη συνάθροιση» και αποτελείται από τα εξής βήματα:

1. Παραγωγή πολλαπλών μονοπατιών συλλογισμού: Αντί για μια μόνο απάντηση, το μοντέλο παράγει αρκετές φορές (π.χ. έως 40 φορές) μια λύση για το ίδιο ερώτημα, χρησιμοποιώντας τη μέθοδο αλυσίδας σκέψης. Για την απόκτηση ποικίλων μονοπατιών συλλογισμού εφαρμόζονται στοχαστικές μέθοδοι αποκωδικοποίησης, όπως η δειγματοληψία θερμοκρασίας (με παράμετρο θερμοκρασίας > 0).
2. Συνάθροιση και επιλογή απάντησης: Από όλες τις παραχθείσες αλυσίδες συλλογισμού εξάγονται μόνο οι τελικές απαντήσεις (π.χ. αριθμητική τιμή). Στη συνέχεια, ανάμεσα σε αυτές τις απαντήσεις επιλέγεται εκείνη που εμφανίζεται πιο συχνά. Αυτή η απάντηση αποδίδεται ως τελική.

Αυτή η προσέγγιση μιμείται την αρχή της «αυτο-συναρμολόγησης», όπου πολλαπλά συμπεράσματα του ίδιου μοντέλου χρησιμοποιούνται για την αύξηση της αξιοπιστίας και την εξομάλυνση τυχαίων σφαλμάτων.

Αποτελεσματικότητα και αποτελέσματα

Στην αρχική έρευνα, το Self-Consistency επέδειξε σημαντική αύξηση ακρίβειας σε μια σειρά δημοφιλών benchmark, ιδιαίτερα σε εργασίες που απαιτούν αριθμητική και λογική συλλογιστική.

• Στο benchmark μαθηματικών προβλημάτων GSM8K η ακρίβεια του μοντέλου PaLM-540B αυξήθηκε από 56,6% (με CoT) σε 74,4% (με Self-Consistency), αποτελώντας βελτίωση 17,8%.
• Σε άλλες αριθμητικές εργασίες, όπως SVAMP και AQuA, η βελτίωση ήταν +11,0% και +12,2% αντίστοιχα.
• Σε εργασίες που απαιτούν λογική και κοινή λογική, όπως StrategyQA, η βελτίωση ήταν +6,4%.

Η εφαρμογή του Self-Consistency επέτρεψε την κατάκτηση νέων ρεκόρ απόδοσης (state-of-the-art) σε πολλά benchmark με τη χρήση μεγάλων μοντέλων, όπως τα GPT-3 175B και PaLM 540B.

Πλεονεκτήματα και περιορισμοί

Πλεονεκτήματα

• Αύξηση ακρίβειας: Βελτιώνει σημαντικά τα αποτελέσματα σε εργασίες που απαιτούν σύνθετη πολυβηματική συλλογιστική.
• Αξιοπιστία: Η μέθοδος είναι πιο ανθεκτική στα σφάλματα που μπορεί να εμφανιστούν σε μια μοναδική αλυσίδα συλλογισμού.
• Απλότητα υλοποίησης: Δεν απαιτεί πρόσθετη εκπαίδευση ή αλλαγή της αρχιτεκτονικής του μοντέλου. Η μέθοδος μπορεί να υλοποιηθεί ως ένας απλός «περιτυλιγμένος κώδικας» γύρω από ένα ήδη υπάρχον μοντέλο.

Περιορισμοί

• Υψηλό υπολογιστικό κόστος: Το κύριο μειονέκτημα — η ανάγκη πολλαπλής παραγωγής απάντησης (π.χ. 10, 20 ή 40 φορές) για ένα ερώτημα, γεγονός που αυξάνει ανάλογα το κόστος και τον χρόνο εξαγωγής συμπεράσματος.
• Περιορισμένη εφαρμοσιμότητα: Η τυπική μέθοδος είναι πιο αποτελεσματική για εργασίες με σαφώς καθορισμένη μορφή απάντησης (π.χ. αριθμός, «ναι/όχι», επιλογή από λίστα), όπου είναι εύκολο να διεξαχθεί ψηφοφορία πλειοψηφίας. Εφαρμόζεται δύσκολα σε εργασίες ανοιχτής παραγωγής (συγγραφή δοκιμίου, περίληψη), όπου οι απαντήσεις είναι εγγενώς μοναδικές στη μορφή τους.
• Κίνδυνος συστηματικού σφάλματος: Εάν το μοντέλο παράγει συστηματικά εσφαλμένους συλλογισμούς που τυχαία συγκλίνουν στην ίδια λανθασμένη απάντηση, το Self-Consistency όχι μόνο δεν θα διορθώσει το σφάλμα, αλλά θα ενισχύσει την εμπιστοσύνη σε αυτό.

Εξέλιξη της μεθόδου: Universal Self-Consistency

Οι περιορισμοί της βασικής μεθόδου σε εργασίες ελεύθερης μορφής απάντησης αντιμετωπίστηκαν σε μεταγενέστερες έρευνες. Στα τέλη του 2023, μια ομάδα ερευνητών από το Google DeepMind πρότεινε την προσέγγιση Universal Self-Consistency (USC).

Στο USC, αντί της απλής ψηφοφορίας επί των τελικών απαντήσεων, χρησιμοποιείται το ίδιο το LLM ως «κριτής» για τη συνάθροιση. Το μοντέλο παράγει αρκετές πλήρεις εκδοχές λύσης, και στη συνέχεια λαμβάνει ένα νέο prompt με αίτημα να επιλέξει από αυτές την «πιο συνεπή» ή «υψηλότερης ποιότητας». Αυτή η προσέγγιση επιτρέπει την εφαρμογή των αρχών αυτο-συνέπειας σε εργασίες με ανοιχτή και δημιουργική μορφή απάντησης.

Αναφορές

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — πρωτότυπο επιστημονικό άρθρο από το Google Research.
• Self-Consistency — οδηγός στο Prompt Engineering Guide.

Βιβλιογραφία

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.