Least-to-most Prompting (EL)

Least-to-Most Prompting (LtM) — μέθοδος ανάπτυξης υποδείξεων (prompts) για μεγάλα γλωσσικά μοντέλα (LLM), η οποία επιτρέπει την επίλυση σύνθετων προβλημάτων μέσω της αποσύνθεσής τους σε απλούστερα στάδια και της διαδοχικής επίλυσης αυτών των υποεργασιών. Η προσέγγιση αυτή προτάθηκε το 2022 από ομάδα ερευνητών του Google Brain υπό την ηγεσία του Denny Zhou και παρουσιάστηκε στο συνέδριο ICLR 2023. Ο βασικός στόχος της μεθόδου είναι να ξεπεραστεί ο περιορισμός των Chain-of-Thought prompts, που αντιμετωπίζουν δυσκολίες με προβλήματα πιο σύνθετα από τα παραδείγματα που έχουν δειχθεί στο μοντέλο κατά τη φάση των υποδείξεων. Το Least-to-Most Prompting επιτρέπει στο μοντέλο να γενικεύει σε προβλήματα αυξημένης πολυπλοκότητας, παραμένοντας ερμηνεύσιμο και χωρίς να απαιτεί επιπλέον εκπαίδευση του νευρωνικού δικτύου. Το όνομα της μεθόδου προέρχεται από την εκπαιδευτική ψυχολογία, όπου το «least to most prompting» δηλώνει την παροχή στον μαθητή μιας σειράς υποδείξεων με σταδιακά αυξανόμενο επίπεδο βοήθειας για την κατάκτηση μιας νέας δεξιότητας.

Περιγραφή της μεθόδου

Η μέθοδος Least-to-Most Prompting υλοποιείται σε δύο στάδια, καθένα από τα οποία παρέχεται στο ίδιο το γλωσσικό μοντέλο μέσω carefully-crafted prompts (χωρίς επιπλέον fine-tuning του μοντέλου):

1. Αποσύνθεση του προβλήματος. Στο πρώτο στάδιο, το μοντέλο λαμβάνει οδηγίες και παραδείγματα που δείχνουν πώς να αναλύεται ένα σύνθετο πρόβλημα σε μια ακολουθία απλούστερων υποεργασιών. Στη συνέχεια παρουσιάζεται στο μοντέλο ένα συγκεκριμένο σύνθετο ερώτημα, και το μοντέλο πρέπει να παράγει μια λίστα απλοποιημένων ενδιάμεσων ερωτημάτων. Για παράδειγμα, για ένα σύνθετο πρόβλημα το μοντέλο μπορεί αυτόνομα να διατυπώσει ένα διευκρινιστικό υποερώτημα που αντιμετωπίζει μέρος του αρχικού προβλήματος.
2. Διαδοχική επίλυση υποεργασιών. Στο δεύτερο στάδιο, το μοντέλο επιλύει τις υποεργασίες με τη σειρά — από την απλούστερη έως την πιο σύνθετη. Για τον σκοπό αυτό, κάθε υποεργασία προηγείται από ένα πλαίσιο: παραδείγματα επίλυσης παρόμοιων υποπροβλημάτων, καθώς και (εφόσον υπάρχουν) ήδη επιλυμένες προηγούμενες υποεργασίες μαζί με τις απαντήσεις τους. Αφού επιλύσει την πρώτη υποεργασία, το μοντέλο προσθέτει την απάντησή της στο κείμενο της υπόδειξης και λαμβάνει την επόμενη υποεργασία, χρησιμοποιώντας τις προηγούμενες λύσεις ως πλαίσιο. Αυτό συνεχίζεται έως ότου επιλυθεί η τελική, πιο σύνθετη υποεργασία, που απαντά άμεσα στο αρχικό ερώτημα.

Παράδειγμα: ένα αρχικό κειμενικό πρόβλημα αναλύεται σε δύο στάδια με τη μέθοδο Least-to-Most. Αρχικά το μοντέλο διατυπώνει και επιλύει ένα ενδιάμεσο ερώτημα («How long does each trip take?» — «Πόσο χρόνο διαρκεί κάθε διαδρομή;»), λαμβάνοντας την απάντηση «each trip takes 5 minutes» («κάθε διαδρομή διαρκεί 5 λεπτά»). Αυτή η απάντηση ενσωματώνεται στη νέα υπόδειξη μαζί με την επόμενη υποεργασία — το αρχικό ερώτημα («How many times can she slide before it closes?» — «Πόσες φορές θα προλάβει να κατεβεί πριν κλείσει το αξιοθέατο;»). Χρησιμοποιώντας το προηγούμενο αποτέλεσμα, το μοντέλο υπολογίζει την τελική απάντηση (σε αυτό το παράδειγμα: 3 φορές).

Ουσιαστικά, το Least-to-Most Prompting διαφέρει από την τυπική προσέγγιση chain-of-thought στο ότι αναλύει τη διαδικασία συλλογισμού σε ξεχωριστά αιτήματα με συσσώρευση γνώσης, αντί να παράγει μια συνεχή «αλυσίδα σκέψεων» στο πλαίσιο μίας απάντησης. Αυτή η σταδιακή, αναδρομική προσέγγιση επιτρέπει στο μοντέλο να μεταβαίνει σταδιακά σε ολοένα πιο σύνθετες πτυχές του προβλήματος, αντιμετωπίζοντας αποτελεσματικά το πρόβλημα της easy-to-hard generalization (όταν το μοντέλο αντιμετωπίζει πρόβλημα πιο σύνθετο από αυτά που υπήρχαν στα εκπαιδευτικά παραδείγματα). Σημειώνεται ότι και τα δύο στάδια της μεθόδου LtM υλοποιούνται μέσω few-shot prompting (επίδειξη λίγων παραδειγμάτων) και δεν απαιτούν επιπλέον εκπαίδευση του μοντέλου ή fine-tuning σε νέα δεδομένα. Επιπλέον, η μέθοδος είναι συμβατή με άλλες τεχνικές βελτίωσης του συλλογισμού των LLM· για παράδειγμα, μπορεί να συνδυαστεί με chain-of-thought και self-consistency (διαδοχική δειγματοληψία πολλαπλών λύσεων) κατά τη δημιουργία απάντησης, αν και αυτό δεν είναι απαραίτητο.

Πειραματικά αποτελέσματα και εφαρμογές

Στην εργασία που πρότεινε το Least-to-Most Prompting, αποδείχθηκε ότι η μέθοδος αυτή υπερτερεί των τυπικών μεθόδων υποδείξεων (συμπεριλαμβανομένου του chain-of-thought) σε μια σειρά προβλημάτων που απαιτούν σύνθετο πολυβηματικό συλλογισμό. Η μέθοδος επέδειξε επιτυχώς τα πλεονεκτήματά της σε τρεις βασικές κατηγορίες προβλημάτων:

• Συμβολικά και αλγοριθμικά προβλήματα. Για παράδειγμα, στο πρόβλημα συνένωσης των τελευταίων γραμμάτων λέξεων (διαδοχική λήψη του τελευταίου γράμματος κάθε λέξης σε μια λίστα και σύνθεση νέας λέξης από αυτά), η μέθοδος LtM βελτίωσε σημαντικά την ικανότητα του μοντέλου να γενικεύει σε μεγαλύτερες ακολουθίες λέξεων. Χωρίς ειδική εκπαίδευση, το μοντέλο GPT-3 (code-davinci-002) με chain-of-thought prompts επέλυε τέτοια προβλήματα σωστά μόνο σε περίπου 32% των περιπτώσεων όταν η λίστα λέξεων είχε μήκος 12, ενώ με τη χρήση Least-to-Most Prompting η ακρίβεια έφτανε το ~74%. Για σύντομες λίστες (μήκους που εμφανιζόταν στα παραδείγματα) και οι δύο στρατηγικές αποδίδουν καλά, ωστόσο με την αύξηση του μήκους της ακολουθίας η ποιότητα του chain-of-thought μειωνόταν απότομα, ενώ το Least-to-Most εξασφάλιζε ομαλότερη μείωση και διατηρούσε υψηλή ακρίβεια. Αυτό αποδεικνύει την ικανότητα της μεθόδου LtM να γενικεύει τη λογική επίλυσης σε πιο σύνθετα (μεγαλύτερα) δεδομένα εισόδου.
• Συνθετική γενίκευση (compositional generalization). Αυτή η κατηγορία προβλημάτων περιλαμβάνει, για παράδειγμα, τη μετάφραση κειμενικών οδηγιών σε ακολουθία ενεργειών (όπως στο benchmark SCAN, που απαιτεί εκτέλεση εντολών του τύπου «jump twice and run» και γενίκευση σε μακρύτερους συνδυασμούς). Η μέθοδος LtM επέτρεψε στα LLM να επιλύουν επιτυχώς ακόμη και τις πιο σύνθετες παραλλαγές τέτοιων προβλημάτων. Συγκεκριμένα, το μοντέλο GPT-3 με LtM prompts επέτυχε 99% ακρίβεια σε όλες τις παραλλαγές διαχωρισμού δεδομένων του dataset SCAN (συμπεριλαμβανομένου του πιο δύσκολου length split, όπου οι ακολουθίες του συνόλου δοκιμής είναι μεγαλύτερες από αυτές εκπαίδευσης), χρησιμοποιώντας μόλις 14 παραδείγματα στην υπόδειξη. Για σύγκριση, η τυπική προσέγγιση chain-of-thought έδινε μόνο περίπου 16% ακρίβεια σε ανάλογες συνθήκες. Επιπλέον, αυτό επιτεύχθηκε χωρίς εκπαίδευση του μοντέλου σε δεδομένα εκπαίδευσης, ενώ οι προηγούμενες καλύτερες λύσεις για το SCAN βασίζονταν σε ειδικές νευρο-συμβολικές αρχιτεκτονικές ή μεθόδους επέκτασης δεδομένων που απαιτούσαν χρήση ολόκληρου του συνόλου εκπαίδευσης με >15.000 παραδείγματα. Έτσι, το Least-to-Most Prompting επέδειξε πρωτοφανή για μοντέλα χωρίς fine-tuning ικανότητα συνθετικής γενίκευσης.
• Μαθηματικά κειμενικά προβλήματα. Η μέθοδος δοκιμάστηκε σε προβλήματα αριθμητικής σε κείμενο, για παράδειγμα από το dataset GSM8K (σύνθετα κειμενικά προβλήματα πρόσθεσης/αφαίρεσης και λογικής), καθώς και σε μια σειρά ερωτήσεων από το σύνολο DROP (που ελέγχει την ικανότητα εξαγωγής και υπολογισμού αριθμητικών πληροφοριών από κείμενο). Και εδώ, το Least-to-Most Prompting έδειξε βελτίωση ακρίβειας σε σχέση με το chain-of-thought. Για παράδειγμα, στο GSM8K με χρήση του μοντέλου code-davinci-002 η ακρίβεια των απαντήσεων αυξήθηκε από ~60,9% σε ~62,4%. Στις υποεργασίες του DROP το κέρδος ήταν ακόμη εμφανέστερο: για παράδειγμα, σε μέρος των ερωτήσεων σχετικά με «ποδοσφαιρικά» δεδομένα η ακρίβεια αυξήθηκε από ~59,6% (chain-of-thought) σε ~73,4% με την εφαρμογή LtM. Αν και η βελτίωση στα μαθηματικά προβλήματα ήταν λιγότερο εντυπωσιακή από ό,τι στο SCAN, οι συγγραφείς επισημαίνουν ένα σημαντικό στοιχείο: σχεδόν οποιοδήποτε πρόβλημα του GSM8K μπορεί να επιλυθεί σωστά εάν το μοντέλο λάβει τη σωστή αποσύνθεση του προβλήματος. Αυτό υποδηλώνει ότι το κλειδί της επιτυχούς επίλυσης είναι η εύστοχη διατύπωση ενδιάμεσων ερωτημάτων· η προσέγγιση LtM στοχεύει ακριβώς στην αυτόματη δημιουργία τέτοιων ερωτημάτων και στη διαδοχική τους επίλυση.

Συνολικά, τα πειράματα επιβεβαιώνουν ότι το Least-to-Most Prompting υπερέχει σημαντικά τόσο από την απλή few-shot υπόδειξη χωρίς συλλογισμό, όσο και από τη μέθοδο chain-of-thought σε πολλούς τύπους προβλημάτων που απαιτούν πολυβηματική εξαγωγή συμπερασμάτων. Η μέθοδος επιτρέπει στα LLM να επιλύουν προβλήματα πιο σύνθετα από αυτά με τα οποία το μοντέλο γνωρίστηκε αρχικά μέσω παραδειγμάτων, επεκτείνοντας τα όρια του in-context learning (εκμάθησης επιτόπου μέσω υποδείξεων).

Περιορισμοί και μελλοντικές κατευθύνσεις

Παρά τις επιτυχίες, η μέθοδος Least-to-Most Prompting έχει ορισμένους περιορισμούς. Πρώτα απ' όλα, διαφορετικοί τύποι προβλημάτων απαιτούν διαφορετικές προσεγγίσεις αποσύνθεσης. Το πρότυπο υπόδειξης που αποσυνθέτει αποτελεσματικά ένα μαθηματικό πρόβλημα μπορεί να είναι εντελώς ακατάλληλο για ένα λογικό ή ένα πρόβλημα κοινής λογικής. Για παράδειγμα, οι υποδείξεις που δίδαξαν στο μοντέλο να αναλύει κειμενικά μαθηματικά προβλήματα σε βήματα αποδείχθηκαν άχρηστες για μια ερώτηση κοινής λογικής του τύπου «Χρησιμοποίησε ο Αριστοτέλης laptop;» — για τέτοιο πρόβλημα απαιτείται εντελώς διαφορετική στρατηγική ανάλυσης. Γι' αυτό, για κάθε νέο τομέα ή τύπο προβλήματος πρέπει να επιλέγονται εκ νέου παραδείγματα αποσύνθεσης του προβλήματος σε υποεργασίες και να δημιουργείται αντίστοιχο prompt που απεικονίζει τη δομή της λύσης. Με άλλα λόγια, η γνώση για το πώς να αποσυντίθεται σωστά ένα πρόβλημα δεν γενικεύεται καθολικά από το ίδιο το LLM· πρέπει να παρέχεται μέσω παραδειγμάτων για κάθε συγκεκριμένη κατηγορία προβλημάτων.

Επιπλέον, η αποτελεσματικότητα του LtM εξαρτάται σημαντικά από το πόσο εύκολα αναλύεται το πρόβλημα σε ανεξάρτητους υποστόχους. Εάν το μοντέλο δεν καταφέρει να διατυπώσει σωστά τα ενδιάμεσα βήματα ή εάν κάποιες απαραίτητες υποεργασίες παραληφθούν, τότε και η τελική λύση θα είναι εσφαλμένη. Ωστόσο, οι ίδιοι οι δημιουργοί σημειώνουν ότι σε πολλές περιπτώσεις μια αποτυχία μπορεί να μετατραπεί σε επιτυχία εάν ο άνθρωπος υποδείξει χειροκίνητα τη σωστή αποσύνθεση — τότε το μοντέλο επιλύει εύκολα κάθε μέρος και συνδυάζει επιτυχώς τις απαντήσεις. Αυτό αναδεικνύει τις δυνατότητες περαιτέρω ανάπτυξης της προσέγγισης: βελτίωση της ποιότητας αυτόματης δημιουργίας υποεργασιών και, πιθανώς, διαδραστικής εκπαίδευσης μοντέλων. Στο συμπέρασμα, οι συγγραφείς του LtM υποθέτουν ότι το μέλλον των μεθόδων υποδείξεων μπορεί να βρίσκεται στην κατεύθυνση ενός πλήρους αμφίδρομου διαλόγου με το μοντέλο, όπου το μοντέλο λαμβάνει άμεση ανατροφοδότηση και διόρθωση των ενδιάμεσων βημάτων του. Η μέθοδος Least-to-Most Prompting μπορεί να θεωρηθεί ένα βήμα προς αυτή την κατεύθυνση, αποδεικνύοντας ότι η διαδοχική αλληλεπίδραση με το μοντέλο μέσω ανάλυσης και σταδιακής επίλυσης προβλημάτων επιτρέπει τη σημαντική επέκταση των νοητικών ικανοτήτων του χωρίς εκπαίδευση σε νέα δεδομένα.

Σύνδεσμοι

• Πρωτότυπο άρθρο «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» στο arXiv
• Έκδοση HTML του πρωτότυπου άρθρου
• Τι είναι το Least-to-Most Prompting; — άρθρο AI Safety Info
• Επισκόπηση της μεθόδου στο Medium
• Γενική επισκόπηση μεθόδων prompt engineering στο arXiv

Βιβλιογραφία

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.