Graph of Thoughts (EL)

Graph-of-Thoughts (GoT) — είναι μια έννοια στον τομέα εργασίας με μεγάλα γλωσσικά μοντέλα (LLM, Large Language Models), που προτείνει την αναπαράσταση της διαδικασίας συλλογισμού του μοντέλου ως αυθαίρετος γράφος αλληλοσυνδεόμενων «σκέψεων» (ενδιάμεσων βημάτων επίλυσης). Η προσέγγιση αυτή προτάθηκε από ομάδα ερευνητών υπό την καθοδήγηση του Maciej Besta από το ETH Zurich και δημοσιεύτηκε το 2024 στο συνέδριο AAAI. Στόχος του Graph-of-Thoughts είναι να επεκτείνει τις δυνατότητες του prompt engineering πέρα από τα υπάρχοντα σχήματα, όπως το Chain-of-Thought (αλυσίδα σκέψεων) και το Tree-of-Thoughts (δέντρο σκέψεων). Σε αντίθεση με αυτά, η προσέγγιση GoT επιτρέπει σε οποιοδήποτε τμήμα συλλογισμού (σκέψη) που παράγεται από το μοντέλο να αναφέρεται σε οποιοδήποτε άλλο, σχηματίζοντας ένα δίκτυο ιδεών και όχι αυστηρά γραμμική ή δεντροειδή δομή. Αυτό, όπως υποστηρίζουν οι συγγραφείς, αντικατοπτρίζει με μεγαλύτερη ακρίβεια τον πολύπλοκο, μη γραμμικό χαρακτήρα της ανθρώπινης σκέψης και δυνητικά προσεγγίζει τον μηχανισμό συλλογισμού των LLM στη λειτουργία του ανθρώπινου εγκεφάλου (με τις αναδρομικές νευρικές του συνδέσεις).

Το Graph-of-Thoughts είναι μια μέθοδος διαμόρφωσης ερωτημάτων (prompting framework), δηλαδή δεν απαιτεί πρόσθετη εκπαίδευση ή fine-tuning του ίδιου του μοντέλου — αντ' αυτού οργανώνει τον διάλογο με το LLM με ιδιαίτερο τρόπο, καθοδηγώντας το μοντέλο μέσα από μια σειρά βημάτων-«σκέψεων» που συνδέονται σύμφωνα με το σχήμα ενός γράφου. Αυτή η δομή επιτρέπει τον συνδυασμό και την επαναχρησιμοποίηση διαφόρων κλάδων συλλογισμού: για παράδειγμα, το μοντέλο μπορεί παράλληλα να εξετάσει αρκετές υποθέσεις ή τμήματα μιας εργασίας και στη συνέχεια να συνδυάσει τα πιο επιτυχημένα από αυτά σε μια ενιαία λύση. Σε εγκυκλοπαιδικό ύφος, το Graph-of-Thoughts μπορεί να οριστεί ως γενίκευση των προηγούμενων στρατηγικών δομημένου συλλογισμού με LLM, παρέχοντας μέγιστη ευελιξία στην οργάνωση των διανοητικών διαδικασιών εντός ενός σύνθετου ερωτήματος.

Προϋποθέσεις: Chain-of-Thought και Tree-of-Thoughts

Η μέθοδος Graph-of-Thoughts προέκυψε από παλαιότερες προσεγγίσεις που χρησιμοποιούν ρητή δομή συλλογισμού κατά την εργασία με γλωσσικά μοντέλα. Η βασική προσέγγιση είναι το Chain-of-Thought (CoT) – «αλυσίδα σκέψεων». Στη μέθοδο CoT ο χρήστης καλείται να συμπεριλάβει στο ερώτημα προς το μοντέλο όχι μόνο τη συνθήκη της εργασίας, αλλά και τα ενδιάμεσα βήματα συλλογισμού που οδηγούν στην απάντηση. Έρευνες έδειξαν ότι αυτή η παρουσίαση υλικού βελτιώνει σημαντικά την ικανότητα των LLM να επιλύουν σύνθετες εργασίες, όπως μαθηματικά ή λογικά προβλήματα, χωρίς αλλαγές στις παραμέτρους του ίδιου του μοντέλου. Ουσιαστικά, το CoT παρακινεί το μοντέλο να αναλύσει βήμα-βήμα ένα σύνθετο πρόβλημα σε απλούστερα στάδια, μιμούμενο τη διαδοχική ροή σκέψεων.

Ανάπτυξη αυτής της ιδέας αποτέλεσε η τεχνική Self-Consistency: αντί για μία αλυσίδα σκέψεων, παράγονται αρκετές ανεξάρτητες αλυσίδες, μετά τις οποίες επιλέγεται η πιο πειστική. Αυτό επιτρέπει στο μοντέλο να εξετάσει διαφορετικές προσεγγίσεις επίλυσης και μειώνει τον κίνδυνο να λάβει εσφαλμένη απάντηση λόγω ακολούθησης μιας και μόνης λανθασμένης γραμμής συλλογισμού. Ωστόσο, ακόμη και πολλαπλές αλυσίδες CoT δεν δίνουν τη δυνατότητα «συνδυασμού ιδεών»: κάθε αλυσίδα εξετάζεται μεμονωμένα και το μοντέλο απλώς επιλέγει την καλύτερη, χωρίς να συνδυάζει το περιεχόμενό τους.

Για την υπέρβαση αυτού του περιορισμού προτάθηκε το σχήμα Tree-of-Thoughts (ToT) – «δέντρο σκέψεων». Στο ToT η διαδικασία συλλογισμού οργανώνεται ως δέντρο: σε κάθε σημείο το μοντέλο μπορεί να παράγει αρκετές παραλλαγές ανάπτυξης μιας σκέψης (διακλαδώσεις), μετά τις οποίες γίνεται αξιολόγηση αυτών των ενδιάμεσων καταστάσεων και επιλογή των πιο υποσχόμενων για περαιτέρω εμβάθυνση. Χρησιμοποιώντας αναζήτηση κατά δέντρο (για παράδειγμα, κατά πλάτος — BFS, ή κατά βάθος – DFS) και τη δυνατότητα επιστροφής σε κόμβους και ανάπτυξης διαφορετικού κλάδου, το Tree-of-Thoughts δίνει στο γλωσσικό μοντέλο έναν πιο ισχυρό μηχανισμό επίλυσης σύνθετων εργασιών από το γραμμικό CoT. Εμφανίζονται νέες δυνατότητες, όπως η επαναφορά και αναθεώρηση: εάν ένας κλάδος οδηγήσει σε αδιέξοδο, μπορεί κανείς να επιστρέψει στον προηγούμενο κόμβο και να δοκιμάσει διαφορετική διαδρομή. Αυτή η μεθοδολογία απέδειξε την αποτελεσματικότητά της στην επίλυση λογικών και εργασιών αναζήτησης, όπου η απαρίθμηση παραλλαγών και ο προγραμματισμός διαδραματίζουν σημαντικό ρόλο.

Ωστόσο, το δέντρο σκέψεων επιβάλλει και αυστηρούς περιορισμούς: κάθε σκέψη (κόμβος δέντρου) ανήκει μόνο σε έναν κλάδο, η αλληλεπίδραση γίνεται μόνο μεταξύ γονικών και θυγατρικών κόμβων, ενώ διαφορετικοί κλάδοι δεν μπορούν να συγχωνευτούν ή να ανταλλάξουν πληροφορίες. Με άλλα λόγια, η διασταυρωμένη ανταλλαγή ιδεών (cross-pollination) μεταξύ διαφόρων υποθέσεων στο πλαίσιο μιας λύσης δυσχεραίνεται: οι κλάδοι του δέντρου αναπτύσσονται ανεξάρτητα και ενώνονται μόνο στη ρίζα, όταν επιλέγεται η καλύτερη αλυσίδα συλλογισμών. Στην πραγματική όμως δημιουργική ή αναλυτική σκέψη, ο άνθρωπος συχνά επιστρέφει σε μια προηγουμένως εξετασθείσα ιδέα και την συνδυάζει με έναν άλλο κλάδο συλλογισμού. Αυτή η αλληλοδιαπλοκή σκέψεων ξεπερνά τα όρια της δομής ενός δέντρου.

Αυτές οι παρατηρήσεις οδήγησαν τους ερευνητές στην ιδέα μιας πιο ευέλικτης δομής – ενός γράφου, όπου οι συνδέσεις μεταξύ σκέψεων δεν περιορίζονται και μπορούν να σχηματίσουν ένα σύνθετο δίκτυο. Όπως σημειώνεται σε αναλυτική ανασκόπηση του 2024, η εμφάνιση αλυσίδων, δέντρων και γράφων σκέψεων αντικατοπτρίζει τη γέννηση μιας νέας κατηγορίας μεθόδων που μπορούν να ενισχύσουν σημαντικά τις δυνατότητες των LLM μέσω της ρητής δόμησης της διαδικασίας συλλογισμού. Ειδικότερα, τα δομημένα prompts επέτρεψαν την αισθητή βελτίωση των αποτελεσμάτων των LLM σε πολλούς τομείς — από την επίλυση μαθηματικών εργασιών και λογικών προβλημάτων έως τον προγραμματισμό και ακόμη και τη δημιουργική γραφή. Σε αυτό το γενικό πλαίσιο προέκυψε το σχήμα Graph-of-Thoughts ως επόμενο βήμα στην ανάπτυξη μεθόδων δομημένου prompting.

Έννοια του Graph-of-Thoughts: γραφοειδής δομή σκέψεων

Το Graph-of-Thoughts προτείνει να αναπαρασταθεί η πορεία εκτέλεσης εργασιών από ένα γλωσσικό μοντέλο ως αυθαίρετος κατευθυνόμενος γράφος. Τυπικά, ο γράφος σκέψεων στο GoT είναι ένα σύνολο κορυφών (σκέψεων) και ακμών (εξαρτήσεων μεταξύ σκέψεων). Κορυφή του γράφου αποτελεί μια μεμονωμένη σκέψη του μοντέλου – με αυτόν τον όρο νοείται οποιαδήποτε ουσιαστική μονάδα που εξαρτάται από το πλαίσιο της εργασίας: μπορεί να είναι μια μεμονωμένη δήλωση, βήμα επίλυσης, τμήμα κειμένου, παράγραφος, μπλοκ κώδικα κ.λπ., που σχηματίστηκε από το μοντέλο ως απάντηση στο ερώτημα. Μια ακμή μεταξύ κορυφών σημαίνει ότι μια σκέψη χρησιμοποιήθηκε κατά τη δημιουργία μιας άλλης — δηλαδή στο prompt ορίζεται ρητά ότι το μοντέλο πρέπει να βασιστεί σε ένα συγκεκριμένο προηγούμενο αποτέλεσμα για να παράγει ένα νέο. Έτσι, οι ακμές καταγράφουν εξαρτήσεις: από ποια προηγουμένως ληφθέντα δεδομένα εξαρτάται το τρέχον βήμα συλλογισμού.

Η σημαντικότερη διαφορά του GoT από τις απλούστερες δομές είναι η δυνατότητα συνάθροισης και συγχώνευσης σκέψεων. Στον γράφο επιτρέπεται μια κορυφή (νέα σκέψη) να έχει αρκετούς προκατόχους. Αυτό αντιστοιχεί στην κατάσταση όπου δύο ή περισσότερες ξεχωριστές αλυσίδες συλλογισμού ενώνονται: το μοντέλο λαμβάνει ως είσοδο ταυτόχρονα αρκετά προηγουμένως παραχθέντα τμήματα και με βάση αυτά σχηματίζει ένα συνθετικό συμπέρασμα. Για παράδειγμα, επιλύοντας μια εργασία, το μοντέλο μπορεί παράλληλα να εξετάσει δύο υποθέσεις και στη συνέχεια να δημιουργήσει μια νέα σκέψη που συνδυάζει τα θετικά στοιχεία και των δύο υποθέσεων και εξαλείφει τα μειονεκτήματά τους. Τέτοιες λειτουργίες συνάθροισης ήταν αδύνατες στο πλαίσιο του δεντροειδούς σχήματος (όπου κάθε κόμβος έχει μόνο έναν γονέα), αλλά υλοποιούνται φυσικά στο γραφοειδές. Εκτός από τη συγχώνευση ιδεών, ο γράφος επιτρέπει την εισαγωγή ανατροφοδοτήσεων (feedback loops): κατ' αρχήν, η δομή του GoT δεν απαγορεύει κύκλους, δηλαδή το μοντέλο μπορεί να επιστρέψει κάποιο αποτέλεσμα σε προηγούμενο στάδιο συλλογισμού για επανεπεξεργασία ή αποσαφήνιση. Οι συγγραφείς συνδέουν αυτό με αναλογία προς τις αναδρομικές συνδέσεις στα νευρωνικά δίκτυα του εγκεφάλου, όπου η έξοδος μιας ομάδας νευρώνων μπορεί να επιδράσει αντίστροφα σε προηγούμενα στρώματα, σχηματίζοντας κλειστά κυκλώματα σκέψεων.

Πρακτικά, η υλοποίηση του Graph-of-Thoughts απαιτεί ειδική οργάνωση του διαλόγου με το μοντέλο. Οι ερευνητές ανέπτυξαν ένα αρθρωτό αρχιτεκτονικό πλαίσιο για το GoT. Σε αυτό διακρίνονται συνιστώσες για: (1) λεπτό έλεγχο επί μεμονωμένων βημάτων (σκέψεων) — ο «ελεγκτής» διαχειρίζεται τη σειρά και τη λογική παραγωγής σκέψεων· (2) δυναμική διαμόρφωση prompts – για κάθε βήμα ένα ειδικό άρθρωμα δημιουργεί prompt με βάση το τρέχον πλαίσιο και τις επιλεγμένες κορυφές του γράφου (προκατόχους)· (3) ανάλυση και αξιολόγηση απαντήσεων του μοντέλου — τα τμήματα που λαμβάνονται από το LLM αναλύονται και αξιολογούνται ως προς την ποιότητα, χρησιμότητα ή συμμόρφωση με τα κριτήρια της εργασίας. Η αρχιτεκτονική του GoT επιτρέπει έτσι την διαδραστική κατασκευή του γράφου συλλογισμού: μετά από κάθε βήμα λαμβάνεται απόφαση για το ποιες νέες κορυφές να προστεθούν, πώς να συνδεθούν με τις προηγούμενες, ποιοι κλάδοι να συνεχιστούν ή να ενωθούν. Χάρη στην αρθρωτότητα, ένα τέτοιο framework μπορεί να επεκταθεί με νέους τύπους «μετασχηματισμών σκέψεων» (για παράδειγμα, ειδικές λειτουργίες με τον γράφο) και να προσαρμοστεί σε διάφορα μοντέλα (οι συγγραφείς δοκίμασαν επιτυχώς το GoT με LLM των οικογενειών GPT-3.5, GPT-4, LLAMA 2 και άλλα). Σημαντική ιδιότητα είναι ότι το GoT δεν απαιτεί αλλαγή των παραμέτρων του ίδιου του γλωσσικού μοντέλου — όλες οι βελτιώσεις επιτυγχάνονται μέσω πιο έξυπνης κατασκευής ερωτημάτων και επεξεργασίας απαντήσεων. Αυτό σημαίνει ότι τα υπάρχοντα ισχυρά LLM μπορούν να χρησιμοποιηθούν «ως έχουν», ενώ το Graph-of-Thoughts διαδραματίζει ρόλο υπερκατασκευής που διαχειρίζεται τη λειτουργία τους.

Αξίζει να σημειωθεί ότι ο όρος Graph-of-Thought εμφανίστηκε επίσης σε μια άλλη, ανεξάρτητη ανάπτυξη, διαφορετική από την προσέγγιση του Besta και των συναδέλφων του. Το 2023 ο Yao Yao και οι συνεργάτες του πρότειναν μια μεθοδολογία βελτίωσης της reasoning σε LLM μέσω ενός πρόσθετου ενθυλακωτή (encoder) γράφου σκέψεων, κάτι που απαιτούσε fine-tuning του μοντέλου. Η εργασία τους με τίτλο «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» περιγράφει μια αρχιτεκτονική δύο σταδίων: αρχικά παράγεται ένας γράφος αλληλοσυνδεόμενων ενδιάμεσων ισχυρισμών, στη συνέχεια μετασχηματίζεται από έναν ειδικό encoder και ενσωματώνεται στο μοντέλο μέσω μηχανισμού gated fusion. Αυτή η υβριδική προσέγγιση με εκπαίδευση κατέδειξε κάποια αύξηση της ακρίβειας σε εργασίες, για παράδειγμα, στο πολυτροπικό σύνολο ερωτήσεων ScienceQA η ακρίβεια αυξήθηκε από 85,2% σε 87,6% με χρήση του μοντέλου T5-base. Ωστόσο, αυτή η προσέγγιση, αν και παρόμοια στην ονομασία, διαφέρει ουσιαστικά: απαιτεί τροποποίηση του μοντέλου (fine-tuning) και δεν αποτελεί σχήμα prompt engineering. Οι συγγραφείς της αρχικής προσέγγισης GoT (AAAI 2024) ρητά αναφέρουν ότι δεν εξετάζουν στην εργασία τους εκείνο το μοντέλο των Yao et al., καθώς εστιάζουν ακριβώς σε μεθόδους χωρίς ενημέρωση παραμέτρων LLM. Έτσι, το Graph-of-Thoughts στο πλαίσιο αυτής της επισκόπησης είναι ακριβώς ένα framework σε επίπεδο prompts, και όχι τροποποίηση της αρχιτεκτονικής ενός νευρωνικού δικτύου.

Εφαρμογή και αποτελέσματα

Οι συγγραφείς του GoT απέδειξαν τα πλεονεκτήματά του σε μια σειρά εργασιών που είναι δύσκολο να επιλυθούν με ένα απλό άμεσο prompt (input-output prompting) ή ακόμη και με αλυσίδα σκέψεων. Χαρακτηριστικό γνώρισμα τέτοιων εργασιών είναι ότι μπορούν να αναλυθούν σε αρκετά μέρη (υποεργασίες), να επιλυθούν αυτά τα μέρη χωριστά και στη συνέχεια να συντεθεί η πλήρης απάντηση από τα μερικά αποτελέσματα. Μεταξύ των εξεταζόμενων παραδειγμάτων: ταξινόμηση μη διατεταγμένης λίστας, καταμέτρηση λέξεων-κλειδιών σε κείμενο (π.χ. για περίληψη εγγράφου), εκτέλεση πράξεων επί συνόλων (ένωση, τομή λιστών κ.λπ.), καθώς και συγχώνευση κειμενικών εγγράφων (συνδυασμός πληροφοριών από πολλαπλές πηγές). Σε όλες αυτές τις περιπτώσεις το Graph-of-Thoughts επιτρέπει τη φυσική αποσύνθεση της εργασίας. Για παράδειγμα, για την ταξινόμηση η λίστα χωρίζεται σε μέρη, κάθε μέρος ταξινομείται χωριστά ως ανεξάρτητος κλάδος σκέψεων, μετά τα αποτελέσματα συνδυάζονται (μιμούμενα αλγόριθμο όπως merge sort)· ή κατά την ανάλυση κειμένων το μοντέλο μπορεί παράλληλα να εξάγει πληροφορίες από διαφορετικά έγγραφα και στη συνέχεια να τα ενοποιεί.

Πειραματικά αποτελέσματα επιβεβαιώνουν την αποτελεσματικότητα του σχήματος GoT. Σύμφωνα με την έκθεση του Besta και των συναδέλφων του, στην εργασία ταξινόμησης ο γράφος σκέψεων επέτρεψε σημαντική βελτίωση της ποιότητας επίλυσης σε σύγκριση με προηγούμενες προσεγγίσεις. Έτσι, η ακρίβεια ταξινόμησης κατά τη χρήση GoT αποδείχτηκε κατά 70% υψηλότερη από ό,τι με την απλή αλυσίδα σκέψεων CoT, και κατά 62% υψηλότερη από ό,τι με το δέντρο σκέψεων ToT. Ταυτόχρονα η μέθοδος μειώνει το κόστος υπολογιστικών πόρων: ο αριθμός κλήσεων στο μοντέλο (και αντίστοιχα ο διακριτοποιημένος όγκος των ερωτημάτων) μειώθηκε κατά 31% σε σύγκριση με το Tree-of-Thoughts για την ίδια εργασία. Αυτό σημαίνει ότι η γραφοειδής οργάνωση του συλλογισμού όχι μόνο βελτίωσε το τελικό αποτέλεσμα, αλλά έκανε και την επίλυση πιο οικονομική, αποφεύγοντας περιττούς υπολογισμούς χάρη στον έξυπνο συνδυασμό ενδιάμεσων συμπερασμάτων. Παρόμοια οφέλη αποκτήθηκαν και σε άλλες δοκιμαστικές εργασίες, ιδιαίτερα εκεί όπου απαιτείται συνάθροιση ετερογενών πληροφοριών. Οι ερευνητές σημειώνουν ότι το GoT είναι πιο αποτελεσματικό ακριβώς για σύνθετες εργασίες, αποτελούμενες από αρκετά στοιχεία: «Το Graph-of-Thoughts είναι ιδιαίτερα κατάλληλο για εργασίες που αποσυντίθενται φυσικά σε μικρότερες υποεργασίες, που επιλύονται χωριστά με μετέπειτα συνδυασμό αποτελεσμάτων». Σε τέτοιες περιπτώσεις ο γράφος σκέψεων μπορεί να καλύψει όλες τις πτυχές ενός προβλήματος και να συνθέσει μια πιο ολοκληρωμένη λύση από ό,τι ακολουθώντας μια μόνο γραμμή συλλογισμού.

Για βαθύτερη κατανόηση του γιατί ένας τρόπος κατασκευής prompt είναι καλύτερος από έναν άλλο, στην εργασία του 2024 προτάθηκε ειδική μετρική – το «όγκος μιας σκέψης» (volume of a thought). Ο όγκος ορίζεται για κάθε μεμονωμένη σκέψη (κορυφή γράφου) ως ο αριθμός άλλων σκέψεων από τις οποίες μπορεί κανείς μέσω κατευθυνόμενων ακμών να φτάσει σε αυτήν (απλούστερα, σε πόσα ενδιάμεσα βήματα οφείλει την πληροφορία της). Στο Chain-of-Thought κάθε σκέψη βασίζεται μόνο σε έναν προκάτοχο, επομένως ο όγκος της ισούται με 1 (γραμμική αλυσίδα). Στο δέντρο σκέψεων ο όγκος μπορεί να είναι μεγαλύτερος, αλλά παραμένει περιορισμένος από τη δομή ενός μεμονωμένου κλάδου. Στον γράφο όμως, χάρη στη συνάθροιση, μια μεμονωμένη κορυφή μπορεί να συσσωρεύει τη συμβολή πολλών άλλων — ο «όγκος» της είναι σημαντικά υψηλότερος. Αποδείχτηκε ότι το GoT επιτρέπει στα τελικά συμπεράσματα να βασίζονται σε σημαντικά μεγαλύτερο όγκο προηγούμενων σκέψεων, συνδυάζοντας το περιεχόμενό τους. Αυτό το γεγονός αντικατοπτρίζει βαθύτερη κάλυψη του χώρου λύσεων και αποτελεί ποσοτική εξήγηση των πλεονεκτημάτων του γραφοειδούς συλλογισμού έναντι των απλούστερων σχημάτων.

Σύγκριση και σημασία

Το Graph-of-Thoughts σήμερα αντιπροσωπεύει την πιο γενικευμένη μορφή δομημένου prompting για LLM. Στους πίνακες σύγκρισης διαφόρων σχημάτων (CoT, CoT με self-consistency, ToT και GoT) τονίζεται ότι μόνο το GoT υποστηρίζει αυθαίρετη τοπολογία της διανοητικής διαδικασίας. Ενσωματώνει τις δυνατότητες όλων των προηγούμενων προσεγγίσεων: μπορεί να λειτουργεί και ως μία αλυσίδα, και ως δέντρο με διακλαδώσεις, και ως συνδυασμός πολλαπλών αλυσίδων, εάν αυτό ενδείκνυται για την επίλυση της εργασίας. Το κύριο σημείο είναι ότι δεν υπάρχουν αυστηροί περιορισμοί στη σύνδεση μεταξύ βημάτων, κάτι που θεωρητικά καθιστά τον χώρο πιθανών στρατηγικών συλλογισμού μέγιστα ευρύ.

Είναι σημαντικό να κατανοηθεί ότι η ευελιξία του GoT έρχεται με το κόστος μεγαλύτερης πολυπλοκότητας ελέγχου. Η υλοποίηση ενός γράφου σκέψεων απαιτεί έναν εξωτερικό αλγόριθμο-ενορχηστρωτή, που θα αποφασίζει πότε και ποιες σκέψεις να παράγει, ποιες από αυτές να επιλέγει ή να συνδυάζει, πότε να σταματάει τη διαδικασία και να παρέχει απάντηση. Στο απλό CoT δεν χρειάζεται να λαμβάνονται τέτοιες αποφάσεις — το μοντέλο μόνο του παράγει γραμμικό συλλογισμό έως το τέλος. Στο ToT μέρος του ελέγχου αναλαμβάνει ο αλγόριθμος αναζήτησης κατά δέντρο (π.χ. επιλογή κόμβου για ανάπτυξη). Στο GoT ο βαθμός ελευθερίας είναι μεγαλύτερος, και η αποτελεσματικότητα της μεθόδου εξαρτάται από την ποιότητα των ευρετικών κανόνων που αξιολογούν τα ενδιάμεσα αποτελέσματα και από τη σωστή κατασκευή των prompts σε κάθε βήμα. Έτσι, το Graph-of-Thoughts μπορεί να θεωρηθεί όχι απλώς ως μορφή ερωτήματος, αλλά ως δομή συλλογισμού που επιβάλλεται στη διαδικασία αλληλεπίδρασης με LLM — ένα είδος δυναμικού σχεδίου, σύμφωνα με το οποίο το μοντέλο επιλύει την εργασία, ενώ ο χρήστης (ή το πρόγραμμα-ελεγκτής) κατευθύνει αυτή τη διαδικασία.

Η εμφάνιση του Graph-of-Thoughts αντικατοπτρίζει την επιθυμία να καταστεί η εργασία των μεγάλων γλωσσικών μοντέλων πιο ερμηνεύσιμη και ελέγξιμη. Ορίζοντας ρητά τη δομή της λύσης, οι ερευνητές όχι μόνο επιτυγχάνουν καλύτερη ποιότητα, αλλά αποκτούν και τη δυνατότητα να αναλύουν πώς το μοντέλο κατέληξε σε ένα ή άλλο συμπέρασμα. Αυτό προσεγγίζει τις προσεγγίσεις στο NLP με κλασικές μεθόδους αλγοριθμικής αναζήτησης και προγραμματισμού, αλλά τώρα η εκτέλεση των βημάτων ανατίθεται σε ένα νευρωνικό μοντέλο. Αρκετοί εμπειρογνώμονες θεωρούν τα δομημένα prompts (αλυσίδες, δέντρα, γράφοι σκέψεων) ως πολλά υποσχόμενη κατεύθυνση, ικανή να ξεπεράσει τους περιορισμούς του «μαύρου κουτιού» σε βαθιά μοντέλα και να αυξήσει την αξιοπιστία λειτουργίας τους σε σύνθετες εργασίες.

Η μεθοδολογία Graph-of-Thoughts συνεχίζει να αναπτύσσεται ενεργά. Ο κώδικας και τα παραδείγματα για υλοποίηση GoT δημοσιεύτηκαν από τους συγγραφείς σε ανοιχτή πρόσβαση, κάτι που επέτρεψε στην κοινότητα να πειραματιστεί με τη νέα προσέγγιση. Εμφανίζονται και επεκτάσεις: για παράδειγμα, πολυτροπικές εκδόσεις του γράφου σκέψεων, που συνδυάζουν κείμενο με εικόνες και άλλα είδη δεδομένων, καθώς και απόπειρες ενσωμάτωσης των ιδεών του GoT απευθείας στην αρχιτεκτονική μοντέλων (όπως στην προαναφερθείσα εργασία Yao et al., 2023). Το 2025 δημοσιεύτηκε λεπτομερής ανασκόπηση-ταξινόμηση μεθόδων Chain-of-Thought, Tree-of-Thoughts και Graph-of-Thoughts, που συστηματοποιεί τις συσσωρευμένες γνώσεις και περιγράφει τα θεωρητικά θεμέλια τέτοιων προσεγγίσεων. Όλα αυτά μαρτυρούν το μεγάλο ενδιαφέρον της επιστημονικής κοινότητας για τη δομημένη διαχείριση της σκέψης των LLM. Το Graph-of-Thoughts έχει ήδη καταξιωθεί ως αποτελεσματικό εργαλείο για την επίλυση σύνθετων εργασιών και πιθανότατα θα αποτελέσει τη βάση για περαιτέρω καινοτομίες στον τομέα των λύσεων ΑΙ που συνδυάζουν τη δύναμη των μεγάλων γλωσσικών μοντέλων με τη διαφάνεια και τη λογική των κλασικών αλγορίθμων.

Παραπομπές

• Πρωτότυπο άρθρο «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» στο arXiv
• HTML έκδοση του πρωτότυπου άρθρου
• Ανασκόπηση «Demystifying Chains, Trees, and Graphs of Thoughts» στο arXiv
• Άρθρο «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» στο arXiv
• Multimodal Graph-of-Thoughts — άρθρο Deepgram
• LLMs Graph of Thoughts Framework — άρθρο στο Medium

Βιβλιογραφία

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.