Tree of Thoughts (ToT) (IT)

Tree of Thoughts (ToT) (Albero dei Pensieri) — è un framework innovativo per la gestione del ragionamento dei grandi modelli linguistici (LLM), che consente loro di eseguire la risoluzione consapevole dei problemi attraverso l'esplorazione sistematica di molteplici percorsi di ragionamento. Il concetto è stato presentato nel 2023 da ricercatori dell'Università di Princeton e di Google DeepMind.

ToT è un'estensione e una generalizzazione della popolare tecnica della «catena di pensieri» (Chain of Thought, CoT). A differenza di CoT, dove il ragionamento consiste in un'unica sequenza lineare di passi, ToT organizza il processo di pensiero sotto forma di albero, dove ogni nodo è uno stato intermedio («pensiero»), e i rami sono i possibili percorsi di sviluppo del ragionamento. Ciò consente al modello di esplorare diverse varianti in parallelo, valutarne la prospettiva, tornare ai passi precedenti in caso di vicoli ciechi (backtracking) e compiere scelte consapevoli.

Principio di funzionamento

Il framework ToT organizza il processo di risoluzione di un problema come una ricerca su un albero degli stati. Il suo funzionamento si basa sull'interazione ciclica di quattro componenti chiave:

1. Scomposizione del problema in «pensieri»: Il problema originale viene suddiviso in sottoproblemi-passi più piccoli, chiamati «pensieri». A differenza di CoT, dove un «pensiero» è semplicemente il token successivo, in ToT il «pensiero» è un'unità semanticamente significativa (ad esempio, un'equazione in un problema matematico o un paragrafo nel piano di un testo), che avvicina alla soluzione.

2. Generazione dei pensieri: A ogni passo, per lo stato corrente (nodo dell'albero), il modello genera diversi potenziali «pensieri» successivi (rami). A tale scopo vengono utilizzate due strategie:

• Campionamento (sample): Il modello genera in modo indipendente diverse varianti di continuazione. Adatto a compiti creativi, dove è utile un ampio spettro di idee.
• Proposta (propose): Il modello genera le varianti in modo sequenziale, il che è più efficiente per compiti con uno spazio di soluzioni limitato.

3. Valutazione degli stati: I «pensieri» generati vengono valutati dall'LLM stesso per determinarne la prospettiva. La valutazione può essere numerica (ad esempio, su una scala da 0 a 1) o categoriale («certamente», «forse», «impossibile»). Si tratta di una funzione euristica che orienta la ricerca verso i rami più promettenti.

4. Algoritmo di ricerca: Per l'esplorazione sistematica dell'albero dei pensieri vengono utilizzati algoritmi di ricerca classici:

• Ricerca in ampiezza (BFS): Esplora tutti i nodi di un livello prima di passare al successivo. Garantisce il ritrovamento del percorso più breve, ma richiede più memoria.
• Ricerca in profondità (DFS): Esplora un ramo fino alla fine prima di tornare indietro e provarne un altro. È più economica in termini di memoria e adatta a problemi con uno spazio di ricerca profondo ma non eccessivamente ampio.

Questo framework imita il pensiero umano nella risoluzione dei problemi, combinando la generazione intuitiva di idee (tramite LLM) con una pianificazione consapevole e sistematica e la valutazione delle varianti.

Confronto con altri metodi di ragionamento

ToT in confronto con Chain of Thought (CoT)

ToT è una generalizzazione diretta di CoT. Se CoT può essere rappresentato come un albero con fattore di ramificazione pari a 1, ToT consente di esplorare un albero con larghezza arbitraria. Ciò offre vantaggi chiave:

• Esplorazione delle alternative: ToT può considerare diversi percorsi di soluzione, mentre CoT è limitato a un unico percorso lineare.
• Possibilità di backtracking: ToT consente al modello di «tornare indietro» se un ramo del ragionamento si è rivelato un vicolo cieco, cosa impossibile in CoT.
• Pianificazione globale: ToT consente di compiere scelte strategiche sulla base della valutazione di diversi passi futuri.

ToT in confronto con Self-Consistency

Self-Consistency genera molteplici «catene di pensieri» indipendenti e seleziona la risposta più frequente tramite votazione. Questo metodo migliora l'affidabilità di CoT, ma, come CoT, non consente di esplorare la struttura ramificata della soluzione. ToT, a sua volta, può mostrare miglioramenti più sostanziali su compiti di pianificazione complessa, dove non contano solo i tentativi indipendenti, ma anche la loro interconnessione.

Risultati sperimentali

Gli autori di ToT ne hanno dimostrato l'efficacia su tre compiti che richiedono una pianificazione o una ricerca non banale.

• Gioco del 24: Un rompicapo matematico in cui bisogna ottenere il numero 24 da quattro numeri dati utilizzando operazioni aritmetiche di base. Il prompting standard con GPT-4 ha mostrato un tasso di successo del 7,3%, Chain of Thought del 4%. ToT con ricerca in ampiezza (b=5) ha raggiunto il 74% di successo, ovvero 18,5 volte meglio di CoT.
• Scrittura creativa: Nel compito di generazione di un testo coerente in quattro paragrafi con ultime frasi prestabilite, i testi creati con ToT hanno ottenuto un punteggio medio di coerenza di 7,56 su 10, mentre quelli con CoT di 6,15. In 41 confronti su 100 le persone hanno preferito il testo generato da ToT, contro 21 per CoT.
• Miniparole crociate (5x5): ToT ha compilato correttamente il 60% delle parole, mentre CoT solo l'1%.

Limitazioni e direzioni future

Nonostante i risultati notevoli, il framework ToT presenta alcune limitazioni:

• Complessità computazionale: ToT richiede risorse computazionali significativamente maggiori (da 5 a 100 volte più token) rispetto ai metodi standard, a causa della necessità di generare e valutare numerosi «pensieri».
• Complessità di implementazione: L'adozione di ToT richiede un considerevole sforzo ingegneristico per creare e configurare tutti i componenti: il generatore di pensieri, il valutatore degli stati e l'algoritmo di ricerca.
• Dipendenza dalla qualità della valutazione: L'efficacia dell'intero framework dipende fortemente dalla capacità dell'LLM di valutare adeguatamente gli stati intermedi, il che non è sempre garantito.

Le ricerche future sono orientate verso il miglioramento dell'efficienza, l'automatizzazione dell'ottimizzazione e l'integrazione di ToT con altri metodi, come il Reinforcement Learning, per la creazione di agenti più intelligenti e autonomi.

Riferimenti

• Repository ufficiale di Tree of Thoughts su GitHub.
• Tree of Thoughts (ToT) — guida su Prompt Engineering Guide.

Bibliografia

• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.