Tree of Thoughts (ToT) (PL)

Tree of Thoughts (ToT) (Drzewo myśli) — to innowacyjny framework do zarządzania rozumowaniem dużych modeli językowych (LLM), pozwalający im na świadome rozwiązywanie zadań poprzez systematyczne eksplorowanie wielu ścieżek rozumowania. Koncepcja została przedstawiona w 2023 roku przez badaczy z Uniwersytetu Princeton i Google DeepMind.

ToT jest rozszerzeniem i uogólnieniem popularnej techniki „łańcucha myśli" (Chain of Thought, CoT). W przeciwieństwie do CoT, gdzie rozumowanie stanowi pojedynczą liniową sekwencję kroków, ToT organizuje proces myślenia w postaci drzewa, gdzie każdy węzeł to pośredni stan („myśl"), a gałęzie — możliwe kierunki rozwoju rozumowania. Pozwala to modelowi eksplorować kilka wariantów równolegle, oceniać ich perspektywiczność, cofać się do poprzednich kroków po napotkaniu ślepych zaułków (backtracking) i dokonywać świadomego wyboru.

Zasada działania

Framework ToT organizuje proces rozwiązywania zadania jako przeszukiwanie drzewa stanów. Jego działanie opiera się na cyklicznej interakcji czterech kluczowych komponentów:

1. Dekompozycja zadania na „myśli": Wyjściowy problem jest dzielony na mniejsze podzadania-kroki, nazywane „myślami". W przeciwieństwie do CoT, gdzie „myśl" to po prostu następny token, w ToT „myśl" jest semantycznie znaczącą jednostką (na przykład równanie w zadaniu matematycznym lub akapit w planie tekstu), która przybliża do rozwiązania.

2. Generowanie myśli: Na każdym kroku dla bieżącego stanu (węzła drzewa) model generuje kilka potencjalnych kolejnych „myśli" (gałęzi). Stosowane są dwie strategie:

• Próbkowanie (sample): Model niezależnie generuje kilka wariantów kontynuacji. Odpowiednie dla zadań twórczych, gdzie przydatny jest szeroki wachlarz pomysłów.
• Propozycja (propose): Model sekwencyjnie generuje warianty, co jest bardziej efektywne dla zadań z ograniczoną przestrzenią rozwiązań.

3. Ocena stanów: Wygenerowane „myśli" są oceniane przez sam LLM w celu określenia ich perspektywiczności. Ocena może być liczbowa (na przykład w skali od 0 do 1) lub kategorialna („pewnie", „możliwe", „niemożliwe"). Jest to funkcja heurystyczna, która kieruje przeszukiwanie w stronę obiecujących gałęzi.

4. Algorytm przeszukiwania: Do systematycznej eksploracji drzewa myśli stosowane są klasyczne algorytmy przeszukiwania:

• Przeszukiwanie wszerz (BFS): Bada wszystkie węzły na jednym poziomie, zanim przejdzie na następny. Gwarantuje znalezienie najkrótszej ścieżki, ale wymaga więcej pamięci.
• Przeszukiwanie w głąb (DFS): Bada jedną gałąź do końca, zanim cofnie się i spróbuje innej. Jest bardziej oszczędne pod względem pamięci i nadaje się do zadań z głęboką, lecz niezbyt szeroką przestrzenią przeszukiwania.

Ten framework naśladuje ludzkie myślenie przy rozwiązywaniu problemów, łącząc intuicyjne generowanie pomysłów (za pomocą LLM) z świadomym, systematycznym planowaniem i przeglądem wariantów.

Porównanie z innymi metodami rozumowania

ToT w porównaniu z Chain of Thought (CoT)

ToT jest bezpośrednim uogólnieniem CoT. Jeśli CoT można przedstawić jako drzewo o szerokości rozgałęzienia równej 1, to ToT pozwala eksplorować drzewo o dowolnej szerokości. Daje to kluczowe zalety:

• Eksploracja alternatyw: ToT może rozważać wiele ścieżek rozwiązania, podczas gdy CoT jest ograniczony do jednej liniowej ścieżki.
• Możliwość cofania się: ToT pozwala modelowi „wrócić wstecz", jeśli gałąź rozumowania zaszła w ślepą uliczkę, co jest niemożliwe w CoT.
• Globalne planowanie: ToT umożliwia strategiczny wybór na podstawie oceny kilku przyszłych kroków.

ToT w porównaniu z Self-Consistency

Self-Consistency generuje wiele niezależnych „łańcuchów myśli" i wybiera najczęstszą odpowiedź w drodze głosowania. Ta metoda poprawia niezawodność CoT, jednak podobnie jak CoT nie pozwala eksplorować rozgałęzionej struktury rozwiązania. ToT z kolei może wykazywać bardziej istotne ulepszenia w złożonych zadaniach planowania, gdzie ważna jest nie tylko niezależność prób, ale i ich wzajemne powiązanie.

Wyniki eksperymentalne

Autorzy ToT zademonstrowali jego skuteczność na trzech zadaniach wymagających nietrywialnego planowania lub przeszukiwania.

• Gra 24: Matematyczna łamigłówka, w której należy uzyskać liczbę 24 z czterech podanych liczb za pomocą podstawowych operacji arytmetycznych. Standardowy prompting z GPT-4 wykazał skuteczność 7,3%, Chain of Thought — 4%. ToT z przeszukiwaniem wszerz (b=5) osiągnął 74% skuteczności, co jest 18,5 razy lepiej niż CoT.
• Twórcze pisanie: W zadaniu generowania spójnego tekstu z czterech akapitów z zadanymi ostatnimi zdaniami, teksty stworzone za pomocą ToT uzyskały średnią ocenę spójności 7,56 na 10, podczas gdy CoT — 6,15. W 41 na 100 porównań ludzie preferowali tekst wygenerowany przez ToT, wobec 21 dla CoT.
• Mini-krzyżówki (5x5): ToT poprawnie wypełnił 60% słów, podczas gdy CoT — zaledwie 1%.

Ograniczenia i przyszłe kierunki

Pomimo imponujących wyników, framework ToT ma szereg ograniczeń:

• Złożoność obliczeniowa: ToT wymaga znacznie więcej zasobów obliczeniowych (5–100 razy więcej tokenów) niż standardowe metody, ze względu na konieczność generowania i oceniania wielu „myśli".
• Złożoność implementacji: Wdrożenie ToT wymaga znacznych nakładów inżynieryjnych na stworzenie i konfigurację wszystkich komponentów: generatora myśli, oceniającego stany i algorytmu przeszukiwania.
• Zależność od jakości oceny: Skuteczność całego frameworku jest silnie uzależniona od zdolności LLM do adekwatnego oceniania stanów pośrednich, co nie zawsze jest zagwarantowane.

Przyszłe badania ukierunkowane są na zwiększenie efektywności, automatyzację optymalizacji oraz integrację ToT z innymi metodami, takimi jak uczenie ze wzmacnianiem (Reinforcement Learning), w celu tworzenia bardziej inteligentnych i autonomicznych agentów.

Odnośniki

• Oficjalne repozytorium Tree of Thoughts na GitHub.
• Tree of Thoughts (ToT) — przewodnik na Prompt Engineering Guide.

Literatura

• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.