Tree of Thoughts (ToT) (SV)

Tree of Thoughts (ToT) (Tankarnas träd) — är ett innovativt ramverk för att styra resonemanget hos stora språkmodeller (LLM), vilket gör det möjligt för dem att utföra medveten problemlösning genom systematisk utforskning av flera resonemangsvägar. Konceptet presenterades 2023 av forskare från Princeton University och Google DeepMind.

ToT är en utvidgning och generalisering av den populära tekniken "tankekedjor" (Chain of Thought, CoT). Till skillnad från CoT, där resonemanget utgörs av en enda linjär sekvens av steg, organiserar ToT tankeprocessen i form av ett träd, där varje nod är ett mellanliggande tillstånd ("tanke") och grenarna är möjliga vägar för resonemangets utveckling. Detta gör det möjligt för modellen att utforska flera alternativ parallellt, bedöma deras potential, återgå till tidigare steg när återvändsgränder upptäcks (backtracking) och göra ett medvetet val.

Arbetsprincip

Ramverket ToT organiserar processen att lösa en uppgift som en sökning i ett tillståndsträd. Dess funktion bygger på en cyklisk interaktion mellan fyra nyckelkomponenter:

1. Dekomposition av uppgiften i "tankar": Det ursprungliga problemet bryts ned i mindre deluppgifter och steg som kallas "tankar". Till skillnad från CoT, där en "tanke" bara är nästa token, är en "tanke" i ToT en semantiskt meningsfull enhet (till exempel en ekvation i en matematisk uppgift eller ett stycke i en textplan) som för processen närmre lösningen.

2. Generering av tankar: Vid varje steg genererar modellen för det aktuella tillståndet (trädnoden) flera potentiella nästa "tankar" (grenar). Två strategier används för detta:

• Sampling (sample): Modellen genererar oberoende flera fortsättningsalternativ. Passar för kreativa uppgifter där ett brett spektrum av idéer är användbart.
• Förslag (propose): Modellen genererar alternativ sekventiellt, vilket är mer effektivt för uppgifter med ett begränsat lösningsrum.

3. Bedömning av tillstånd: De genererade "tankarna" bedöms av LLM:en själv för att fastställa deras potential. Bedömningen kan vara numerisk (till exempel på en skala från 0 till 1) eller kategorisk ("säkert", "möjligen", "omöjligt"). Detta är en heuristisk funktion som styr sökningen mot lovande grenar.

4. Sökalgoritm: Klassiska sökalgoritmer används för systematisk utforskning av tankarnas träd:

• Bredden-först-sökning (BFS): Utforskar alla noder på en nivå innan den går vidare till nästa. Garanterar att den kortaste vägen hittas, men kräver mer minne.
• Djupet-först-sökning (DFS): Utforskar en gren till slutet innan den återvänder och provar en annan. Mer minnessparande och lämplig för uppgifter med ett djupt men inte alltför brett sökutrymme.

Detta ramverk efterliknar mänskligt tänkande vid problemlösning, och kombinerar intuitiv idégenerering (med hjälp av LLM) med medveten, systematisk planering och genomgång av alternativ.

Jämförelse med andra resonemangsmetoder

ToT jämfört med Chain of Thought (CoT)

ToT är en direkt generalisering av CoT. Om CoT kan beskrivas som ett träd med förgreningsbredden 1, så gör ToT det möjligt att utforska ett träd med godtycklig bredd. Detta ger viktiga fördelar:

• Utforskning av alternativ: ToT kan överväga flera lösningsvägar, medan CoT är begränsat till en enda linjär väg.
• Möjlighet till återgång: ToT gör det möjligt för modellen att "gå tillbaka" om en resonemangsgren har lett till en återvändsgränd, vilket inte är möjligt i CoT.
• Globalt planerande: ToT möjliggör strategiska val baserade på bedömning av flera framtida steg.

ToT jämfört med Self-Consistency

Self-Consistency genererar flera oberoende "tankekedjor" och väljer det vanligaste svaret genom omröstning. Denna metod förbättrar tillförlitligheten hos CoT, men precis som CoT tillåter den inte utforskning av en förgrenad lösningsstruktur. ToT kan å sin sida visa mer väsentliga förbättringar på komplexa planeringsuppgifter, där inte bara oberoende försök är viktiga utan även deras inbördes samband.

Experimentella resultat

ToT:s upphovsmän demonstrerade dess effektivitet på tre uppgifter som kräver icke-trivial planering eller sökning.

• Spelet 24: Ett matematiskt pussel där man ska bilda talet 24 från fyra givna tal med hjälp av grundläggande aritmetiska operationer. Standardpromptning med GPT-4 visade en framgångsgrad på 7,3 %, Chain of Thought — 4 %. ToT med bredden-först-sökning (b=5) uppnådde 74 % framgång, vilket är 18,5 gånger bättre än CoT.
• Kreativt skrivande: I uppgiften att generera en sammanhängande text på fyra stycken med givna avslutande meningar fick texter skapade med ToT ett genomsnittligt koherensbetyg på 7,56 av 10, medan CoT fick 6,15. I 41 av 100 jämförelser föredrog människor texten genererad av ToT, mot 21 för CoT.
• Mini-korsord (5x5): ToT fyllde i korrekt 60 % av orden, medan CoT fyllde i bara 1 %.

Begränsningar och framtida riktningar

Trots de imponerande resultaten har ramverket ToT ett antal begränsningar:

• Beräkningskomplexitet: ToT kräver betydligt mer beräkningsresurser (5–100 gånger fler tokens) än standardmetoder, på grund av behovet att generera och bedöma ett stort antal "tankar".
• Implementeringskomplexitet: Att införa ToT kräver betydande ingenjörsmässiga insatser för att skapa och konfigurera alla komponenter: tankegeneratorn, tillståndsbedömaren och sökalgoritmen.
• Beroende av bedömningskvalitet: Hela ramverkets effektivitet beror i hög grad på LLM:ens förmåga att på ett adekvat sätt bedöma mellanliggande tillstånd, vilket inte alltid är garanterat.

Framtida forskning är inriktad på att öka effektiviteten, automatisera optimeringen och integrera ToT med andra metoder, såsom Reinforcement Learning, för att skapa smartare och mer autonoma agenter.

Externa länkar

• Officiellt ToT-förvar (Tree of Thoughts) på GitHub.
• Tree of Thoughts (ToT) — guide på Prompt Engineering Guide.

Litteratur

• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.