---
title: "Tree of Thoughts (ToT)"
source: "https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)"
wiki: "systems-analysis.info/wiki"
article: "Tree_of_Thoughts_(ToT)"
language: "ru"
categories:
  - "Категория:Prompt инжиниринг"
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 199
wiki_created_at: 2026-09-06T22:05:17Z
wiki_modified_at: 2026-09-06T22:05:17Z
downloaded_at: 2026-09-07T22:18:16Z
---

# Tree of Thoughts (ToT)

**Tree of Thoughts (ToT)** (**Дерево мыслей**) — это инновационный фреймворк для управления рассуждениями [больших языковых моделей (LLM)](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели"), позволяющий им выполнять осознанное решение задач путём систематического исследования множества путей рассуждения. Концепция была представлена в 2023 году исследователями из Принстонского университета и Google DeepMind<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)</sup>.

ToT является расширением и обобщением популярной техники «цепочки мыслей» (Chain of Thought, CoT). В отличие от CoT, где рассуждение представляет собой единую линейную последовательность шагов, ToT организует процесс мышления в виде **дерева**, где каждый узел — это промежуточное состояние («мысль»), а ветви — возможные пути развития рассуждения. Это позволяет модели исследовать несколько вариантов параллельно, оценивать их перспективность, возвращаться к предыдущим шагам при обнаружении тупиков (*backtracking*) и делать осознанный выбор<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)[\[2\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-ibm_tot-2)</sup>.

## Принцип работы

Фреймворк ToT организует процесс решения задачи как поиск по дереву состояний. Его работа основана на циклическом взаимодействии четырёх ключевых компонентов<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)</sup>:

1\. **Декомпозиция задачи на «мысли»**: Исходная проблема разбивается на более мелкие подзадачи-шаги, называемые «мыслями». В отличие от CoT, где «мысль» — это просто следующий токен, в ToT «мысль» является семантически значимой единицей (например, уравнение в математической задаче или абзац в плане текста), которая приближает к решению.

2\. **Генерация мыслей**: На каждом шаге для текущего состояния (узла дерева) модель генерирует несколько потенциальных следующих «мыслей» (ветвей). Для этого используются две стратегии:

- **Сэмплирование (sample)**: Модель независимо генерирует несколько вариантов продолжения. Подходит для творческих задач, где полезен широкий спектр идей.
- **Предложение (propose)**: Модель последовательно генерирует варианты, что более эффективно для задач с ограниченным пространством решений.

3\. **Оценка состояний**: Сгенерированные «мысли» оцениваются самой LLM для определения их перспективности. Оценка может быть числовой (например, по шкале от 0 до 1) или категориальной («уверенно», «возможно», «невозможно»). Это эвристическая функция, которая направляет поиск в сторону многообещающих ветвей.

4\. **Алгоритм поиска**: Для систематического исследования дерева мыслей используются классические алгоритмы поиска:

- **Поиск в ширину (BFS)**: Исследует все узлы на одном уровне, прежде чем перейти на следующий. Гарантирует нахождение кратчайшего пути, но требует больше памяти.
- **Поиск в глубину (DFS)**: Исследует одну ветвь до конца, прежде чем вернуться и попробовать другую. Более экономичен по памяти и подходит для задач с глубоким, но не слишком широким пространством поиска.

Этот фреймворк имитирует человеческое мышление при решении проблем, сочетая интуитивную генерацию идей (с помощью LLM) с осознанным, систематическим планированием и перебором вариантов<sup>[\[2\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-ibm_tot-2)</sup>.

## Сравнение с другими методами рассуждения

### ToT в сравнении с Chain of Thought (CoT)

ToT является прямым обобщением CoT. Если CoT можно представить как дерево с шириной ветвления, равной 1, то ToT позволяет исследовать дерево с произвольной шириной. Это даёт ключевые преимущества<sup>[\[3\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-substack_tot_vs_cot-3)</sup>:

- **Исследование альтернатив**: ToT может рассматривать несколько путей решения, в то время как CoT ограничен одним линейным путём.
- **Возможность отката**: ToT позволяет модели «вернуться назад», если ветвь рассуждений зашла в тупик, что невозможно в CoT.
- **Глобальное планирование**: ToT позволяет делать стратегический выбор на основе оценки нескольких будущих шагов.

### ToT в сравнении с Self-Consistency

Self-Consistency генерирует множество независимых «цепочек мыслей» и выбирает наиболее частый ответ путём голосования. Этот метод улучшает надёжность CoT, но, как и CoT, он не позволяет исследовать разветвлённую структуру решения. ToT, в свою очередь, может показывать более существенные улучшения на сложных задачах планирования, где важны не только независимые попытки, но и их взаимосвязь<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)</sup>.

## Экспериментальные результаты

Авторы ToT продемонстрировали его эффективность на трёх задачах, требующих нетривиального планирования или поиска.

- **Игра 24**: Математическая головоломка, где нужно получить число 24 из четырёх заданных чисел с помощью базовых арифметических операций. Стандартный промптинг с GPT-4 показал успешность **7.3%**, Chain of Thought — **4%**. ToT с поиском в ширину (b=5) достиг **74%** успешности, что в 18.5 раз лучше, чем CoT<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)[\[4\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-arxiv_plus_5_1-4)</sup>.
- **Творческое письмо**: В задаче генерации связного текста из четырёх абзацев с заданными последними предложениями тексты, созданные с помощью ToT, получили средний балл когерентности **7.56** из 10, в то время как CoT — **6.15**. В 41 из 100 сравнений люди предпочли текст, сгенерированный ToT, против 21 для CoT<sup>[\[5\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-openreview_plus_3_1-5)</sup>.
- **Мини-кроссворды (5x5)**: ToT правильно заполнил **60%** слов, тогда как CoT — всего **1%**<sup>[\[6\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-arxiv_plus_4_1-6)</sup>.

## Ограничения и будущие направления

Несмотря на впечатляющие результаты, фреймворк ToT имеет ряд ограничений:

- **Вычислительная сложность**: ToT требует значительно больше вычислительных ресурсов (в 5–100 раз больше [токенов](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен")), чем стандартные методы, из-за необходимости генерировать и оценивать множество «мыслей»<sup>[\[1\]](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_note-yao2023-1)</sup>.
- **Сложность реализации**: Внедрение ToT требует значительных инженерных усилий для создания и настройки всех компонентов: генератора мыслей, оценщика состояний и алгоритма поиска.
- **Зависимость от качества оценки**: Эффективность всего фреймворка сильно зависит от способности LLM адекватно оценивать промежуточные состояния, что не всегда гарантировано.

Будущие исследования направлены на повышение эффективности, автоматизацию оптимизации и интеграцию ToT с другими методами, такими как обучение с подкреплением, для создания более умных и автономных [агентов](https://systems-analysis.info/wiki/AI-%D0%B0%D0%B3%D0%B5%D0%BD%D1%82 "AI-агент").

## См. также

- [Graph-of-Thoughts](https://systems-analysis.info/wiki/Graph-of-Thoughts "Graph-of-Thoughts")
- [Chain-of-Thought Prompting](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting")
- [Основные приёмы Prompt Engineering](https://systems-analysis.info/wiki/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D1%91%D0%BC%D1%8B_Prompt_Engineering "Основные приёмы Prompt Engineering")
- [Program of Thoughts Prompting](https://systems-analysis.info/wiki/Program_of_Thoughts_Prompting "Program of Thoughts Prompting")
- [Agentic workflows](https://systems-analysis.info/wiki/Agentic_workflows "Agentic workflows")

## Ссылки

- <a href="https://github.com/princeton-nlp/tree-of-thought-llm" class="external text" rel="nofollow">Официальный репозиторий Tree of Thoughts</a> на GitHub.
- <a href="https://www.promptingguide.ai/techniques/tot" class="external text" rel="nofollow">Tree of Thoughts (ToT)</a> — руководство на Prompt Engineering Guide.

## Литература

- Yao, S. et al. (2023). *Tree of Thoughts: Deliberate Problem Solving with Large Language Models*. <a href="https://arxiv.org/abs/2305.10601" class="external text" rel="nofollow">arXiv:2305.10601</a>.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. <a href="https://arxiv.org/abs/2201.11903" class="external text" rel="nofollow">arXiv:2201.11903</a>.
- Wang, X. et al. (2022). *Self-Consistency Improves Chain of Thought Reasoning in Language Models*. <a href="https://arxiv.org/abs/2203.11171" class="external text" rel="nofollow">arXiv:2203.11171</a>.
- Kojima, T. et al. (2022). *Large Language Models are Zero-Shot Reasoners*. <a href="https://arxiv.org/abs/2205.11916" class="external text" rel="nofollow">arXiv:2205.11916</a>.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. <a href="https://arxiv.org/abs/2210.03493" class="external text" rel="nofollow">arXiv:2210.03493</a>.
- Lyu, Q. et al. (2023). *Faithful Chain-of-Thought Reasoning*. <a href="https://arxiv.org/abs/2301.13379" class="external text" rel="nofollow">arXiv:2301.13379</a>.
- Ling, Z. et al. (2023). *Deductive Verification of Chain of Thought Reasoning*. <a href="https://arxiv.org/abs/2306.03872" class="external text" rel="nofollow">arXiv:2306.03872</a>.
- Yao, S. et al. (2022). *ReAct: Synergizing Reasoning and Acting in Language Models*. <a href="https://arxiv.org/abs/2210.03629" class="external text" rel="nofollow">arXiv:2210.03629</a>.
- Besta, M. et al. (2023). *Graph of Thoughts: Solving Elaborate Problems with Large Language Models*. <a href="https://arxiv.org/abs/2308.09687" class="external text" rel="nofollow">arXiv:2308.09687</a>.
- Lightman, H. et al. (2023). *Let’s Verify Step by Step*. <a href="https://arxiv.org/abs/2305.20050" class="external text" rel="nofollow">arXiv:2305.20050</a>.
- Lanham, T. et al. (2023). *Measuring Faithfulness in Chain-of-Thought Reasoning*. <a href="https://arxiv.org/abs/2307.13702" class="external text" rel="nofollow">arXiv:2307.13702</a>.
- Yang, B. et al. (2025). *Hallucination Detection in Large Language Models with Metamorphic Relations*. <a href="https://arxiv.org/abs/2502.15844" class="external text" rel="nofollow">arXiv:2502.15844</a>.

## Примечания

1.  <span id="cite_note-yao2023-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-3)</sup> <sup>[1,4](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-4)</sup> <sup>[1,5](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-yao2023_1-5)</sup> Yao, S., Yu, D., Zhao, J., et al. (2023). «Tree of Thoughts: Deliberate Problem Solving with Large Language Models». *arXiv*. <a href="https://arxiv.org/abs/2305.10601" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-ibm_tot-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-ibm_tot_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-ibm_tot_2-1)</sup> «What is Tree of Thoughts Prompting?». *IBM*. <a href="https://www.ibm.com/think/topics/tree-of-thoughts" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-substack_tot_vs_cot-3">[↑](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-substack_tot_vs_cot_3-0) «Tree of Thoughts vs Chain of Thought». *Substack*.</span>
4.  <span id="cite_note-arxiv_plus_5_1-4">[↑](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-arxiv_plus_5_1_4-0) «...18.5 times improvement...». *arXiv*.</span>
5.  <span id="cite_note-openreview_plus_3_1-5">[↑](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-openreview_plus_3_1_5-0) «...41 out of 100 comparisons...». *OpenReview*.</span>
6.  <span id="cite_note-arxiv_plus_4_1-6">[↑](https://systems-analysis.info/wiki/Tree_of_Thoughts_(ToT)#cite_ref-arxiv_plus_4_1_6-0) «...CoT: 1% success rate...». *arXiv*.</span>