Tree of Thoughts (ToT) (FA)
Tree of Thoughts (ToT) (درخت افکار) — یک چارچوب نوآورانه برای مدیریت استدلال مدلهای زبانی بزرگ (LLM) است که به آنها امکان میدهد از طریق کاوش منظم مسیرهای متعدد استدلال، به حل آگاهانه مسائل بپردازند. این مفهوم در سال ۲۰۲۳ توسط پژوهشگران دانشگاه پرینستون و Google DeepMind معرفی شد[1].
ToT گسترش و تعمیم تکنیک محبوب «زنجیره افکار» (Chain of Thought, CoT) است. برخلاف CoT که در آن استدلال یک دنباله خطی و یگانه از گامهاست، ToT فرآیند تفکر را به شکل درخت سازماندهی میکند؛ هر گره یک حالت میانی («فکر») است و شاخهها مسیرهای ممکن توسعه استدلال هستند. این امر به مدل اجازه میدهد چندین گزینه را به صورت موازی بررسی کند، آیندهنگری آنها را ارزیابی کند، در صورت برخورد با بنبست به گامهای قبلی بازگردد (backtracking) و انتخابی آگاهانه داشته باشد[1][2].
اصل کار
چارچوب ToT فرآیند حل مسئله را به عنوان جستجو در درخت حالتها سازماندهی میکند. کارکرد آن بر اساس تعامل چرخهای چهار مؤلفه کلیدی است[1]:
1. تجزیه مسئله به «افکار»: مسئله اصلی به زیرمسئلههای کوچکتر به نام «افکار» تقسیم میشود. برخلاف CoT که در آن «فکر» صرفاً توکن بعدی است، در ToT «فکر» یک واحد معنایی معنادار است (مانند معادله در یک مسئله ریاضی یا پاراگرافی در طرح متن) که به راهحل نزدیکتر میشود.
2. تولید افکار: در هر گام، مدل برای حالت جاری (گره درخت) چندین «فکر» (شاخه) بعدی بالقوه تولید میکند. برای این کار از دو راهبرد استفاده میشود:
- نمونهبرداری (sample): مدل به طور مستقل چندین ادامه ممکن تولید میکند. برای وظایف خلاقانه که طیف گستردهای از ایدهها مفید است، مناسب است.
- پیشنهاد (propose): مدل گزینهها را به صورت متوالی تولید میکند که برای وظایف با فضای راهحل محدود کارآمدتر است.
3. ارزیابی حالتها: «افکار» تولیدشده توسط خود LLM برای تعیین آیندهنگری آنها ارزیابی میشوند. ارزیابی میتواند عددی (مثلاً در مقیاس ۰ تا ۱) یا طبقهبندی («مطمئن»، «ممکن»، «غیرممکن») باشد. این یک تابع اکتشافی است که جستجو را به سمت شاخههای امیدوارکننده هدایت میکند.
4. الگوریتم جستجو: برای کاوش منظم درخت افکار از الگوریتمهای جستجوی کلاسیک استفاده میشود:
- جستجوی اول سطح (BFS): تمام گرههای یک سطح را پیش از رفتن به سطح بعدی بررسی میکند. کوتاهترین مسیر را تضمین میکند اما به حافظه بیشتری نیاز دارد.
- جستجوی اول عمق (DFS): یک شاخه را تا انتها بررسی میکند، سپس برمیگردد و شاخه دیگری را امتحان میکند. از نظر حافظه صرفهجوتر است و برای وظایف با فضای جستجوی عمیق اما نه خیلی گسترده مناسب است.
این چارچوب تفکر انسانی در حل مسائل را شبیهسازی میکند و تولید شهودی ایدهها (با کمک LLM) را با برنامهریزی آگاهانه و منظم و بررسی گزینهها ترکیب میکند[2].
مقایسه با سایر روشهای استدلال
ToT در مقایسه با Chain of Thought (CoT)
ToT تعمیم مستقیم CoT است. اگر CoT را بتوان به عنوان درختی با ضریب انشعاب برابر ۱ تصور کرد، ToT امکان کاوش درختی با ضریب دلخواه را فراهم میکند. این امر مزایای کلیدی زیر را به همراه دارد[3]:
- کاوش گزینههای جایگزین: ToT میتواند چندین مسیر حل را در نظر بگیرد، در حالی که CoT به یک مسیر خطی محدود است.
- امکان بازگشت: ToT به مدل اجازه میدهد «عقب برگردد» اگر شاخهای از استدلال به بنبست رسید، که در CoT ممکن نیست.
- برنامهریزی کلی: ToT امکان انتخاب راهبردی بر اساس ارزیابی چندین گام آینده را فراهم میکند.
ToT در مقایسه با Self-Consistency
Self-Consistency چندین «زنجیره فکر» مستقل تولید میکند و متداولترین پاسخ را از طریق رأیگیری انتخاب میکند. این روش قابلیت اطمینان CoT را بهبود میبخشد، اما مانند CoT امکان کاوش ساختار منشعب راهحل را نمیدهد. ToT در مقابل، میتواند بهبودهای چشمگیرتری در وظایف پیچیده برنامهریزی نشان دهد، جایی که نه تنها تلاشهای مستقل بلکه ارتباط میان آنها نیز اهمیت دارد[1].
نتایج تجربی
پدیدآورندگان ToT اثربخشی آن را در سه وظیفه که نیازمند برنامهریزی یا جستجوی غیرتریویال هستند نشان دادند.
- بازی ۲۴: یک معمای ریاضی که در آن باید عدد ۲۴ را از چهار عدد دادهشده با استفاده از عملیات حسابی پایه به دست آورد. پرامپتنویسی استاندارد با GPT-4 موفقیت ۷.۳٪، Chain of Thought — ۴٪ را نشان داد. ToT با جستجوی اول سطح (b=5) به موفقیت ۷۴٪ رسید که ۱۸.۵ برابر بهتر از CoT است[1][4].
- نوشتار خلاقانه: در وظیفه تولید متن منسجم از چهار پاراگراف با جملات پایانی مشخص، متون ایجادشده با ToT میانگین امتیاز انسجام ۷.۵۶ از ۱۰ را کسب کردند، در حالی که CoT — ۶.۱۵. در ۴۱ مورد از ۱۰۰ مقایسه، افراد متن تولیدشده توسط ToT را ترجیح دادند، در مقابل ۲۱ مورد برای CoT[5].
- جدول کلمات متقاطع کوچک (5x5): ToT ۶۰٪ کلمات را به درستی پر کرد، در حالی که CoT — تنها ۱٪[6].
محدودیتها و مسیرهای آینده
علیرغم نتایج چشمگیر، چارچوب ToT دارای برخی محدودیتهاست:
- پیچیدگی محاسباتی: ToT به دلیل نیاز به تولید و ارزیابی افکار متعدد، به مراتب بیشتر از روشهای استاندارد (۵ تا ۱۰۰ برابر توکن بیشتر) منابع محاسباتی نیاز دارد[1].
- پیچیدگی پیادهسازی: استقرار ToT نیازمند تلاش مهندسی قابل توجهی برای ایجاد و تنظیم تمام مؤلفهها است: مولد افکار، ارزیاب حالتها و الگوریتم جستجو.
- وابستگی به کیفیت ارزیابی: اثربخشی کل چارچوب به شدت به توانایی LLM در ارزیابی مناسب حالتهای میانی وابسته است که همیشه تضمین نمیشود.
پژوهشهای آینده در جهت افزایش کارایی، خودکارسازی بهینهسازی و یکپارچهسازی ToT با سایر روشها مانند Reinforcement Learning برای ایجاد عوامل هوشمندتر و خودمختارتر هدایت میشوند.
پیوندها
- مخزن رسمی Tree of Thoughts در GitHub.
- Tree of Thoughts (ToT) — راهنما در Prompt Engineering Guide.
منابع
- Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
- Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
- Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
- Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
- Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
- Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
- Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
- Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
یادداشتها
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Yao, S., Yu, D., Zhao, J., et al. (2023). «Tree of Thoughts: Deliberate Problem Solving with Large Language Models». arXiv. [۱]
- ↑ 2.0 2.1 «What is Tree of Thoughts Prompting?». IBM. [۲]
- ↑ «Tree of Thoughts vs Chain of Thought». Substack.
- ↑ «...18.5 times improvement...». arXiv.
- ↑ «...41 out of 100 comparisons...». OpenReview.
- ↑ «...CoT: 1% success rate...». arXiv.