Tree of Thoughts (ToT) (HE)

Tree of Thoughts (ToT) (עץ המחשבות) — הוא framework חדשני לניהול תהליכי ההיסק של מודלי שפה גדולים (LLM), המאפשר להם לבצע פתרון בעיות מושכל באמצעות חקירה שיטתית של מסלולי היסק מרובים. הקונספט הוצג בשנת 2023 על ידי חוקרים מאוניברסיטת פרינסטון ו-Google DeepMind.

ToT הוא הרחבה והכללה של הטכניקה הפופולרית "שרשרת מחשבות" (Chain of Thought, CoT). בניגוד ל-CoT, שבה ההיסק מייצג רצף ליניארי אחד של שלבים, ToT מארגן את תהליך החשיבה בצורת עץ, כאשר כל צומת הוא מצב ביניים ("מחשבה"), וענפי העץ הם המסלולים האפשריים להמשך ההיסק. זה מאפשר למודל לחקור מספר אפשרויות במקביל, להעריך את סיכוייהן, לחזור לשלבים קודמים בעת גילוי מבואות סגורים (backtracking) ולבצע בחירה מושכלת.

עקרון הפעולה

ה-framework של ToT מארגן את תהליך פתרון הבעיה כחיפוש בעץ מצבים. פעולתו מבוססת על אינטראקציה מחזורית בין ארבעה רכיבים מרכזיים:

1. פירוק הבעיה ל"מחשבות": הבעיה המקורית מפורקת לתת-משימות קטנות יותר הנקראות "מחשבות". בניגוד ל-CoT, שבה "מחשבה" היא פשוט ה-token הבא, ב-ToT "מחשבה" היא יחידה בעלת משמעות סמנטית (למשל, משוואה בבעיה מתמטית או פסקה בתוכנית טקסט), המקרבת לפתרון.

2. יצירת מחשבות: בכל שלב, עבור המצב הנוכחי (צומת העץ) המודל מייצר מספר "מחשבות" אפשריות (ענפים). לשם כך נעשה שימוש בשתי אסטרטגיות:

• דגימה (sample): המודל מייצר באופן עצמאי מספר גרסאות המשך. מתאים למשימות יצירתיות, שבהן מגוון רחב של רעיונות הוא יתרון.
• הצעה (propose): המודל מייצר גרסאות ברצף, דבר שיעיל יותר למשימות עם מרחב פתרונות מוגבל.

3. הערכת מצבים: ה"מחשבות" שנוצרו מוערכות על ידי ה-LLM עצמו כדי לקבוע את סיכויי ההצלחה שלהן. ההערכה יכולה להיות מספרית (למשל, בסולם מ-0 עד 1) או קטגורית ("בוודאות", "אולי", "בלתי אפשרי"). זוהי פונקציה היוריסטית המכוונת את החיפוש לעבר ענפים מבטיחים.

4. אלגוריתם חיפוש: לחקירה שיטתית של עץ המחשבות נעשה שימוש באלגוריתמי חיפוש קלאסיים:

• חיפוש לרוחב (BFS): חוקר את כל הצמתים ברמה אחת לפני המעבר לרמה הבאה. מבטיח מציאת המסלול הקצר ביותר, אך דורש יותר זיכרון.
• חיפוש לעומק (DFS): חוקר ענף אחד עד סופו לפני שחוזר ומנסה ענף אחר. חסכוני יותר בזיכרון ומתאים למשימות עם מרחב חיפוש עמוק אך לא רחב מדי.

ה-framework הזה מחקה את החשיבה האנושית בפתרון בעיות, ומשלב בין יצירת רעיונות אינטואיטיבית (בעזרת LLM) לבין תכנון שיטתי ומודע ובדיקת אפשרויות.

השוואה עם שיטות היסק אחרות

ToT בהשוואה ל-Chain of Thought (CoT)

ToT הוא הכללה ישירה של CoT. אם ניתן לייצג את CoT כעץ עם רוחב הסתעפות השווה ל-1, הרי ToT מאפשר לחקור עץ ברוחב שרירותי. זה מעניק יתרונות מרכזיים:

• חקירת חלופות: ToT יכול לשקול מספר מסלולי פתרון, בעוד CoT מוגבל למסלול ליניארי אחד.
• אפשרות חזרה אחורה: ToT מאפשר למודל "לחזור אחורה" אם ענף ההיסק הגיע למבוי סתום, דבר שאינו אפשרי ב-CoT.
• תכנון גלובלי: ToT מאפשר בחירה אסטרטגית המבוססת על הערכת מספר שלבים עתידיים.

ToT בהשוואה ל-Self-Consistency

Self-Consistency מייצרת מספר "שרשראות מחשבות" עצמאיות ובוחרת את התשובה הנפוצה ביותר באמצעות הצבעה. שיטה זו משפרת את האמינות של CoT, אך כמו CoT, היא אינה מאפשרת לחקור מבנה מסועף של הפתרון. ToT, מצדו, יכול להציג שיפורים משמעותיים יותר במשימות תכנון מורכבות, שבהן חשובים לא רק הניסיונות העצמאיים אלא גם הקשר ביניהם.

תוצאות ניסויים

מחברי ToT הדגימו את יעילותו על שלוש משימות הדורשות תכנון או חיפוש לא טריוויאלי.

• משחק 24: חידה מתמטית שבה יש להגיע למספר 24 מתוך ארבעה מספרים נתונים באמצעות פעולות אריתמטיות בסיסיות. prompting רגיל עם GPT-4 הראה שיעור הצלחה של 7.3%, Chain of Thought — 4%. ToT עם חיפוש לרוחב (b=5) השיג 74% הצלחה, פי 18.5 מ-CoT.
• כתיבה יצירתית: במשימת יצירת טקסט קוהרנטי מארבע פסקאות עם משפטי סיום נתונים, טקסטים שנוצרו בעזרת ToT קיבלו ציון קוהרנטיות ממוצע של 7.56 מתוך 10, בעוד CoT — 6.15. ב-41 מתוך 100 השוואות העדיפו משתתפים אנושיים את הטקסט שנוצר על ידי ToT, לעומת 21 עבור CoT.
• תשבצים מיני (5x5): ToT מילא נכונה 60% מהמילים, בעוד CoT — רק 1%.

מגבלות וכיוונים עתידיים

למרות התוצאות המרשימות, ל-framework של ToT מספר מגבלות:

• מורכבות חישובית: ToT דורש משאבי חישוב רבים יותר באופן משמעותי (פי 5–100 יותר tokens) בהשוואה לשיטות סטנדרטיות, בשל הצורך לייצר ולהעריך מספר רב של "מחשבות".
• מורכבות יישום: הטמעת ToT דורשת מאמץ הנדסי ניכר לבניית וכיוון כל הרכיבים: מחולל המחשבות, מעריך המצבים ואלגוריתם החיפוש.
• תלות באיכות ההערכה: יעילות ה-framework כולו תלויה מאוד ביכולת ה-LLM להעריך בצורה נאותה מצבי ביניים, דבר שאינו מובטח תמיד.

מחקר עתידי מכוון לשיפור היעילות, אוטומציה של האופטימיזציה ושילוב ToT עם שיטות אחרות כגון Reinforcement Learning, ליצירת סוכנים חכמים ואוטונומיים יותר.

קישורים חיצוניים

• המאגר הרשמי של Tree of Thoughts ב-GitHub.
• Tree of Thoughts (ToT) — מדריך ב-Prompt Engineering Guide.

ספרות

• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.