Tree of Thoughts (ToT) (UR)
Tree of Thoughts (ToT) (خیالات کا درخت) — یہ بڑے لسانی ماڈلز (LLM) کے استدلال کو منظم کرنے کے لیے ایک جدید framework ہے، جو انہیں متعدد استدلالی راستوں کی منظم تلاش کے ذریعے سوچ سمجھ کر مسائل حل کرنے کی صلاحیت دیتا ہے۔ یہ تصور 2023 میں پرنسٹن یونیورسٹی اور Google DeepMind کے محققین نے پیش کیا[1]۔
ToT، مشہور تکنیک «خیالات کی زنجیر» (Chain of Thought, CoT) کی توسیع اور تعمیم ہے۔ CoT کے برعکس، جہاں استدلال ایک واحد خطی ترتیب پر مشتمل ہوتا ہے، ToT سوچنے کے عمل کو درخت کی شکل میں منظم کرتا ہے، جہاں ہر گرہ (node) ایک درمیانی حالت («خیال») ہے اور شاخیں استدلال کی ممکنہ سمتیں ہیں۔ اس سے ماڈل ایک ساتھ کئی راستے تلاش کر سکتا ہے، ان کی افادیت جانچ سکتا ہے، تعطل (backtracking) کی صورت میں پچھلے مراحل پر واپس جا سکتا ہے اور شعوری انتخاب کر سکتا ہے[1][2]۔
کام کا اصول
ToT framework مسئلے کے حل کو حالتوں کے درخت میں تلاش کی صورت میں منظم کرتا ہے۔ اس کا کام چار کلیدی اجزاء کے درمیان چکراتی تعامل پر مبنی ہے[1]:
1. مسئلے کو «خیالات» میں تقسیم کرنا: اصل مسئلے کو چھوٹے ذیلی مراحل میں تقسیم کیا جاتا ہے جنہیں «خیالات» کہا جاتا ہے۔ CoT کے برعکس، جہاں «خیال» صرف اگلا token ہے، ToT میں «خیال» ایک معنوی اعتبار سے اہم اکائی ہے (مثلاً ریاضی کے مسئلے میں کوئی مساوات یا متن کے منصوبے میں کوئی پیراگراف) جو حل کی طرف قدم بڑھاتی ہے۔
2. خیالات کی پیداوار: ہر مرحلے پر، درخت کی موجودہ حالت (گرہ) کے لیے ماڈل کئی ممکنہ اگلے «خیالات» (شاخیں) تیار کرتا ہے۔ اس کے لیے دو حکمتِ عملی استعمال ہوتی ہیں:
- نمونہ لینا (sample): ماڈل آزادانہ طور پر کئی جاری راستے تیار کرتا ہے۔ تخلیقی کاموں کے لیے موزوں ہے جہاں خیالات کا وسیع دائرہ مفید ہو۔
- تجویز دینا (propose): ماڈل یکے بعد دیگرے راستے تیار کرتا ہے، جو محدود حل کی جگہ رکھنے والے کاموں کے لیے زیادہ مؤثر ہے۔
3. حالتوں کا جائزہ: تیار کردہ «خیالات» کو LLM خود ان کی افادیت جانچنے کے لیے پرکھتا ہے۔ جائزہ عددی (مثلاً 0 سے 1 کے پیمانے پر) یا زمروں میں («یقینی»، «ممکن»، «ناممکن») ہو سکتا ہے۔ یہ ایک ہیورسٹک فنکشن ہے جو تلاش کو امید افزا شاخوں کی طرف رہنمائی کرتا ہے۔
4. تلاش کا الگورتھم: خیالات کے درخت کی منظم تلاش کے لیے کلاسیک تلاشی الگورتھم استعمال کیے جاتے ہیں:
- چوڑائی میں تلاش (BFS): اگلے درجے پر جانے سے پہلے ایک ہی سطح کی تمام گرہوں کا جائزہ لیتا ہے۔ مختصر ترین راستہ تلاش کی ضمانت دیتا ہے لیکن زیادہ میموری درکار ہے۔
- گہرائی میں تلاش (DFS): واپس آنے اور دوسری شاخ آزمانے سے پہلے ایک شاخ کو آخر تک جانچتا ہے۔ میموری کے لحاظ سے کفایتی ہے اور ایسے کاموں کے لیے موزوں ہے جن کی تلاش کی جگہ گہری لیکن بہت چوڑی نہ ہو۔
یہ framework مسائل حل کرنے کی انسانی سوچ کی نقل کرتا ہے، جس میں خیالات کی بدیہی پیداوار (LLM کی مدد سے) کو شعوری، منظم منصوبہ بندی اور راستوں کے انتخاب کے ساتھ ملایا جاتا ہے[2]۔
دیگر استدلالی طریقوں سے موازنہ
Chain of Thought (CoT) کے ساتھ ToT کا موازنہ
ToT، CoT کی براہِ راست تعمیم ہے۔ اگر CoT کو ایسے درخت کی طرح دیکھا جائے جس کی شاخ بندی کی چوڑائی 1 ہو، تو ToT من مانی چوڑائی والے درخت کی تلاش ممکن بناتا ہے۔ اس سے اہم فوائد حاصل ہوتے ہیں[3]:
- متبادل راستوں کی تلاش: ToT حل کے کئی راستوں پر غور کر سکتا ہے، جبکہ CoT ایک خطی راستے تک محدود ہے۔
- واپسی کی سہولت: ToT ماڈل کو «پیچھے لوٹنے» کی اجازت دیتا ہے اگر استدلال کی کوئی شاخ تعطل میں پھنس جائے، جو CoT میں ممکن نہیں۔
- عمومی منصوبہ بندی: ToT کئی آئندہ مراحل کے جائزے کی بنیاد پر حکمتِ عملی انتخاب ممکن بناتا ہے۔
Self-Consistency کے ساتھ ToT کا موازنہ
Self-Consistency کئی آزاد «خیالات کی زنجیریں» تیار کرتا ہے اور ووٹنگ کے ذریعے سب سے عام جواب کا انتخاب کرتا ہے۔ یہ طریقہ CoT کی قابلِ اعتماد صلاحیت بہتر بناتا ہے، لیکن CoT کی طرح یہ بھی حل کی شاخ دار ساخت کی تلاش نہیں کر سکتا۔ ToT، اس کے برعکس، پیچیدہ منصوبہ بندی کے کاموں میں زیادہ نمایاں بہتری دکھا سکتا ہے جہاں نہ صرف آزاد کوششیں بلکہ ان کا باہمی تعلق بھی اہم ہو[1]۔
تجرباتی نتائج
ToT کے مصنفین نے تین ایسے کاموں میں اس کی افادیت ثابت کی جن میں غیر معمولی منصوبہ بندی یا تلاش درکار تھی۔
- گیم 24: ایک ریاضی پہیلی جہاں چار دیے گئے اعداد سے بنیادی حسابی عملوں کے ذریعے 24 حاصل کرنا ہوتا ہے۔ GPT-4 کے ساتھ معیاری prompting نے 7.3% کامیابی دکھائی، Chain of Thought نے 4%۔ چوڑائی میں تلاش (b=5) کے ساتھ ToT نے 74% کامیابی حاصل کی، جو CoT سے 18.5 گنا بہتر ہے[1][4]۔
- تخلیقی تحریر: چار پیراگرافوں پر مشتمل مربوط متن تیار کرنے کے کام میں جہاں آخری جملے مقرر تھے، ToT کی مدد سے تیار کردہ متن کو 10 میں سے اوسطاً 7.56 ربط اسکور ملا، جبکہ CoT کو 6.15۔ 100 موازنوں میں سے 41 میں لوگوں نے ToT سے تیار متن کو ترجیح دی جبکہ CoT کے لیے یہ تعداد 21 تھی[5]۔
- منی کراس ورڈز (5x5): ToT نے 60% الفاظ درست بھرے، جبکہ CoT نے صرف 1%[6]۔
حدود اور مستقبل کی سمتیں
نمایاں نتائج کے باوجود، ToT framework میں کچھ حدود موجود ہیں:
- حسابی پیچیدگی: ToT کو معیاری طریقوں کی نسبت نمایاں طور پر زیادہ حسابی وسائل (5 سے 100 گنا زیادہ token) درکار ہوتے ہیں، کیونکہ کئی «خیالات» تیار کرنے اور ان کا جائزہ لینے کی ضرورت ہوتی ہے[1]۔
- نفاذ کی پیچیدگی: ToT کا نفاذ تمام اجزاء — خیالات کا تخلیق کار، حالتوں کا جائزہ لینے والا اور تلاش کا الگورتھم — بنانے اور ترتیب دینے کے لیے کافی انجینیری محنت کا تقاضا کرتا ہے۔
- جائزے کے معیار پر انحصار: پورے framework کی کارکردگی اس بات پر زیادہ منحصر ہے کہ LLM درمیانی حالتوں کو کتنی مناسب طرح جانچتا ہے، جس کی ہمیشہ ضمانت نہیں ہوتی۔
مستقبل کی تحقیق کارکردگی بڑھانے، بہتری کو خودکار بنانے اور ToT کو Reinforcement Learning جیسے دیگر طریقوں کے ساتھ ملانے پر مرکوز ہے تاکہ زیادہ ذہین اور خودمختار ایجنٹ تیار کیے جا سکیں۔
روابط
- GitHub پر Tree of Thoughts کا سرکاری ذخیرہ (repository)۔
- Tree of Thoughts (ToT) — Prompt Engineering Guide پر رہنما کتاب۔
کتابیات
- Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
- Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
- Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
- Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
- Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
- Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
- Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
- Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
حواشی
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Yao, S., Yu, D., Zhao, J., et al. (2023). «Tree of Thoughts: Deliberate Problem Solving with Large Language Models». arXiv. [1]
- ↑ 2.0 2.1 «What is Tree of Thoughts Prompting?». IBM. [2]
- ↑ «Tree of Thoughts vs Chain of Thought». Substack.
- ↑ «...18.5 times improvement...». arXiv.
- ↑ «...41 out of 100 comparisons...». OpenReview.
- ↑ «...CoT: 1% success rate...». arXiv.