Tree of Thoughts (ToT) (HI)
Tree of Thoughts (ToT) (विचारों का वृक्ष) — यह बड़े भाषा मॉडलों (LLM) के तर्क-प्रबंधन के लिए एक अभिनव framework है, जो उन्हें कई तर्क-मार्गों की व्यवस्थित खोज के माध्यम से सोच-समझकर समस्या समाधान करने में सक्षम बनाता है। यह अवधारणा 2023 में प्रिंसटन विश्वविद्यालय और Google DeepMind के शोधकर्ताओं द्वारा प्रस्तुत की गई थी[1]।
ToT, लोकप्रिय Chain of Thought (CoT) तकनीक का विस्तार और सामान्यीकरण है। CoT में तर्क एकल रैखिक चरणों की अनुक्रम के रूप में होता है, जबकि ToT विचार-प्रक्रिया को एक वृक्ष के रूप में व्यवस्थित करता है, जहाँ प्रत्येक नोड एक मध्यवर्ती अवस्था («विचार») है और शाखाएँ तर्क के संभावित विकास-पथ हैं। इससे मॉडल कई विकल्पों को समानांतर में खोज सकता है, उनकी संभावनाओं का मूल्यांकन कर सकता है, गतिरोध पाए जाने पर पिछले चरणों पर वापस लौट सकता है (backtracking) और सोच-समझकर चुनाव कर सकता है[1][2]।
कार्य-सिद्धांत
ToT framework समस्या-समाधान की प्रक्रिया को अवस्था-वृक्ष पर खोज के रूप में व्यवस्थित करता है। इसका कार्य चार प्रमुख घटकों की चक्रीय अंतःक्रिया पर आधारित है[1]:
1. समस्या का «विचारों» में विभाजन: मूल समस्या को छोटे उप-कार्य-चरणों में विभाजित किया जाता है, जिन्हें «विचार» कहते हैं। CoT में «विचार» केवल अगला token होता है, जबकि ToT में «विचार» एक अर्थपूर्ण इकाई होती है (जैसे गणित की समस्या में एक समीकरण या पाठ-योजना में एक अनुच्छेद), जो समाधान के निकट ले जाती है।
2. विचारों की उत्पत्ति: प्रत्येक चरण पर वर्तमान अवस्था (वृक्ष के नोड) के लिए मॉडल कई संभावित अगले «विचार» (शाखाएँ) उत्पन्न करता है। इसके लिए दो रणनीतियाँ उपयोग की जाती हैं:
- Sampling (sample): मॉडल स्वतंत्र रूप से कई निरंतरता के विकल्प उत्पन्न करता है। यह रचनात्मक कार्यों के लिए उपयुक्त है, जहाँ विचारों की विस्तृत श्रृंखला उपयोगी होती है।
- Proposal (propose): मॉडल क्रमिक रूप से विकल्प उत्पन्न करता है, जो सीमित समाधान-स्थान वाली समस्याओं के लिए अधिक प्रभावी है।
3. अवस्थाओं का मूल्यांकन: उत्पन्न «विचारों» की उनकी संभावना निर्धारित करने के लिए स्वयं LLM द्वारा मूल्यांकन किया जाता है। मूल्यांकन संख्यात्मक (जैसे 0 से 1 के पैमाने पर) या श्रेणीगत («निश्चित», «संभव», «असंभव») हो सकता है। यह एक heuristic फ़ंक्शन है जो खोज को आशाजनक शाखाओं की ओर निर्देशित करता है।
4. खोज एल्गोरिदम: विचारों के वृक्ष की व्यवस्थित खोज के लिए क्लासिक खोज एल्गोरिदम उपयोग किए जाते हैं:
- चौड़ाई-पहले खोज (BFS): अगले स्तर पर जाने से पहले एक स्तर के सभी नोड्स का पता लगाता है। सबसे छोटा रास्ता खोजने की गारंटी देता है, लेकिन अधिक मेमोरी की आवश्यकता होती है।
- गहराई-पहले खोज (DFS): वापस लौटने और दूसरी शाखा आज़माने से पहले एक शाखा का अंत तक पता लगाता है। मेमोरी के दृष्टि से अधिक किफ़ायती और गहरे परंतु अत्यधिक विस्तृत न होने वाले खोज-स्थान की समस्याओं के लिए उपयुक्त।
यह framework समस्या-समाधान में मानवीय चिंतन की नकल करता है, जहाँ LLM की सहायता से सहज विचार-उत्पत्ति को सोच-समझकर किए गए व्यवस्थित नियोजन और विकल्पों की खोज के साथ जोड़ा जाता है[2]।
अन्य तर्क-पद्धतियों से तुलना
Chain of Thought (CoT) की तुलना में ToT
ToT, CoT का प्रत्यक्ष सामान्यीकरण है। यदि CoT को शाखा-चौड़ाई 1 वाले वृक्ष के रूप में देखा जाए, तो ToT मनमानी चौड़ाई वाले वृक्ष की खोज की अनुमति देता है। इससे प्रमुख लाभ मिलते हैं[3]:
- विकल्पों की खोज: ToT कई समाधान-पथों पर विचार कर सकता है, जबकि CoT एकल रैखिक पथ तक सीमित है।
- वापसी की संभावना: यदि तर्क की कोई शाखा गतिरोध में पहुँच जाए, तो ToT मॉडल को «वापस लौटने» की अनुमति देता है, जो CoT में संभव नहीं है।
- वैश्विक नियोजन: ToT कई भावी चरणों के मूल्यांकन के आधार पर रणनीतिक चुनाव करने में सक्षम बनाता है।
Self-Consistency की तुलना में ToT
Self-Consistency कई स्वतंत्र «chain of thought» उत्पन्न करती है और मतदान द्वारा सबसे अधिक बार आने वाला उत्तर चुनती है। यह विधि CoT की विश्वसनीयता में सुधार करती है, लेकिन CoT की तरह यह समाधान की शाखादार संरचना की खोज की अनुमति नहीं देती। ToT, जटिल नियोजन कार्यों में अधिक महत्वपूर्ण सुधार दिखा सकता है, जहाँ न केवल स्वतंत्र प्रयास बल्कि उनकी परस्पर संबद्धता भी महत्वपूर्ण होती है[1]।
प्रायोगिक परिणाम
ToT के लेखकों ने तीन ऐसी समस्याओं पर इसकी प्रभावशीलता प्रदर्शित की, जिनके लिए गैर-तुच्छ नियोजन या खोज आवश्यक है।
- Game of 24: एक गणितीय पहेली जिसमें चार दिए गए अंकों से बुनियादी अंकगणितीय संक्रियाओं की सहायता से 24 बनाना होता है। GPT-4 के साथ मानक prompting ने 7.3% सफलता दर दिखाई, Chain of Thought ने — 4%। चौड़ाई-पहले खोज (b=5) के साथ ToT ने 74% सफलता दर प्राप्त की, जो CoT से 18.5 गुना बेहतर है[1][4]।
- रचनात्मक लेखन: दिए गए अंतिम वाक्यों के साथ चार अनुच्छेदों में सुसंगत पाठ उत्पन्न करने के कार्य में, ToT की सहायता से बनाए गए पाठों को 10 में से औसतन 7.56 coherence अंक मिले, जबकि CoT को — 6.15। 100 तुलनाओं में से 41 में लोगों ने ToT द्वारा उत्पन्न पाठ को प्राथमिकता दी, CoT के लिए 21 की तुलना में[5]।
- Mini Crosswords (5x5): ToT ने 60% शब्द सही भरे, जबकि CoT ने केवल 1%[6]।
सीमाएँ और भावी दिशाएँ
प्रभावशाली परिणामों के बावजूद, ToT framework में कई सीमाएँ हैं:
- कम्प्यूटेशनल जटिलता: ToT को मानक विधियों की तुलना में काफी अधिक कम्प्यूटेशनल संसाधनों की आवश्यकता होती है (5–100 गुना अधिक token), क्योंकि अनेक «विचारों» को उत्पन्न और मूल्यांकन करना आवश्यक होता है[1]।
- कार्यान्वयन की जटिलता: ToT को लागू करने के लिए सभी घटकों — विचार-जनरेटर, अवस्था-मूल्यांकक और खोज-एल्गोरिदम — के निर्माण और समायोजन हेतु महत्वपूर्ण इंजीनियरिंग प्रयास आवश्यक हैं।
- मूल्यांकन गुणवत्ता पर निर्भरता: पूरे framework की प्रभावशीलता LLM की मध्यवर्ती अवस्थाओं का पर्याप्त मूल्यांकन करने की क्षमता पर अत्यधिक निर्भर करती है, जो सदैव सुनिश्चित नहीं होती।
भावी शोध दक्षता बढ़ाने, अनुकूलन को स्वचालित करने और ToT को Reinforcement Learning जैसी अन्य विधियों के साथ एकीकृत करने पर केंद्रित है, ताकि अधिक बुद्धिमान और स्वायत्त agents बनाए जा सकें।
संदर्भ
- GitHub पर Tree of Thoughts का आधिकारिक repository।
- Tree of Thoughts (ToT) — Prompt Engineering Guide पर मार्गदर्शिका।
साहित्य
- Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
- Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
- Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
- Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
- Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
- Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
- Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
- Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
टिप्पणियाँ
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Yao, S., Yu, D., Zhao, J., et al. (2023). «Tree of Thoughts: Deliberate Problem Solving with Large Language Models». arXiv. [१]
- ↑ 2.0 2.1 «What is Tree of Thoughts Prompting?». IBM. [२]
- ↑ «Tree of Thoughts vs Chain of Thought». Substack.
- ↑ «...18.5 times improvement...». arXiv.
- ↑ «...41 out of 100 comparisons...». OpenReview.
- ↑ «...CoT: 1% success rate...». arXiv.