Tree of Thoughts (ToT) (BN)

From Systems analysis Wiki
Jump to navigation Jump to search

Tree of Thoughts (ToT) (চিন্তার বৃক্ষ) — এটি বৃহৎ ভাষা মডেলের (LLM) যুক্তিতর্ক পরিচালনার একটি উদ্ভাবনী framework, যা মডেলগুলিকে একাধিক যুক্তিতর্কের পথ পদ্ধতিগতভাবে অনুসন্ধান করে সচেতনভাবে সমস্যা সমাধান করতে সক্ষম করে। ধারণাটি ২০২৩ সালে প্রিন্সটন বিশ্ববিদ্যালয় এবং Google DeepMind-এর গবেষকদের দ্বারা উপস্থাপন করা হয়েছিল[1]।

ToT হলো জনপ্রিয় Chain of Thought (CoT) কৌশলের একটি সম্প্রসারণ ও সাধারণীকরণ। CoT-তে যেখানে যুক্তিতর্ক একটি একক রৈখিক ধাপের ক্রম হিসেবে উপস্থাপিত হয়, সেখানে ToT চিন্তার প্রক্রিয়াকে একটি বৃক্ষ হিসেবে সংগঠিত করে, যেখানে প্রতিটি নোড একটি মধ্যবর্তী অবস্থা («চিন্তা»), এবং শাখাগুলি যুক্তিতর্কের সম্ভাব্য বিকাশের পথ। এটি মডেলকে একাধিক বিকল্প সমান্তরালভাবে অনুসন্ধান করতে, তাদের সম্ভাবনা মূল্যায়ন করতে, তৈরি হওয়া অচলাবস্থায় পূর্ববর্তী ধাপে ফিরে যেতে (backtracking) এবং সচেতন পছন্দ করতে দেয়[1][2]।

কার্যপদ্ধতির নীতি

ToT framework সমস্যা সমাধানের প্রক্রিয়াকে অবস্থার বৃক্ষে অনুসন্ধান হিসেবে সংগঠিত করে। এর কাজ চারটি মূল উপাদানের চক্রাকার মিথস্ক্রিয়ার উপর ভিত্তি করে[1]:

1. সমস্যাকে «চিন্তা»-তে বিভাজন: মূল সমস্যাটিকে ছোট ছোট উপ-কাজ-ধাপে ভাগ করা হয়, যেগুলিকে «চিন্তা» বলা হয়। CoT-তে যেখানে «চিন্তা» কেবল পরবর্তী token, সেখানে ToT-তে «চিন্তা» হলো একটি অর্থপূর্ণ একক (যেমন, গাণিতিক সমস্যায় একটি সমীকরণ বা পাঠ্য পরিকল্পনায় একটি অনুচ্ছেদ), যা সমাধানের কাছাকাছি নিয়ে যায়।

2. চিন্তা তৈরি করা: প্রতিটি ধাপে বর্তমান অবস্থার (বৃক্ষের নোড) জন্য মডেলটি বেশ কয়েকটি সম্ভাব্য পরবর্তী «চিন্তা» (শাখা) তৈরি করে। এর জন্য দুটি কৌশল ব্যবহার করা হয়:

  • Sampling (sample): মডেলটি স্বাধীনভাবে কয়েকটি ধারাবাহিকতার বিকল্প তৈরি করে। সৃজনশীল কাজের জন্য উপযুক্ত, যেখানে বিস্তৃত ধারণার সমষ্টি উপকারী।
  • প্রস্তাব (propose): মডেলটি ক্রমানুসারে বিকল্প তৈরি করে, যা সীমিত সমাধান-পরিসরের কাজের জন্য বেশি কার্যকর।

3. অবস্থার মূল্যায়ন: তৈরি করা «চিন্তা»গুলি তাদের সম্ভাবনা নির্ধারণের জন্য স্বয়ং LLM দ্বারা মূল্যায়িত হয়। মূল্যায়ন সংখ্যাসূচক হতে পারে (যেমন, ০ থেকে ১ স্কেলে) বা বিভাগীয় («নিশ্চিতভাবে», «সম্ভবত», «অসম্ভব»)। এটি একটি হিউরিস্টিক ফাংশন যা অনুসন্ধানকে প্রতিশ্রুতিশীল শাখার দিকে পরিচালিত করে।

4. অনুসন্ধান অ্যালগরিদম: চিন্তার বৃক্ষ পদ্ধতিগতভাবে অন্বেষণের জন্য ক্লাসিক্যাল অনুসন্ধান অ্যালগরিদম ব্যবহার করা হয়:

  • প্রস্থ-প্রথম অনুসন্ধান (BFS): পরবর্তী স্তরে যাওয়ার আগে একটি স্তরের সমস্ত নোড অন্বেষণ করে। সংক্ষিপ্ততম পথ খুঁজে পাওয়ার নিশ্চয়তা দেয়, তবে বেশি মেমরি প্রয়োজন।
  • গভীরতা-প্রথম অনুসন্ধান (DFS): ফিরে আসার এবং অন্যটি চেষ্টা করার আগে একটি শাখা শেষ পর্যন্ত অন্বেষণ করে। মেমরির দিক থেকে আরও সাশ্রয়ী এবং গভীর কিন্তু খুব বেশি প্রশস্ত নয় এমন অনুসন্ধান-পরিসরের কাজের জন্য উপযুক্ত।

এই framework মানুষের সমস্যা-সমাধানের চিন্তাভাবনার অনুকরণ করে, স্বজ্ঞাত ধারণা তৈরি (LLM-এর মাধ্যমে) এবং সচেতন, পদ্ধতিগত পরিকল্পনা ও বিকল্পের মধ্যে বাছাইকে একত্রিত করে[2]।

অন্যান্য যুক্তিতর্ক পদ্ধতির সাথে তুলনা

Chain of Thought (CoT)-এর সাথে ToT-এর তুলনা

ToT হলো CoT-এর প্রত্যক্ষ সাধারণীকরণ। যদি CoT-কে শাখা বিস্তার ১ সহ একটি বৃক্ষ হিসেবে উপস্থাপন করা যায়, তাহলে ToT যেকোনো বিস্তার সহ বৃক্ষ অন্বেষণ করতে দেয়। এটি মূল সুবিধা প্রদান করে[3]:

  • বিকল্পের অন্বেষণ: ToT একাধিক সমাধান পথ বিবেচনা করতে পারে, যেখানে CoT একটি একক রৈখিক পথের মধ্যে সীমাবদ্ধ।
  • পশ্চাদপসরণের সম্ভাবনা: যুক্তিতর্কের একটি শাখা অচলাবস্থায় পৌঁছালে ToT মডেলকে «পিছনে ফিরে যেতে» দেয়, যা CoT-তে সম্ভব নয়।
  • বৈশ্বিক পরিকল্পনা: ToT একাধিক ভবিষ্যৎ ধাপের মূল্যায়নের ভিত্তিতে কৌশলগত পছন্দ করতে দেয়।

Self-Consistency-এর সাথে ToT-এর তুলনা

Self-Consistency একাধিক স্বাধীন «চিন্তার শৃঙ্খল» তৈরি করে এবং ভোটিংয়ের মাধ্যমে সবচেয়ে ঘন ঘন উত্তর বেছে নেয়। এই পদ্ধতি CoT-এর নির্ভরযোগ্যতা উন্নত করে, কিন্তু CoT-এর মতো এটিও সমাধানের শাখাযুক্ত কাঠামো অন্বেষণ করতে পারে না। ToT, তার পক্ষ থেকে, জটিল পরিকল্পনা কাজে আরও উল্লেখযোগ্য উন্নতি দেখাতে পারে, যেখানে শুধু স্বাধীন প্রচেষ্টা নয়, তাদের পারস্পরিক সম্পর্কও গুরুত্বপূর্ণ[1]।

পরীক্ষামূলক ফলাফল

ToT-এর লেখকরা তিনটি কাজে এর কার্যকারিতা প্রদর্শন করেছেন, যেগুলির জন্য অ-তুচ্ছ পরিকল্পনা বা অনুসন্ধান প্রয়োজন।

  • Game of 24: একটি গাণিতিক ধাঁধা, যেখানে মৌলিক পাটিগণিত অপারেশন ব্যবহার করে চারটি প্রদত্ত সংখ্যা থেকে ২৪ পেতে হয়। GPT-4 দিয়ে স্ট্যান্ডার্ড prompting সাফল্যের হার ৭.৩% দেখিয়েছে, Chain of Thought — ৪%। BFS-সহ ToT (b=5) ৭৪% সাফল্য অর্জন করেছে, যা CoT-এর চেয়ে ১৮.৫ গুণ বেশি[1][4]।
  • সৃজনশীল লেখা: নির্দিষ্ট শেষ বাক্য সহ চারটি অনুচ্ছেদের সংযুক্ত পাঠ্য তৈরির কাজে, ToT ব্যবহার করে তৈরি পাঠ্যগুলি সংগতির গড় স্কোর ৭.৫৬ পেয়েছে ১০-এর মধ্যে, যেখানে CoT পেয়েছে ৬.১৫। ১০০টি তুলনার মধ্যে ৪১টিতে মানুষ ToT-এর তৈরি পাঠ্য পছন্দ করেছে, CoT-এর জন্য ছিল ২১[5]।
  • মিনি-ক্রসওয়ার্ড (5x5): ToT ৬০% শব্দ সঠিকভাবে পূরণ করেছে, যেখানে CoT মাত্র ১%[6]।

সীমাবদ্ধতা এবং ভবিষ্যৎ দিকনির্দেশনা

চিত্তাকর্ষক ফলাফল সত্ত্বেও, ToT framework-এর কিছু সীমাবদ্ধতা রয়েছে:

  • গণনাগত জটিলতা: ToT স্ট্যান্ডার্ড পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে বেশি গণনামূলক সম্পদ (৫–১০০ গুণ বেশি token) প্রয়োজন, কারণ একাধিক «চিন্তা» তৈরি এবং মূল্যায়ন করতে হয়[1]।
  • বাস্তবায়নের জটিলতা: ToT বাস্তবায়নের জন্য সমস্ত উপাদান তৈরি ও কনফিগার করতে উল্লেখযোগ্য প্রকৌশলগত প্রচেষ্টা প্রয়োজন: চিন্তা জেনারেটর, অবস্থা মূল্যায়নকারী এবং অনুসন্ধান অ্যালগরিদম।
  • মূল্যায়নের মানের উপর নির্ভরতা: পুরো framework-এর কার্যকারিতা মধ্যবর্তী অবস্থাগুলি পর্যাপ্তভাবে মূল্যায়ন করার LLM-এর ক্ষমতার উপর ব্যাপকভাবে নির্ভর করে, যা সবসময় নিশ্চিত নয়।

ভবিষ্যৎ গবেষণা দক্ষতা বৃদ্ধি, অপ্টিমাইজেশন স্বয়ংক্রিয়করণ এবং আরও স্মার্ট ও স্বায়ত্তশাসিত এজেন্ট তৈরির জন্য Reinforcement Learning-এর মতো অন্যান্য পদ্ধতির সাথে ToT-এর একীভূতকরণের দিকে পরিচালিত।

তথ্যসূত্র

  • GitHub-এ Tree of Thoughts-এর অফিসিয়াল রিপোজিটরি।
  • Tree of Thoughts (ToT) — Prompt Engineering Guide-এ নির্দেশিকা।

সাহিত্য

  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
  • Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
  • Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
  • Ling, Z. et al. (2023). Deductive Verification of Chain of Thought Reasoning. arXiv:2306.03872.
  • Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
  • Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
  • Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
  • Lanham, T. et al. (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. arXiv:2307.13702.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.

টীকা

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Yao, S., Yu, D., Zhao, J., et al. (2023). «Tree of Thoughts: Deliberate Problem Solving with Large Language Models». arXiv. [১]
  2. ↑ 2.0 2.1 «What is Tree of Thoughts Prompting?». IBM. [২]
  3. ↑ «Tree of Thoughts vs Chain of Thought». Substack.
  4. ↑ «...18.5 times improvement...». arXiv.
  5. ↑ «...41 out of 100 comparisons...». OpenReview.
  6. ↑ «...CoT: 1% success rate...». arXiv.
Retrieved from "https://systems-analysis.info/int/index.php?title=Tree_of_Thoughts_(ToT)_(BN)&oldid=8267"