Graph of Thoughts (UR)

Graph-of-Thoughts (GoT) — یہ بڑے لسانی ماڈلز (LLM، Large Language Models) کے ساتھ کام کرنے کے شعبے میں ایک تصور ہے، جس میں ماڈل کے استدلال کے عمل کو باہم مربوط «خیالات» (حل کے درمیانی مراحل) کے من مانے گراف کی شکل میں پیش کیا جاتا ہے۔ یہ طریقہ Maciej Besta (ماتسیئی بیستا) کی قیادت میں ETH Zurich کے محققین کے ایک گروہ نے تجویز کیا اور 2024 میں AAAI کانفرنس میں شائع کیا گیا۔ Graph-of-Thoughts کا مقصد prompt engineering (سوالات کی تشکیل) کے امکانات کو موجودہ اسکیموں، جیسے Chain-of-Thought (خیالات کی زنجیر) اور Tree-of-Thoughts (خیالات کا درخت)، سے آگے بڑھانا ہے۔ ان سے مختلف، GoT کا طریقہ ماڈل کے ذریعے تیار کردہ استدلال کے کسی بھی ٹکڑے (خیال) کو کسی دوسرے سے مربوط کرنے کی اجازت دیتا ہے، جس سے خیالات کا ایک جال بنتا ہے نہ کہ محض ایک خطی یا شجری ڈھانچہ۔ مصنفین کے دعوے کے مطابق، یہ انسانی فکر کی پیچیدہ، غیر خطی نوعیت کو زیادہ درستگی سے ظاہر کرتا ہے اور ممکنہ طور پر LLM کے استدلال کے طریقہ کار کو انسانی دماغ کے کام (اس کے recurrent عصبی روابط کے ساتھ) کے قریب لاتا ہے۔

Graph-of-Thoughts ایک سوال سازی کا طریقہ (prompting framework) ہے، یعنی اسے ماڈل کی اضافی تربیت یا fine-tuning کی ضرورت نہیں — اس کے بجائے یہ LLM کے ساتھ مکالمے کو ایک خاص انداز میں منظم کرتا ہے، جو ماڈل کو گراف کی اسکیم سے منسلک «خیالات» کے مراحل کی ایک سیریز کے ذریعے رہنمائی کرتا ہے۔ یہ ڈھانچہ استدلال کی مختلف شاخوں کو یکجا کرنے اور دوبارہ استعمال کرنے کی اجازت دیتا ہے: مثلاً ماڈل متوازی طور پر کئی قیاسات یا مسئلے کے اجزاء پر غور کر سکتا ہے، اور پھر ان میں سے بہترین کو ایک واحد حل میں یکجا کر سکتا ہے۔ دائرۃ المعارف کے انداز میں، Graph-of-Thoughts کو LLM کے ساتھ منظم استدلال کی پچھلی حکمت عملیوں کا تعمیم قرار دیا جا سکتا ہے، جو ایک پیچیدہ سوال کے اندر فکری عمل کی تنظیم میں زیادہ سے زیادہ لچک فراہم کرتا ہے۔

پس منظر: Chain-of-Thought اور Tree-of-Thoughts

Graph-of-Thoughts کا طریقہ ابتدائی طریقوں سے ابھرا ہے جو لسانی ماڈلز کے ساتھ کام کرتے وقت استدلال کی واضح ساخت استعمال کرتے ہیں۔ بنیادی طریقہ Chain-of-Thought (CoT) ہے — «خیالات کی زنجیر»۔ CoT طریقے میں صارف کو ماڈل کے سوال میں نہ صرف مسئلے کی شرط بلکہ استدلال کے درمیانی مراحل بھی شامل کرنے کی ترغیب دی جاتی ہے جو جواب تک لے جاتے ہیں۔ تحقیق سے معلوم ہوا کہ اس طرح کی پیشکش LLM کی پیچیدہ مسائل حل کرنے کی صلاحیت کو نمایاں طور پر بہتر بناتی ہے، مثلاً ریاضی یا منطقی پہیلیاں، اور وہ بھی ماڈل کے پیرامیٹرز میں کوئی تبدیلی کیے بغیر۔ دراصل، CoT ماڈل کو کسی پیچیدہ مسئلے کو قدم بہ قدم آسان مراحل میں تقسیم کرنے پر مجبور کرتا ہے، خیالات کے ترتیب وار بہاؤ کی نقل کرتے ہوئے۔

اس خیال کی توسیع Self-Consistency تکنیک بنی: ایک زنجیر کے بجائے کئی آزاد زنجیریں تیار کی جاتی ہیں، اور پھر ان میں سے سب سے زیادہ قائل کرنے والی کا انتخاب کیا جاتا ہے۔ اس سے ماڈل کو حل کے مختلف طریقوں پر غور کرنے کا موقع ملتا ہے اور غلط استدلال کی واحد لکیر پر چلنے سے غلط جواب ملنے کا خطرہ کم ہوتا ہے۔ تاہم، CoT کی متعدد زنجیریں بھی «خیالات کو یکجا کرنے» کا موقع نہیں دیتیں: ہر زنجیر الگ تھلگ دیکھی جاتی ہے، اور ماڈل صرف بہترین کا انتخاب کرتا ہے، ان کے مواد کو یکجا کیے بغیر۔

اس حد کو پار کرنے کے لیے Tree-of-Thoughts (ToT) — «خیالات کا درخت» — کی اسکیم تجویز کی گئی۔ ToT میں استدلال کا عمل ایک درخت کی شکل میں منظم ہوتا ہے: ہر نقطے پر ماڈل خیال کی ترقی کے کئی متبادل (شاخیں) پیدا کر سکتا ہے، جس کے بعد ان درمیانی حالتوں کی تشخیص اور مزید گہرائی کے لیے سب سے امید افزا کا انتخاب کیا جاتا ہے۔ درخت کی تلاش (مثلاً چوڑائی میں — BFS، یا گہرائی میں — DFS) اور نوڈز کی طرف واپسی اور دوسری شاخ کی ترقی کے امکان کو استعمال کرتے ہوئے، Tree-of-Thoughts لسانی ماڈل کو پیچیدہ مسائل حل کرنے کا لکیری CoT سے زیادہ طاقتور طریقہ کار فراہم کرتا ہے۔ نئے امکانات ابھرتے ہیں، جیسے واپسی اور نظر ثانی: اگر ایک شاخ بند گلی میں لے جائے، تو پچھلے نوڈ پر واپس جا کر کوئی اور راستہ آزمایا جا سکتا ہے۔ اس تکنیک نے منطقی اور تلاشی مسائل کے حل میں اپنی کارآمدی ثابت کی ہے، جہاں متبادلات کی چھان بین اور منصوبہ بندی اہم کردار ادا کرتے ہیں۔

تاہم خیالات کا درخت سخت حدود بھی عائد کرتا ہے: ہر خیال (درخت کا نوڈ) صرف ایک شاخ سے تعلق رکھتا ہے، تعامل صرف والدین اور بچوں کے نوڈز کے درمیان ہوتا ہے، اور مختلف شاخیں آپس میں نہ مل سکتی ہیں اور نہ ہی معلومات کا تبادلہ کر سکتی ہیں۔ دوسرے الفاظ میں، ایک ہی حل کے دائرے میں مختلف قیاسات کے درمیان خیالات کا باہمی تبادلہ (cross-pollination) مشکل ہے: درخت کی شاخیں آزادانہ طور پر بڑھتی ہیں اور صرف جڑ میں یکجا ہوتی ہیں جب بہترین استدلال کی زنجیر منتخب کی جاتی ہے۔ حقیقی تخلیقی یا تجزیاتی سوچ میں انسان اکثر پہلے سے زیر غور خیال کی طرف لوٹتا ہے اور اسے استدلال کی کسی اور شاخ سے ملاتا ہے۔ خیالات کا ایسا گتھا ہونا درخت کی ساخت کی حدود سے باہر ہے۔

ان مشاہدات نے محققین کو ایک زیادہ لچکدار ڈھانچے — گراف — کے بارے میں سوچنے پر مجبور کیا، جہاں خیالات کے درمیان روابط غیر محدود ہوں اور ایک پیچیدہ جال بنا سکیں۔ جیسا کہ 2024 کے تجزیاتی جائزے میں نوٹ کیا گیا، زنجیروں، درختوں اور خیالات کے گرافوں کا ظہور ایک نئی قسم کے طریقوں کی پیدائش کو ظاہر کرتا ہے جو استدلال کے عمل کی واضح ساخت بندی کے ذریعے LLM کی صلاحیتوں کو نمایاں طور پر بڑھانے کی صلاحیت رکھتے ہیں۔ خاص طور پر، منظم اشارے (prompts) نے LLM کے نتائج کو کئی شعبوں میں نمایاں طور پر بہتر کرنے میں مدد کی — ریاضی کے مسائل اور منطقی پہیلیوں کے حل سے لے کر منصوبہ بندی اور تخلیقی تحریر تک۔ اسی عمومی پس منظر میں Graph-of-Thoughts کی اسکیم منظم prompting کے طریقوں کی ترقی میں اگلے قدم کے طور پر ابھری۔

Graph-of-Thoughts کا تصور: خیالات کی گرافی ساخت

Graph-of-Thoughts تجویز کرتا ہے کہ لسانی ماڈل کے ذریعے کاموں کی انجام دہی کے عمل کو ایک من مانے سمتی گراف کی شکل میں پیش کیا جائے۔ رسمی طور پر، GoT میں خیالات کا گراف رأسوں (خیالات) اور کناروں (خیالات کے درمیان انحصار) کا مجموعہ ہے۔ گراف کی رأس ماڈل کا ایک علیحدہ خیال ہے — اس اصطلاح سے مراد کوئی بھی مضمونی اکائی ہے جو کام کے سیاق و سباق پر منحصر ہو: یہ ایک علیحدہ بیان، حل کا مرحلہ، متن کا ٹکڑا، پیراگراف، کوڈ کا بلاک وغیرہ ہو سکتا ہے جو ماڈل نے سوال کے جواب میں تیار کیا ہو۔ رأسوں کے درمیان کنارہ اس بات کا اشارہ ہے کہ ایک خیال دوسرے کو پیدا کرنے میں استعمال ہوا — یعنی اشارے میں صراحتاً بتایا گیا ہے کہ ماڈل کو نئے نتیجے تک پہنچنے کے لیے کسی پچھلے نتیجے پر تکیہ کرنا چاہیے۔ اس طرح کنارے انحصار کو ثبت کرتے ہیں: موجودہ استدلال کا مرحلہ پہلے حاصل کردہ کن اعداد و شمار پر منحصر ہے۔

GoT کا سادہ ڈھانچوں سے سب سے اہم فرق خیالات کے اجتماع اور ضم ہونے کا امکان ہے۔ گراف میں یہ جائز ہے کہ کسی رأس (نئے خیال) کے متعدد پیش رو ہوں۔ یہ اس صورت حال سے مطابقت رکھتا ہے جب دو یا زیادہ علیحدہ استدلال کی زنجیریں یکجا ہوتی ہیں: ماڈل کو ایک ساتھ کئی پہلے سے تیار کردہ ٹکڑے بطور ان پٹ ملتے ہیں اور ان کی بنیاد پر ایک ترکیبی نتیجہ بناتا ہے۔ مثلاً کوئی مسئلہ حل کرتے وقت، ماڈل متوازی طور پر دو قیاسات پر غور کر سکتا ہے، اور پھر ایک نیا خیال بنا سکتا ہے جو دونوں قیاسات کے مثبت پہلوؤں کو یکجا کرے اور ان کی خامیوں کو دور کرے۔ اجتماع کے ایسے عمل شجری اسکیم (جہاں ہر نوڈ کا صرف ایک والد ہوتا ہے) میں ممکن نہ تھے، لیکن گرافی اسکیم میں قدرتی طور پر قابل عمل ہیں۔ خیالات کے ضم ہونے کے علاوہ، گراف فیڈ بیک لوپس (feedback loops) کی بھی اجازت دیتا ہے: اصولی طور پر، GoT کی ساخت چکر کی ممانعت نہیں کرتی، یعنی ماڈل کسی نتیجے کو دوبارہ کارروائی یا اصلاح کے لیے استدلال کے ابتدائی مرحلے پر واپس بھیج سکتا ہے۔ مصنفین اسے دماغ کے عصبی نیٹ ورک میں recurrent روابط سے تشبیہ دیتے ہیں، جہاں نیورانوں کے ایک گروہ کا آؤٹ پٹ پچھلی تہوں پر واپس اثر ڈال سکتا ہے، سوچ کے بند حلقے بناتے ہوئے۔

عملی طور پر Graph-of-Thoughts کی تکمیل کے لیے ماڈل کے ساتھ مکالمے کی خاص تنظیم درکار ہے۔ محققین نے GoT کے لیے ایک ماڈیولر آرکیٹیکچرل فریم ورک تیار کیا ہے۔ اس میں درج ذیل اجزاء شامل ہیں: (1) انفرادی مراحل (خیالات) پر باریک کنٹرول — «کنٹرولر» خیالات کی تیاری کی ترتیب اور منطق کو منظم کرتا ہے؛ (2) اشاروں کی متحرک تشکیل — ہر مرحلے کے لیے ایک خاص ماڈیول موجودہ سیاق و سباق اور گراف کی منتخب رأسوں (پیش روؤں) کی بنیاد پر prompt بناتا ہے؛ (3) LLM کے جوابات کی تجزیہ کاری اور جانچ — ماڈل سے حاصل کردہ ٹکڑوں کا معیار، افادیت یا کام کے معیار سے مطابقت کے لحاظ سے تجزیہ اور جائزہ لیا جاتا ہے۔ GoT کا آرکیٹیکچر اس طرح انٹرایکٹو انداز میں استدلال کا گراف بنانے کی اجازت دیتا ہے: ہر مرحلے کے بعد فیصلہ کیا جاتا ہے کہ کون سی نئی رأسیں شامل کریں، انہیں پچھلی سے کیسے جوڑیں، کن شاخوں کو جاری رکھیں یا ملائیں۔ ماڈیولیریت کی وجہ سے، اس فریم ورک کو «خیال کی تبدیلیوں» کی نئی اقسام (مثلاً گراف کے ساتھ خاص آپریشنز) سے بڑھایا جا سکتا ہے اور مختلف ماڈلز کے لیے ڈھالا جا سکتا ہے (مصنفین نے کامیابی سے GoT کو GPT-3.5، GPT-4، LLAMA 2 اور دیگر خاندانوں کے LLM کے ساتھ آزمایا)۔ اہم خصوصیت یہ ہے کہ GoT کو خود لسانی ماڈل کے پیرامیٹرز میں تبدیلی کی ضرورت نہیں — تمام بہتریاں سوالات کی زیادہ ذہانت سے تعمیر اور جوابات کی کارروائی کے ذریعے حاصل کی جاتی ہیں۔ اس کا مطلب ہے کہ موجودہ طاقتور LLM کو «جیسے ہیں» استعمال کیا جا سکتا ہے، اور Graph-of-Thoughts ان کے کام کو منظم کرنے والی ایک اوپری تہہ کا کردار ادا کرتا ہے۔

یہ بات قابل ذکر ہے کہ Graph-of-Thought کی اصطلاح ایک اور، آزاد تحقیق میں بھی سامنے آئی جو بیستا اور ساتھیوں کے طریقے سے مختلف ہے۔ 2023 میں Yao Yao اور شریک مصنفین نے LLM میں reasoning بہتر بنانے کی تکنیک تجویز کی جس میں خیالات کے گراف کا ایک اضافی encoder ماڈیول شامل تھا، جس کے لیے ماڈل کی دوبارہ تربیت درکار تھی۔ «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» کے عنوان سے ان کا مقالہ ایک دو مرحلاتی آرکیٹیکچر بیان کرتا ہے: پہلے باہم مربوط درمیانی بیانات کا گراف تیار کیا جاتا ہے، پھر اسے ایک خاص encoder کے ذریعے تبدیل کیا جاتا ہے اور gated fusion کے طریقہ کار سے ماڈل میں ضم کیا جاتا ہے۔ تربیت کے ساتھ اس ہائبرڈ طریقے نے مسائل پر درستگی میں کچھ اضافہ ظاہر کیا، مثلاً ملٹی موڈل سوالات کے سیٹ ScienceQA پر T5-base ماڈل استعمال کرتے وقت درستگی 85.2% سے بڑھ کر 87.6% ہو گئی۔ تاہم یہ طریقہ، نام میں مماثلت کے باوجود، بنیادی طور پر مختلف ہے: اسے ماڈل میں تبدیلی (fine-tuning) درکار ہے اور یہ prompt engineering کی اسکیم نہیں ہے۔ اصل GoT طریقے کے مصنفین (AAAI 2024) صراحتاً بتاتے ہیں کہ وہ اپنے کام میں یاؤ وغیرہ کے اس ماڈل پر غور نہیں کرتے، کیونکہ وہ خاص طور پر LLM پیرامیٹرز کو اپ ڈیٹ کیے بغیر طریقوں پر توجہ مرکوز کرتے ہیں۔ اس طرح، اس جائزے کے تناظر میں Graph-of-Thoughts بالخصوص اشارات کی سطح کا فریم ورک ہے، نہ کہ عصبی نیٹ ورک کی آرکیٹیکچر میں ترمیم۔

اطلاق اور نتائج

GoT کے مصنفین نے اس کے فوائد کئی ایسے مسائل پر ظاہر کیے جنہیں ایک سادہ براہ راست اشارے (input-output prompting) یا خیالات کی زنجیر سے حل کرنا مشکل ہے۔ ایسے مسائل کی خاص بات یہ ہے کہ انہیں کئی حصوں (ذیلی مسائل) میں تقسیم کیا جا سکتا ہے، ان حصوں کو الگ الگ حل کیا جا سکتا ہے، اور پھر جزوی نتائج سے مکمل جواب ترکیب کیا جا سکتا ہے۔ زیر غور مثالوں میں شامل ہیں: بے ترتیب فہرست کی ترتیب، متن میں کلیدی الفاظ کی گنتی (مثلاً دستاویز کے خلاصے کے لیے)، مجموعوں پر آپریشنز (فہرستوں کا اتحاد، قطع وغیرہ)، نیز متنی دستاویزات کا ضم (کئی ذرائع سے معلومات کا یکجا کرنا)۔ ان تمام صورتوں میں Graph-of-Thoughts قدرتی طور پر مسئلے کی تجزیہ کاری کی اجازت دیتا ہے۔ مثلاً ترتیب کے لیے فہرست کو حصوں میں تقسیم کیا جاتا ہے، ہر حصے کو خیالات کی ایک آزاد شاخ کے طور پر الگ ترتیب دیا جاتا ہے، اور پھر نتائج ملائے جاتے ہیں (merge sort جیسے الگورتھم کی نقل کرتے ہوئے)؛ یا متون کے تجزیے پر ماڈل متوازی طور پر مختلف دستاویزات سے معلومات نکال سکتا ہے، اور پھر انہیں یکجا کر سکتا ہے۔

تجرباتی نتائج GoT اسکیم کی کارآمدی کی تصدیق کرتے ہیں۔ بیستا اور ساتھیوں کی رپورٹ کے مطابق، ترتیب کے مسئلے میں خیالات کے گراف نے پچھلے طریقوں کے مقابلے میں حل کے معیار کو نمایاں طور پر بہتر کیا۔ چنانچہ GoT استعمال کرتے وقت ترتیب کی درستگی سادہ خیالات کی زنجیر CoT سے 70 فیصد زیادہ اور خیالات کے درخت ToT سے 62 فیصد زیادہ نکلی۔ ساتھ ہی یہ طریقہ کمپیوٹیشنل وسائل کی لاگت کم کرتا ہے: ماڈل سے درخواستوں کی تعداد (اور اسی کے مطابق tokenized سوالات کا حجم) اسی مسئلے کے لیے Tree-of-Thoughts کے مقابلے 31 فیصد کم ہو گئی۔ اس کا مطلب ہے کہ استدلال کی گرافی تنظیم نے نہ صرف حتمی نتیجے کو بہتر کیا، بلکہ درمیانی نتائج کے ذہانت سے ملانے کی بدولت غیر ضروری حسابات سے بچتے ہوئے حل کو زیادہ کفایتی بھی بنایا۔ اسی طرح کے فوائد دیگر آزمائشی مسائل پر بھی حاصل کیے گئے، خاص طور پر جہاں متنوع معلومات کو یکجا کرنا ضروری ہو۔ محققین نوٹ کرتے ہیں کہ GoT خاص طور پر مرکب مسائل کے لیے موثر ہے جو کئی عناصر پر مشتمل ہوتے ہیں: «Graph-of-Thoughts خاص طور پر ان مسائل کے لیے موزوں ہے جو قدرتی طور پر چھوٹے ذیلی مسائل میں تجزیہ ہوتے ہیں جنہیں الگ الگ حل کر کے نتائج یکجا کیے جا سکتے ہیں»۔ ایسے مواقع میں خیالات کا گراف مسئلے کے تمام پہلوؤں کا احاطہ کرنے اور ایک استدلال کی لکیر پر چلنے سے زیادہ مکمل حل ترکیب کرنے کی صلاحیت رکھتا ہے۔

یہ سمجھنے کے لیے کہ اشارے بنانے کا ایک طریقہ دوسرے سے بہتر کیوں ہے، 2024 کے مقالے میں ایک خاص پیمانہ تجویز کیا گیا — «خیال کا حجم» (volume of a thought)۔ حجم گراف کی ہر انفرادی رأس (خیال) کے لیے ان دوسرے خیالات کی تعداد کے طور پر متعین کیا گیا ہے جن سے سمتی کناروں کے ذریعے اس رأس تک پہنچا جا سکتا ہے (سادہ الفاظ میں، یہ رأس کتنے درمیانی مراحل کی معلومات کا مقروض ہے)۔ Chain-of-Thought میں ہر خیال صرف ایک پیش رو پر تکیہ کرتا ہے، اس لیے اس کا حجم 1 کے برابر ہے (خطی زنجیر)۔ خیالات کے درخت میں حجم زیادہ ہو سکتا ہے، لیکن پھر بھی انفرادی شاخ کی ساخت سے محدود رہتا ہے۔ گراف میں، اجتماع کی بدولت، ایک رأس بیک وقت بہت سے دوسروں کا حصہ اکٹھا کر سکتا ہے — اس کا «حجم» نمایاں طور پر زیادہ ہوتا ہے۔ یہ ظاہر کیا گیا ہے کہ GoT حتمی نتائج کو پچھلے بہت زیادہ خیالات پر مبنی بنانے کی اجازت دیتا ہے، ان کے مواد کو یکجا کرتے ہوئے۔ یہ حقیقت حل کی فضا کی زیادہ گہری تفتیش کی عکاسی کرتی ہے اور سادہ اسکیموں پر گرافی استدلال کے فوائد کی مقداری وضاحت کا کام کرتی ہے۔

موازنہ اور اہمیت

Graph-of-Thoughts آج تک LLM کے لیے منظم prompting کی سب سے عمومی شکل پیش کرتا ہے۔ مختلف اسکیموں (CoT، CoT بہ خود سازگاری، ToT اور GoT) کے موازنے کی جدولوں میں اس بات پر زور دیا گیا ہے کہ صرف GoT فکری عمل کی من مانی topology کو سپورٹ کرتا ہے۔ یہ پچھلے تمام طریقوں کی صلاحیتیں شامل کرتا ہے: یہ ایک زنجیر کے طور پر، شاخوں والے درخت کے طور پر، اور کئی زنجیروں کے مجموعے کے طور پر بھی کام کر سکتا ہے، اگر یہ مسئلے کے حل کے لیے مناسب ہو۔ سب سے اہم — مراحل کے درمیان تعلق پر کوئی سخت حد نہیں ہے، جو نظری طور پر ممکنہ استدلال کی حکمت عملیوں کی فضا کو زیادہ سے زیادہ وسیع بناتی ہے۔

یہ سمجھنا ضروری ہے کہ GoT کی لچک زیادہ کنٹرول کی پیچیدگی کی قیمت پر آتی ہے۔ خیالات کے گراف کی تکمیل کے لیے ایک بیرونی آرکیسٹریٹر الگورتھم درکار ہے جو فیصلہ کرے گا کہ کب اور کون سے خیالات تیار کرنے ہیں، ان میں سے کن کو منتخب یا ملانا ہے، عمل کب روکنا اور جواب دینا ہے۔ سادہ CoT میں ایسے فیصلے کرنے کی ضرورت نہیں — ماڈل خود ایک خطی استدلال آخر تک تیار کرتا ہے۔ ToT میں کچھ کنٹرول درخت کی تلاش کے الگورتھم پر آتا ہے (مثلاً توسیع کے لیے نوڈ کا انتخاب)۔ GoT میں آزادی کی ڈگری زیادہ ہے، اور طریقے کی کارکردگی درمیانی نتائج کو جانچنے والے ہیوریسٹکس کے معیار اور ہر مرحلے پر اشاروں کی درست تعمیر پر منحصر ہے۔ اس طرح، Graph-of-Thoughts کو محض ایک سوال کے فارمیٹ کے طور پر نہیں، بلکہ LLM کے ساتھ تعامل کے عمل پر مسلط استدلال کی ساخت کے طور پر دیکھا جا سکتا ہے — ایک طرح کا متحرک منصوبہ جس کے مطابق ماڈل مسئلہ حل کرتا ہے، اور صارف (یا کنٹرولر پروگرام) اس عمل کی رہنمائی کرتا ہے۔

Graph-of-Thoughts کا ظہور بڑے لسانی ماڈلز کے کام کو زیادہ قابل تشریح اور قابل انتظام بنانے کی کوشش کو ظاہر کرتا ہے۔ حل کی ساخت کو واضح طور پر متعین کر کے، محققین نہ صرف بہتر معیار حاصل کرتے ہیں، بلکہ یہ تجزیہ کرنے کا موقع بھی پاتے ہیں کہ ماڈل کسی خاص نتیجے تک کیسے پہنچا۔ یہ NLP میں طریقوں کو کلاسیکی الگورتھمی تلاش اور منصوبہ بندی کے طریقوں کے قریب لاتا ہے، لیکن اب مراحل کی انجام دہی عصبی نیٹ ورک کے ماڈل پر عائد ہے۔ کچھ ماہرین منظم اشاروں (زنجیروں، درختوں، خیالات کے گرافوں) کو ایک امید افزا سمت کے طور پر دیکھتے ہیں جو گہرے ماڈلز میں «بلیک باکس» کی حدود پر قابو پا سکتے ہیں اور پیچیدہ مسائل پر ان کی کارکردگی کی قابل اعتمادیت بڑھا سکتے ہیں۔

Graph-of-Thoughts کا طریقہ کار فعال طور پر ترقی پذیر ہے۔ GoT کے نفاذ کے لیے کوڈ اور مثالیں مصنفین نے کھلی رسائی میں رکھی ہیں، جس نے برادری کو نئے طریقے کے ساتھ تجربات کرنے کی اجازت دی۔ توسیعات بھی سامنے آ رہی ہیں: مثلاً خیالات کے گراف کے ملٹی موڈل ورژن جو متن کو تصاویر اور دیگر اقسام کے ڈیٹا کے ساتھ ملاتے ہیں، نیز GoT کے خیالات کو براہ راست ماڈلز کی آرکیٹیکچر میں ضم کرنے کی کوششیں (جیسا کہ مذکورہ Yao et al., 2023 کے کام میں)۔ 2025 میں Chain-of-Thought، Tree-of-Thoughts اور Graph-of-Thoughts کے طریقوں کا ایک تفصیلی taxonomy جائزہ شائع ہوا، جو جمع شدہ علم کو منظم کرتا ہے اور ایسے طریقوں کی نظری بنیادوں کا تفصیلی بیان کرتا ہے۔ یہ سب LLM کی سوچ کے منظم انتظام میں سائنسی برادری کی گہری دلچسپی کا اظہار ہے۔ Graph-of-Thoughts پیچیدہ مسائل حل کرنے کے ایک موثر آلے کے طور پر اپنی پہچان بنا چکا ہے اور غالباً AI حلوں کے شعبے میں مزید اختراعات کی بنیاد بنے گا، جو بڑے لسانی ماڈلز کی طاقت کو کلاسیکی الگورتھموں کی شفافیت اور منطق کے ساتھ یکجا کرتے ہیں۔

حوالہ جات

• اصل مقالہ «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» arXiv پر
• اصل مقالے کا HTML ورژن
• جائزہ «Demystifying Chains, Trees, and Graphs of Thoughts» arXiv پر
• مقالہ «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» arXiv پر
• Multimodal Graph-of-Thoughts — Deepgram کا مقالہ
• LLMs Graph of Thoughts Framework — Medium پر مقالہ

ادبیات

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.