Multimodal CoT Prompting (UR)
ملٹی موڈل چین آف تھاٹ پرامپٹنگ (Multimodal Chain-of-Thought Prompting، MCoT) — یہ Chain-of-Thought (CoT) کے طریقے کی توسیع ہے، جو متعدد اقسام کے ڈیٹا (modalities) پر مشتمل کاموں کے لیے استعمال ہوتی ہے۔ MCoT ماڈلز میں زبان اور دیگر modalities، جیسے بصارت یا جدولی ڈیٹا کا تجزیہ، ایک متحد مرحلہ وار استنتاج کے عمل میں پیچیدہ مسائل حل کرنے کے لیے شامل ہوتے ہیں[1]۔
یہ طریقہ ملٹی موڈل بڑے زبانی ماڈلز (MLLM) کی ترقی کے ساتھ سامنے آیا، جو بیک وقت متن، تصاویر، آڈیو اور ویڈیو کو پروسیس کرنے کی صلاحیت رکھتے ہیں۔ MCoT ماڈلز کو قابل بناتا ہے کہ وہ مختلف ذرائع سے معلومات کو یکجا کرتے ہوئے قابلِ تشریح، مرحلہ وار وضاحتیں تیار کریں، جس سے ان کی درستگی اور شفافیت میں اضافہ ہوتا ہے۔
پس منظر: متنی CoT سے ملٹی موڈل CoT تک
Chain-of-Thought متن میں
ابتداً Chain-of-Thought (CoT) کا طریقہ 2022 میں Google کے محققین نے متنی بڑے زبانی ماڈلز (LLM) کے لیے پیش کیا[2]۔ اس کا خیال یہ ہے کہ ماڈل کو حتمی جواب دینے سے پہلے استنتاج کے درمیانی مراحل کی ایک ترتیب تیار کرنے کی تربیت دی جائے۔ prompt میں مرحلہ وار حل کی مثالیں شامل کرنے (few-shot prompting) سے LLM کی ریاضیاتی، منطقی اور معقول استنتاج کی ضرورت والے مسائل حل کرنے کی صلاحیت میں نمایاں بہتری آئی، اور ماڈلز کی مجموعی درستگی و قابلِ اعتماد ی میں اضافہ ہوا[2]۔
ملٹی موڈیلٹی کی طرف منتقلی
متنی CoT کی کامیابی نے اسے ملٹی موڈل منظرناموں تک پھیلانے کی کوششوں کو تحریک دی۔ Microsoft کے Kosmos-1 جیسے MLLM کے ظہور کے ساتھ، جو بیک وقت متن اور تصاویر پر تربیت پاتے ہیں، CoT منطق کو ملٹی موڈل ادراک کے ساتھ یکجا کرنے کا امکان پیدا ہوا[3]۔ تجربات نے ثابت کیا کہ ایسے ماڈلز متنی اور بصری دونوں input ڈیٹا کو مدِّنظر رکھتے ہوئے مرحلہ وار استنتاج استعمال کر سکتے ہیں، جس نے منطق اور ادراک کو یکجا کرنے کے بنیادی امکان کو ظاہر کیا[3]۔
بنیادی طریقے اور طریقہ کار
2023 سے ملٹی موڈل CoT کے نفاذ کے لیے کئی طریقے پیش کیے گئے ہیں۔
دو مرحلہ Multimodal-CoT (Zhang et al.)
2023 میں پیش کیا گیا ابتدائی طریقوں میں سے ایک، دو مرحلاتی اسکیم استعمال کرتا ہے[4]:
- جواز کی تیاری: پہلے مرحلے میں ماڈل ملٹی موڈل معلومات (مثلاً متن اور تصویر) کی بنیاد پر متنی استنتاج کی زنجیر (rationale) تیار کرتا ہے۔
- جواب کی تشکیل: دوسرے مرحلے میں ماڈل تیار کردہ جواز کی بنیاد پر حتمی جواب دیتا ہے۔
اس تقسیم شدہ طریقے نے ایک ارب سے کم parameters والے ماڈل کو سائنسی dataset ScienceQA پر ریکارڈ اعلیٰ معیار حاصل کرنے کے قابل بنایا، حتیٰ کہ بڑے ماڈل GPT-3.5 کو بھی پیچھے چھوڑ دیا۔ اس کے ساتھ ہی hallucinations میں بھی کمی نوٹ کی گئی[4]۔
Compositional CoT
CVPR 2024 کانفرنس میں پیش کیا گیا، یہ طریقہ بصری-متنی کاموں پر توجہ مرکوز کرتا ہے اور درمیانی مرحلے کے طور پر تصویر کی ساختیاتی نمائندگی تیار کرنے کی تجویز دیتا ہے[5]۔ پہلے MLLM منظر کو scene graph کی شکل میں بیان کرتا ہے، جس میں اشیاء اور ان کے درمیانی تعلقات ظاہر کیے جاتے ہیں۔ پھر یہ ساختیاتی بیان حتمی جواب کے لیے prompt میں شامل کیا جاتا ہے۔ یہ طریقہ LLM کو اشیاء کے درمیان ترکیبی روابط کو گہرائی سے سمجھنے کے قابل بناتا ہے اور پیچیدہ مناظر کی تفصیل اور بصری سوال-جواب کے کاموں میں نتائج بہتر کرتا ہے[5]۔
Duty-Distinct CoT
NeurIPS 2023 میں پیش کیا گیا یہ طریقہ نظام کے مختلف اجزاء کے درمیان ذمہ داریوں کی تقسیم کی تجویز دیتا ہے[6]:
- زبانی ماڈل منطقی استنتاج اور معلومات کے انضمام کا ذمہ دار ہوتا ہے۔
- بصری ذیلی نظام (کمپیوٹر ویژن ماڈل) تصویر کے مواد کی شناخت کا ذمہ دار ہوتا ہے۔
یہ «دوہری prompting» «تنقیدی سوچ» فراہم کرتی ہے: LLM خصوصی بصری ماڈیول سے حاصل کردہ بصری معلومات کو جانچتا اور استعمال کرتا ہے۔ DDCoT طریقے نے زیادہ عمومی اور قابلِ وضاحت استنتاج تیار کرنے میں مدد کی اور ملٹی موڈل سائنسی QA کاموں میں درستگی کو نمایاں طور پر بہتر بنایا[6]۔
MCoT کی دیگر اقسام
مخصوص modalities کے لیے ڈھالے گئے دیگر طریقے بھی فعال طور پر تیار کیے جا رہے ہیں:
- Dual CoT: متوازی دو طرفہ استنتاج کی اسکیم۔
- Audio-CoT: آڈیو اور تقریر سے متعلق کاموں کے لیے chain of thought کی ڈھلائی۔
- Video-of-Thought: ویڈیو ڈیٹا کے مرحلہ وار تجزیے کی تکنیک[1]۔
استعمال اور نتائج
ملٹی موڈل CoT prompting نے متعدد شعبوں میں مؤثریت ثابت کی ہے جہاں مختلف نوعیت کی معلومات کو یکجا کرنا ضروری ہوتا ہے۔
- تعلیم اور سائنسی QA: نظاموں کو خاکوں اور تصویروں کے ساتھ سوالات کے جوابات دینے کے قابل بناتا ہے، تفصیلی حل کی وضاحت فراہم کرتے ہوئے (مثلاً ScienceQA dataset پر)[4]۔
- خودمختار ڈرائیونگ اور روبوٹکس: لیڈار، سینسرز اور کیمروں سے ڈیٹا کی ترتیب وار تشریح میں مدد کرتا ہے، جس سے ایجنٹس کی منظر فہمی اور فیصلہ سازی بہتر ہوتی ہے۔
- Embodied AI: جسمانی دنیا سے تعامل کرنے والے نظاموں کے لیے بصری اور متنی اشاروں کی بنیاد پر زیادہ قابلِ اعتماد عمل منصوبہ بندی فراہم کرتا ہے۔
- طب اور صحتِ عامہ: طبی تصاویر (مثلاً ایکس ریز) کو متنی بیانات کے ساتھ ملانے سے تشخیص کی درستگی اور AI کے نتائج کی قابلِ وضاحت ی میں اضافہ ہوتا ہے[1]۔
مسائل اور امکانات
نمایاں پیش رفت کے باوجود، CoT کا ملٹی موڈل استعمال ایک پیچیدہ تحقیقی مسئلہ بنا ہوا ہے۔
- لیبل شدہ ڈیٹا کی کمی: ماڈلز کو درست ملٹی موڈل استنتاج تیار کرنے کی تربیت دینے کے لیے تفصیلی وضاحتوں کے ساتھ بڑے ڈیٹاسیٹس کی ضرورت ہوتی ہے، جن کا حصول محنت طلب ہے۔
- لچک اور عمومیت: ایک قسم کے کام (مثلاً متن + تصویر) کے لیے ترتیب دیے گئے طریقے modalities کے دیگر مجموعوں پر ناقص نتائج دے سکتے ہیں۔
- بہترین انضمام: یہ سوال کھلا ہے کہ مختلف modalities کو ایک واحد استنتاج کے عمل میں بہترین طریقے سے کیسے یکجا کیا جائے تاکہ یہ واقعی ماڈل کی فہم کو مضبوط کرے، نہ کہ محض جواب کو طویل بنائے۔
- معیاری کاری اور جانچ: مختلف MCoT طریقوں کی معروضی جانچ اور موازنے کے لیے معیاری benchmarks کی ترقی کی ضرورت ہے[6]۔
عمومی ذہانت کے قریب ملٹی موڈل AI حاصل کرنے کے لیے MCoT طریقوں میں مزید جدت کاری درکار ہے، جو مختلف سینسرز کے ذریعے دنیا کے ادراک کی خصوصیات کو مدِّنظر رکھے[1]۔
روابط
- Prompting Guide میں Multimodal CoT کا جائزہ
- «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey» — تفصیلی علمی جائزہ
کتابیات
- Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
- Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. CVPR 2024. PDF.
- Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
- Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
- Wang, Y. et al. (2025). Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey. arXiv:2503.12605.
- Ma, Z. et al. (2025). Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Models. arXiv:2501.07246.
- Li, J. et al. (2024). DCoT: Dual Chain-of-Thought Prompting for Large Multimodal Models. OpenReview:0saecDOdh2.
- Ma, Z. et al. (2025). ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models. arXiv:2506.21448.
- Zhang, M. et al. (2023). Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition. PDF.
- Mitra, S. et al. (2024). ThinkVideo: High-Quality Video Reasoning with Chain of Thoughts. arXiv:2505.18561.
- Wu, Y. et al. (2024). MINT: Multi-modal Chain of Thought in Unified Generative Models. arXiv:2503.01298.
حواشی
- ↑ 1.0 1.1 1.2 1.3 Wang, Y. et al. «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey». arXiv:2503.12605, 2025. [1]
- ↑ 2.0 2.1 Wei, J. et al. «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv:2201.11903, 2022. [2]
- ↑ 3.0 3.1 Huang, S. et al. «Language Is Not All You Need: Aligning Perception with Language Models». arXiv:2302.14045, 2023. [3]
- ↑ 4.0 4.1 4.2 Zhang, Z. et al. «Multimodal Chain-of-Thought Reasoning in Language Models». arXiv:2302.00923, 2023. [4]
- ↑ 5.0 5.1 Mitra, A. et al. «Compositional Chain-of-Thought Prompting for Large Multimodal Models». CVPR, 2024. [5]
- ↑ 6.0 6.1 6.2 Zheng, G. et al. «DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models». OpenReview, 2023. [6]