Self-consistency prompting (UR)
خود-ہمآہنگ ڈیکوڈنگ (انگریزی: Self-Consistency Prompting, SC) — یہ prompt engineering میں ڈیکوڈنگ کا ایک طریقہ یا حکمتِ عملی ہے جو بڑے لسانی ماڈلز (LLM) کی درستگی اور قابلِ اعتماد ہونے کو بہتر بنانے کے لیے بنائی گئی ہے، خاص طور پر ایسے مسائل حل کرنے میں جن کے لیے کثیر مرحلاتی استدلال درکار ہو، جیسے کہ حسابی اور منطقی پہیلیاں[1]۔ یہ طریقہ 2022 میں Google Research کے محققین نے Chain-of-Thought (CoT) تکنیک کی بہتری کے طور پر پیش کیا۔
بنیادی خیال یہ ہے کہ صرف ایک لالچی (greedy) نتیجے تک محدود نہ رہا جائے، بلکہ اس کی جگہ ایک ہی سوال پر متعدد مختلف استدلالی راستے پیدا کیے جائیں اور پھر وہ حتمی جواب منتخب کیا جائے جو ان تمام راستوں میں سب سے زیادہ بار آئے۔ یہ نقطہ نظر ایک بدیہی اصول پر مبنی ہے: اگر ماڈل مختلف طریقوں سے سوچ کر بار بار ایک ہی نتیجے پر پہنچے، تو اس نتیجے کے درست ہونے کا امکان بہت زیادہ ہوتا ہے[1]۔
سیاق و سباق اور پس منظر
Self-Consistency طریقہ Chain-of-Thought (CoT) تکنیک کی براہِ راست ترقی ہے۔ Wei اور ساتھیوں (2022) کی پیش کردہ CoT تکنیک نے LLM کی پیچیدہ مسائل حل کرنے کی صلاحیت کو نمایاں طور پر بہتر کیا، جس میں ماڈل کو حل کے مراحل واضح طور پر لکھنے پر مجبور کیا جاتا ہے[2]۔ تاہم CoT کے بنیادی نفاذ میں greedy decoding استعمال ہوتی ہے، جس میں ہر قدم پر سب سے زیادہ ممکنہ اگلا token منتخب کیا جاتا ہے۔ اس سے ایک قید پیدا ہوتی ہے: اگر ماڈل ابتدائی مرحلے میں غلطی کرے تو وہ اس غلط راستے سے ہٹ کر اسے درست نہیں کر سکتا۔ Self-Consistency کو بالکل اسی مسئلے کے حل کے لیے پیش کیا گیا[1]۔
کام کرنے کا طریقہ کار
Self-Consistency کا الگورتھم تعینی (deterministic) لالچی نقطہ نظر کو نمونہکشی اور پھر جمعبندی کے طریقہ کار سے بدل دیتا ہے اور اس میں درج ذیل مراحل شامل ہیں[1]:
- متعدد استدلالی راستوں کا اخراج: ایک جواب کی بجائے، ماڈل ایک ہی سوال کے لیے کئی بار (مثلاً 40 بار تک) chain-of-thought طریقہ استعمال کرتے ہوئے حل پیدا کرتا ہے۔ متنوع استدلالی راستے حاصل کرنے کے لیے stochastic ڈیکوڈنگ کے طریقے استعمال کیے جاتے ہیں، جیسے درجہ حرارت کی نمونہکشی (temperature > 0 کے ساتھ)۔
- جمعبندی اور جواب کا انتخاب: تمام پیدا کردہ استدلالی زنجیروں سے صرف حتمی جوابات (مثلاً عددی قدر) نکالے جاتے ہیں۔ پھر ان جوابات میں سے سب سے زیادہ بار آنے والا جواب منتخب کیا جاتا ہے۔ یہی جواب حتمی نتیجے کے طور پر پیش کیا جاتا ہے۔
یہ نقطہ نظر خود-جمعی (self-ensembling) کے اصول کی نقل کرتا ہے، جہاں ایک ہی ماڈل کے متعدد نتائج کو قابلِ اعتماد بڑھانے اور بے ترتیب غلطیوں کو ہموار کرنے کے لیے استعمال کیا جاتا ہے[3]۔
کارکردگی اور نتائج
اصل تحقیق میں Self-Consistency نے کئی مشہور benchmarks پر درستگی میں خاطر خواہ اضافہ ظاہر کیا، خاص طور پر حسابی اور منطقی استدلال کے مسائل میں۔
- ریاضی کے مسائل کے benchmark GSM8K پر PaLM-540B ماڈل کی درستگی 56.6% (CoT کے ساتھ) سے بڑھ کر 74.4% (Self-Consistency کے ساتھ) ہو گئی، جو 17.8% کا اضافہ ہے۔
- دیگر حسابی مسائل جیسے SVAMP اور AQuA پر اضافہ بالترتیب +11.0% اور +12.2% رہا۔
- منطق اور عقلِ سلیم کے مسائل جیسے StrategyQA پر بہتری +6.4% رہی[1]۔
Self-Consistency کے استعمال سے GPT-3 175B اور PaLM 540B جیسے بڑے ماڈلز کے ساتھ کئی benchmarks پر نئے بہترین کارکردگی کے ریکارڈ (state-of-the-art) قائم ہوئے[1]۔
فوائد اور حدود
فوائد
- درستگی میں اضافہ: پیچیدہ کثیر مرحلاتی استدلال کے مسائل میں نتائج کو نمایاں طور پر بہتر کرتا ہے۔
- قابلِ اعتماد ہونا: یہ طریقہ ان غلطیوں کے خلاف زیادہ مستحکم ہے جو ایک اکیلی استدلالی زنجیر میں ہو سکتی ہیں۔
- نفاذ میں سادگی: اس کے لیے اضافی تربیت یا ماڈل کی ساخت میں تبدیلی کی ضرورت نہیں۔ اس طریقہ کو موجودہ ماڈل کے گرد ایک سادہ wrapper کے طور پر نافذ کیا جا سکتا ہے۔
حدود
- زیادہ حسابی لاگت: سب سے بڑا نقصان — ایک سوال کے لیے کئی بار (مثلاً 10، 20 یا 40 بار) جواب پیدا کرنے کی ضرورت ہے، جو نتیجہ اخذ کرنے کی لاگت اور وقت کو متناسب طور پر بڑھا دیتی ہے۔
- محدود اطلاقپذیری: معیاری طریقہ ان مسائل کے لیے سب سے زیادہ کارگر ہے جن میں جواب کا واضح فارمیٹ ہو (مثلاً عدد، ہاں/نہیں، فہرست سے ایک آپشن)، جہاں اکثریتی ووٹنگ آسانی سے کی جا سکے۔ یہ کھلی نوعیت کی تخلیقی تحریر (مضمون نویسی، خلاصہ کاری) پر کم موزوں ہے، جہاں جوابات اپنی شکل میں منفرد ہوتے ہیں۔
- منظم غلطی کا خطرہ: اگر ماڈل منظم طریقے سے غلط استدلال پیدا کرے جو اتفاقاً ایک ہی غلط جواب پر اکٹھے ہو جائیں، تو Self-Consistency نہ صرف غلطی کو درست نہیں کرے گا بلکہ اس پر اعتماد کو اور مضبوط کر دے گا۔
طریقہ کی ترقی: Universal Self-Consistency
بنیادی طریقہ کی آزادانہ جواب والے مسائل میں محدودیت کو بعد کی تحقیقات میں مدنظر رکھا گیا۔ 2023 کے آخر میں Google DeepMind کے محققین کے ایک گروپ نے Universal Self-Consistency (USC) نقطہ نظر پیش کیا[4]۔
USC میں حتمی جوابات پر سادہ ووٹنگ کی بجائے جمعبندی کے لیے LLM خود جج کے طور پر استعمال ہوتا ہے۔ ماڈل پہلے کئی مکمل حل پیدا کرتا ہے، پھر اسے ایک نیا prompt ملتا ہے جس میں ان میں سے سب سے زیادہ ہمآہنگ یا سب سے بہتر معیار والا جواب منتخب کرنے کی درخواست ہوتی ہے۔ یہ نقطہ نظر خود-ہمآہنگی کے اصولوں کو کھلے اور تخلیقی جواب کے فارمیٹ والے مسائل پر بھی لاگو کرنے کی اجازت دیتا ہے[5]۔
حوالہ جات
- Self-Consistency Improves Chain of Thought Reasoning in Language Models — Google Research کا اصل تحقیقی مقالہ۔
- Self-Consistency — Prompt Engineering Guide پر رہنمائی۔
کتابیات
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
- Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
- Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
- Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
- Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
- Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
- Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
- Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.
حواشی
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Wang, X., Wei, J., Schuurmans, D., et al. (2022). «Self-Consistency Improves Chain of Thought Reasoning in Language Models». arXiv. [1]
- ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». NeurIPS 2022.
- ↑ «Self-Consistency Improves Chain of Thought Reasoning in Language Models - Summary». Portkey. [2]
- ↑ Chen, X., et al. (2023). «Universal Self-Consistency with Large Language Models». arXiv. [3]
- ↑ «Universal Self-Consistency with Large Language Models». Google DeepMind Publications. [4]