Chain-of-Verification (UR)
Chain-of-Verification (CoVe) — یہ ایک ایسا طریقہ ہے جو بڑے زبانی ماڈلز (LLM) میں ہیلوسینیشنز (یعنی حقیقتاً غلط لیکن قابلِ یقین جوابات کی تخلیق) کی تعداد کم کرنے کے لیے تجویز کیا گیا ہے[1]۔ یہ طریقہ Meta AI کے محققین کی ایک ٹیم نے شہزاد دھولیاوالا (Shehzaad Dhuliawala) کی قیادت میں تیار کیا اور اسے «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023) نامی تحقیقی مقالے میں پیش کیا گیا۔ یہ LLM کی خود-جانچ اور خود-اصلاح (self-verification) کے طریقوں کی درجہ بندی میں آتا ہے[2]۔ CoVe کا بنیادی خیال یہ ہے کہ ماڈل کسی بیرونی ذریعے کی مدد کے بغیر مرحلہ وار خود اپنے تیار کردہ جواب کی جانچ کرے[2]۔ اس سے نظام کو جواب پیش کرنے سے پہلے اپنے جواب کا خود تجزیہ کرنے اور اپنی غلطیاں درست کرنے پر زیادہ «ذہنی» توانائی صرف کرنے کی ترغیب ملتی ہے[2]۔
فون: زبانی ماڈلز میں ہیلوسینیشنز
بڑے زبانی ماڈلز (LLM) اکثر «ہیلوسینیشنز» کے مسئلے سے دوچار ہوتے ہیں — یعنی ایسے جوابات تیار کرتے ہیں جو بظاہر قابلِ یقین لگتے ہیں لیکن حقیقتاً غلط ہوتے ہیں[3]۔ NLP کے میدان میں یہ مسئلہ ایک ان حل شدہ مسئلے کے طور پر بڑے پیمانے پر تسلیم شدہ ہے: جدید ماڈل بھی انتہائی اعتماد کے ساتھ غلط معلومات فراہم کر کے صارفین کو گمراہ کر سکتے ہیں[1]۔ مثال کے طور پر، ماڈل کسی ایسے واقعے کو قائلانہ انداز میں «گھڑ» سکتا ہے جو کبھی ہوا ہی نہیں، یا کسی مشہور شخصیت کی سوانحی معلومات میں خلط ملط کر سکتا ہے۔ چونکہ ایسی حقیقی غلطیوں کو باریک بینی سے جانچے بغیر پکڑنا مشکل ہوتا ہے، اس لیے محققین LLM کے جوابات میں ہیلوسینیشنز کم کرنے کے طریقے سرگرمی سے تیار کر رہے ہیں۔
CoVe طریقے کے مراحل
Chain-of-Verification طریقہ چار یکے بعد دیگرے مراحل کے ذریعے نافذ ہوتا ہے[2][2]:
- بنیادی جواب کی تخلیق۔ ماڈل بغیر کسی خاص ہدایات کے اصل سوال کا ابتدائی جواب تیار کرتا ہے (جواب کا بنیادی مفروضہ)[3]۔ یہ مسودہ جواب نقطۂ آغاز کا کام دیتا ہے اور اس میں ہیلوسینیشنز ہو سکتی ہیں جنہیں اگلے مراحل میں دریافت کرنا ہوتا ہے۔
- تصدیقی سوالات کی منصوبہ بندی۔ اصل سوال اور تیار کردہ جواب سامنے رکھ کر، ماڈل وضاحتی سوالات کی ایک فہرست بناتا ہے جو بنیادی جواب کے دعووں کی حقیقی درستگی جانچتے ہیں[3]۔ یہ verification questions جواب کے اہم حقائق کو ہدف بناتے ہیں اور ممکنہ غلطیوں یا بے دقتیوں کو سامنے لانے میں مدد دیتے ہیں۔
- جانچ کا اجراء (تصدیق)۔ اس کے بعد ماڈل ہر تصدیقی سوال کا الگ الگ اور آزادانہ جواب دیتا ہے، اور کوشش کرتا ہے کہ ابتدائی جواب پر بھروسہ نہ کرے تاکہ تعصب سے بچا جا سکے[3]۔ حاصل شدہ جوابات کا اصل جواب سے موازنہ کیا جاتا ہے تاکہ تضادات یا غلطیاں سامنے آ سکیں: اس طرح اصل جواب کے وہ حصے نمایاں ہوتے ہیں جو حقائق سے مطابقت نہیں رکھتے۔
- حتمی جواب کی تشکیل۔ آخر میں، دریافت شدہ تضادات کی بنیاد پر ماڈل ایک اصلاح شدہ حتمی جواب تیار کرتا ہے[3]۔ اس جواب میں جانچ کے نتائج کو مدنظر رکھتے ہوئے ترامیم کی جاتی ہیں، جس سے اس کی حقیقی درستگی بڑھتی ہے اور ہیلوسینیشنز کا امکان کم ہوتا ہے۔
ان میں سے ہر مرحلہ اسی LLM کو اضافی سوالات بھیج کر، لیکن مختلف ہدایات کے ساتھ انجام دیا جاتا ہے[2]۔ یعنی ماڈل باری باری جواب دینے والے، پھر جانچنے والے (سوالات پوچھتا اور جواب دیتا ہے)، اور حتمی نتیجے کے مدیر کا کردار ادا کرتا ہے۔
تصدیق کے نفاذ کے طریقے
طریقے کے مصنفین نے تصدیق کے مرحلے کو نافذ کرنے کے کئی انداز آزمائے، جو تصدیقی سوالات پوچھنے اور ان کے جواب حاصل کرنے کے طریقے میں مختلف ہیں[2]:
- مشترکہ طریقہ (Joint)۔ ماڈل ایک ہی سوال کے ضمن میں تصدیقی سوالات اور ان کے جوابات دونوں تیار کرتا ہے۔ یہ طریقہ کم پسندیدہ ہے کیونکہ فوری جواب دیتے وقت ماڈل حقائق میں ہیلوسینیشن کر سکتا ہے اور تعصب کی وجہ سے اصل جواب کی غلطیاں دہرا سکتا ہے[3]۔
- دو مرحلہ طریقہ (2-Step)۔ تصدیقی سوالات پہلے ایک الگ سوال کے ذریعے تیار کیے جاتے ہیں، اور پھر اگلے سوال میں ماڈل تیار کردہ سوالات کی فہرست کے جوابات دیتا ہے[3]۔ مراحل کی یہ تقسیم سوالات بناتے وقت اصل جواب کے اثر سے بچنے میں مدد دیتی ہے۔
- الگ الگ جانچ (Factored)۔ ماڈل ہر تصدیقی سوال کا علیحدہ علیحدہ جواب دیتا ہے، کئی یکے بعد دیگرے سوالات استعمال کرتے ہوئے (فی سوال ایک)[3]۔ یہ طریقہ اصل جواب کے ٹکڑوں کی سادہ نقل سے بچاتا ہے: تصدیقی سوالات کے جواب خود مختاری سے بنائے جاتے ہیں، جس سے ابتدائی ہیلوسینیشن دہرائے جانے کا خطرہ کم ہوتا ہے۔ نقصان یہ ہے کہ سوالات کی تعداد کے ساتھ ساتھ سوالات کی تعداد بھی بڑھنے کی وجہ سے حسابی لاگت بڑھ جاتی ہے۔
- نظرثانی کے ساتھ الگ الگ جانچ (Factored + Revise)۔ تمام تصدیقی سوالات کے جواب ملنے کے بعد ماڈل موازنے اور نظرثانی کا ایک اضافی مرحلہ انجام دیتا ہے۔ ایک الگ سوال کے ذریعے وہ حاصل شدہ حقائق کا اصل جواب سے موازنہ کرتا ہے اور تضادات کو واضح طور پر نشان زد کرتا ہے، جس کے بعد اصلاحات کے ساتھ حتمی جواب تیار کرتا ہے[3]۔ یہ اضافی قدم نظام کو تضادات کا زیادہ باریک بینی سے تجزیہ کرنے اور اصلاح شدہ معلومات کو حتمی نتیجے میں شامل کرنے پر مجبور کرتا ہے۔
تجرباتی نتائج
Chain-of-Verification طریقے کو ایسے متعدد کاموں پر آزمایا گیا جو جوابات کی حقیقی درستگی کے لیے حساس ہیں[1]۔ ان میں شامل تھے: علمی بنیاد سے حقائق کی فہرستوں پر سوالات (Wikidata اور Wikipedia کے زمرہ جات کی فہرستیں)، متن کے مختلف حصوں سے متعدد جوابات والے سوالات (MultiSpanQA)، نیز تفصیلی متن کی تخلیق کے کام (مثلاً سوانح حیات)[1]۔
نتائج نے ظاہر کیا کہ CoVe استعمال کرنے سے تمام قسم کے کاموں میں خود-جانچ کے بغیر اصل ماڈلز کے مقابلے میں ہیلوسینیشنز میں نمایاں کمی آئی[1]۔ factored + revise کا طریقہ — یعنی حتمی حقائق کی جانچ کے ساتھ الگ الگ تصدیق — خاص طور پر مؤثر ثابت ہوا۔ اس طریقے نے درستگی کے بہترین اعداد و شمار دیے: مثال کے طور پر، سوانح حیات کی تخلیق کے کام میں LLaMA-65B ماڈل (65 ارب پیرامیٹرز والا LLM) پر CoVe لگانے سے اس کا حقیقی درستگی کا پیمانہ FactScore تقریباً 63.7 سے بڑھ کر تقریباً 71.4 پوائنٹس تک پہنچ گیا[2]۔ FactScore میں یہ اضافہ ظاہر کرتا ہے کہ حتمی جوابات میں تصدیق شدہ حقائق زیادہ اور گھڑے گئے حقائق کم ہو گئے۔
اس سے بھی بڑھ کر، تصدیق کی زنجیر سے لیس LLM کچھ زیادہ طاقتور یا خصوصی طور پر لیس نظاموں سے بھی آگے نکل گیا۔ چنانچہ CoVe کے ساتھ LLaMA-65B نے ChatGPT (OpenAI کے ماڈل) سے زیادہ FactScore حاصل کیا اور Perplexity.ai — ایک ایسے ماڈل جو جوابات کی حقیقی تائید کے لیے انٹرنیٹ تلاش سے لیس ہے — سے بھی آگے نکل گیا[2]۔ یہ قابلِ ذکر ہے کیونکہ Perplexity معلومات تلاش کرنے کے لیے بیرونی ذرائع استعمال کرتا ہے، جبکہ CoVe صرف ماڈل کی اپنی استدلال اور خود-جانچ کی داخلی صلاحیتوں پر بھروسہ کرتے ہوئے معیار میں بہتری لاتا ہے[2]۔ البتہ سب سے کم معروف حقائق پر (جب مخصوص علم درکار ہو) Perplexity جیسا retrieval نظام ابھی بھی برتری رکھتا ہے، لیکن اکثر سوالات پر CoVe نے زیادہ درست جواب دیے[2]۔
حدود اور امکانات
یہ بات واضح رہے کہ اگرچہ Chain-of-Verification ہیلوسینیشنز کا تناسب نمایاں طور پر کم کرتا ہے، لیکن یہ طریقہ انہیں مکمل طور پر ختم کرنے میں کامیاب نہیں۔ ماڈل پھر بھی غلطیاں کر سکتا ہے اگر تصدیقی سوالات کسی غلط تفصیل کو نہ پکڑ سکیں یا اگر LLM خود صحیح حقیقت نہ جانتا ہو۔ اس کے علاوہ، CoVe حسابی بوجھ بڑھاتا ہے: ایک صارف کے سوال کے لیے ماڈل سے کئی یکے بعد دیگرے درخواستیں کرنی پڑتی ہیں (جواب کی تخلیق، سوالات کی تخلیق، ان کے جوابات، حتمی یکجائی)، جبکہ عام ماڈل ایک ہی مرحلے میں جواب دیتا ہے[2]۔ بہرحال، مصنفین ظاہر کرتے ہیں کہ کل لاگت کے لحاظ سے CoVe ہیلوسینیشنز کی شناخت کے دیگر کثیر مرحلہ طریقوں سے موازنہ کے قابل ہے اور ایک عملی حل رہتا ہے[2]۔
اپنی تحقیق میں Meta AI کے محققین نے طریقے کو بہتر بنانے کی ممکنہ سمتیں بتائی ہیں۔ ایک واضح راستہ یہ ہے کہ CoVe کو بیرونی اوزاروں کے استعمال سے جوڑا جائے، مثلاً تصدیق کے مرحلے پر انٹرنیٹ تلاش یا علمی بنیادوں کا ماڈیول شامل کیا جائے[2]۔ اس سے باہر سے قابلِ اعتماد معلومات حاصل کرنا اور اصل جواب کے حقائق کو مزید قابلِ اعتماد طریقے سے ثابت یا رد کرنا ممکن ہوتا۔ اس طرح، Chain-of-Verification زیادہ ذمہ دار اور درست AI نظاموں کی طرف ایک قدم کا کام کرتا ہے: یہ ظاہر کرتا ہے کہ ماڈل کو اپنے جواب پر تنقیدی نگاہ ڈالنے پر مجبور کر کے اس کے معیار کو نمایاں طور پر بہتر بنایا جا سکتا ہے اور تیار کردہ متن میں گھڑے گئے حقائق کے پھیلاؤ کو کم کیا جا سکتا ہے[2]۔
روابط
- arXiv پر اصل مقالہ «Chain-of-Verification Reduces Hallucination in Large Language Models»
- ACL Anthology میں «Chain-of-Verification Reduces Hallucination in Large Language Models» مقالہ
- Chain of Verification (CoVe) — Understanding & Implementation — Medium پر مضمون
کتابیات
- Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
- Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
- Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
- Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
- Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
- Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
- Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
- Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
حواشی
- ↑ 1.0 1.1 1.2 1.3 1.4 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». arXiv. [1]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». ACL Anthology. [2]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». Medium. [3]