Chain-of-Verification (FA)

From Systems analysis Wiki
Jump to navigation Jump to search

Chain-of-Verification (CoVe) — روشی است که برای کاهش هالوسیناسیون‌ها (تولید پاسخ‌های نادرست اما قابل‌قبول از نظر ظاهری) در مدل‌های زبانی بزرگ (LLM) پیشنهاد شده است[1]. این رویکرد، که توسط گروهی از پژوهشگران Meta AI به سرپرستی شهزاد ضلیاوالا (Shehzaad Dhuliawala) توسعه یافته و در مقاله‌ی «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023) معرفی شده، به دسته‌ی روش‌های خودبررسی و خودتصحیحی (self-verification) در LLMها تعلق دارد[2]. ایده‌ی اصلی CoVe در بررسی مرحله‌به‌مرحله‌ی پاسخ تولیدشده توسط خود مدل، بدون استفاده از منابع خارجی، نهفته است[2]. این رویکرد سیستم را وادار می‌کند تلاش «خردمندانه‌تری» برای تحلیل پاسخ و اصلاح خطاهای خود صرف کند، پیش از آن‌که پاسخ را به کاربر ارائه دهد[2].

پیش‌زمینه: هالوسیناسیون در مدل‌های زبانی

مدل‌های زبانی بزرگ (LLM) اغلب از پدیده‌ی «هالوسیناسیون» رنج می‌برند — یعنی تولید پاسخ‌هایی که ظاهراً معقول به نظر می‌رسند اما از نظر واقعی نادرست هستند[3]. این مشکل در حوزه‌ی NLP به‌طور گسترده‌ای به‌عنوان یک چالش حل‌نشده شناخته می‌شود: حتی مدل‌های پیشرفته نیز می‌توانند با اطمینان بالا اطلاعات نادرست ارائه دهند و کاربران را گمراه کنند[1]. برای مثال، یک مدل ممکن است یک واقعیت غیرواقعی را به‌شکلی متقاعدکننده «ابداع کند» یا اطلاعات زندگی‌نامه‌ای یک شخصیت مشهور را با هم قاطی کند. از آن‌جا که چنین خطاهای واقعی بدون بررسی دقیق به‌سختی قابل تشخیص هستند، پژوهشگران به‌طور فعال روش‌هایی برای کاهش هالوسیناسیون در پاسخ‌های LLM توسعه می‌دهند.

مراحل روش CoVe

روش Chain-of-Verification از طریق چهار گام متوالی پیاده‌سازی می‌شود[2][2]:

  1. تولید پاسخ پایه. مدل بدون دستورالعمل‌های ویژه، پاسخ اولیه‌ای برای درخواست اصلی تولید می‌کند (فرضیه‌ی پایه‌ی پاسخ)[3]. این پاسخ پیش‌نویس به‌عنوان نقطه‌ی شروع عمل می‌کند و ممکن است حاوی هالوسیناسیون‌هایی باشد که در مراحل بعدی باید کشف شوند.
  2. برنامه‌ریزی سؤالات تأیید. با در اختیار داشتن سؤال اصلی و پاسخ تولیدشده، مدل فهرستی از سؤالات روشن‌گر تدوین می‌کند که صحت واقعی ادعاهای پاسخ پایه را بررسی می‌کنند[3]. این verification questions بر حقایق کلیدی پاسخ تمرکز دارند و به شناسایی خطاها یا نادقتی‌های احتمالی کمک می‌کنند.
  3. اجرای بررسی (تأیید). سپس مدل به‌طور متوالی و مستقل به هر یک از سؤالات تأیید تدوین‌شده پاسخ می‌دهد و می‌کوشد به پاسخ اولیه تکیه نکند تا از سوگیری جلوگیری شود[3]. پاسخ‌های به‌دست‌آمده با پاسخ اصلی مقایسه می‌شوند تا تناقضات یا خطاها کشف شوند: بدین ترتیب بخش‌هایی از پاسخ اصلی که با واقعیت تأیید نمی‌شوند، شناسایی می‌گردند.
  4. شکل‌گیری پاسخ نهایی. در آخر، بر اساس تفاوت‌های یافت‌شده، مدل یک پاسخ اصلاح‌شده‌ی نهایی تولید می‌کند[3]. در این پاسخ اصلاحاتی با در نظر گرفتن نتایج بررسی اعمال می‌شود، که دقت واقعی آن را افزایش داده و احتمال هالوسیناسیون را کاهش می‌دهد.

هر یک از این مراحل با استفاده از درخواست‌های اضافی به همان LLM اما با دستورالعمل‌های متفاوت اجرا می‌شود[2]. یعنی مدل به‌نوبت نقش پاسخ‌دهنده، سپس بررسی‌کننده (طرح سؤال و پاسخ به آن‌ها)، و ویراستار خروجی نهایی را بر عهده می‌گیرد.

گونه‌های پیاده‌سازی تأیید

نویسندگان روش، چندین حالت پیاده‌سازی مرحله‌ی تأیید را آزمایش کردند که از نظر شیوه‌ی طرح و دریافت پاسخ به سؤالات تأیید با یکدیگر متفاوتند[2]:

  • رویکرد ترکیبی (Joint). مدل هم سؤالات تأیید و هم پاسخ‌های آن‌ها را در قالب یک درخواست واحد تولید می‌کند. این گونه کمتر مطلوب است، چرا که مدل هنگام پاسخ دادن فوری ممکن است واقعیات را هالوسینه کند و خطاهای پاسخ اصلی را به دلیل سوگیری تکرار نماید[3].
  • رویکرد دومرحله‌ای (2-Step). سؤالات تأیید ابتدا در یک درخواست جداگانه تولید می‌شوند و سپس در درخواست بعدی مدل به فهرست سؤالات شکل‌گرفته پاسخ می‌دهد[3]. جداسازی مراحل به جلوگیری از تأثیر پاسخ اصلی در هنگام تولید سؤالات کمک می‌کند.
  • تأیید جداگانه (Factored). مدل به‌طور مجزا به هر سؤال تأیید پاسخ می‌دهد و از چندین درخواست متوالی (یکی برای هر سؤال) استفاده می‌کند[3]. این رویکرد از کپی‌برداری ساده از بخش‌های پاسخ اصلی جلوگیری می‌کند: پاسخ‌ها به سؤالات تأیید به‌صورت مستقل تدوین می‌شوند که خطر تکرار هالوسیناسیون اولیه را کاهش می‌دهد. نقطه‌ضعف آن هزینه‌ی محاسباتی بالاتر است، چرا که تعداد درخواست‌ها متناسب با تعداد سؤالات افزایش می‌یابد.
  • تأیید جداگانه با بازنگری (Factored + Revise). پس از دریافت پاسخ‌ها به تمام سؤالات تأیید، مدل یک مرحله‌ی اضافی مقایسه و بازنگری انجام می‌دهد. از طریق یک درخواست جداگانه، واقعیات به‌دست‌آمده را با پاسخ اصلی مقایسه کرده و ناهماهنگی‌ها را به‌صراحت علامت‌گذاری می‌کند، سپس پاسخ نهایی با اصلاحات تولید می‌شود[3]. این گام اضافه سیستم را مجبور می‌کند تفاوت‌ها را دقیق‌تر تحلیل کرده و اطلاعات اصلاح‌شده را در خروجی نهایی ادغام کند.

نتایج آزمایشی

روش Chain-of-Verification بر روی تعدادی از وظایف حساس به دقت واقعی پاسخ‌ها آزموده شد[1]. از جمله این وظایف: سؤالات فهرست‌برداری واقعیات از پایگاه دانش (فهرست‌هایی از Wikidata و دسته‌بندی‌های Wikipedia)، سؤالات چندپاسخی از بخش‌های مختلف متن (MultiSpanQA)، و وظایف تولید متن گسترده (مانند زندگی‌نامه‌ها) بودند[1].

نتایج نشان داد که با استفاده از CoVe در مقایسه با مدل‌های اصلی بدون خودبررسی، کاهش چشمگیری در هالوسیناسیون‌ها در تمام انواع وظایف رخ داد[1]. گونه‌ی factored + revise — یعنی تأیید جداگانه با تطبیق نهایی واقعیات — به‌ویژه مؤثر واقع شد. این رویکرد بهترین شاخص‌های دقت را داد: برای مثال، در وظیفه‌ی تولید متن زندگی‌نامه، کاربرد CoVe بر روی مدل LLaMA-65B (یک LLM با ۶۵ میلیارد پارامتر)، معیار واقعی‌نگاری FactScore آن را از ~۶۳٫۷ به ~۷۱٫۴ امتیاز ارتقا داد[2]. افزایش FactScore نشان می‌دهد که پاسخ‌های نهایی حاوی واقعیات تأییدشده‌ی بیشتر و اطلاعات ساختگی کمتری شدند.

علاوه بر این، LLM با زنجیره‌ی تأیید متصل‌شده توانست حتی برخی سیستم‌های قدرتمندتر یا مجهزتر را پشت سر بگذارد. LLAMA-65B با CoVe FactScore بالاتری نسبت به ChatGPT (مدل OpenAI) نشان داد و از Perplexity.ai — مدلی که برای پشتیبانی واقعی پاسخ‌ها با جستجوی اینترنتی تقویت شده — پیشی گرفت[2]. این قابل‌توجه است، چرا که Perplexity از منابع خارجی برای جستجوی اطلاعات استفاده می‌کند، در حالی که CoVe بهبود کیفیت را تنها با تکیه بر توانایی‌های درونی خود مدل در استدلال و خودبررسی به دست می‌آورد[2]. البته بر روی نادرترین واقعیات (که نیازمند دانش تخصصی هستند) سیستم‌های retrieval مانند Perplexity همچنان مزیت خود را حفظ می‌کنند، اما در اکثر سؤالات CoVe پاسخ‌های دقیق‌تری ارائه داد[2].

محدودیت‌ها و چشم‌اندازها

لازم به ذکر است که اگرچه Chain-of-Verification سهم هالوسیناسیون‌ها را به‌طور قابل‌توجهی کاهش می‌دهد، این روش قادر به حذف کامل آن‌ها نیست. مدل همچنان ممکن است اشتباه کند، اگر سؤالات تأیید یک جزئیت نادرست را پوشش نداده باشند یا اگر خود LLM واقعیت صحیح را نداند. علاوه بر این، CoVe بار محاسباتی را افزایش می‌دهد: برای یک درخواست کاربر، نیاز است چندین مراجعه‌ی متوالی به مدل انجام شود (تولید پاسخ، تولید سؤالات، پاسخ به آن‌ها، مونتاژ نهایی)، در حالی که مدل معمولی در یک گام پاسخ می‌دهد[2]. با این حال، نویسندگان نشان می‌دهند که از نظر هزینه‌ی کلی، CoVe با سایر رویکردهای چندمرحله‌ای شناسایی هالوسیناسیون قابل مقایسه است و یک راه‌حل عملی باقی می‌ماند[2].

پژوهشگران Meta AI در مقاله‌ی خود جهت‌های احتمالی بهبود روش را مشخص کردند. یکی از راه‌های آشکار، ترکیب CoVe با استفاده از ابزارهای خارجی است، مثلاً اتصال ماژول جستجوی اینترنتی یا پایگاه‌های دانش در مرحله‌ی تأیید[2]. این امر امکان دریافت اطلاعات موثق از بیرون و تأیید یا رد واقعیات پاسخ اصلی را به‌شکل قابل‌اطمینان‌تری فراهم می‌کند. بدین ترتیب، Chain-of-Verification گامی به‌سوی سیستم‌های هوش مصنوعی مسئول‌تر و دقیق‌تر است: این روش نشان می‌دهد که با وادار کردن مدل به بازنگری انتقادی پاسخ خود، می‌توان کیفیت آن را به‌طور چشمگیری افزایش داد و انتشار واقعیات ساختگی در متن تولیدشده را کاهش داد[2].

پیوندها

  • مقاله‌ی اصلی «Chain-of-Verification Reduces Hallucination in Large Language Models» در arXiv
  • مقاله‌ی «Chain-of-Verification Reduces Hallucination in Large Language Models» در ACL Anthology
  • Chain of Verification (CoVe) — Understanding & Implementation — مقاله در Medium

منابع

  • Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
  • Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
  • Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
  • Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
  • Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
  • Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.

یادداشت‌ها

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». arXiv. [۱]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». ACL Anthology. [۲]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». Medium. [۳]
Retrieved from "https://systems-analysis.info/int/index.php?title=Chain-of-Verification_(FA)&oldid=873"