Chain-of-Verification (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

Chain-of-Verification (CoVe) — คือวิธีการที่ถูกเสนอขึ้นเพื่อลดจำนวน ภาพหลอน (การสร้างคำตอบที่ผิดพลาดทางข้อเท็จจริงแต่ดูน่าเชื่อถือ) ในโมเดลภาษาขนาดใหญ่ (LLM)[1] แนวทางนี้พัฒนาโดยกลุ่มนักวิจัยจาก Meta AI ภายใต้การนำของ Shehzaad Dhuliawala และนำเสนอในงานวิจัย «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023) ซึ่งจัดอยู่ในกลุ่มวิธีการ การตรวจสอบตนเอง และ การแก้ไขตนเอง (self-verification) ของ LLM[2] แนวคิดหลักของ CoVe คือการตรวจสอบคำตอบที่สร้างขึ้นอย่างเป็นขั้นตอนโดยตัวโมเดลเองโดยไม่อาศัยแหล่งข้อมูลภายนอก[2] วิธีนี้กระตุ้นให้ระบบใช้ความพยายาม «เชิงเหตุผล» มากขึ้นในการวิเคราะห์คำตอบและแก้ไขข้อผิดพลาดของตนเองก่อนที่จะนำเสนอคำตอบต่อผู้ใช้[2]

ภูมิหลัง: ภาพหลอนในโมเดลภาษา

โมเดลภาษาขนาดใหญ่ (LLM) มักประสบกับปรากฏการณ์ «ภาพหลอน» ซึ่งหมายถึงการสร้างคำตอบที่ดูน่าเชื่อถือแต่ผิดพลาดทางข้อเท็จจริง[3] ปัญหานี้ได้รับการยอมรับอย่างกว้างขวางว่ายังไม่ได้รับการแก้ไขในด้าน NLP เนื่องจากแม้แต่โมเดลสมัยใหม่ก็อาจให้ข้อมูลเท็จด้วยความมั่นใจสูง ทำให้ผู้ใช้เข้าใจผิด[1] ตัวอย่างเช่น โมเดลอาจ «สร้างขึ้น» ข้อเท็จจริงที่ไม่มีอยู่จริงอย่างน่าเชื่อถือ หรือสับสนข้อมูลประวัติของบุคคลที่มีชื่อเสียง เนื่องจากข้อผิดพลาดเชิงข้อเท็จจริงเหล่านี้ตรวจพบได้ยากหากไม่มีการตรวจสอบอย่างละเอียด นักวิจัยจึงพัฒนาวิธีการต่าง ๆ อย่างแข็งขันเพื่อลดจำนวนภาพหลอนในคำตอบของ LLM

ขั้นตอนของวิธีการ CoVe

วิธีการ Chain-of-Verification ดำเนินการผ่านสี่ขั้นตอนที่ต่อเนื่องกัน[2][2]:

  1. การสร้างคำตอบพื้นฐาน โมเดลสร้างคำตอบเบื้องต้นสำหรับคำถามต้นทางโดยไม่มีคำแนะนำพิเศษ (สมมติฐานคำตอบพื้นฐาน)[3] คำตอบร่างนี้ทำหน้าที่เป็นจุดเริ่มต้นและอาจมีภาพหลอนที่จะต้องค้นพบในขั้นตอนถัดไป
  2. การวางแผนคำถามตรวจสอบ เมื่อมีคำถามต้นทางและคำตอบที่สร้างขึ้นแล้ว โมเดลจะกำหนดรายการคำถามเชิงตรวจสอบที่ยืนยันความถูกต้องของข้อเท็จจริงจากคำตอบพื้นฐาน[3] verification questions เหล่านี้มุ่งเน้นที่ข้อเท็จจริงสำคัญของคำตอบและช่วยในการระบุข้อผิดพลาดหรือความไม่ถูกต้องที่อาจเกิดขึ้น
  3. การดำเนินการตรวจสอบ (การพิสูจน์) จากนั้นโมเดลจะตอบคำถามตรวจสอบแต่ละข้ออย่างต่อเนื่องและเป็นอิสระ โดยพยายามไม่อ้างอิงคำตอบเบื้องต้นเพื่อหลีกเลี่ยงอคติ[3] คำตอบที่ได้จะถูกเปรียบเทียบกับคำตอบต้นทางเพื่อค้นหาความขัดแย้งหรือข้อผิดพลาด วิธีนี้ช่วยระบุส่วนของคำตอบต้นทางที่ไม่ได้รับการสนับสนุนจากข้อเท็จจริง
  4. การสร้างคำตอบขั้นสุดท้าย สุดท้าย โมเดลสร้างคำตอบที่แก้ไขแล้วโดยอิงจากความไม่สอดคล้องที่พบ[3] คำตอบนี้ได้รับการปรับปรุงตามผลการตรวจสอบ ซึ่งช่วยเพิ่มความแม่นยำทางข้อเท็จจริงและลดโอกาสเกิดภาพหลอน

แต่ละขั้นตอนเหล่านี้ดำเนินการโดยใช้การสอบถามเพิ่มเติมไปยัง LLM เดียวกันแต่ด้วยคำแนะนำที่แตกต่างกัน[2] นั่นคือโมเดลจะสลับบทบาทเป็นผู้ตอบ จากนั้นเป็นผู้ตรวจสอบ (ตั้งคำถามและตอบ) และเป็นบรรณาธิการของผลลัพธ์ขั้นสุดท้าย

ตัวแปรของการดำเนินการตรวจสอบ

ผู้เขียนวิธีการได้ทดลองหลายรูปแบบในการดำเนินขั้นตอนการตรวจสอบ ซึ่งแตกต่างกันในวิธีการตั้งและรับคำตอบสำหรับคำถามตรวจสอบ[2]:

  • แนวทางรวม (Joint) โมเดลสร้างทั้งคำถามตรวจสอบและคำตอบสำหรับคำถามเหล่านั้นภายในการสอบถามเดียว ตัวเลือกนี้มีความเหมาะสมน้อยกว่าเนื่องจากโมเดลที่ตอบทันทีอาจสร้างภาพหลอนของข้อเท็จจริงและทำซ้ำข้อผิดพลาดของคำตอบต้นทางเนื่องจากความเอนเอียง[3]
  • แนวทางสองขั้นตอน (2-Step) คำถามตรวจสอบถูกสร้างขึ้นก่อนด้วยการสอบถามแยกต่างหาก จากนั้นในการสอบถามถัดไปโมเดลจะตอบรายการคำถามที่สร้างขึ้น[3] การแยกขั้นตอนช่วยหลีกเลี่ยงอิทธิพลของคำตอบต้นทางในระหว่างการสร้างคำถาม
  • การตรวจสอบแยกส่วน (Factored) โมเดลตอบ คำถามตรวจสอบแต่ละข้อแยกกัน โดยใช้การสอบถามแบบต่อเนื่องหลายครั้ง (หนึ่งครั้งต่อคำถาม)[3] แนวทางนี้ป้องกันการคัดลอกส่วนของคำตอบต้นทางง่าย ๆ เนื่องจากคำตอบสำหรับคำถามตรวจสอบถูกกำหนดขึ้นอย่างอิสระ ซึ่งช่วยลดความเสี่ยงในการทำซ้ำภาพหลอนเดิม ข้อเสียคือต้นทุนการคำนวณที่เพิ่มขึ้นเนื่องจากจำนวนการสอบถามเพิ่มขึ้นตามสัดส่วนของจำนวนคำถาม
  • การตรวจสอบแยกส่วนพร้อมการปรับปรุง (Factored + Revise) หลังจากได้รับคำตอบสำหรับคำถามตรวจสอบทั้งหมดแล้ว โมเดลจะดำเนินขั้นตอนเพิ่มเติมของการเปรียบเทียบและ การแก้ไข โดยใช้การสอบถามแยกต่างหาก โมเดลจะเปรียบเทียบข้อเท็จจริงที่ได้กับคำตอบต้นทางและระบุความไม่สอดคล้องอย่างชัดเจน จากนั้นจึงสร้างคำตอบขั้นสุดท้ายพร้อมการแก้ไข[3] ขั้นตอนเพิ่มเติมนี้บังคับให้ระบบวิเคราะห์ความแตกต่างอย่างละเอียดมากขึ้นและรวมข้อมูลที่แก้ไขแล้วเข้าในผลลัพธ์ขั้นสุดท้าย

ผลการทดลอง

วิธีการ Chain-of-Verification ได้รับการทดสอบกับงานหลายประเภทที่มีความไวต่อความแม่นยำทางข้อเท็จจริงของคำตอบ[1] ในจำนวนนั้นได้แก่ คำถามการแจกแจงข้อเท็จจริงจากฐานความรู้ (รายการจาก Wikidata และหมวดหมู่ Wikipedia) คำถามที่มีคำตอบหลายข้อจากส่วนต่าง ๆ ของข้อความ (MultiSpanQA) และงานการสร้างข้อความแบบขยาย (เช่น ชีวประวัติ)[1]

ผลลัพธ์แสดงให้เห็น การลดลงอย่างมีนัยสำคัญของภาพหลอน ในทุกประเภทของงานเมื่อใช้ CoVe เปรียบเทียบกับโมเดลต้นทางที่ไม่มีการตรวจสอบตนเอง[1] ตัวแปร factored + revise ซึ่งเป็นการตรวจสอบแยกส่วนพร้อมการเปรียบเทียบข้อเท็จจริงขั้นสุดท้ายแสดงประสิทธิภาพสูงสุด แนวทางนี้ให้ตัวชี้วัดความแม่นยำที่ดีที่สุด ตัวอย่างเช่น ในงานการสร้างข้อความชีวประวัติ การใช้ CoVe กับโมเดล LLaMA-65B (LLM ขนาด 65 พันล้านพารามิเตอร์) เพิ่มตัวชี้วัดเชิงข้อเท็จจริง FactScore จาก ~63.7 เป็น ~71.4 คะแนน[2] การเพิ่มขึ้นของ FactScore บ่งชี้ว่าคำตอบขั้นสุดท้ายมีข้อเท็จจริงที่ผ่านการตรวจสอบมากขึ้นและมีข้อมูลที่ประดิษฐ์ขึ้นน้อยลง

ยิ่งไปกว่านั้น LLM ที่เชื่อมต่อกับห่วงโซ่การตรวจสอบยังสามารถเหนือกว่าแม้แต่ระบบที่มีประสิทธิภาพสูงกว่าหรือมีอุปกรณ์พิเศษบางระบบ ตัวอย่างเช่น LLAMA-65B พร้อม CoVe แสดง FactScore สูงกว่า ChatGPT (โมเดลจาก OpenAI) และแซงหน้า Perplexity.ai ซึ่งเป็นโมเดลที่เสริมด้วยการค้นหาอินเทอร์เน็ตเพื่อสนับสนุนข้อเท็จจริงในคำตอบ[2] สิ่งนี้น่าสังเกตเนื่องจาก Perplexity ใช้แหล่งข้อมูลภายนอกในการค้นหาข้อมูล ขณะที่ CoVe บรรลุการปรับปรุงคุณภาพโดยอาศัยเพียงความสามารถภายในของโมเดลเองในด้านการใช้เหตุผลและการตรวจสอบตนเอง[2] อย่างไรก็ตาม สำหรับข้อเท็จจริงที่หายากที่สุด (เมื่อต้องการความรู้เฉพาะทาง) ระบบการดึงข้อมูลอย่าง Perplexity ยังคงมีความได้เปรียบ แต่สำหรับคำถามส่วนใหญ่ CoVe ให้คำตอบที่แม่นยำกว่า[2]

ข้อจำกัดและแนวโน้ม

ควรสังเกตว่าแม้ Chain-of-Verification จะลดสัดส่วนของภาพหลอนได้อย่างเห็นได้ชัด แต่วิธีการนี้ไม่สามารถกำจัดภาพหลอนได้อย่างสมบูรณ์ โมเดลยังคงสามารถเกิดข้อผิดพลาดได้หากคำถามตรวจสอบไม่ครอบคลุมรายละเอียดที่ผิดพลาดบางอย่าง หรือหาก LLM เองไม่ทราบข้อเท็จจริงที่ถูกต้อง นอกจากนี้ CoVe ยัง เพิ่มภาระการคำนวณ เนื่องจากสำหรับคำถามของผู้ใช้หนึ่งข้อต้องดำเนินการสอบถามต่อเนื่องหลายครั้ง (การสร้างคำตอบ การสร้างคำถาม การตอบคำถาม การรวบรวมขั้นสุดท้าย) ในขณะที่โมเดลทั่วไปตอบในขั้นตอนเดียว[2] อย่างไรก็ตาม ผู้เขียนแสดงให้เห็นว่าในแง่ต้นทุนรวม CoVe สามารถเทียบเคียงได้กับแนวทางหลายขั้นตอนอื่น ๆ ในการตรวจจับภาพหลอนและยังคงเป็นแนวทางแก้ปัญหาที่ใช้ได้จริง[2]

ในงานวิจัยของตน นักวิจัยจาก Meta AI ได้ระบุทิศทางที่เป็นไปได้ในการปรับปรุงวิธีการ แนวทางที่ชัดเจนอย่างหนึ่งคือ การรวม CoVe เข้ากับการใช้เครื่องมือภายนอก เช่น การเชื่อมต่อโมดูลการค้นหาอินเทอร์เน็ตหรือฐานความรู้ในขั้นตอนการตรวจสอบ[2] วิธีนี้จะช่วยให้ได้รับข้อมูลที่น่าเชื่อถือจากภายนอกและยืนยันหรือหักล้างข้อเท็จจริงจากคำตอบต้นทางได้อย่างน่าเชื่อถือยิ่งขึ้น ดังนั้น Chain-of-Verification จึงทำหน้าที่เป็นก้าวสู่ระบบ AI ที่มีความรับผิดชอบและแม่นยำมากขึ้น โดยแสดงให้เห็นว่าการบังคับให้โมเดล ทบทวนคำตอบของตนเองอย่างมีวิจารณญาณ สามารถปรับปรุงคุณภาพได้อย่างมีนัยสำคัญและลดการแพร่กระจายของข้อเท็จจริงที่ประดิษฐ์ขึ้นในข้อความที่สร้างขึ้น[2]

ลิงก์

  • บทความต้นฉบับ «Chain-of-Verification Reduces Hallucination in Large Language Models» บน arXiv
  • บทความ «Chain-of-Verification Reduces Hallucination in Large Language Models» ใน ACL Anthology
  • Chain of Verification (CoVe) — Understanding & Implementation — บทความบน Medium

เอกสารอ้างอิง

  • Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
  • Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
  • Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
  • Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
  • Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
  • Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.

หมายเหตุ

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». arXiv. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». ACL Anthology. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». Medium. [3]
Retrieved from "https://systems-analysis.info/int/index.php?title=Chain-of-Verification_(TH)&oldid=886"