Chain-of-Verification (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

Chain-of-Verification (CoVe) — זוהי שיטה שהוצעה להפחתת מספר ההזיות (יצירת תשובות שגויות מבחינה עובדתית אך סבירות למראה) במודלי שפה גדולים (LLM)[1]. הגישה, שפותחה על ידי קבוצת חוקרים מ-Meta AI בהנהגת שהזאד דוליאוואלה (Shehzaad Dhuliawala) והוצגה במאמר «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023), משתייכת לסוג השיטות של אימות עצמי ותיקון עצמי (self-verification) של LLM[2]. הרעיון המרכזי של CoVe הוא בדיקה שלב אחר שלב של התשובה שנוצרה על ידי המודל עצמו ללא פנייה למקורות חיצוניים[2]. הדבר מעודד את המערכת להשקיע מאמץ "שכלתני" רב יותר בניתוח התשובה ובתיקון שגיאותיה שלה, לפני שהתשובה מוצגת למשתמש[2].

רקע: הזיות במודלי שפה

מודלי שפה גדולים (LLM) סובלים לא אחת מתופעת ה"הזיות" — יצירת תשובות הנראות סבירות אך שגויות מבחינה עובדתית[3]. בעיה זו מוכרת לרחבה כבלתי פתורה בתחום NLP: אפילו מודלים עכשוויים עשויים לספק מידע כוזב ברמת ביטחון גבוהה, ובכך להטעות משתמשים[1]. לדוגמה, מודל עשוי "להמציא" בשכנוע עובדה שאינה קיימת, או לבלבל פרטים ביוגרפיים של אישיות מוכרת. מכיוון שטעויות עובדתיות מסוג זה קשות לגילוי ללא בדיקה מדוקדקת, חוקרים מפתחים באופן פעיל שיטות להפחתת מספר ההזיות בתשובות LLM.

שלבי שיטת CoVe

שיטת Chain-of-Verification מיושמת באמצעות ארבעה שלבים רצופים[2][2]:

  1. יצירת תשובה בסיסית. המודל, ללא הנחיות מיוחדות, מייצר תשובה ראשונית לשאילתה המקורית (השערת תשובה בסיסית)[3]. תשובת הטיוטה הזו משמשת נקודת מוצא ועשויה להכיל הזיות שיש לגלות בשלבים הבאים.
  2. תכנון שאלות אימות. בהינתן השאלה המקורית והתשובה שנוצרה, המודל מנסח רשימת שאלות מבהירות הבודקות את הנכונות העובדתית של הטענות מהתשובה הבסיסית[3]. שאלות האימות (verification questions) הללו ממוקדות בעובדות המפתח של התשובה ועוזרות לחשוף שגיאות או אי-דיוקים אפשריים.
  3. ביצוע האימות (וריפיקציה). לאחר מכן, המודל עונה בזו אחר זו ובאופן עצמאי על כל אחת משאלות האימות שנוסחו, תוך שהוא מנסה שלא להסתמך על התשובה הראשונית כדי למנוע הטיה[3]. התשובות שהתקבלו מושוות לתשובה המקורית לצורך גילוי סתירות או שגיאות: כך מזוהים חלקים בתשובה המקורית שאינם נתמכים בעובדות.
  4. יצירת התשובה הסופית. לבסוף, על בסיס הפערים שנמצאו, המודל מייצר תשובה מתוקנת וסופית[3]. בתשובה זו מוכנסות תיקונים בהתאם לתוצאות האימות, מה שמגביר את דיוקה העובדתי ומפחית את הסיכוי להזיות.

כל אחד מהשלבים הללו מבוצע באמצעות פניות נוספות לאותו LLM, אך עם הנחיות שונות[2]. כלומר, המודל פועל לסירוגין בתפקיד המשיב, לאחר מכן הבודק (מנסח שאלות ועונה עליהן), ולבסוף עורך הפלט הסופי.

גרסאות יישום האימות

מחברי השיטה ניסו מספר מצבי יישום של שלב האימות, הנבדלים בדרך שבה שאלות האימות נשאלות ונענות[2]:

  • גישה משולבת (Joint). המודל מייצר גם את שאלות האימות עצמן וגם את התשובות עליהן במסגרת פנייה אחת ויחידה. גרסה זו פחות עדיפה, שכן המודל, בעונו מיד, עשוי להזות עובדות ולחזור על שגיאות התשובה המקורית עקב הטיה[3].
  • גישה דו-שלבית (2-Step). שאלות האימות נוצרות תחילה בפנייה נפרדת, ולאחר מכן בפנייה הבאה המודל עונה על רשימת השאלות שנוצרה[3]. הפרדת השלבים עוזרת למנוע השפעה של התשובה המקורית בעת יצירת השאלות.
  • אימות מפוצל (Factored). המודל עונה בנפרד על כל שאלת אימות, תוך שימוש במספר פניות רצופות (אחת לכל שאלה)[3]. גישה זו מונעת העתקה פשוטה של קטעים מהתשובה המקורית: התשובות לשאלות האימות מנוסחות באופן אוטונומי, מה שמפחית את הסיכון לחזרה על ההזיה המקורית. החיסרון הוא עלות חישובית גדולה יותר, שכן מספר הפניות גדל פרופורציונלית למספר השאלות.
  • אימות מפוצל עם עיון מחדש (Factored + Revise). לאחר קבלת תשובות לכל שאלות האימות, המודל מבצע שלב השוואה ועיון נוסף. באמצעות פנייה נפרדת הוא משווה את העובדות שהתקבלו לתשובה המקורית ומסמן במפורש את אי-ההתאמות, ולאחר מכן מייצר תשובה סופית עם תיקונים[3]. שלב נוסף זה מאלץ את המערכת לנתח את הפערים ביתר קפידה ולשלב את המידע המתוקן בפלט הסופי.

תוצאות ניסוייות

שיטת Chain-of-Verification נבחנה על מספר משימות הרגישות לדיוק עובדתי של התשובות[1]. ביניהן היו: שאלות על מנייה עובדתית מבסיס ידע (רשימות מ-Wikidata ומקטגוריות Wikipedia), שאלות עם מספר תשובות מחלקים שונים של טקסט (MultiSpanQA), וכן משימות של יצירת טקסט מורחב (למשל, ביוגרפיות)[1].

התוצאות הראו ירידה משמעותית בהזיות בכל סוגי המשימות בעת שימוש ב-CoVe בהשוואה למודלים המקוריים ללא אימות עצמי[1]. יעיל במיוחד הוכח הגרסה factored + revise — אימות מפוצל עם השוואת עובדות סופית. גישה זו נתנה את מדדי הדיוק הטובים ביותר: לדוגמה, במשימת יצירת טקסט ביוגרפי, שימוש ב-CoVe על המודל LLaMA-65B (LLM בן 65 מיליארד פרמטרים) העלה את מדד ה-FactScore העובדתי שלו מ-~63.7 ל-~71.4 נקודות[2]. עלייה ב-FactScore מצביעה על כך שהתשובות הסופיות החלו להכיל יותר עובדות מאומתות ופחות מידע מומצא.

יתר על כן, LLM עם שרשרת אימות מחוברת הצליח לעלות על אפילו כמה מערכות חזקות יותר או מצוידות במיוחד. כך, LLAMA-65B עם CoVe הציג FactScore גבוה יותר מ-ChatGPT (מודל OpenAI) ועלה על Perplexity.ai — מודל המועשר בחיפוש אינטרנטי לתמיכה עובדתית בתשובות[2]. זה ראוי לציון, שכן Perplexity משתמש במקורות חיצוניים לחיפוש מידע, ואילו CoVe משיג שיפור באיכות תוך הסתמכות רק על יכולות ההיסק והאימות הפנימיות של המודל עצמו[2]. אמנם, על עובדות נדירות במיוחד (כשנדרשים ידע ספציפי) מערכת retrieval מסוג Perplexity עדיין שומרת על יתרון, אולם ברוב השאלות CoVe נתן תשובות מדויקות יותר[2].

מגבלות ופרספקטיבות

יש לציין כי למרות ש-Chain-of-Verification מפחית באופן ניכר את שיעור ההזיות, השיטה אינה מסוגלת לחסל אותן לחלוטין. המודל עדיין עשוי לטעות אם שאלות האימות לא כיסו פרט שגוי כלשהו, או אם ה-LLM עצמו אינו יודע את העובדה הנכונה. בנוסף, CoVe מגביר את העומס החישובי: עבור פנייה אחת של משתמש נדרש לבצע מספר פניות רצופות למודל (יצירת תשובה, יצירת שאלות, מענה עליהן, הרכבה סופית), בעוד שמודל רגיל עונה בשלב אחד[2]. עם זאת, המחברים מראים שמבחינת עלויות כוללות CoVe דומה לגישות רב-שלביות אחרות לגילוי הזיות ונשאר פתרון מעשי[2].

במאמרם, חוקרי Meta AI ציינו כיוונים אפשריים לשיפור השיטה. אחד הדרכים הברורות — לשלב CoVe עם שימוש בכלים חיצוניים, לדוגמה, לחבר מודול חיפוש אינטרנטי או בסיסי ידע בשלב האימות[2]. הדבר יאפשר לקבל מידע אמין מבחוץ ולאשר או להפריך עובדות מהתשובה המקורית באופן אמין עוד יותר. כך, Chain-of-Verification משמש צעד לקראת מערכות AI אחראיות ומדויקות יותר: הוא מדגים כי על ידי אילוץ המודל לבחון מחדש באופן ביקורתי את תשובתו שלו, ניתן לשפר משמעותית את איכותה ולהפחית את התפשטות העובדות המומצאות בטקסט שנוצר[2].

קישורים

  • המאמר המקורי «Chain-of-Verification Reduces Hallucination in Large Language Models» ב-arXiv
  • המאמר «Chain-of-Verification Reduces Hallucination in Large Language Models» ב-ACL Anthology
  • Chain of Verification (CoVe) — Understanding & Implementation — מאמר ב-Medium

ספרות

  • Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
  • Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
  • Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
  • Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
  • Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
  • Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.

הערות

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». arXiv. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». ACL Anthology. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». Medium. [3]
Retrieved from "https://systems-analysis.info/int/index.php?title=Chain-of-Verification_(HE)&oldid=875"