LLM hallucinations (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

הזיה (באנגלית: hallucination) בהקשר של מודלים שפתיים גדולים (LLM) היא תופעה שבה המודל מייצר בביטחון תשובה הנראית סבירה (plausible) אך אינה תואמת את המציאות, את ההקשר הנתון, או שהיא סותרת את עצמה פנימית[1][2]. המודל «ממציא» עובדות, פרטים או מסקנות לוגיות שאינם קיימים בנתוני המקור.

חשוב לציין כי הזיה אינה תקלה או באג במובן המסורתי. המודל פועל בדיוק כפי שתוכנן: הוא מנבא את המשך הטקסט הסביר ביותר על בסיס דפוסים שנלמדו מנתוני האימון, וחסר לו מנגנון מובנה לבדיקת אמיתות[3]. הזיות שונות מטעויות רגילות בכך שהן מידע שגוי המוגש בביטחון, הכולל לעיתים קרובות עובדות, הפניות או אירועים שאינם קיימים[4]. התופעה הפכה משמעותית כל כך עד שבשנת 2023 הוסיף מילון קיימברידג' הגדרה חדשה למונח «hallucination» הנוגעת לבינה מלאכותית[5].

הגדרות וסיווג של הזיות

אף שנעשה שימוש במונחים שונים (כגון «קונפבולציה», «המצאה»), ניתן לחלק הזיות ב-LLM לשתי קטגוריות עיקריות: אלה הקשורות למהימנות עובדתית ואלה הקשורות לנאמנות למקור (עקביות הקשרית)[6].

הזיות עובדתיות

מדובר במקרים שבהם המודל מציג מידע שגוי מבחינה עובדתית לגבי העולם האמיתי — המודל מציג «עובדה» כוזבת כאילו היא אמת[1].

  • דוגמה: «צ'ארלס לינדברג היה האדם הראשון שדרך על פני הירח» — עובדה מומצאת לחלוטין.
  • ציטוטים והפניות כוזבות: המודל עשוי להמציא הפניה לעבודה מדעית או לחוק שאינם קיימים, תוך חיקוי של פורמט הפניה אמיתית[2]. הדבר פוגע באמון במודלים, במיוחד ביישומים שדורשים דיוק (חינוך, עיתונות, ייעוץ)[7].

שגיאות לוגיות

המודל מבצע אי-עקביות או שגיאה בהיסק. עובדות בודדות בתשובה עשויות להיות נכונות, אך המסקנה אינה הגיונית או סותרת לוגיקה בסיסית[2]. תופעה זו נפוצה בהיסקים מורכבים או במשימות מתמטיקה וסיבתיות, שבהן המודל פועל על בסיס קשרים הסתברותיים בין מילים ולא על לוגיקה פורמלית[2][2].

  • דוגמה: «מכיוון שציפורים עפות, אסטרונאוטים אינם חשים בכוח הכבידה» — הטקסט נראה קוהרנטי אך שגוי לוגית.

הזיות הקשריות

תשובת המודל אינה תואמת את ההקשר או ההוראה שניתנו. המודל «חורג» מן ההקשר, מוסיף מידע מיותר או מתעלם ממידע הנדרש[1].

  • הפרת הוראה: לבקשה «תרגם טקסט זה לספרדית» המודל משיב באנגלית[1].
  • מידע שאינו מהמקור: במשימת סיכום, המודל «מוסיף» עובדות שאינן במסמך המקורי או מעוות אותן[1].
  • ערבוב הקשרים: באמצע התשובה המודל עובר פתאום לנושא מתחום אחר. לדוגמה, בתשובה לשאלה על נציב ה-NBA אדם סילבר, המודל עשוי לעבור לדון בקודמו דייוויד סטרן, תוך ערבוב שני הקשרים שונים[6].

חוסר עקביות

צורת הזיה שבה המודל סותר את עצמו בתוך תשובה אחת או בסדרת תשובות[6]. במחקר אחד נמצא כי שיעור הסתירות העצמיות של ChatGPT עומד על כ-14%[6][6].

  • דוגמה: «חברת X נוסדה בשנת 1990... ומספר משפטים לאחר מכן... חברת X, שהוקמה בשנת 2000...»

הזיות בקוד

מודלי LLM שאומנו על קוד עשויים לייצר קטעי קוד תקינים תחבירית אך לא פונקציונליים, תוך שימוש בפונקציות, ספריות או פרמטרים שאינם קיימים[2]. לדוגמה, המודל עשוי לייצר `import quantum` ב-Python, אף שמודול סטנדרטי כזה אינו קיים. בשנת 2024 הוצע המונח «code hallucination» ונוצר benchmark בשם CodeMirage לצורך מיפוי שיטתי של בעיה זו[8].

סיבות להיווצרות

תופעת ההזיות נובעת ממכלול גורמים, החל מארכיטקטורת המודל ועד לאיכות הנתונים.

  • ארכיטקטורה ועקרון האימון: רוב מודלי ה-LLM (כגון GPT) הם transformer אוטו-רגרסיביים שאומנו לנבא את ה-token הבא. מטרתם היא מקסום הסבירות של הטקסט, לא בדיקת אמיתות טענות[2]. המודל אינו מבחין בין עובדות לבדיה בנתוני האימון, ותופס הכל כדפוסי טקסט[2].
  • איכות נתוני האימון: מודלי LLM מאומנים על קורפוסים עצומים של טקסט מהאינטרנט, הכוללים מידע שגוי רב, מיתוסים ומידע מיושן[1]. המודל שונן ומשחזר שגיאות אלה. חשוב גם ה-knowledge cutoff — גבול הזמן עד אליו יש למודל מידע.
  • אופן יצירת הטקסט: האופי הסטוכסטי של הגנרציה (דגימה עם טמפרטורה) מאפשר למודל לייצר תשובות «יצירתיות» יותר אך פחות מדויקות. אורך הקשר מוגבל עלול לגרום למודל «לשכוח» פרטים מוקדמים בדיאלוג ולהתחיל לסתור את עצמו[6].

שיטות הערכה ומדידה

לאיתור ומדידה של הזיות נעשה שימוש במדדים אוטומטיים, הערכה אנושית ו-benchmark מתמחים.

  • מדדים אוטומטיים: כוללים גישות שבהן מודל LLM אחר משמש כ«שופט» (LLM-as-a-judge) להערכת נכונות התשובה[9], או ניתוח האנטרופיה (חוסר הוודאות) של המודל בעת הגנרציה[10].
  • הערכה אנושית: נחשבת ל«תקן הזהב». מומחים או מעריכים מהקהל מעריכים ידנית את התשובות ומסמנים שגיאות. שיטה זו משמשת באימון מודלים באמצעות RLHF[11].
  • Benchmark ומבחני לחץ: נוצרו מערכי נתונים ייעודיים כגון TruthfulQA, המכיל שאלות המעוררות את המודל לשחזר מיתוסים נפוצים[12]. קיימים גם לוחות מנהיגים כגון Hugging Face Hallucination Leaderboard, שבהם מושווים מודלים לפי רמת ההזיות שלהם[13].

דרכי הפחתה ומניעה

  • Retrieval-Augmented Generation (RAG): הגישה המוצלחת ביותר, ה«קושרת» את המודל לידע חיצוני. לפני יצירת התשובה, המודל מקבל מידע רלוונטי ממסד נתונים, ממנוע חיפוש או מ-API. הדבר מאפשר למודל לבסס את תשובתו על נתונים מאומתים ולא על ניחושים[2].
  • שרשרות היסק (Chain-of-Thought) ואימות עצמי: המודל מייצר תחילה היסק שלב-אחר-שלב לפני מתן התשובה הסופית, מה שמשפר את הדיוק. בשיטות מתקדמות יותר כגון Self-Verification, המודל מייצר טיוטת תשובה ולאחר מכן מקבל משימה לבדוק אותה ולתקנה[14].
  • כללים ומסננים מובנים: המודלים מאומנים לסרב לתשובה כאשר אינם בטוחים. לדוגמה, מודלי Claude של Anthropic עוקבים אחר עיקרון «האמיתיות» ולעיתים קרובות משיבים «אינני יודע בוודאות...», במקום להמציא עובדות[11].
  • שילוב עם כלים חיצוניים: מודלים כגון Gemini יכולים לזהות אוטומטית מתי הם זקוקים לכלי חיצוני (כגון מחשבון לחישובים או חיפוש לחדשות עדכניות) ולהשתמש בו, מה שמפחית משמעותית את כמות ההזיות[11].

סיכונים ותוצאות

  • סיכונים משפטיים ותדמיתיים: בתחום המשפטי עלולות להיות להזיות השלכות חמורות. המקרה הידוע Mata v. Avianca (2023) עסק בעורך דין שהשתמש ב-ChatGPT לאיתור תקדימי בית משפט, והמודל המציא מספר תיקים שאינם קיימים. עורכי הדין נקנסו והמקרה הפך לשיעור בדבר הפסול שבמתן אמון ב-AI ללא בדיקה[1].
  • הפצת מידע כוזב: ברמה החברתית, מודלי LLM עלולים להחמיר את בעיית חדשות הפייק. ידוע המקרה של מודל Galactica של Meta, שנוצר לסייע למדענים אך החל לייצר טקסטים פסאודו-מדעיים עם ניסויים והפניות בדויים. לאחר שלושה ימים נסגרה הגישה הציבורית למודל[15].
  • קבלת החלטות שגויות: משתמשים, בפרט חסרי ניסיון, נוטים לתת אמון בתשובות AI המנוסחות בביטחון, מה שעלול להוביל לקבלת החלטות שגויות בתחומי הכספים, הרפואה ותחומים קריטיים אחרים[7].

דוגמאות מהמעשה

  • מקרה Air Canada (2023): הצ'אט-בוט של חברת התעופה המציא מדיניות החזר כרטיסים שאינה קיימת. כאשר הלקוח דרש ליישמה, החברה סירבה. בית הדין לתחבורה של קנדה חייב את Air Canada לשאת באחריות למידע שסיפק הצ'אט-בוט שלה ולפצות את הלקוח[9].
  • תביעת דיבה נגד OpenAI (2023): מגיש תוכנית הרדיו מארק וולטרס הגיש תביעה נגד OpenAI בשל כך ש-ChatGPT האשים אותו בתגובה לפנייה של עיתונאי בהונאה באופן שקרי. מקרה זה הדגיש את האחריות המשפטית של חברות על תוכן המיוצר על ידי המודלים שלהן[6].

קישורים חיצוניים

  • The Beginner's Guide to Hallucinations in Large Language Models — מדריך מפורט מאת Lakera
  • Survey of Hallucination in Natural Language Generation — סקירה מדעית של התופעה ב-arXiv

ספרות

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

הערות

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=LLM_hallucinations_(HE)&oldid=3628"