Contextual forgetting — שכחה הקשרית

From Systems analysis Wiki
Jump to navigation Jump to search

שכחה הקשרית במודלים לשוניים גדולים היא תופעה רב-ממדית שבה מודל לשוני גדול (LLM) מאבד, מתעלם, או משתמש באופן לא יעיל במידע שסופק לו קודם לכן במסגרת אינטראקציה בודדת[1]. בשונה מזיכרון אנושי, ל-LLM אין מאגר מצבים ארוך-טווח, והם נסמכים אך ורק על חלון ההקשר — נפח טקסט מוגבל (בטוקנים) שהמודל מסוגל לעבד בבת-אחת. חלון זה משמש כזיכרון קצר-טווח או זיכרון עבודה של המודל[2].

הביטוי המוכר ביותר של מגבלה זו הוא בעיית "אובדן באמצע" (Lost in the Middle) — נטיית המודלים לעבד טוב יותר מידע המצוי בתחילת ההקשר הארוך ובסופו, ופחות טוב — מידע הממוקם באמצעו[2]. תופעה זו אינה תקלה, אלא תכונה יסודית הנובעת מארכיטקטורת ה-transformer ומעקרונות האימון שלה.

שני סוגי שכחה: הקשרית וקטסטרופלית

חשוב להבחין בין שני סוגים שונים מהותית של "שכחה" ב-LLM: שכחה תוך-הקשרית ושכחה קטסטרופלית.

שכחה תוך-הקשרית (אובדן באמצע)

סוג שכחה זה מתרחש במהלך מפגש אינטראקציה בודד (inference) עם מודל מאומן. הוא קשור למגבלות חלון ההקשר. כאשר נפח הדיאלוג או המסמך חורג מגודל החלון, המודל "שוכח" את הקטעים הישנים ביותר כדי לפנות מקום לחדשים. אפילו בתוך גבולות החלון, מידע מאמצע ההקשר עלול להיות מנוצל פחות ביעילות. זוהי מגבלת זיכרון העבודה של המודל[3]. בספרות הפופולרית תופעה זו מכונה גם "תסמונת שחיקת ההקשר" (Context Degradation Syndrome, CDS)[1].

שכחה קטסטרופלית (סחף מודל)

סוג שכחה זה, המכונה גם "סחף מודל" (model drift), מתרחש בתהליך fine-tuning של המודל על נתונים חדשים. כאשר מודל שאומן מראש על מאגר עצום של ידע כללי עובר fine-tuning על מערך נתונים מתמחה בצורה צרה (למשל, טקסטים רפואיים), משקוליו משתנים. הדבר עלול להוביל לדעיכה או "מחיקה" של ידע ומיומנויות שנרכשו קודם לכן ואינם קשורים למשימה החדשה[4].

סיבות ומנגנונים

שכחה הקשרית היא תוצאה ישירה של ארכיטקטורת ה-transformer וגיאומטריית מרחבי הוקטורים.

אפקט "האובדן באמצע" (Lost in the Middle)

מחקר של אוניברסיטת סטנפורד משנת 2023 בשם "Lost in the Middle" הדגים בצורה ברורה כי ביצועי ה-LLM בשליפת מידע מהקשר ארוך מציגים עקומה בצורת U[2]. דיוק התשובות גבוה ביותר כאשר המידע הרלוונטי מצוי בתחילת ההקשר (אפקט הראשוניות) או בסופו (אפקט החדשות), ויורד משמעותית כאשר הוא "מוחבא" באמצע. סיבות לתופעה זו:

  • מנגנון הattention: ארכיטקטורת ה-transformer מטבעה מקדישה תשומת לב לא פרופורציונלית לטוקנים הראשוניים (הנקראים "עוגני attention" או attention sinks) לצורך שמירה על קוהרנטיות גלובלית, וכן להקשר המקומי, מה שמוביל להחלשת ה"פוקוס" על האמצע[5].
  • נתוני pre-training: המודלים מאומנים לרוב על טקסטים קצרים יחסית, שבהם מידע חשוב נמצא לעתים רחוקות במרחק עשרות אלפי טוקנים מהתחלה, דבר המקשה עליהם להשתמש ביעילות בהקשרים ארוכים מאוד[6].

ביטויים והשלכות

  • תסמונת שחיקת ההקשר: במהלך דיאלוגים ממושכים המודל מתחיל "לאבד את חוט השיחה", לחזור על תשובות, לסתור עובדות שנקבעו קודם לכן, ולתת תשובות כלליות ומעורפלות יותר ויותר[1].
  • כשלים במשימות רב-שלביות: במשימות שבהן התנאים מתמקדים בעזרת מספר פניות, המודל עלול "להיתקע" בהנחה ראשונית שגויה ולהתעלם מהבהרות מאוחרות יותר, מה שמוביל לחוסר יכולת מוחלט לפתור את המשימה[7].
  • חוסר אמינות בניתוח מסמכים: בעת ניתוח דוחות ארוכים או מסמכים משפטיים, ה-LLM עלול להחמיץ עובדות מפתח הממוקמות בחלקים המרכזיים, מה שהופך אותו לכלי בלתי אמין למשימות מעין אלה.

אסטרטגיות להפחתה ומניעה

חוקרים ומפתחים נוקטים במספר גישות לפתרון בעיית השכחה ההקשרית.

הרחבת חלון ההקשר

הגישה הישירה ביותר היא הגדלת גודל חלון ההקשר. מודלים מודרניים כגון Claude 3 (200 אלף טוקנים) ו-Gemini 1.5 Pro (עד 2 מיליון טוקנים) הרחיבו משמעותית גבול זה[8][9]. אולם מחקרים מראים כי הגדלה פשוטה של החלון אינה מבטיחה את השימוש היעיל בו, ובעיית "האובדן באמצע" נמשכת[2].

הנדסת prompt מתקדמת

מבנה נכון של ה-prompt יכול לשפר משמעותית את הביצועים. חברת Anthropic מציעה את הפרקטיקות הבאות[10]:

  • מיקום מסמכים בתחילה: להציב טקסטים ארוכים בתחילת ה-prompt, לפני ההוראות והשאלה.
  • שימוש בתגיות XML: לעטוף מסמכים בתגיות `<document>` לצורך הפרדה ברורה.
  • ביסוס תשובות על ציטוטים: לתת למודל הוראה לחלץ תחילה ציטוטים רלוונטיים, ולאחר מכן לנסח על בסיסם את התשובה.

הפנמת זיכרון חיצוני: Retrieval-Augmented Generation (RAG)

גישה שונה מהותית — במקום להכניס את כל המידע לחלון ההקשר, להוציאו למערכת חיצונית (מסד נתונים וקטורי) ולספקו לפי דרישה.

  1. שליפה (Retrieve): כאשר מגיעה שאילתה, המערכת מחפשת מידע רלוונטי במסד החיצוני.
  2. הרחבה (Augment): הקטעים שנמצאו מתווספים לשאילתה המקורית.
  3. יצירה (Generate): ה-LLM מייצר תשובה על בסיס ההקשר שסופק.

RAG מאפשר לעבוד עם כמויות מידע כמעט בלתי מוגבלות ומבטיח גישה למידע עדכני ומאומת, מה שמפחית את הסיכון להזיות והוא הפתרון האמין ביותר כיום[11].

קישורים

  • Lost in the Middle: How Language Models Use Long Contexts — המחקר המקורי של אוניברסיטת סטנפורד.
  • הכרזה על Claude עם חלון הקשר של 100K טוקנים מאת Anthropic.

ספרות

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

הערות

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Contextual_forgetting_—_שכחה_הקשרית&oldid=1218"