Generated Knowledge Prompting (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, פרומפטינג עם יצירת ידע) — הוא שיטת prompt engineering שפותחה לשיפור יכולתן של מודלות שפה גדולות (LLM) לפתור משימות הדורשות הסקה והסתמכות על ידע עובדתי[1]. הרעיון המרכזי של GKP הוא לאלץ את המודל לבצע את המשימה בשני שלבים: תחילה לייצר מערך של עובדות רלוונטיות לנושא השאילתה, ולאחר מכן, תוך הסתמכות על ידע זה, לנסח את התשובה הסופית[2].

גישה זו מאפשרת ל-LLM להפעיל ולנצל את הידע הפנימי הפרמטרי שלה, המקודד באופן מרומז במיליארדי פרמטרים, אך לעיתים קרובות אינו נגיש בשאילתות סטנדרטיות. GKP פותר את הבעיה שבה מודלות «אינן יודעות מה הן יודעות», ומסייע להן לקשר עובדות מפוזרות לשם בניית מסקנה נכונה[2].

היסטוריה ומקורות

שיטת Generated Knowledge Prompting הוצגה לראשונה במאמר מדעי בשם «Generated Knowledge Prompting for Commonsense Reasoning», שהוכן על ידי קבוצת חוקרים בהנהגת Jiacheng Liu. הגרסה הראשונית של העבודה פורסמה בארכיון הפרהדפוסים arXiv ב-15 באוקטובר 2021, והגרסה הסופית הוצגה בכנס היוקרתי Association for Computational Linguistics (ACL) בשנת 2022[1].

GKP היה אחת השיטות הראשונות והמשמעותיות ביותר שהציעו לשנות את הפרדיגמה של האינטראקציה עם LLM, תוך הזזת המוקד מיצירת תשובה מיידית לתהליך קוגניטיבי דו-שלבי.

מנגנון העבודה הדו-שלבי

מנגנון GKP מחלק את המשימה המורכבת לשני תת-תהליכים פשוטים יותר: חילוץ מידע רלוונטי והשימוש בו לאחר מכן להסקת מסקנות.

שלב 1: יצירת ידע (Knowledge Generation)

בשלב הראשון נעשה שימוש במודל שפה («מחולל הידע») ליצירת מספר (M) פרגמנטים של ידע הרלוונטיים לשאלה המקורית. תהליך זה מופעל באמצעות טכניקת few-shot prompting, שבה המודל מקבל מספר דוגמאות ללמידה «בהקשר».

ה-prompt ליצירת ידע בעל מבנה מוגדר היטב:

  1. הוראה: הנחיה כללית, לדוגמה: «צור מספר עובדות בנושא».
  2. דוגמאות הדגמה: מספר זוגות «שאלה-ידע» שנכתבו על ידי אדם. דוגמאות אלו ממלאות תפקיד קריטי, שכן הן מלמדות את המודל איזה סוג מידע נחשב שימושי. יחד עם זאת, הידע שנוצר לא צריך להכיל את התשובה עצמה באופן ישיר.
  3. שאלה חדשה: השאילתה המקורית של המשתמש, עבורה יש ליצור ידע.

עבור שאלה אחת נוצרות M גרסאות של ידע (בעבודה המקורית M=20), כדי לקבל מערך מגוון של עובדות לשלב השני[1].

שלב 2: אינטגרציה של ידע וגיבוש תשובה (Knowledge Integration)

בשלב השני נעשה שימוש במודל שפה אחר («מודל ההסקה»), שיכול לפעול במצב zero-shot או להיות מכוון לכוון (fine-tuned) על משימה ספציפית.

תהליך האינטגרציה מתנהל כך:

  1. הגדלת השאילתה (Augmentation): השאלה המקורית (q) מאוחדת ברצף עם כל אחד מ-M פרגמנטי הידע שנוצרו (km). כתוצאה מכך נוצרות M+1 שאילתות מוגדלות (כולל השאלה המקורית ללא ידע).
  2. הערכה ובחירת תשובה: מודל ההסקה מעריך את ההסתברות המותנית של כל אפשרות תשובה (a) עבור כל שאילתה מוגדלת. התשובה הסופית היא האפשרות שקיבלה את ציון ההסתברות הגבוה ביותר לפחות באחת השאילתות.

מנגנון דו-שלבי זה מחדיר סוג של תהליך מטא-קוגניטיבי: «לפני שתענה, חשוב וגבש מה אתה יודע בנושא זה».

יעילות ותוצאות בדיקות

יעילות GKP נבדקה על מספר benchmark אקדמיים להערכת הסקה מבוססת שכל ישר. השיטה הראתה שיפור משמעותי בביצועים בהשוואה לגישות הבסיסיות.

סיכום תוצאות GKP על ה-benchmarks המרכזיים (נתונים מ-Liu et al., 2022)[1]
שם ה-benchmark משימה דיוק מודל בסיס (%) דיוק עם GKP (%) עלייה (%)
NumerSense שכל ישר מספרי 64.05 72.47 +8.42
CommonsenseQA שכל ישר כללי 39.89 47.26 +7.37
CommonsenseQA 2.0 שכל ישר כללי 70.20 73.03 +2.83
QASC שכל ישר מדעי 76.74 80.33 +3.59

העלייה הגדולה ביותר נצפית במצב zero-shot, מה שמוכיח את יכולתו של GKP להפעיל ביעילות את הידע הפנימי של המודל ללא כיוון כוון נוסף (fine-tuning).

ניתוח השוואתי עם טכניקות אחרות

GKP vs. Chain-of-Thought (CoT)

ההבדל המרכזי בין GKP ל-Chain-of-Thought (CoT) הוא בסוג המידע שנוצר:

  • GKP מייצר ידע דקלרטיבי — עובדות, הגדרות, טענות על העולם («מה»). הוא מספק למודל הקשר נוסף.
  • CoT מייצר ידע פרוצדורלי — שלבים לוגיים, חישובים, רצף הסקות («כיצד»). הוא מספק למודל מסלול הסקה.

כך, GKP מספק בסיס עובדתי, ואילו CoT מספק מבנה לוגי של הסקה[3].

GKP vs. Retrieval-Augmented Generation (RAG)

בניגוד ל-GKP, שיטת Retrieval-Augmented Generation (RAG) משתמשת במקורות ידע חיצוניים ולא-פרמטריים.

  • GKP משתמש בידע פנימי שהמודל רכש במהלך האימון. הוא גורם למודל «להיזכר» במה שהוא כבר יודע.
  • RAG משתמש בידע חיצוני ממאגרי מידע, מסמכים או האינטרנט. הוא גורם למודל «לחפש» מידע בעולם החיצוני.

הבחירה בין GKP ל-RAG תלויה במשימה: GKP יעיל כאשר הידע הנדרש הוא ידע כללי ומיוצג היטב בנתוני האימון, ואילו RAG הכרחי עבור נתונים מתמחים, עדכניים או קנייניים.

מגבלות וסיכונים

  • בעיית ה-«הזיות»: הסיכון העיקרי של GKP הוא האפשרות לייצר עובדות שגויות. אם בשלב הראשון המודל מייצר טענה כוזבת, בשלב השני היא תיתפס כאמת, מה שיוביל לתשובה בטוחה אך שגויה לחלוטין.
  • עלויות חישוביות: השיטה דורשת פניות מרובות ל-LLM (M+1 קריאות לשאילתה אחת), מה שמגדיל משמעותית את זמן התגובה (latency) ועלות השימוש בהשוואה ל-prompting סטנדרטי.
  • מורכבות פיתוח ה-prompt: יעילות GKP תלויה מאוד באיכות דוגמאות ה-few-shot, שיצירתן היא משימה לא טריוויאלית ומאומצת.

התפתחות וגישות היברידיות

הרעיונות שהונחו ב-GKP שימשו כזרז לפיתוח טכניקות prompting מורכבות ואמינות יותר, כגון:

  • Hint-before-Solving (HSP): יורש רעיוני ישיר של GKP, המיישם את עקרון הדו-שלבי («תחילה ידע, אחר כך פעולה») לא על תשובה פשוטה, אלא על תהליך הסקה מורכב יותר ב-CoT[4].
  • Verify-and-Edit (VE): מסגרת (framework) היברידית שהיא מענה לבעיית ה-«הזיות» ב-GKP וב-CoT. VE תחילה מייצר שרשרת הסקה (כמו CoT), לאחר מכן בודק אוטומטית עובדות מפתח באמצעות חיפוש חיצוני (כמו RAG) ועורך את ההסקות לפני יצירת התשובה הסופית[5].

קישורים חיצוניים

  • Generated Knowledge Prompting במדריך Prompt Engineering

ביבליוגרפיה

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

הערות

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(HE)&oldid=2585"