Retrieval-augmented generation (RAG) (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

Retrieval-Augmented Generation (RAG) (עברית: גנרציה מוגברת אחזור) — זוהי שיטה בתחום הבינה המלאכותית, שבה מודל שפה גנרטיבי (LLM) מצויד בגישה למקורות מידע חיצוניים לשיפור הדיוק ואמינות התשובות. במילים אחרות, לפני יצירת התשובה המודל מבצע חיפוש נתונים רלוונטיים (למשל, בבסיס מסמכים, באתר אינטרנט או בבסיס נתונים) ומשתמש במידע שנמצא בעת גיבוש התשובה[1][2]. גישה זו מספקת «העשרה» בידע ממקורות עדכניים ומסייעת להתגבר על מגבלות ה-LLM עצמם, הנובעות מנפח «זיכרון» מוגבל ומידע מיושן[3]. מערכת RAG מסוגלת להפנות למסמכים ספציפיים (למשל בצורת הערות שוליים) בתשובה שנוצרה, דבר המגביר את השקיפות ומאפשר למשתמש לאמת עובדות[1]. כתוצאה מכך מצטמצם הסיכון להופעת הזיות — מצבים שבהם המודל מספק בביטחון מידע שגוי[1][3]. RAG מרחיב את בסיס הידע של ה-LLM לנפח כמעט בלתי מוגבל ומאפשר למודלים להשתמש בנתונים העדכניים ביותר ללא אימון מחדש[4].

מקורות והתפתחות השיטה

הרעיון לשלב חיפוש מידע עם יצירת תשובות אוטומטית נולד הרבה לפני הופעת ה-LLM המודרניים. כבר בשנות ה-70 של המאה ה-20 נעשו ניסיונות ליצור מערכות question-answering שחיפשו תשובות במאגרי טקסט לפי שאלה נתונה[1]. בשנות ה-90 הופיע שירות האינטרנט Ask Jeeves שהנגיש חיפוש תשובות בשפה טבעית, ובשנת 2011 הדגימה מערכת IBM Watson את יכולות הבינה המלאכותית כשניצחה בתוכנית הטלוויזיה Jeopardy! את המשתתפים האנושיים[1].

השלב המודרני של ההתפתחות קשור לאימוץ מודלי שפה מבוססי רשתות עצביות: Retrieval-Augmented Generation כגישה עצמאית הוצעה בשנת 2020 על ידי קבוצת חוקרים מ-Facebook AI Research, University College London ואחרים בהנהגת פטריק לואיס[1]. במאמרם, שהתקבל ל-NeurIPS 2020, מתוארת מודל RAG — מודל seq2seq גנרטיבי (למשל BART) עם גישה ניתנת לגזירה למאגר ידע חיצוני «לא-פרמטרי»[5]. המחברים השתמשו בכל ויקיפדיה האנגלית כבסיס ידע חיצוני, ייצגו אותה בצורת אינדקס וקטורי (כ-21 מיליון קטעי טקסט) שבו מתבצע חיפוש באמצעות אלגוריתם עצבי Dense Passage Retrieval[5]. עבור שאילתה נכנסת, מודל RAG מחלץ מהאינדקס את הקטעים המתאימים ביותר ומוסיף אותם להקשר יצירת התשובה. מנגנון זה אפשר להשיג תוצאות שיא חדשות (state-of-the-art) במשימות עם בסיס ידע פתוח, למשל בבחנים Natural Questions, WebQuestions ואחרים[2]. צוין כי תשובות מודל ה-RAG היו ספציפיות ומדויקות עובדתית יותר מאשר גישות גנרטיביות קודמות, הודות לסינתזה של מידע ממספר מקורות בו-זמנית[2]. זמן קצר לאחר מכן פרסמה Facebook באופן פומבי את קוד המקור של RAG: המודל שולב בספריית HuggingFace Transformers ובמערך הנתונים הקשור אליה, מה שאפשר למפתחים ליישם בקלות RAG בפרויקטים שלהם[2]. מאז 2020 צברה שיטת RAG פופולריות במהירות — לדברי המחבר, למרות הקיצור הלא-אסתטי, הגישה זכתה לתפוצה רחבה, הולידה מאות מאמרים מדעיים והפכה לבסיסם של שירותים מסחריים רבים[1].

עיקרון פעולת RAG

תרשים עקרוני של Retrieval-Augmented Generation: מודול החיפוש (משמאל) מחלץ מסמכים רלוונטיים מבסיס הידע, ולאחר מכן המודל הגנרטיבי (מימין) מגבש תשובה על בסיס שאילתת המשתמש תוך התחשבות במידע שנמצא[6]. גישה זו מאפשרת ל-LLM להסתמך על נתונים חיצוניים עדכניים בעת יצירת התשובה. בתרשים מוצג כיצד שאילתת המשתמש מומרת לוקטור ומשמשת לחיפוש קטעי טקסט דומים; לאחר מכן הם מחוברים להקשר המודל, «מרחיבים» את ידיעותיו ומשפרים את דיוק התשובה.

מערכת RAG מורכבת בדרך כלל משני רכיבים עיקריים: מודול חיפוש (retriever) ומודול יצירת תשובה (generator)[6]. בשלב ההכנה נבנה אינדקס וקטורי של בסיס הידע: כל המסמכים (הטקסטים) מחולקים לקטעים ומודל ה-embedding ממיר אותם לוקטורים מספריים, המאוחסנים במסד נתונים ייעודי לחיפוש מאוחר יותר[6]. עם קבלת שאילתת המשתמש, אותו מודל embedding מקודד את השאילתה לוקטור; לאחר מכן מתבצע חיפוש שכנים קרובים ביותר במרחב הוקטורי — נבחרים top K הקטעים הדומים ביותר מאינדקס הידע (למשל, K = 5)[6]. קטעים אלה נחשבים להקשר חיצוני המכיל עובדות סבירות בנושא השאילתה.

בשלב הבא ההקשר שנוצר משמש את המודל הגנרטיבי. השאלה המקורית יחד עם קטעי הטקסט שנמצאו מוזנת ל-LLM (למשל, transformer מסוג seq2seq או מודל מוכוון-הוראות) ליצירת התשובה הסופית[2]. מודל השפה, כך, מסתמך באופן מותנה לא רק על ידיעותיו הנלמדות (הפרמטריות), אלא גם על הנתונים החיצוניים שסופקו לו. במימוש המקורי של RAG, תפקיד הגנרטור מילא המודל המאומן מראש BART, ו«הזיכרון» החיצוני יוצג על ידי אוסף Wikipedia שאינדוקס בשיטת DPR[5].

גישת Fusion לאיחוד ידע

מאפיין חשוב של RAG הוא האופן שבו המודל משלב מידע ממספר מסמכים שנמצאו. בניגוד לשרשור פשוט של כל הטקסט, RAG מיישם גישה המכונה late fusion («מיזוג מאוחר של תוצאות») — המודל הגנרטיבי מעבד במקביל כל אחד מ-K הקטעים שהתקבלו ויוצר עבורו תשובה היפותטית עם הערכת ביטחון, ולאחר מכן מצרף את האפשרויות הללו לפלט הסופי[2]. שיטה זו מאפשרת ל-RAG לסנתז תשובה אפילו במקרים שבהם אף מקור בודד אינו מכיל תשובה ישירה ומלאה לשאלה. למשל, אם המידע הנדרש מפוזר על פני מאמרים שונים, המודל מסוגל לאחד «רמזים» ממספר מסמכים לתשובה אחת[2] (צוין כי הגדלת מספר המסמכים בשימוש בדרך כלל משפרת את השלמות אך במחיר אובדן מסוים של קוהרנטיות הטקסט[7].)

וריאנטים של יישום

במאמר המקורי משנת 2020 הוצעו שתי וריאנטים של ארכיטקטורת RAG[6]. במצב RAG-Sequence המודל הגנרטיבי מקבל קבוצה קבועה של מסמכים שנמצאו ומשתמש בהם ליצירת כל התשובה כולה. במצב RAG-Token, לעומת זאת, מותרת עדכון דינמי: בכל שלב של יצירת token הבא, המודל יכול לבצע חיפוש מחדש ולטעון קטע טקסט נוסף אם הדבר נדרש לצורך דיוק התשובה. שתי הגישות מציגות רמת איכות גבוהה דומה; RAG-Sequence פשוטה ומהירה יותר, ואילו RAG-Token מאפשרת תיאורטית להביא בחשבון מידע מגוון רב יותר בתשובות ארוכות[6].

יתרונות RAG

  • עדכניות ודיוק עובדתי. חיבור נתונים חיצוניים מאפשר ל-LLM לתת תשובות מדויקות ומבוססות יותר, המסתמכות על מידע אמיתי ולא רק על פרמטרי המודל. הדבר מצמצם משמעותית את הסיכון למידע מיושן או פשוט בדוי בתשובת המודל[3][1]. בניגוד למודלים עם «חתך ידע» קבוע, RAG יכול לענות אפילו על שאלות לגבי אירועים או עובדות שהופיעו לאחר סיום אימון המודל — הודות לגישה למקורות נתונים עדכניים[4].
  • שקיפות ואמון המשתמשים. מערכות RAG מסוגלות לספק קישורים למקורות מידע (למשל, מאמרים, דוחות או מסדי נתונים) ששימשו כבסיס לתשובה[1]. למעשה, המודל מנסח את תשובותיו בדומה לעבודה מדעית עם הערות שוליים, מה שמאפשר לאמת את מהימנות כל עובדה. נוכחות מקורות מצוטטים מגבירה את אמון המשתמשים ומקלה על אימות המידע שהתקבל.
  • התמחות בתחום ספציפי. Retrieval-augmentation מאפשרת להתאים יחסית בקלות את פעולת המודל לתחום ידע מצומצם מבלי לשנות את מודל השפה עצמו. לשם כך מספיק לצייד את ה-LLM בבסיס ידע מתמחה בנושא הרצוי — בין אם זה מאמרים רפואיים, מסמכים משפטיים או מדריכים טכניים של חברה. המודל, שנותר כללי מבחינת פרמטריו, מתחיל לפעול כמומחה בתחום, שכן הוא שואב עובדות מה-dataset שנבחר[4][8]. למשל, עוזר משפטי המבוסס על RAG יכול להגביל את תחום החיפוש לקורפוס שיפוטי אחד (חוקי מדינה מסוימת), ומבטיח שהתשובות יתאימו דווקא לחקיקה זו[8].
  • גמישות ועדכוניות ידע. במודלים קלאסיים, להוספת ידע חדש או תיקון עובדות שגויות נדרש אימון חוזר (fine-tuning) על dataset מורחב, דבר הכרוך בעלויות זמן ומשאבים. RAG פותר בעיה זו: כדי לעדכן ידע של המודל, מספיק לעדכן את מסד הנתונים החיצוני או לחבר מקורות נוספים, והמודל יתחיל מיד להשתמש במידע החדש[2]. הדבר מאפשר לתחזק בקלות את עדכניות המערכת — בפועל, ניתן להחליף נתונים «חמים» אפילו בזמן אמת ללא הפסקת פעולת המודל[1].
  • יעילות וחסכון במשאבים. גישת RAG מתגלה לעיתים קרובות כמעשית יותר מאשר אימון מודלים ענקיים השואפים לכלול את כל המידע בפרמטריהם. על ידי שילוב חיפוש ניתן להשיג תוצאות דומות עם מודל בגודל מתון, מבלי לנסות לשנן את כל העובדות בתוך הרשת העצבית עצמה[6]. בנוסף, יישום pipeline של RAG הוא יחסית פשוט: קיימים כלים מוכנים (frameworks, ספריות), ומפתחים מדגימים שניתן לבנות אב-טיפוס בסיסי של RAG ממש במספר שורות קוד[1]. כך, RAG מפחית את עלויות היישום הכוללות של בינה מלאכותית: במקום לאמן מודל חדש לכל משימה, מספיק להגדיר את מנגנון החיפוש ולספק נתונים מתאימים.

בעיות ומגבלות RAG

למרות היתרונות הברורים, Retrieval-Augmented Generation יורש מגבלות הן מרכיבי החיפוש והן ממודלי השפה עצמם[9]. להלן הבעיות המרכזיות האופייניות למערכות RAG:

  • תלות באיכות החיפוש. התשובה המתקבלת תהיה נכונה בדיוק במידה שבה הנתונים שחולצו רלוונטיים ואמינים. אם מודול החיפוש יחזיר מסמכים שאינם קשורים לשאלה או מכילים שגיאות, המודל הגנרטיבי לא יוכל «לתקן» עובדות אלה — הוא יייצר תשובה על בסיסן[8]. כך, איכות ועדכניות בסיס הידע החיצוני קובעות ישירות את דיוק ה-RAG. נדרש לעדכן באופן קבוע את האינדקס ולכוונן אלגוריתמי דירוג כדי שהצגת המסמכים תישאר רלוונטית.
  • מורכבות גבוהה וצריכת משאבים. מערכת RAG זקוקה לפעולתה לא רק ל-LLM עצמו, אלא גם לתשתית חיפוש: אחסון ועדכון מסד נתונים גדול, אינדוקס, זמן לביצוע השאילתה. כל אלה מגדילים את העלויות החישוביות ועלולים להאט את זמן התגובה בהשוואה למודל שפה בלבד[8]. במקרה הגרוע, עיכובים בשלב החיפוש או עיבוד כמות נתונים גדולה מאוד יאטו את המערכת. בפועל נדרש לאזן בין איכות התשובה לביצועים, לאופטימיזציה של ה-pipeline (למשל, הגבלת גודל בסיס הידע או עומק החיפוש כדי לשמור על זמן תגובה בתחום הנסבל).
  • דרישות לנתונים ותחזוקה. לפעולה יעילה של RAG נדרשים נתונים חיצוניים איכותיים, מובנים ונגישים. מודל החיפוש עלול להתקשות למצוא מידע שימושי אם בסיס הידע החיצוני מאורגן בצורה גרועה או מכיל רעש[8]. בנוסף, הנתונים הנדרשים אינם תמיד פתוחים או זולים: חברות נאלצות ליצור ולתחזק knowledge bases משלהן. הדבר יוצר הוצאות נוספות ומצריך מאמצים לעדכון הנתונים (למשל, הוספת מסמכים חדשים, ניקוי מידע מיושן). נקודת התורפה של RAG היא התלות בתחזוקת בסיס הידע במצב עדכני.
  • אי-יכולת לבטל חלק משגיאות ה-LLM. אמנם RAG מפחית משמעותית את מספר ה-confabulations, אך לא תמיד ניתן לחסל לחלוטין תשובות שגויות[9]. המודל הגנרטיבי עדיין עלול לטעות לוגית או לסכם מידע באופן לא נכון, במיוחד אם ההקשר שסופק אינו שלם מספיק או סותרני[9]. למעשה, RAG מעביר את מוקד השגיאות: במקום עובדות ממוצאות בחוצפה («הזיות») מופיעות לעיתים קרובות יותר שגיאות אינטגרציה של ידע — למשל, המודל עלול להחמיץ קטע חשוב או לקשר שגוי בין מקורות שונים. לכן ביישומים קריטיים (רפואה, משפט) נדרשת עדיין מעורבות אנושית לאימות ותיקון תשובות המערכת.

יישומי RAG

שיטת Retrieval-Augmented Generation מצאה יישום בשלל תרחישים הקשורים לחילוץ ושימוש בידע. להלן התחומים המרכזיים שבהם RAG מדגים את התועלת הגדולה ביותר:

  • מערכות שאלות-תשובות וצ'אטבוטים. RAG מאפשר ליצור עוזרים וירטואליים וצ'אטבוטים המשיבים על שאלות המשתמשים בדיוק גבוה ויכולים לספק קישורים למקורות. בתחום שירות הלקוחות, בוטים כאלה פונים לבסיס הידע הפנימי של החברה (FAQ, מאמרי עזר) ומספקים תשובות מיידיות לפניות לקוחות, ומפחיתים את העומס על העובדים[8]. בניגוד למערכות FAQ קלאסיות, בוטי RAG מנסחים תשובה בשפה חיה, אך בה בעת «מגבים» אותה בנתונים עדכניים הייחודיים לבעיית המשתמש.
  • רפואה ובריאות. מודל גנרטיבי המוגבר במסד נתונים רפואי מתמחה (מאמרים מדעיים, פרוטוקולים קליניים, מדריכי עיון) יכול לשמש עוזר אינטלקטואלי לרופא או למטופל. למשל, המערכת תוכל לענות על שאלה לגבי אבחנה נדירה, על ידי מציאת מחקרים עדכניים בספרות הרפואית בנושא זה[8]. יתרון חשוב של RAG ברפואה הוא האפשרות להפנות למקורות ראשוניים (למשל, לתוצאות ניסויים קליניים), שהיא הכרחית לאמון מצד רופאים. מערכות כאלה משמשות לתמיכה בקבלת החלטות, בדיקת תסמינים, הוראת סטודנטים לרפואה וכו', ומספקות גישה לידע רפואי עדכני.
  • משפט ופיננסים. בפרקטיקה המשפטית ובניתוח פיננסי, הדיוק ויכולת האימות של המידע קריטיים במיוחד. מערכות RAG יכולות לסייע לאנשי מקצוע למצוא במהירות את הנתונים הנדרשים: למשל, עורך דין יוכל בעזרת המודל למצוא ולצטט פסיקה תקדימית או סעיף חוק הרלוונטי לתיק הנוכחי, ואנליסט פיננסי — לקבל במהירות קטעים מדוחות כלכליים עדכניים או חדשות שוק[8]. יתרה מכך, כל תשובת המודל יכולה להכיל קישורים למסמכים ספציפיים (תקנות, דוחות, מאמרים), דבר התואם את תקני התעשייה ומקל על עבודת המומחה הידנית שלאחר מכן.
  • מחקר מדעי ויצירת תוכן. עיתונאים, חוקרים וסופרים יכולים להשתמש ב-RAG לזירוז איתור עובדות ומקורות בעת הכנת חומרים. למשל, המודל מסוגל לפי בקשה «לאסוף» מידע ממספר פרסומים אמינים ובכך לקצר משמעותית את הזמן המושקע בעובדה-בדיקה ואיתור ציטוטים[8]. עוזרי מחקר המבוססים על RAG מחלצים אוטומטית קישורים לעבודות רלוונטיות, נתונים ממאגרים פתוחים (למשל, סטטיסטיקה מדוחות בינלאומיים) ואפילו תרגומים טיוטה, ומאפשרים לכותבים להתרכז בחלק האנליטי של העבודה. כלים כאלה מוצאים יישום בתקשורת, בסביבה האקדמית, בהכנת סקירות ספרות וכו'.
  • ידע ארגוני וחיפוש במסמכים. בארגונים רבים, נפח משמעותי של מידע יקר ערך מאוחסן בצורת מסמכי טקסט: נהלים, מדריכים, דוחות, התכתבויות, קובצי יומן. RAG מספק דרך לחיפוש אינטראקטיבי בנתונים לא-מובנים כאלה באמצעות שפה. עובד יכול לשאול שאלה («מה נאמר על מדיניות חופשות לעובדים מרחוק?») — והמודל ימצא את הסעיף הרלוונטי במסמך הפנימי, יצטט אותו ויגבש תשובה מסכמת[1]. הדבר משפר את יעילות העבודה: עובדים חדשים מוצאים מהר יותר תשובות לשאלותיהם, מחלקות תמיכה מקבלות כלי לחיפוש מהיר במאגר תקלות, וההנהלה — דרך לניתוח נתוני טקסט שנצברו. חברות IT גדולות כבר מיישמות גישת RAG בפתרונות ארגוניים: טכנולוגיות של Microsoft, Google, IBM, AWS ואחרות משלבות LLM עם חיפוש בנתוני הארגון[1].

פרספקטיבות ומחקר עתידי

שיטת Retrieval-Augmented Generation מתפתחת באופן פעיל, ובשנים הקרובות צפויה הרחבה נוספת של יכולותיה. כיוון אחד הוא מולטי-מודאלי RAG, שבו כמידע חיצוני יכולים לשמש לא רק טקסטים, אלא גם תמונות, שמע/וידאו ואפילו נתוני חיישנים. ניסויים מראים את הסיכוי בשילוב מודלי שפה עם חיפוש במאגרי נתונים ויזואליים, מה שיאפשר, למשל, לענות על שאלות לגבי תוכן תמונות או וידאו תוך הסתמכות על תיאורים וטקסטים קשורים[2]. כיוון חשוב נוסף הוא שימוש בו-זמני במספר מקורות ידע: מערכות RAG עתידיות יוכלו לשלב נתונים ממאגרים שונים (למשל, Wikipedia, אנציקלופדיות מתמחות, הערות אישיות של המשתמש) ולסנתז תשובות תוך התחשבות בכל המידע ההטרוגני הזה[2].

בפני החוקרים עומדת גם משימת שיפור האמינות והבטיחות של RAG. יש למזער את הסיכון להפצת דעות קדומות ושגיאות שעלולות להיות כלולות בנתונים החיצוניים, וכן להבטיח עקביות התשובות. צוות מפתחי ה-RAG המקורי כבר נקט צעדים בכיוון זה — למשל, על ידי הגבלת בסיס הידע הראשוני רק למאמרי Wikipedia כמקור יחסית מאומת וניטרלי[2]. בעתיד מתוכנן ליצור פילטרים ושיטות ברירת מסמכים מיוחדים, כדי שהמודל יקבל הקשר איכותי מובטח. בנוסף, המחקר מתמקד בשיפור מנגנון החיפוש עצמו: מפותחים אלגוריתמי דירוג ואינדוקס סמנטי חדשים, המסוגלים להבין שאילתות בצורה מדויקת יותר ולמצוא מידע רלוונטי אפילו לפי ניסוחים מורכבים או עמומים.

לבסוף, מעניינת אינטגרציה עמוקה יותר של RAG עם תהליך אימון מודלי השפה. כבר מופיעות גישות שבהן מנגנוני retrieval משמשים לא רק בשלב ההסקה, אלא גם באימון מקדים או fine-tuning של LLM[10]. הדבר עשוי להגביר עוד יותר את הדיוק העובדתי של המודלים ולהפחית את תלותם בידע המאוחסן סטטית במשקלים. לפי סקירות שפורסמו ב-2024, הקהילה רואה פוטנציאל רב בפיתוח האקוסיסטם של RAG: מאופטימיזציה של תשתיות (האצת חיפוש, הפחתת עלויות זיכרון) ועד יצירת benchmarks סטנדרטיים להערכת איכות מערכות RAG[3]. כל זאת נועד להפוך מודלים גנרטיביים למדויקים, אוניברסאליים ובטוחים יותר בעבודה עם ידע חיצוני המתעדכן כל הזמן, שהוא צעד מפתח בדרך לבינה מלאכותית אמינה מהדור הבא.

קישורים

  • מהו Retrieval-Augmented Generation (RAG) — בלוג NVIDIA
  • Retrieval-Augmented Generation for Large Language Models: A Survey — סקירה מדעית ב-arXiv
  • Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — המאמר המקורי על RAG
  • מהו RAG? יישום, מגבלות ואתגרים — בלוג Bright Data

ספרות

  • Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
  • Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
  • Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
  • Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
  • Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
  • Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
  • Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
  • Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
  • Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
  • Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
  • Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
  • Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.

הערות

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 «What Is Retrieval-Augmented Generation aka RAG». NVIDIA Blogs. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 «Facebook open-sources RAG, an AI model that retrieves documents to answer questions». VentureBeat. [2]
  3. ↑ 3.0 3.1 3.2 3.3 Mialon, Grégoire et al. «Retrieval-Augmented Generation for Large Language Models: A Survey». arXiv. [3]
  4. ↑ 4.0 4.1 4.2 «Applied AI Software Engineering: RAG». Pragmatic Engineer. [4]
  5. ↑ 5.0 5.1 5.2 Lewis, Patrick et al. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». arXiv. [5]
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «How RAG Makes LLMs Smarter». Exxact Blog. [6]
  7. ↑ «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». arXiv. [7]
  8. ↑ 8.0 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 «What Is RAG? Use Cases, Limitations, and Challenges». Bright Data Blog. [8]
  9. ↑ 9.0 9.1 9.2 Lewis, Patrick et al. «Seven Failure Points When Engineering a Retrieval Augmented Generation System». arXiv. [9]
  10. ↑ «Генерация, дополненная поиском». Википедия. [10]
Retrieved from "https://systems-analysis.info/int/index.php?title=Retrieval-augmented_generation_(RAG)_(HE)&oldid=6387"