Training large language models (HE)

אימון מודלים לשוניים גדולים (LLM) — הוא תהליך מורכב ועתיר משאבים, שבמהלכו רשת נוירונים עם מיליארדי פרמטרים מתאמנת על מסות עצומות של נתוני טקסט, לשם הבנה ויצירה של שפה אנושית. תהליך זה הוא אבן הפינה ביצירת LLM מודרניים כגון GPT,‏ BERT,‏ Claude ו-Gemini.

יסודות תיאורטיים של האימון

ארכיטקטורת Transformer ומנגנון ה-attention

ה-LLM המודרניים מבוססים כמעט כולם על ארכיטקטורת ה-Transformer, המאפשרת עיבוד יעיל של רצפי טקסט ארוכים. המרכיב המרכזי הוא מנגנון ה-self-attention, המעניק למודל את היכולת לשקלל את חשיבותה של כל מילה בהקשר של הרצף כולו. הדבר מאפשר לתפוס תלויות מרוחקות ולעבד נתונים במקביל, מה שמאיץ משמעותית את האימון בהשוואה לרשתות רקורנטיות (RNN).

המשימה המרכזית: חיזוי ה-token הבא

המשימה הבסיסית שעליה מתאמנים רוב ה-LLM (בעיקר הגנרטיביים כמו GPT) היא מידול לשוני. המודל לומד לחזות את ה-token הבא (מילה או חלק ממילה) ברצף, על סמך כל ה-tokens הקודמים. באופן פורמלי, המודל ממקסם את ההסתברות של הרצף $P(X)$ באמצעות פירוקו לפי כלל השרשרת:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

לאימון משתמשים ב-פונקציית ההפסד של אנטרופיה צולבת (cross-entropy), המודדת את הפער בין התפלגות ההסתברויות שהמודל ניבא לבין ה-token האמיתי הבא.

שלבי האימון

תהליך אימון ה-LLM מורכב בדרך כלל משני שלבים עיקריים.

1. אימון מקדים (Pre-training)

זהו השלב הנרחב והיקר ביותר מבחינה חישובית, שבו המודל רוכש את הידע הבסיסי שלו על השפה ועל העולם.

• נתונים: המודל מתאמן על קורפוסים ענקיים של טקסט לא מתויג, שנפחם עשוי להגיע לטריליוני tokens. מקורות הנתונים כוללים דפי אינטרנט (לדוגמה, Common Crawl), ויקיפדיה, ספריות ספרים דיגיטליות (Google Books) ומאגרי קוד (GitHub).
• מטרה: לגבש ייצוגים לשוניים אוניברסליים. המודל לומד דקדוק, תחביר, עובדות ואפילו מרכיבים מסוימים של היסק לוגי.
• תהליך: זהו אימון self-supervised, שבו התוויות (ה-tokens הנכונים הבאים) נגזרות מתוך הנתונים עצמם. האימון עשוי להימשך שבועות או חודשים על אשכולות של אלפי GPU או TPU.

2. כוונון עדין (Fine-tuning) ויישור (Alignment)

לאחר האימון המקדים יש להתאים את המודל ה"גולמי" למשימות ספציפיות ולהתאימו לציפיות האנושיות.

• כוונון עדין מפוקח (Supervised Fine-tuning): המודל עובר כוונון עדין על מערך נתונים קטן אך איכותי של נתונים מתויגים (לדוגמה, זוגות של "הוראה-תשובה"), כדי ללמוד לפעול לפי הנחיות.
• אימון עם חיזוק על בסיס משוב אנושי (RLHF): זוהי השיטה המרכזית ליישור. התהליך כולל מספר שלבים:

1. 1. מתייגים אנושיים מדרגים מספר תשובות של המודל לאותה שאילתה, מהטובה לגרועה ביותר.
   2. על בסיס נתונים אלה מתאמנת מודל התגמול (reward model), הלומד לחזות איזו תשובה יעדיף אדם.
   3. ה-LLM הראשי עובר כוונון עדין באמצעות אלגוריתמי חיזוק (כגון PPO), תוך שימוש במודל התגמול כמקור לאות, כדי לייצר תשובות מועילות, כנות ובטוחות יותר.

גישה דו-שלבית זו (pre-training + fine-tuning/alignment) הפכה לסטנדרט בתעשייה, ומאפשרת יצירת מודלים לשוניים עוצמתיים וניתנים לניהול כאחד.

היבטים מעשיים

נתונים: איסוף, היקף והכנה

איכות הנתונים והיקפם הם הגורמים הקובעים את הצלחת ה-LLM.

• איסוף: נעשה שימוש במגוון מקורות כדי להבטיח כיסוי רחב של נושאים, סגנונות ושפות.
• ניקוי וסינון: שלב קריטי הכולל הסרת כפילויות, סינון תוכן באיכות נמוכה או תוכן רעיל, ואיזון מקורות, כדי שהמודל לא יתאמן יתר על המידה על שפת אינטרנט ספציפית.
• טוקניזציה (Tokenization): הטקסט מפוצל ל-tokens (מילים או תת-מילים) באמצעות אלגוריתמים כגון BPE או SentencePiece. בחירת ה-tokenizer וגודל אוצר המילים משפיעים ישירות על יעילות המודל ואיכותו.

אימון מבוזר ומשאבי מחשוב

אימון מודלים עם מאות מיליארדים או טריליוני פרמטרים דורש משאבי מחשוב עצומים ושימוש בטכניקות אימון מבוזר.

• חומרה: נעשה שימוש במחשבי-על המורכבים מאלפי GPU (לדוגמה, NVIDIA A100/H100) או TPU (Google), המחוברים ברשתות במהירות גבוהה (לדוגמה, InfiniBand).
• מקביליות (Parallelism): לחלוקת החישובים משתמשים בתכניות מקביליות מורכבות:
  • Data Parallelism: כל עותק של המודל ב-GPU שלו מעבד את חלקו בנתונים.
  • Model Parallelism: המודל עצמו מפוצל לחלקים המוצבים על GPU שונים. כולל מקביליות טנסורית (פיצול מטריצות) ומקביליות צינורית (פיצול שכבות).
  • ZeRO (Zero Redundancy Optimizer): טכנולוגיה שפותחה על ידי Microsoft DeepSpeed, המבטלת כפילות של פרמטרים, גרדיאנטים ומצבי אופטימייזר, ומאפשרת אימון מודלים גדולים בהרבה.

• Frameworks: לצורך יישום תכניות מורכבות אלה משתמשים ב-frameworks מתמחים כגון DeepSpeed,‏ Megatron-LM ו-Hugging Face Accelerate.

התפתחות היסטורית של הגישות

• שנות ה-1980–1990: מודלים לשוניים סטטיסטיים מבוססי n-grams.
• 2001–שנות ה-2010: הופעת מודלים לשוניים מבוססי רשתות נוירונים על בסיס RNN ו-LSTM, שתפסו תלויות ארוכות טווח בצורה טובה יותר.
• 2017: פרסום המאמר "Attention Is All You Need" והופעת ארכיטקטורת Transformer, שאפשרה אימון מקבילי.
• 2018–2019: הופעת ה-transformers הראשונים עם אימון מקדים — GPT-1 ו-BERT, שביססו את הפרדיגמה של pre-training + fine-tuning.
• 2020: יציאת GPT-3 סימנה פריצת דרך בהיקף והופעת יכולות few-shot אמרג'נטיות.
• 2022: השקת ChatGPT והפצת RLHF כשיטה מרכזית ליצירת עוזרי AI מועילים ובטוחים.
• 2023–עד היום: עידן המודלים המולטימודאליים (GPT-4,‏ Gemini), תחרות על הגדלת חלון ההקשר ופיתוח יכולות סוכן (agentic).

ספרות

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

קישורים

• מבוא ל-LLM — קורס מאת Hugging Face