--- title: "Large language model architectures — ארכיטקטורות LLM" source: "https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM" wiki: "systems-analysis.info/int" article: "Large_language_model_architectures_—_ארכיטקטורות_LLM" language: "he" categories: - "Category:Hebrew" - "Category:Large language models" - "Category:Machine learning" revision_id: 3786 wiki_created_at: 2026-09-06T23:26:04Z wiki_modified_at: 2026-09-06T23:26:04Z downloaded_at: 2026-09-07T22:58:58Z --- # Large language model architectures — ארכיטקטורות LLM **ארכיטקטורות של מודלי שפה גדולים (LLM)** — הם עקרונות ומבנים יסודיים הקובעים כיצד מודלי שפה גדולים נבנים, מאומנים ופועלים. מודלי LLM מודרניים, המסוגלים להבין ולייצר שפה אנושית, מבוססים כמעט כולם על ארכיטקטורת ה-**Transformer**^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)}, אך כוללים שיפורים רבים וגישות שונות שמטרתן להגביר יעילות, יכולת הרחבה ויכולות כלליות. ## משפחות ארכיטקטורות LLM (טרנספורמרים) מודלי שפה גדולים מודרניים מבוססים על ארכיטקטורת הטרנספורמר^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)}, אך משתמשים בה בדרכים שונות בהתאם למטרה: הבנת טקסט, יצירת המשך או המרת טקסט אחד לאחר. בפועל מבחינים בשלוש משפחות תוך שמירה על עקרונות הטרנספורמר הבסיסיים^{[\[2\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-2)[\[3\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-3)[\[4\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-4)}. ### 1. Encoder‑only (מקודד בלבד) המודל משתמש אך ורק בערימת מקודדים ובוחן את כל טקסט הקלט בצורה דו-כיוונית. האימון המקדים בנוי בדרך כלל כ-masked‑language modeling (MLM, מודלינג שפה עם הסתרה): חלק מה-tokenים מוסתרים והמודל לומד לשחזרם מהסביבה. בזכות ההקשר הדו-כיווני, מודלים אלו חזקים במשימות הבנה וניקוד: סיווג, זיהוי ישויות, דירוג-מחדש של מסמכים ו-QA מחלצני. הם אינם מיועדים לייצור אוטו-רגרסיבי מאפס. בנוסף, בפועל נעשה שימוש גם ביעדי אימון מקדים חלופיים עבור משפחת encoder‑only: *replaced token detection (RTD) ב-ELECTRA* (מודל הדיסקרימינטור מזהה tokenים שהוחלפו) ו-*אימון קונטרסטיבי* של bi‑encoderים לחיפוש סמנטי/ריטריבל (InfoNCE/softmax‑loss על זוגות "שאילתה-מסמך", כמו ב-Dense Passage Retrieval). בשימוש ב-RAG, encoder‑only משמש כ-*bi‑encoder* (קידוד נפרד של שאילתה ומסמך לחיפוש ANN מהיר), או כ-*cross‑encoder* (קידוד משותף של הזוג לדירוג-מחדש מדויק). **יתרונות:** - איכות הבנת טקסט גבוהה בזכות הקשר דו-כיווני: סיווג, NER, חילוץ עובדות, דירוג-מחדש, QA מחלצני. - עיבוד מקבילי ותפוקה גבוהה: מעבר קדימה אחד ללא אוטו-רגרסיה; נוח לעיבוד ניקוד קבוצתי בכמות גדולה. - שילוב טבעי עם חיפוש ו-RAG: בתפקיד bi‑encoder — חיפוש סמנטי מהיר; בתפקיד cross‑encoder — דירוג-מחדש מדויק. - הסתגלות יעילה: גרסאות קומפקטיות יחסית (≈100–300 מיליון פרמטרים; BERT‑base ≈110 מיליון) מניבות איכות גבוהה לאחר fine-tuning ממוקד. - זמן אחזור יציב שאינו תלוי באורך התשובה המיוצרת (אין פענוח צעד-אחר-צעד); מתאים היטב לניקוד אופליין של אוספים גדולים. - אפשרות הרחבת חלון ההקשר של encoderים באמצעות מיקומים יחסיים/רוטציוניים ו/או attention מקומי-דליל (למשל, Longformer/BigBird), שימושי למסמכים ארוכים. **חסרונות:** - אין יכולות ייצור עצמאיות: לדיאלוגים ותשובות מפורטות נדרש decoder או מודול ייצור חיצוני. - מוגבלות בתרחישים אינטראקטיביים: אין ייצור שלב-אחר-שלב עם שמירת מצב. - אי-התאמה בין יעד האימון המקדים למשימות ייצור חופשי: MLM מתיישב פחות טוב עם ייצור בהשוואה למודלינג סיבתי. - חלון הקשר היסטורית מוגבל (לעיתים 512 tokenים בתצורות בסיסיות של מיקומים מוחלטים); הרחבה דורשת סכמות מיקום/attention מיוחדות ו/או fine-tuning. - למשימות ריטריבל נדרש fine-tuning קונטרסטיבי נפרד של bi‑encoder ו/או cross‑encoder; ללא זה איכות החיפוש/דירוג-מחדש בדרך כלל נמוכה ממודלים שאומנו לצורך זה. **מודלים מייצגים:** BERT ונגזרותיו, וכן RoBERTa ו-DeBERTa (גרסאות מורחבות של encoder‑only); מיעדי אימון מקדים חלופיים — ELECTRA (RTD). ^{[\[5\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-5)[\[6\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-6)[\[7\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-7)[\[8\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-8)[\[9\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-9)[\[10\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-10)} ### 2. Decoder‑only (מפענח בלבד) נעשה שימוש רק בערימת מפענחים עם attention סיבתי (שמאלי): המודל מנבא את ה-token הבא על סמך הקידומת הנתונה. מצב אימון זה — causal language modeling (CLM) — הופך מודלים אלו לבחירה הטבעית לייצור: דיאלוגים, תשובות מפורטות, טקסט יצירתי, קוד תוכנה. הפשרה היא עלייה בזמן האחזור ובנפח ה-KV‑cache בפרומפטים ארוכים. בפועל נפוצות לdecoder‑only טכניקות הנדסיות: הקטנת KV‑cache באמצעות MQA ו-GQA, האצת הסקה באמצעות speculative decoding ואופטימיזציות שרת (PagedAttention/vLLM, continuous batching, chunked prefill).^{[\[11\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-11)[\[12\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-12)[\[13\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-13)[\[14\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-14)[\[15\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-15)} **יתרונות:** - ייצור טקסט טבעי (CLM): יכולות zero‑shot ו-few‑shot חזקות; מתרחב היטב.^{[\[16\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-16)} - רב-תכליתיות: מודל אחד פותר משימות רבות באמצעות הוראות ודוגמאות בפרומפט; משתלב באופן טבעי עם RAG וקריאת כלים (tool use). - מערכת אקולוגית בשלה: שיטות fine-tuning להוראות ויישור התנהגות (RLHF, DPO); זמינות מימושים פתוחים ומסחריים.^{[\[17\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-17)[\[18\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-18)} - מחסנית עשירה של אופטימיזציות הסקה: MQA/GQA מקטינים את נפח ה-KV‑cache ומגדילים תפוקה; speculative decoding מאיץ הסקה ללא שינוי ההתפלגות; PagedAttention/vLLM עם continuous batching ו-chunked prefill משפרים את ניצול ה-GPU מקצה לקצה.^{[\[19\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-19)[\[20\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-20)[\[21\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-21)[\[22\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-22)[\[23\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-23)} - תמיכה בייצור מובנה לפורמטי תשובות מחמירים (JSON/SQL/DSL), המפשטת שילוב עם מערכות מידע ו-APIים.^{[\[24\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-24)[\[25\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-25)} **חסרונות:** - זמן אחזור ייצור מוגבר: הסקה סדרתית; עלות token חדש גדלה עם אורך ההקשר שכבר "נקרא" (KV‑cache). - פחות יעיל בפרופיל "כניסה ארוכה – יציאה קצרה" (סיכום, תרגום) בהשוואה ל-encoder–decoder, שם הכניסה מקודדת פעם אחת. - מגבלת הקשר חד-כיווני: במשימות הבנה מפסיד לעיתים למודלים עם ייצוג דו-כיווני (encoder‑only / encoder–decoder). - זיכרון ה-KV‑cache עלול להיות "צוואר בקבוק" בפרומפטים ארוכים ובאצוות גדולות;^{[\[26\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-26)} - כימות של הפעלות/KV (INT8/FP8) מאיץ הסקה אך עלול לפגוע באיכות בהקשרים ארוכים/קוד; דורש אימות קפדני (במיוחד ב-SLA מחמירים). **מודלים מייצגים:** GPT‑3, GPT‑4 (פרטי הארכיטקטורה וסט הנתונים לא נחשפו פומבית), LLaMA ו-*Llama 3* (8B/70B, 2024).^{[\[27\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-27)[\[28\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-28)[\[29\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-29)[\[30\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-30)} ### 3. Encoder–decoder (מקודד–מפענח) הארכיטקטורה משלבת את שני הרכיבים. המקודד פועל במצב דו-כיווני והמפענח — באופן סיבתי. המקודד מנתח את הכניסה פעם אחת ויוצר את ייצוגה; המפענח מייצר את הפלט תוך פנייה לייצוג זה דרך cross‑attention. גישה מופרדת זו שימושית במיוחד כשנדרש להמיר טקסט כניסה ארוך לפלט קצר: תרגום מכונה, סיכום, תשובות המבוססות על מסמכים. אמנם השיטה דורשת עלויות חישוב מצטברות גבוהות יותר (שתי ערימות ו-cross‑attention), אך יתרונה הוא ייצור מבוקר המבוסס על ניתוח מלא של הטקסט המקורי; הקידוד מבוצע פעם אחת ומשמש שוב לאורך כל תהליך ההסקה. **יתרונות:** - ייצור מותנה: המפענח משתמש ב-cross‑attention לייצוג הכניסה. ^{[\[31\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-31)} - יעיל בתרחיש "כניסה ארוכה → יציאה קצרה": הכניסה מקודדת פעם אחת. - נוח לפורמט "text‑to‑text" ולפלט מבוקר (קידומות משימה, הוראות מיוחדות). ^{[\[32\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-32)} - יציבות ויעילות עם מקור ארוך: בשלב הפענוח גדל רק ה-self‑attention על הפלט, ואילו ה-cross‑attention משתמש שוב במפתחות/ערכים הקבועים מהמקודד (הכניסה אינה "נקראת מחדש" בכל צעד). **חסרונות:** - שתי ערימות מגדילות את דרישות הזיכרון והחישוב באימון ובשימוש. - ברצפים ארוכים במיוחד, זמן האחזור הכולל דומה ל-decoder‑only; האוטו-רגרסיה נותרת צוואר הבקבוק. - פחות מודלי צ'אט אוניברסליים בהשוואה ל-decoder‑only; משמשים לרוב כמנוע seq2seq איכותי למשימות ספציפיות. - בכניסה ארוכה מאוד גדל הזיכרון למפתחות/ערכי cross‑attention בכל שכבת מפענח (על כל המקור), הדורש תכנון הגשה (serving) זהיר. **מודלים מייצגים:** T5 (כולל T5 v1.1 ופרקטיקת fine-tuning להוראות ב-*FLAN‑T5*) ו-BART. ^{[\[33\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-33)[\[34\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-34)[\[35\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-35)} ## טרנספורמרים צפופים (Dense Transformers) הארכיטקטורה הקלאסית והנפוצה ביותר של LLM: בעיבוד כל token משתתפים כמעט כל פרמטרי המודל. בניגוד לגישות דלילות (למשל, Mixture‑of‑Experts), אין הפעלה סלקטיבית של תת-רשתות — כל בלוק פועל עבור כל token. ^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)} ### עקרון הפעולה והארכיטקטורה **מבנה בסיסי.** המודל הוא ערימה של N בלוקי טרנספורמר זהים. כל בלוק כולל: 1. **Multi‑Head Self‑Attention (תשומת לב עצמית רב-ראשית).** עבור כל token מחושבים שלושה וקטורים: Q (query), K (key), V (value); תשומת הלב מוגדרת כ-$\operatorname{softmax}\!\left( \frac{QK^{\top} + M}{\sqrt{d_{k}}} \right) \cdot V$, כאשר $M$ — מסכה (סיבתית ו/או מסכת ריפוד) המוציאה מחישוב מיקומים בלתי-תקפים. מספר "ראשי" תשומת לב מחשבים במקביל היבטים שונים של ההקשר (H ראשים, בדרך כלל $d_{head} = \frac{d_{model}}{H}$); מספרם גדל עם קנה המידה של המודל. ^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)} 2. **רשת Feed‑Forward (FFN).** שתי שכבות לינאריות עם אי-לינאריות ביניהן (בדרך כלל GELU/SiLU; בחלק מהמודלים המודרניים — SwiGLU). הממד הביניים בדרך כלל $\approx 4\, d_{model}$; בשימוש ב-SwiGLU לוקחים לעיתים $\approx \frac{8}{3}\, d_{model}$ לשמירת מספר פרמטרים דומה. ה-FFN מכיל חלק ניכר מהפרמטרים. ^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)[\[36\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-36)} **רכיבים נוספים.** נעשה שימוש בחיבורים שיורים (residual) ונירמול שכבות; במודלי LLM מודרניים נפוץ יותר Pre‑LN (נירמול לפני תת-בלוקים) — זה משפר יציבות אימון בעומקים גדולים. מלבד LayerNorm קלאסי, נעשה שימוש הולך וגובר ב-**RMSNorm** (מקטין עלויות חישוב ועובד היטב במודלים גדולים); בנוסף, בחלק ממשפחות המודלים נעשה שימוש בנירמול במרחב תשומת הלב (למשל, נירמול Q/K לפני softmax). ייצוגי המיקום יכולים להיות מוחלטים או יחסיים; לצורך הקשר ארוך RoPE הפך לסטנדרט דה-פקטו. ##### דוגמאות מודלים ועוצמה - BERT‑Large: 24 שכבות, ממד 1024, 16 ראשי attention, ≈340 מיליון פרמטרים. ^{[\[37\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-37)} - GPT‑3 (175B): 96 שכבות, ממד 12288, 96 ראשי attention, ≈175 מיליארד פרמטרים. ^{[\[38\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-38)} - LLaMA‑65B: 80 שכבות, ממד 8192, 64 ראשי attention, ≈65 מיליארד פרמטרים. ^{[\[39\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-39)} - PaLM‑540B: 118 שכבות, ממד בסדר גודל של 18432, ≈540 מיליארד פרמטרים. ^{[\[40\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-40)} ##### יתרונות - בלוקים אחידים, משטרי אימון מוכרים היטב והתנהגות מדידה בהרחבה. - האיכות משתפרת בחוק חזקה עם גידול הפרמטרים והנתונים; משטר compute‑optimal מניח הגדלה משותפת של גודל המודל ונפח tokenי האימון. ^{[\[41\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-41)[\[42\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-42)} - אותה ארכיטקטורה לאחר fine-tuning מכסה מגוון רחב של משימות ללא שינויים ברמת השכבות. ##### חסרונות - Self‑attention מלא בעל מורכבות ריבועית לפי אורך הרצף ($O(n^{2})$), המגביל את חלון ההקשר. ^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)} - הפעלה מלאה של פרמטרים בצעד הייצור: במפענח ללא MoE עלות ההסקה לכל token גדלה בקירוב פרופורציונלית למספר הפרמטרים. - צוואר בקבוק — רוחב פס זיכרון (memory‑bound): טעינת המשקלים מ-HBM מגבילה לעיתים קרובות את מהירות ההסקה. ##### מגבלות הרחבה והקשר - זיכרון לפרמטרים גדל לינארית עם גודל המודל; זיכרון האימון גדל בשל גרדיאנטים ומצבי אופטימייזר. - תצורות בסיסיות היסטורית הוגבלו ל-2–4 אלף tokenים. סכמות מיקום מודרניות (RoPE) וטכניקות הרחבה (Position Interpolation, YaRN ועוד) מאפשרות להגדיל את החלון בסדר גודל ויותר, אך במחיר עומס חישובי/זיכרון נוסף. ^{[\[43\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-43)[\[44\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-44)} ### אופטימיזציות מודרניות - **FlashAttention.** תשומת לב מדויקת תוך התחשבות בהיררכיית זיכרון ה-GPU; מקטינה עלויות זיכרון ומאיצה אימון/הסקה ברצפים ארוכים. ^{[\[45\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-45)} - **הקטנה וניהול KV‑cache.** Multi‑Query Attention ו-Grouped‑Query Attention מקטינים את נפח ה-cache ותעבורת הזיכרון; ברמת השרת, PagedAttention (vLLM) מגביר תפוקה באמצעות ניהול cache מבוסס עמודים. ^{[\[46\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-46)[\[47\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-47)[\[48\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-48)} - **Speculative Decoding.** מודל טיוטה (draft) מציע המשך, והמודל הראשי בודק אותו במהירות; מושגת האצה ללא שינוי התפלגות הפלט. ^{[\[49\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-49)} ## מודלים דלילים (Sparse Models) ו-Mixture‑of‑Experts (MoE) MoE הוא שיטה להגדלת קיבולת המודל ללא גידול פרופורציונלי בחישובים לכל token. במקום בלוק FFN גדול אחד בשכבה, נעשה שימוש בקבוצת "מומחים" מקבילים (מספר FFNים עצמאיים), ורשת ניתוב (gating network) הניתנת ללמידה בוחרת לכל token את top‑k המומחים הרלוונטיים ביותר (בדרך כלל k=1–2; בחלק מהמודלים k=4). רק המומחים הנבחרים מופעלים; פלטיהם מוקצים משקל ומסוכמים. כך ניתן להגיע למאות מיליארדים ואף לטריליוני פרמטרים כולל, אך בכל צעד מופעל רק חלק קטן מהם. ^{[\[50\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Switch-50)[\[51\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-GLAM-51)} #### דוגמאות מודלים ועוצמה - **Switch Transformer (Google)**: עד ~1.6T פרמטרים; ניתוב top‑1 (מומחה אחד לכל token). הדגים שMoE מאפשר לגדול בקיבולת בחדות עם עלויות דומות לכל token. ^{[\[50\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Switch-50)} - **GLaM (Google)**: 1.2T פרמטרים, 64 מומחים בשכבה, top‑2; לכל token מופעלים ≈96.6B פרמטרים (≈8%). ^{[\[51\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-GLAM-51)} - **Mixtral 8×7B (Mistral AI)**: ~46.7B פרמטרים סה"כ, ≈12.9B פעילים לכל token, top‑2. ^{[\[52\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mixtral8x7-52)[\[53\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mixtral8x7_paper-53)} - **Mixtral 8×22B**: ~141B פרמטרים סה"כ, ≈39B פעילים לכל token, top‑2. ^{[\[54\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mixtral8x22-54)} - **DBRX (Databricks)**: 132B פרמטרים סה"כ, ≈36B פעילים לכל token; 16 מומחים וניתוב top‑4 (fine‑grained MoE). ^{[\[55\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-DBRX-55)} ##### יתרונות - עלות החישוב נקבעת לפי מספר המומחים הפעילים k, ולא לפי מספר הפרמטרים הכולל: ניתן לאמן ולהשתמש במודלים בקנה מידה של טריליונים בעלויות הדומות למודלים צפופים בגודל קטן משמעותית. ^{[\[51\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-GLAM-51)} - התמחות: המומחים "מכוונים" אוטומטית לשפות/תחומים/דפוסים, משפרים את האיכות במשימות רב-תחומיות. - פריסה גמישה: ניתן להחזיק בזיכרון מומחים בשימוש תכוף ולטעון נדירים (עם תשתית מתאימה). ##### מגבלות - איזון עומס: ללא רגולריזציה, רשת הניתוב עלולה "להיתקע" על חלק מהמומחים (router collapse). נדרשות auxiliary losses (load‑balancing) וסכמות ניתוב משופרות. ^{[\[50\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Switch-50)} - מורכבות של חישובים מבוזרים: נדרש expert parallelism וחליפין all‑to‑all; עלויות תקשורת וניהול זיכרון הופכים לצוואר בקבוק. ^{[\[56\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-NVIDIA_MoE-56)} - יציבות אימון: חשובה כוונון הנתב ומגבלות קיבולת (capacity), אחרת עלולים להיות ירידות באיכות/התכנסות. #### שיפורים מודרניים - **Expert‑Choice routing**: המומחים "בוחרים" tokenים, מה שמשפר איזון והתכנסות בעלויות דומות. ^{[\[57\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-ExpertChoice-57)} - **Fine‑grained MoE**: מספר גדול יותר של מומחים קטנים יותר (כמו ב-DBRX) נותן גרנולריות עדינה של התמחות. ^{[\[55\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-DBRX-55)} - **Sparse Upcycling**: המרת מודל צפוף ל-MoE מנקודת ה-checkpoint שלו מאפשרת לשפר את האיכות משמעותית בעלויות מתונות. ^{[\[58\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-SparseUpcycling-58)} #### כדאיות השימוש ב-MoE - עוזרים רב-תחומיים גדולים עם תקציב compute מוגבל. - אימון על קורפוסים נרחבים שבהם ההתמחות מניבה יתרון. - תרחישים עם תשתית מבוזרת מפותחת (הרבה GPU/TPU ורשתות מהירות). **מתי עדיפים מודלים צפופים**: תשתית מוגבלת (1–2 GPU), דרישות מחמירות לזמן אחזור צפוי ופשטות פריסה. ## Retrieval‑Augmented Generation (RAG) RAG הוא **תבנית מערכת** ארכיטקטונית סביב ה-LLM, ולא ארכיטקטורה פנימית של המודל עצמו. הוא משלב LLM (רכיב ייצור) עם בסיס ידע חיצוני (רכיב חילוץ), המאפשר לפצות על מגבלת ה"זיכרון הפרמטרי" של המודל. - **עקרון הפעולה:** לפני הייצור, ה-LLM מחלץ מסמכים רלוונטיים ממקור חיצוני (ויקי, בסיס ידע ארגוני, אינטרנט) ומסתמך עליהם בעת יצירת התשובה. ^{[\[59\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RAG-59)} - **יתרונות:** - הפחתת הזיות ושיפור דיוק עובדתי. ^{[\[59\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RAG-59)[\[60\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-60)} - עדכניות ללא אימון מחדש מלא של המודל. ^{[\[59\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RAG-59)} - יכולת ציטוט ומעקב אחר תשובות. - **יישום:** סטנדרט דה-פקטו לעוזרי ארגון ומערכות הדורשות עובדות ניתנות לאימות ועבודה עם נתונים פרטיים/מתמחים. ^{[\[59\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RAG-59)} ## מנגנוני Attention ועבודה עם הקשר ה-self‑attention הבסיסי בעל מורכבות ריבועית לפי אורך הרצף ($O(n^{2})$), לכן פותחו אופטימיזציות. - **Sparse Attention (תשומת לב דלילה):** הגבלת תשומת הלב לחלונות/דפוסים מקומיים. דוגמאות: **Longformer**^{[\[61\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-61)}, **BigBird**^{[\[62\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-62)}. - **FlashAttention:** שינוי סדר החישובים תוך התחשבות בהיררכיית זיכרון ה-GPU; מניב יתרון משמעותי בזמן ובזיכרון והפך לסטנדרט דה-פקטו באימון LLM עם הקשר ארוך^{[\[63\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-63)[\[64\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-64)[\[65\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-65)}. - **MQA/GQA (האצת פענוח):** *Multi‑Query Attention* (מפתחות/ערכים משותפים לכל הראשים) מקטין תעבורת KV‑cache^{[\[66\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-66)}. *Grouped‑Query Attention* מאזן איכות/מהירות^{[\[67\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-67)}. - **ייצוגי מיקום משופרים:** - **ALiBi (Attention with Linear Biases):** הסטות לינאריות לציוני תשומת הלב משפרות הכללה לאורכים גדולים. ^{[\[68\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-68)} - **RoPE (Rotary Position Embeddings):** מידע מיקום יחסי דרך סיבוב Q/K; נפוץ במודלים מודרניים (למשל, LLaMA). ^{[\[69\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-69)[\[70\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-70)} - **הרחבת הקשר למודלי RoPE:** *Position Interpolation* ^{[\[71\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-71)}, *YaRN* ^{[\[72\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-72)}, וכן שינויים NTK‑aware מאפשרים הגדלה יעילה של חלון ההקשר ללא שינוי ארכיטקטורה. - **גישות אחרות לרצפים ארוכים:** - **Transformer‑XL:** זיכרון רקורסיבי בין קטעים למידול תלויות מרחוק. ^{[\[73\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-73)} - **Reformer:** LSH‑attention ובלוקים שיוריים הפיכים לחיסכון בזיכרון. ^{[\[74\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-74)} - **Performer:** קירוב לינארי ל-softmax‑attention (FAVOR+). ^{[\[75\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-75)} - **Linformer:** קירוב דרגה-נמוכה למטריצת תשומת הלב. ^{[\[76\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-76)} ## אופטימיזציות מודלים ותשתית אימון לאימון ופריסה של LLM נעשה שימוש בטכניקות ומסגרות מתמחות. - **כימות (Quantization):** הפחתת רזולוציית המשקלים מקטינה זיכרון ומאיצה הסקה. **QLoRA** מאפשר fine-tuning יעיל של מודלים בני 4 ביט (כולל 65B) באיכות הקרובה לאיכות מלאה^{[\[77\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-77)}. - **זיקוק ידע (Knowledge Distillation):** אימון *Teacher→Student* למודלים קומפקטיים^{[\[78\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-78)}; דוגמה — **DistilBERT**^{[\[79\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-79)}. - **אימון מבוזר:** - **DeepSpeed** ו-**ZeRO** — פיזור פרמטרים/גרדיאנטים/מצבי אופטימייזר לאימון מודלים בני טריליון פרמטרים^{[\[80\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-80)}. - **Megatron‑LM** — מקביליות טנסורית וצינורית לטרנספורמרים גדולים מאוד^{[\[81\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-81)}. - **מערכת אקולוגית וכלים:** **Hugging Face Transformers** ו-**Accelerate** מספקים מימושי מודלים סטנדרטיים ושילוב עם DeepSpeed/FSDP לאימון ולהסקה^{[\[82\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-82)[\[83\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-83)}. ## חוקי הרחבה ואימון compute‑optimal **חוקי הרחבה** האמפיריים מראים שגיאת האנטרופיה הצולבת פוחתת לפי חוק חזקה עם גידול פרמטרים, נתונים וחישובים. ^{[\[84\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-84)} עבודת **Chinchilla** דייקה את משטרי ה-**compute‑optimal**: לייעילות מרבית יש להרחיב במשותף את גודל המודל ואת מספר tokenי האימון (דוגמה — מודל 70B שאומן על ~1.4T tokenים, העולה על מודלים גדולים יותר שאומנו בחסר). ^{[\[85\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-85)} ## מודלים עם מרחב מצב (State Space Models, SSM) **State Space Models (SSM)** — ארכיטקטורה חלופית לטרנספורמרים לעבודה עם רצפים ארוכים. היא שואבת רעיונות מתורת הבקרה ועיבוד אותות דיגיטלי ופותרת את הבעיה העיקרית של self‑attention: גידול ריבועי בחישובים עם התארכות הטקסט. ### הבעיה העיקרית והפתרון **בעיית הטרנספורמרים.** הבעיה העיקרית של טרנספורמרים מסורתיים היא המורכבות הריבועית של תשומת הלב: טקסט ארוך פי 10 דורש בקירוב פי 100 יותר חישובים. **גישת SSM.** במקום "תשומת לב בו-זמנית לכל המילים", המודל עובר על הטקסט ברצף ומתחזק **מצב זיכרון** פנימי קומפקטי המתעדכן בכל צעד. כתוצאה, הזמן וצריכת הזיכרון גדלים בקירוב לינארית עם אורך הטקסט. יחד עם זאת, האימון יכול להתבצע במקביל — דרך ייצוג קונבולוציה של הגרעין (תפוקה גבוהה ברצפים ארוכים). ^{[\[86\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-S4-86)} ### עקרון הפעולה ה-SSM הדיסקרטי מתואר על ידי משוואות מצב ופלט: $x_{t} = Ax_{t - 1} + Bu_{t},\quad y_{t} = Cx_{t} + Du_{t}$ כאשר $x_{t}$ — מצב הזיכרון, $u_{t}$ — כניסה (token), $y_{t}$ — פלט. ב-SSM עמוקים, המטריצות $A,B,C,D$ מפורמטות כך שיבטיחו יציבות וחישובים יעילים ברצפים ארוכים. ניתן להתייחס לאותה שכבה כ: - רקורסיבית (סריקה לפי צעדים) — הסקה חסכונית בזיכרון ללא KV‑cache; - קונבולוציה — אימון מקבילי עם גרעין מחושב מראש. ^{[\[86\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-S4-86)} ### ארכיטקטורות עיקריות והיברידים - **S4 (Structured State Spaces).** קו הבסיס של SSM עם פרמטריזציה יציבה של מטריצת המצב; מדגים יעילות ברצפים ארוכים מאוד. ^{[\[86\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-S4-86)} - **Mamba.** SSM *סלקטיביים*: כללי עדכון הזיכרון תלויים בכניסה הנוכחית (המודל בעצמו מחליט מה "לשמור בזיכרון" ומה "לשכוח"). המימוש מוכוון להיררכיית זיכרון ה-GPU; לדברי המחברים, מושגת עלייה מכפילה בתפוקת ההסקה עם מורכבות לינארית לפי אורך. ^{[\[87\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mamba-87)} - **RetNet.** מנגנון *retention* עם שלושה מצבים: אימון מקבילי, הסקה רקורסיבית והסקה רקורסיבית-בלוקית. המטרה — לשלב אימון מהיר (כמו בטרנספורמרים) עם זרימת הסקה חסכונית (זיכרון O(1) לכל token). ^{[\[88\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RetNet-88)} - **היברידים Attention+SSM.** דוגמה — **Jamba** (סירוגין של שכבות Transformer ו-Mamba בתוספת MoE): מדווח על תמיכה בהקשרים של ~256K tokenים עם דרישות זיכרון קטנות משמעותית בהשוואה למודלים טרנספורמריים טהורים מאותה קטגוריה. ^{[\[89\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Jamba-89)} #### יתרונות - מורכבות לינארית וחיסכון בזיכרון בהסקה. אין self‑attention גלובלי ו-KV‑cache; נשמר רק מצב קומפקטי. ^{[\[87\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mamba-87)[\[88\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RetNet-88)} - אימון מקבילי ברצפים ארוכים. מצב קונבולוציה מגביר את תפוקת האימון. ^{[\[86\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-S4-86)} - יעילות חומרה. המימושים מוכוונים להיררכיית הזיכרון המודרנית (HBM/SRAM). ^{[\[87\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mamba-87)} - הקשרים ארוכים וסטרימינג. היברידים SSM+Attention מעשיים למאות אלפי tokenים במשאבים מתונים. ^{[\[89\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Jamba-89)} #### מגבלות ופרקטיקה נוכחית - בשלות המערכת האקולוגית. הכלים ו"המתכונים" להרחבה (הוראות, RLHF/DPO) עדיין מפגרים אחרי ה-stack הטרנספורמרי. ^{[\[87\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mamba-87)} - איכות ויציבות. בחלק מהמשימות, היברידים (Attention+SSM) מציגים פשרה "איכות/מהירות/זיכרון" יציבה יותר מ-SSM "טהורים". ^{[\[89\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Jamba-89)} #### השוואת גישות (בצורה כללית) | מאפיין | טרנספורמרים | SSM | היברידים (Attention+SSM) | |-------------------------|-----------------------------|----------------------------|--------------------------| | מורכבות לפי אורך | ריבועית (self‑attention) | לינארית (סריקה/קונבולוציה) | קרובה ללינארית | | זיכרון לכל token (הסקה) | KV‑cache גדל עם ההקשר | מצב O(1) | גידול מתון | | הקשרים ארוכים | נדרשות אופטימיזציות מיוחדות | תמיכה טבעית | מעשי עד ~256K | | בשלות המערכת האקולוגית | גבוהה | מתפתחת | מתפתחת | #### יישומים מעשיים - ניתוח מסמכים ארוכים מאוד (ספרים, דוחות, סקירות מדעיות). - עיבוד סטרימינג ותרחישי צ'אט עם היסטוריה ארוכה ללא יוקר זיכרון. - סביבות עם משאבים מוגבלים (מכשירים ניידים/edge). - טורי זמן ונתונים רציפים אחרים. **מודלים מייצגים:** S4, Mamba, RetNet; היברידים Attention+SSM (Jamba). ^{[\[86\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-S4-86)[\[87\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Mamba-87)[\[88\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-RetNet-88)[\[89\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Jamba-89)} ## התפתחות הארכיטקטורות - 2017 — פורסמה המאמר "Attention Is All You Need". הוצגה ארכיטקטורת הטרנספורמר: self‑attention רב-ראשי וקידודי מיקום מאפשרים אימון מודלים ללא רקורסיה וקונבולוציות; יחד עם זאת, תשומת הלב בעלת מורכבות ריבועית לפי אורך ההקשר.^{[\[1\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-Vaswani2017-1)} - 2018 — הוצגו GPT‑1 ו-BERT. GPT‑1 משתמש בערימת מפענחים בלבד עם attention סיבתי לייצור ו-fine-tuning עוקב; BERT מכניס encoder דו-כיווני ואימון מקדים MLM למשימות הבנת טקסט. ^{[\[90\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-90)[\[91\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-91)} - 2019 — הוצעו דרכים לעבוד עם רצפים ארוכים והוגדל decoder‑only. Transformer‑XL מוסיף "זיכרון" ומיקומים יחסיים לצאת מעבר לחלון קבוע; GPT‑2 מציג גידול ביכולות zero‑shot עם הגדלת הקנה; BART מדגים יעילות אימון מקדים מסוג denoising לצורך seq2seq. ^{[\[92\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-92)[\[93\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-93)[\[94\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-94)} - 2020 — אוחד פורמט "text‑to‑text" והוצגו שיטות למסמכים ארוכים. T5 מנסח גישת encoder–decoder מאוחדת למשימות שונות; Longformer ו-BigBird משתמשים ב-attention דליל/מובנה לטקסטים ארוכים; GPT‑3 מאשש את יעילות ההרחבה של decoder‑only צפוף. ^{[\[95\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-95)[\[96\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-96)[\[97\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-97)[\[98\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-98)} - 2021 — שופרו ייצוגי מיקום והוצגה דלילות פרמטרים (MoE). RoPE ו-ALiBi משפרים הכללה לאורכים גדולים; Switch Transformer ו-GLaM מפעילים רק חלק מהמומחים לכל token, מגדילים קיבולת ללא גידול כפול בעלות ההסקה. ^{[\[99\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-99)[\[100\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-100)[\[101\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-101)[\[102\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-102)} - 2022 — דויק משטר compute‑optimal והוגברה מהירות ההסקה בפרומפטים ארוכים. Chinchilla מראה את היתרון של יותר tokenי אימון עם מודל בגודל מתון; PaLM עם Multi‑Query Attention מקטין את נפח ה-KV‑cache; FlashAttention מאיץ תשומת לב על GPU. ^{[\[103\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-103)[\[104\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-104)[\[105\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-105)[\[106\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-106)} - 2023 — הוגדלו חלונות הקשר ללא שינוי שכבות ושופרה הגשת השרת. משפחת LLaMA מבססת שיטות עבודה (RMSNorm, SwiGLU, RoPE); Position Interpolation ו-YaRN מרחיבים את ההקשר; vLLM/PagedAttention מנהלים את ה-KV‑cache ביתר יעילות. ^{[\[107\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-107)[\[108\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-108)[\[109\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-109)[\[110\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-110)[\[111\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-111)[\[112\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-112)} - 2023 — GPT‑4 ו-Gemini מציגים עיבוד וייצור במספר מודאליות במסגרת משפחת מודלים אחת. ^{[\[113\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-113)[\[114\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-114)} - 2023 — הוצעו מודלים עם מרחב מצב (SSM). Mamba ו-RetNet מחזירים עיבוד רציף עם מצב קומפקטי במקום KV‑cache ומניחים בסיס לארכיטקטורות היברידיות. ^{[\[115\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-115)[\[116\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-116)} - 2024 — פורסמו מודלי MoE פתוחים והיברידים Attention+SSM; הואצה תשומת הלב על GPUים חדשים. Mixtral 8×7B/8×22B ו-DBRX מאשרים את הפרקטיות של MoE; Jamba משלב Transformer ו-Mamba לצורך הקשרים ארוכים מאוד; FlashAttention‑3 מגדיל תפוקה. ^{[\[117\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-117)[\[118\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-118)[\[119\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-119)[\[120\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-120)[\[121\]](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_note-121)} ## קישורים חיצוניים - https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — הסבר חזותי ## ספרות - Vaswani, A. et al. (2017). *Attention Is All You Need*. NIPS. https://arxiv.org/abs/1706.03762 - Devlin, J. et al. (2019). *BERT*. NAACL. https://arxiv.org/abs/1810.04805 - Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. NeurIPS. https://arxiv.org/abs/2005.14165 - Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5)*. JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf - Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training*. https://arxiv.org/abs/1910.13461 - Touvron, H. et al. (2023). *LLaMA*. https://arxiv.org/abs/2302.13971 - Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. https://arxiv.org/abs/2204.02311 - Dao, T. et al. (2022–2024). *FlashAttention (1/2/3)*. https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608 - Shazeer, N. (2019). *MQA*. https://arxiv.org/abs/1911.02150 - Ainslie, J. et al. (2023). *GQA*. https://arxiv.org/abs/2305.13245 - Kwon, W. et al. (2023). *PagedAttention / vLLM*. https://arxiv.org/abs/2309.06180 - Leviathan, Y. et al. (2023). *Speculative Decoding*. https://arxiv.org/abs/2211.17192 - Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). *Switch Transformers*. https://arxiv.org/abs/2101.03961 - Du, N. et al. (2022). *GLaM*. https://proceedings.mlr.press/v162/du22c/du22c.pdf - Jiang, A.Q. et al. (2024). *Mixtral of Experts*. https://arxiv.org/abs/2401.04088 - Databricks (2024). *Introducing DBRX*. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm - NVIDIA (2024). *Applying Mixture of Experts in LLM Architectures*. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/ - Zhou, Y. et al. (2022). *Expert Choice Routing*. https://arxiv.org/abs/2202.09368 - Komatsuzaki, A. et al. (2022). *Sparse Upcycling*. https://arxiv.org/abs/2212.05055 - Lewis, P. et al. (2020). *RAG*. https://arxiv.org/abs/2005.11401 - Beltagy, I. et al. (2020). *Longformer*. https://arxiv.org/abs/2004.05150 - Zaheer, M. et al. (2020). *BigBird*. https://arxiv.org/abs/2007.14062 - Press, O. et al. (2022). *ALiBi*. https://arxiv.org/abs/2108.12409 - Su, J. et al. (2021). *RoFormer (RoPE)*. https://arxiv.org/abs/2104.09864 - Chen, S. et al. (2023). *Position Interpolation*. https://arxiv.org/abs/2306.15595 - Peng, B. et al. (2023). *YaRN*. https://arxiv.org/abs/2309.00071 - Dettmers, T. et al. (2023). *QLoRA*. https://arxiv.org/abs/2305.14314 - Rajbhandari, S. et al. (2020). *ZeRO*. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/ - Shoeybi, M. et al. (2019). *Megatron‑LM*. https://arxiv.org/abs/1909.08053 - Kaplan, J. et al. (2020). *Scaling Laws*. https://arxiv.org/abs/2001.08361 - Hoffmann, J. et al. (2022). *Chinchilla / Compute‑Optimal*. https://arxiv.org/abs/2203.15556 - Gemini Team (2023). *Gemini*. https://arxiv.org/abs/2312.11805 - Bai, Y. et al. (2022). *Constitutional AI*. https://arxiv.org/abs/2212.08073 - OpenAI (2023). *GPT‑4 Technical Report*. https://arxiv.org/abs/2303.08774 - OpenAI (2023). *DevDay: GPT‑4 Turbo 128k*. https://openai.com/index/new-models-and-developer-products-announced-at-devday/ - Zhang, B.; Sennrich, R. (2019). *RMSNorm*. https://arxiv.org/abs/1910.07467 - Shazeer, N. (2020). *GLU Variants / SwiGLU*. https://arxiv.org/abs/2002.05202 - Gu, A.; Goel, K.; Ré, C. (2021). *S4: Structured State Spaces*. https://arxiv.org/abs/2111.00396 - Gu, A.; Dao, T. (2023/2024). *Mamba: Selective State Spaces*. https://arxiv.org/abs/2312.00752 - Sun, Y. et al. (2023). *RetNet*. https://arxiv.org/abs/2307.08621 - Lieber, O. et al. (2024). *Jamba: Hybrid Transformer‑Mamba*. https://arxiv.org/abs/2403.19887 - Dai, Z. et al. (2019). *Transformer‑XL*. https://arxiv.org/abs/1901.02860 - Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). *Reformer*. https://arxiv.org/abs/2001.04451 - Choromanski, K. et al. (2021). *Performer*. https://arxiv.org/abs/2009.14794 - Wang, S. et al. (2020). *Linformer*. https://arxiv.org/abs/2006.04768 ## הערות 1. ↑ ^{[1.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-0)} ^{[1.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-1)} ^{[1.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-2)} ^{[1.3](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-3)} ^{[1.4](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-4)} ^{[1.5](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-5)} ^{[1.6](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Vaswani2017_1-6)} Vaswani, A. et al. (2017). *Attention Is All You Need*. https://arxiv.org/abs/1706.03762 2. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-2) Devlin, J. et al. (2019). *BERT*. https://arxiv.org/abs/1810.04805 3. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-3) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. https://arxiv.org/abs/2005.14165 4. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-4) Raffel, C. et al. (2020). *T5*. https://jmlr.org/papers/volume21/20-074/20-074.pdf 5. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-5) Devlin, J. et al. (2019). *BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding*. https://arxiv.org/abs/1810.04805 6. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-6) Liu, Y. et al. (2019). *RoBERTa: A Robustly Optimized BERT Pretraining Approach*. https://arxiv.org/abs/1907.11692 7. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-7) He, P. et al. (2021). *DeBERTa: Decoding‑enhanced BERT with Disentangled Attention*. https://arxiv.org/abs/2006.03654 8. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-8) Clark, K. et al. (2020). *ELECTRA: Pre‑training Text Encoders as Discriminators Rather Than Generators*. https://arxiv.org/abs/2003.10555 9. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-9) Zaheer, M. et al. (2020). *Big Bird: Transformers for Longer Sequences*. https://arxiv.org/abs/2007.14062 10. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-10) Beltagy, I. et al. (2020). *Longformer: The Long‑Document Transformer*. https://arxiv.org/abs/2004.05150 11. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-11) Shazeer, N. (2019). *Fast Transformer Decoding: One Write‑Head is All You Need* (Multi‑Query Attention). https://arxiv.org/abs/1911.02150 12. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-12) Ainslie, J. et al. (2023). *GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints*. https://arxiv.org/abs/2305.13245 13. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-13) Leviathan, Y. et al. (2023). *Fast Inference from Transformers via Speculative Decoding*. https://arxiv.org/abs/2211.17192 14. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-14) Kwon, W. et al. (2023). *Efficient Memory Management for LLM Serving with PagedAttention (vLLM)*. https://arxiv.org/abs/2309.06180 15. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-15) vLLM Docs (2024–2025). *Continuous batching, Chunked prefill, Structured outputs*. https://docs.vllm.ai/ 16. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-16) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. https://arxiv.org/abs/2005.14165 17. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-17) Ouyang, L. et al. (2022). *InstructGPT (RLHF)*. https://arxiv.org/abs/2203.02155 18. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-18) Rafailov, R. et al. (2023). *Direct Preference Optimization*. https://arxiv.org/abs/2305.18290 19. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-19) Shazeer, 2019. https://arxiv.org/abs/1911.02150 20. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-20) Ainslie, 2023. https://arxiv.org/abs/2305.13245 21. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-21) Leviathan, 2023. https://arxiv.org/abs/2211.17192 22. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-22) Kwon, 2023. https://arxiv.org/abs/2309.06180 23. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-23) vLLM Docs. https://docs.vllm.ai/ 24. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-24) OpenAI (2024). *Structured Outputs*. https://openai.com/index/introducing-structured-outputs-in-the-api/ 25. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-25) vLLM Docs — Structured outputs. https://docs.vllm.ai/en/v0.9.2/features/structured_outputs.html 26. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-26) Kwon, 2023. https://arxiv.org/abs/2309.06180 27. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-27) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. https://arxiv.org/abs/2005.14165 28. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-28) Touvron, H. et al. (2023). *LLaMA: Open and Efficient Foundation Language Models*. https://arxiv.org/abs/2302.13971 29. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-29) Achiam, J. et al. (2023). *GPT‑4 Technical Report*. https://arxiv.org/abs/2303.08774 30. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-30) Meta AI (2024). *Introducing Meta Llama 3*. https://ai.meta.com/blog/meta-llama-3/ 31. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-31) Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5)*. JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf 32. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-32) Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training*. https://arxiv.org/abs/1910.13461 33. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-33) Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer*. JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf 34. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-34) Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training for NLG, Translation, and Comprehension*. https://arxiv.org/abs/1910.13461 35. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-35) Chung, H. W. et al. (2022). *Scaling Instruction‑Finetuned Language Models (FLAN‑T5)*. https://arxiv.org/abs/2210.11416 36. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-36) Shazeer, N. (2020). GLU Variants Improve Transformer. https://arxiv.org/abs/2002.05202 37. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-37) Devlin, J. et al. (2019). BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805 38. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-38) Brown, T. et al. (2020). Language Models are Few‑Shot Learners. https://arxiv.org/abs/2005.14165 39. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-39) Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. https://arxiv.org/abs/2302.13971 40. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-40) Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311 41. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-41) Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. https://arxiv.org/abs/2001.08361 42. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-42) Hoffmann, J. et al. (2022). Training Compute‑Optimal Large Language Models. https://arxiv.org/abs/2203.15556 43. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-43) Chen, S. et al. (2023). Extending Context Window via Positional Interpolation. https://arxiv.org/abs/2306.15595 44. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-44) Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of LLMs. https://arxiv.org/abs/2309.00071 45. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-45) Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608 46. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-46) Shazeer, N. (2019). Fast Transformer Decoding: One Write‑Head is All You Need. https://arxiv.org/abs/1911.02150 47. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-47) Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245 48. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-48) Kwon, W. et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention. https://arxiv.org/abs/2309.06180 49. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-49) Leviathan, Y. et al. (2023). Fast Inference from Transformers via Speculative Decoding. https://arxiv.org/abs/2211.17192 50. ↑ ^{[50.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Switch_50-0)} ^{[50.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Switch_50-1)} ^{[50.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Switch_50-2)} Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). *Switch Transformers*. https://arxiv.org/abs/2101.03961 51. ↑ ^{[51.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-GLAM_51-0)} ^{[51.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-GLAM_51-1)} ^{[51.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-GLAM_51-2)} Du, N. et al. (2021). *GLaM: Efficient Scaling of Language Models with Mixture‑of‑Experts*. https://arxiv.org/pdf/2112.06905.pdf 52. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mixtral8x7_52-0) Mistral AI (2023). *Mixtral of Experts*. https://mistral.ai/news/mixtral-of-experts/ 53. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mixtral8x7_paper_53-0) Jiang, A.Q. et al. (2024). *Mixtral of Experts*. https://arxiv.org/abs/2401.04088 54. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mixtral8x22_54-0) Mistral AI (2024). *Mixtral 8x22B*. https://mistral.ai/news/mixtral-8x22b 55. ↑ ^{[55.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-DBRX_55-0)} ^{[55.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-DBRX_55-1)} Databricks (2024). *Introducing DBRX*. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm 56. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-NVIDIA_MoE_56-0) NVIDIA (2024). *Applying Mixture of Experts in LLM Architectures*. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/ 57. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-ExpertChoice_57-0) Zhou, Y. et al. (2022). *Mixture‑of‑Experts with Expert Choice Routing*. https://arxiv.org/abs/2202.09368 58. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-SparseUpcycling_58-0) Komatsuzaki, A. et al. (2022). *Sparse Upcycling: Training Mixture‑of‑Experts from Dense Checkpoints*. https://arxiv.org/abs/2212.05055 59. ↑ ^{[59.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RAG_59-0)} ^{[59.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RAG_59-1)} ^{[59.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RAG_59-2)} ^{[59.3](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RAG_59-3)} Lewis, P. et al. (2020). *Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks*. https://arxiv.org/abs/2005.11401 60. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-60) NVIDIA Blog (2025). *What is Retrieval‑Augmented Generation (RAG)*. https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/ 61. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-61) Beltagy, I. et al. (2020). *Longformer*. https://arxiv.org/abs/2004.05150 62. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-62) Zaheer, M. et al. (2020). *Big Bird*. https://arxiv.org/abs/2007.14062 63. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-63) Dao, T. et al. (2022). *FlashAttention*. https://arxiv.org/abs/2205.14135 64. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-64) Dao, T. et al. (2023). *FlashAttention‑2*. https://arxiv.org/abs/2307.08691 65. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-65) Shah, M. et al. (2024). *FlashAttention‑3*. https://arxiv.org/abs/2407.08608 66. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-66) Shazeer, N. (2019). *Fast Transformer Decoding: One Write‑Head is All You Need*. https://arxiv.org/abs/1911.02150 67. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-67) Ainslie, J. et al. (2023). *GQA*. https://arxiv.org/abs/2305.13245 68. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-68) Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409 69. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-69) Su, J. et al. (2021). RoFormer: Rotary Position Embedding. https://arxiv.org/abs/2104.09864 70. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-70) Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. https://arxiv.org/abs/2302.13971 71. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-71) Chen, S. et al. (2023). Extending Context Window via Positional Interpolation. https://arxiv.org/abs/2306.15595 72. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-72) Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of LLMs. https://arxiv.org/abs/2309.00071 73. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-73) Dai, Z. et al. (2019). *Transformer‑XL: Attentive Language Models Beyond a Fixed‑Length Context*. https://arxiv.org/abs/1901.02860 74. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-74) Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). *Reformer: The Efficient Transformer*. https://arxiv.org/abs/2001.04451 75. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-75) Choromanski, K. et al. (2021). *Rethinking Attention with Performers*. https://arxiv.org/abs/2009.14794 76. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-76) Wang, S. et al. (2020). *Linformer: Self‑Attention with Linear Complexity*. https://arxiv.org/abs/2006.04768 77. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-77) Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. https://arxiv.org/abs/2305.14314 78. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-78) Hinton, G. et al. (2015). *Distilling the Knowledge in a Neural Network*. https://arxiv.org/abs/1503.02531 79. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-79) Sanh, V. et al. (2019). *DistilBERT*. https://arxiv.org/abs/1910.01108 80. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-80) Rajbhandari, S. et al. (2020). *ZeRO: Memory Optimizations Toward Training Trillion‑Parameter Models*. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/ 81. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-81) Shoeybi, M. et al. (2019). *Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism*. https://arxiv.org/abs/1909.08053 82. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-82) Hugging Face. *Transformers Documentation*. https://huggingface.co/docs/transformers 83. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-83) Hugging Face. *Accelerate Documentation*. https://huggingface.co/docs/accelerate 84. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-84) Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. https://arxiv.org/abs/2001.08361 85. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-85) Hoffmann, J. et al. (2022). Training Compute‑Optimal Large Language Models. https://arxiv.org/abs/2203.15556 86. ↑ ^{[86.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-S4_86-0)} ^{[86.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-S4_86-1)} ^{[86.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-S4_86-2)} ^{[86.3](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-S4_86-3)} ^{[86.4](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-S4_86-4)} Gu, A.; Goel, K.; Ré, C. (2021). *Efficiently Modeling Long Sequences with Structured State Spaces (S4)*. https://arxiv.org/abs/2111.00396 87. ↑ ^{[87.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mamba_87-0)} ^{[87.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mamba_87-1)} ^{[87.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mamba_87-2)} ^{[87.3](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mamba_87-3)} ^{[87.4](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Mamba_87-4)} Gu, A.; Dao, T. (2023/2024). *Mamba: Linear‑Time Sequence Modeling with Selective State Spaces*. https://arxiv.org/abs/2312.00752 88. ↑ ^{[88.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RetNet_88-0)} ^{[88.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RetNet_88-1)} ^{[88.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-RetNet_88-2)} Sun, Y. et al. (2023). *Retentive Network: A Successor to Transformer for Large Language Models*. https://arxiv.org/abs/2307.08621 89. ↑ ^{[89.0](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Jamba_89-0)} ^{[89.1](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Jamba_89-1)} ^{[89.2](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Jamba_89-2)} ^{[89.3](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-Jamba_89-3)} Lieber, O. et al. (2024). *Jamba: A Hybrid Transformer‑Mamba Language Model*. https://arxiv.org/abs/2403.19887 90. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-90) Radford, A. et al. (2018). Improving Language Understanding by Generative Pre‑Training. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 91. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-91) Devlin, J. et al. (2019). BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805 92. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-92) Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860 93. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-93) Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 94. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-94) Lewis, M. et al. (2019). BART. https://arxiv.org/abs/1910.13461 95. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-95) Raffel, C. et al. (2020). T5. https://jmlr.org/papers/volume21/20-074/20-074.pdf 96. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-96) Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150 97. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-97) Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062 98. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-98) Brown, T. et al. (2020). Language Models are Few‑Shot Learners. https://arxiv.org/abs/2005.14165 99. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-99) Su, J. et al. (2021). RoPE. https://arxiv.org/abs/2104.09864 100. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-100) Press, O. et al. (2021/2022). ALiBi. https://arxiv.org/abs/2108.12409 101. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-101) Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961 102. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-102) Du, N. et al. (2021). GLaM. https://arxiv.org/pdf/2112.06905.pdf 103. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-103) Hoffmann, J. et al. (2022). Chinchilla. https://arxiv.org/abs/2203.15556 104. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-104) Chowdhery, A. et al. (2022). PaLM. https://arxiv.org/abs/2204.02311 105. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-105) Shazeer, N. (2019). Fast Transformer Decoding. https://arxiv.org/abs/1911.02150 106. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-106) Dao, T. et al. (2022). FlashAttention. https://arxiv.org/abs/2205.14135 107. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-107) Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971 108. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-108) Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467 109. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-109) Shazeer, N. (2020). GLU Variants. https://arxiv.org/abs/2002.05202 110. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-110) Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595 111. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-111) Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071 112. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-112) Kwon, W. et al. (2023). vLLM/PagedAttention. https://arxiv.org/abs/2309.06180 113. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-113) OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774 114. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-114) Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805 115. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-115) Gu, A.; Dao, T. (2023). Mamba. https://arxiv.org/abs/2312.00752 116. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-116) Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621 117. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-117) Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088 118. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-118) Mistral AI (2024). Mixtral 8x22B. https://mistral.ai/news/mixtral-8x22b 119. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-119) Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm 120. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-120) Lieber, O. et al. (2024). Jamba. https://arxiv.org/abs/2403.19887 121. [↑](https://systems-analysis.info/int/Large_language_model_architectures_%E2%80%94_%D7%90%D7%A8%D7%9B%D7%99%D7%98%D7%A7%D7%98%D7%95%D7%A8%D7%95%D7%AA_LLM#cite_ref-121) Shah, M. et al. (2024). FlashAttention‑3. https://arxiv.org/abs/2407.08608