---
title: "PaLM (Pathways Language Model) (HE)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(HE)"
language: "he"
categories:
  - "Category:Google"
  - "Category:Hebrew"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 5370
wiki_created_at: 2026-09-06T23:48:20Z
wiki_modified_at: 2026-09-06T23:48:20Z
downloaded_at: 2026-09-07T23:08:05Z
---

# PaLM (Pathways Language Model) (HE)

**PaLM** (**P**athways **L**anguage **M**odel) — הוא משפחת מודלי שפה גדולים (LLM), שפותחה על ידי חברת Google. הגרסה הראשונה של המודל, שהוצגה באפריל 2022, הכילה **540 מיליארד פרמטרים** והפכה לאחת ממודלי השפה הגדולים ביותר בעולם באותה עת, כשהיא מפגינה יכולות פורצות דרך שנבעו מהגדלת הקנה-מידה האדירה<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>.

הבסיס הטכנולוגי המרכזי של PaLM היה **Pathways** — ארכיטקטורה חדשה של מערכות Machine Learning מבית Google, המאפשרת תיאום יעיל של חישובים מבוזרים על פני אלפי שבבי האצה<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-pathways-intro-2)</sup>. PaLM הייתה ההדגמה הרחבת-הקנה-מידה הראשונה של מערכת זו, ובה הציגה יעילות אימון חסרת תקדים בהיקפים עצומים.

## Pathways - מערכת Pathways: הבסיס להרחבת קנה-מידה

התפיסה של **Pathways**, שהוצגה על ידי Google בשנת 2021, כללה יצירת רשת עצבית אחידה המסוגלת להכליל ידע ביעילות עבור תחומים שונים ולבצע אלפי משימות בו-זמנית. PaLM הייתה היישום הרחב-הקנה-מידה הראשון של מערכת זו: האימון שלה פוזר על פני **6144** מעבדים מיוחדים מסוג **TPU v4**, המאוגדים בשני אשכולות ענן (TPU v4 Pods)<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>.

בעת יצירתה, זו הייתה תצורת ה-TPU הגדולה ביותר שאי פעם שימשה לאימון מודל יחיד. המערכת השיגה יעילות שיא בניצול משאבי החומרה (**57.8% FLOPs**), מה שאפשר לעלות בקנה-מידה הרבה מעבר לפרויקטים קודמים ולאמן בהצלחה מודל עם יותר מחצי טריליון פרמטרים<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-palm-scaling-3)</sup>.

## ארכיטקטורה ונתוני אימון

### ארכיטקטורת המודל

PaLM הוא מודל שפה צפוף (לא דליל) עם ארכיטקטורת **"decoder בלבד"** (*decoder-only*), בדומה למודלי סדרת GPT. ארכיטקטורה זו מכוונת למשימות חיזוי הtoken הבא ומתאימה היטב לייצור טקסט. בשונה מארכיטקטורת transformer הסטנדרטית, PaLM משתמשת במספר שינויים מרכזיים לשיפור היעילות<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>:

- **שכבות מקביליות**: מנגנוני attention ושכבות fully-connected מחושבות באופן מקבילי, מה שאפשר לזרז את האימון בכ-15%.
- **הפעלת SwiGLU**: שימוש בפונקציית ההפעלה SwiGLU במקום ה-ReLU הסטנדרטית, מה ששיפר משמעותית את איכות המודל.

### נתוני האימון

PaLM אומנה על קורפוס נתונים איכותי בהיקף של **780 מיליארד token**. מערך הנתונים היה רב-לשוני ומגוון, וכלל<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>:

- מסמכי אינטרנט ספרים באיכות גבוהה.
- מאמרים מוויקיפדיה.
- דיאלוגים מרשתות חברתיות (50% מהקורפוס).
- קוד מקור מ-GitHub (5% מהקורפוס).

כ-78% מהנתונים היו באנגלית, ו-22% הנותרים היוו קבוצה רב-לשונית. לצורך tokenization נעשה שימוש בטכניקה מיוחדת "ללא הפסדים", ששמרה על כל הרווחים (קריטי עבור קוד) ופירקה תווי Unicode בלתי-מזוהים לבתים.

## יכולות ותוצאות

### יכולות אמרג'נטיות ולמידת few-shot

PaLM הדגים כי הגדלת קנה-המידה של המודל, נפח הנתונים ועוצמת החישוב עשויה להוביל ליכולות **אמרג'נטיות** (המופיעות באופן בלתי-צפוי). במשימות רבות, ביצועי המודל עלו בצורה חדה ולא-ליניארית רק עם הגעה לקנה-המידה המקסימלי, מה שהצביע על הופעת יכולות חדשות שלא נצפו בעבר<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-palm-scaling-3)</sup>.

המודל הוערך במצב של **למידת few-shot** (ללא fine-tuning, עם מספר דוגמאות ב-prompt) ועלה על מודלים גדולים קודמים (כגון GPT-3 ו-LaMDA) ב-28 מתוך 29 benchmark פופולריים של NLP. על מערך המשימות המקיף **BIG-bench**, PaLM הפך למודל הראשון שתוצאותיו עלו על הרמה הממוצעת שהפגינו בוחנים אנושיים<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>.

### היסק לאורך שרשרת מחשבות (Chain-of-Thought)

אחד ההישגים הבולטים ביותר של PaLM הייתה היכולת להיסק לוגי רב-שלבי בשימוש בטכניקת ה-prompt המכונה **"שרשרת מחשבות" (chain-of-thought prompting)**<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>. שיטה זו מבוססת על הצגת דוגמאות למודל שבהן פתרון הבעיה מפורט שלב-אחר-שלב. לאחר שלמד מדוגמאות כאלה, PaLM הצליח לייצר "שרשרת מחשבות" משלו לפתרון בעיות חדשות ומורכבות, כגון:

- **בעיות מתמטיות**: בבחינת **GSM8K** (בעיות ברמת בית ספר יסודי) פתר PaLM 58% מהבעיות, מה שעלה על תוצאת ה-state-of-the-art הקודמת שהושגה על ידי מודל שעבר fine-tuning.
- **בעיות של הגיון שכלי**: המודל הצליח לייצר הסברים מפורטים לבעיות לא-טריוויאליות, כגון מתן פירוש לבדיחות שלא נתקל בהן קודם לכן.

יכולת זו הפכה את תהליך ה"חשיבה" של המודל לשקוף יותר ודומה יותר לאופן החשיבה האנושית.

### יצירת קוד ורב-לשוניות

למרות שקוד המקור היווה רק 5% מנתוני האימון, PaLM הציג רמה הדומה לזו של מודל Codex המיוחד של OpenAI במשימות יצירה ועיבוד של קוד. המודל גם הפגין יכולות חזקות במשימות רב-לשוניות, לרבות תרגום<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-palm-scaling-3)</sup>.

## אבולוציה וממשיכים: משפחת PaLM

PaLM הפך לבסיס למשפחה שלמה של מודלים שפיתחה Google.

### PaLM 2

ה-**PaLM 2** שהוצג במאי 2023 הפך לממשיך יעיל ורב-לשוני יותר. במקום לרדוף אחר כמות הפרמטרים, הדגש הועבר לאיכות נתוני האימון וליעילות הארכיטקטורה. PaLM 2 אומן על טקסטים ב**יותר מ-100 שפות** ומפגין יכולות משופרות בלוגיקה, תכנות ותרגום<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-palm2-4)</sup>. המודל משוחרר בארבעה גדלים (מהקטן לגדול): **Gecko**, **Otter**, **Bison** ו-**Unicorn**. הגרסה הקומפקטית ביותר (Gecko) קלה מספיק להפעלה על מכשירים ניידים במצב לא-מקוון.

### גרסאות מיוחדות

על בסיס PaLM ו-PaLM 2 נוצרו גרסאות לתחומים ספציפיים:

- **Med-PaLM 2**: מודל מיוחד לרפואה. הפך למערכת ה-AI הראשונה שהגיעה לרמת מומחה בשאלות בחינת הרישוי הרפואי בארה"ב (USMLE)<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-blog-palm2-4)</sup>.
- **Sec-PaLM 2**: מודל המכוון לאבטחת סייבר, שאומן לזהות פגיעויות ולנתח קוד זדוני<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-google-cloud-sec-ai-5)</sup>.

### PaLM-E: הגרסה המולטי-מודלית

**PaLM-E** (Pathways Language Model Embodied) — הוא מודל מולטי-מודלי המשלב את מודל השפה PaLM עם נתונים ויזואליים מ-Vision Transformer (ViT). הדבר מאפשר למודל לעבד הן טקסט והן תמונות, לפתור משימות הקשורות לעולם הפיזי, לדוגמה לצורך שליטה בבוטים<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-palm-e-blog-6)</sup>.

## היבטים אתיים ומגבלות

יוצרי PaLM מדגישים את הצורך בגישה אחראית לפיתוח מודלי שפה גדולים. במאמר המדעי הרשמי בוצע ניתוח של **הטיות ורעילות** אפשריות בטקסט המיוצר. לשם שקיפות, Google פרסמה **כרטיס מודל (Model Card)** ו**תעודת נתונים (Datasheet)** עבור PaLM, המתעדים את מאפייני ה-dataset, תוצאות הבדיקות והמגבלות שזוהו<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_note-chowdhery2022-1)</sup>. אמצעים אלה תואמים את הנהלים המודרניים של AI אחראי ומיועדים להפחית את הסיכונים הקשורים להטיות וליצירת תכנים מזיקים.

## קישורים חיצוניים

- הבלוג הרשמי של Google על PaLM
- PaLM API למפתחים

## ספרות

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.

## הערות

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(HE)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>