---
title: "PaLM (Pathways Language Model) (BG)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(BG)"
language: "bg"
categories:
  - "Category:Bulgarian"
  - "Category:Google"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 5362
wiki_created_at: 2026-09-06T23:48:13Z
wiki_modified_at: 2026-09-06T23:48:13Z
downloaded_at: 2026-09-07T23:08:02Z
---

# PaLM (Pathways Language Model) (BG)

**PaLM** (**P**athways **L**anguage **M**odel) — това е семейство от големи езикови модели (LLM), разработено от компанията Google. Първата версия на модела, представена през април 2022 година, съдържаше **540 милиарда параметъра** и се превърна в един от най-мащабните езикови модели в света към онзи момент, демонстрирайки пробивни възможности, резултат от масивно мащабиране<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>.

Ключовата технологична основа на PaLM беше **Pathways** — нова архитектура на системи за Machine Learning от Google, позволяваща ефективно координиране на разпределени изчисления върху хиляди чипа-ускорители<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-pathways-intro-2)</sup>. PaLM стана първата мащабна демонстрация на тази система, показвайки безпрецедентна ефективност на обучение при огромни мащаби.

## Системата Pathways: Основа за мащабиране

Концепцията **Pathways**, представена от Google през 2021 година, предвиждаше създаването на единна невронна мрежа, способна ефективно да обобщава знания за различни домейни и да изпълнява хиляди задачи едновременно. PaLM стана първото мащабно приложение на тази система: нейното обучение беше разпаралелено върху **6144** специализирани процесора **TPU v4**, обединени в два облачни клъстера (TPU v4 Pods)<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>.

По времето на своето създаване това беше най-голямата конфигурация от TPU, използвана някога за обучение на един модел. Системата постигна рекордна ефективност на използване на хардуерните мощности (**57,8% FLOPs**), което позволи значително да надмине по мащаб предшестващите проекти и успешно да обучи модел с повече от половин трилион параметъра<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-palm-scaling-3)</sup>.

## Архитектура и обучителни данни

### Архитектура на модела

PaLM е плътен (неразреден) езиков модел с архитектура **„само декодер"** (*decoder-only*), аналогична на моделите от серията GPT. Тази архитектура е ориентирана към задачи за предсказване на следващия token и е подходяща за генериране на текст. За разлика от стандартната архитектура на transformer, PaLM използва няколко ключови модификации за повишаване на ефективността<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>:

- **Паралелни слоеве**: Механизмите за attention и напълно свързаните слоеве се изчисляват паралелно, което позволи ускоряване на обучението с около 15%.
- **SwiGLU активация**: Използване на активационната функция SwiGLU вместо стандартната ReLU, което значително подобри качеството на модела.

### Обучителни данни

PaLM беше обучена върху висококачествен корпус от данни с обем **780 милиарда token-а**. Наборът от данни беше многоезичен и разнообразен, включващ<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>:

- Висококачествени уеб документи и книги.
- Статии от Уикипедия.
- Диалози от социални мрежи (50% от корпуса).
- Изходен код от GitHub (5% от корпуса).

Около 78% от данните бяха на английски език, а останалите 22% — многоезичен набор. За токенизация беше използвана специална „безпотерна" методика, която запазваше всички интервали (критично за код) и разбиваше неразпознатите Unicode символи на байтове.

## Възможности и резултати

### Емерджентни способности и few-shot обучение

PaLM демонстрира, че увеличаването на мащаба на модела, обема на данните и изчислителните мощности може да води до **емерджентни** (неочаквано възникващи) способности. При много задачи производителността на модела нарастваше рязко и нелинейно само при достигане на максимален мащаб, което указваше на появата на нови, непознати досега възможности<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-palm-scaling-3)</sup>.

Моделът беше оценяван в режим на **few-shot обучение** (без fine-tuning, с няколко примера в prompt-а) и надмина предишните големи модели (като GPT-3 и LaMDA) на 28 от 29 популярни NLP benchmark-а. При комплексния набор от задачи **BIG-bench** PaLM стана първият модел, чиито резултати надминаха средното ниво, показано от хора-изпитатели<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>.

### Разсъждаване по верига от мисли (Chain-of-Thought)

Едно от най-забележителните постижения на PaLM беше способността за многостъпково логическо разсъждаване при използване на техниката **„верига от мисли" (chain-of-thought prompting)**<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>. Тази методика се състои в предоставяне на модела на примери, в които решението на задачата е разписано стъпка по стъпка. Научавайки се от такива примери, PaLM успя да генерира собствена „верига от мисли" за решаване на нови сложни задачи, като например:

- **Математически задачи**: При теста **GSM8K** (задачи от ниво начално училище) PaLM реши 58% от задачите, надминавайки предишния state-of-the-art резултат, постигнат от fine-tuned модел.
- **Задачи за здрав разум**: Моделът успя да генерира развърнати обяснения за нетривиални задачи, например да тълкува непознати досега шеги.

Тази способност направи процеса на „мислене" на модела по-прозрачен и близък до човешкия.

### Генериране на код и многоезичност

Въпреки че изходният код съставляваше само 5% от обучителните данни, PaLM показа ниво, сравнимо със специализирания модел OpenAI Codex при задачи за генериране и трансформация на код. Моделът демонстрира и силни способности при многоезични задачи, включително превод<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-palm-scaling-3)</sup>.

## Еволюция и приемници: Семейството PaLM

PaLM стана основа за цяло семейство от модели, разработени от Google.

### PaLM 2

Представеният през май 2023 година **PaLM 2** стана по-ефективен и многоезичен приемник. Вместо преследване на количество параметри, акцентът беше изместен към качеството на обучителните данни и ефективността на архитектурата. PaLM 2 е обучен върху текстове на **повече от 100 езика** и демонстрира подобрени способности в логиката, програмирането и превода<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-palm2-4)</sup>. Моделът се предлага в четири размера (от най-малкия към по-големия): **Gecko**, **Otter**, **Bison** и **Unicorn**. Най-компактният вариант (Gecko) е достатъчно лек за работа на мобилни устройства в офлайн режим.

### Специализирани версии

Въз основа на PaLM и PaLM 2 бяха създадени версии за конкретни домейни:

- **Med-PaLM 2**: Специализиран модел за медицина. Стана първата система с изкуствен интелект, достигнала ниво на експерт при въпроси от лицензионния изпит за лекари в САЩ (USMLE)<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-blog-palm2-4)</sup>.
- **Sec-PaLM 2**: Модел, ориентиран към киберсигурността, обучен да открива уязвимости и да анализира зловреден код<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-google-cloud-sec-ai-5)</sup>.

### PaLM-E: Мултимодална версия

**PaLM-E** (Pathways Language Model Embodied) — това е мултимодален модел, който обединява езиковия модел PaLM с визуални данни от Vision Transformer (ViT). Това позволява на модела да обработва едновременно текст и изображения, решавайки задачи, свързани с физическия свят, например за управление на роботи<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-palm-e-blog-6)</sup>.

## Етични аспекти и ограничения

Създателите на PaLM подчертават необходимостта от отговорен подход към разработването на големи езикови модели. В официалната научна статия беше проведен анализ на възможните **отклонения и токсичност** в генерирания текст. За осигуряване на прозрачност Google публикува **карта на модела (Model Card)** и **паспорт на данните (Datasheet)** за PaLM, в които са документирани характеристиките на dataset-а, резултатите от тестването и установените ограничения<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_note-chowdhery2022-1)</sup>. Тези мерки съответстват на съвременните практики за отговорен изкуствен интелект и са насочени към намаляване на рисковете, свързани с предразсъдъци и генериране на вредоносно съдържание.

## Препратки

- Официален блог на Google за PaLM
- PaLM API за разработчици

## Литература

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.

## Бележки

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(BG)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>