---
title: "PaLM (Pathways Language Model) (CS)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(CS)"
language: "cs"
categories:
  - "Category:Czech"
  - "Category:Google"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 5364
wiki_created_at: 2026-09-06T23:48:15Z
wiki_modified_at: 2026-09-06T23:48:15Z
downloaded_at: 2026-09-07T23:08:03Z
---

# PaLM (Pathways Language Model) (CS)

**PaLM** (**P**athways **L**anguage **M**odel) — je rodina velkých jazykových modelů (LLM), vyvinutá společností Google. První verze modelu, představená v dubnu 2022, obsahovala **540 miliard parametrů** a stala se jedním z největších jazykových modelů světa v té době, přičemž demonstrovala průlomové schopnosti, které byly výsledkem masivního škálování<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>.

Klíčovým technologickým základem PaLM se stal **Pathways** — nová architektura systémů Machine Learning od Google, umožňující efektivně koordinovat distribuované výpočty na tisících čipů-akcelerátorů<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-pathways-intro-2)</sup>. PaLM se stala první velkoplošnou demonstrací tohoto systému a prokázala bezprecedentní efektivitu trénování v obrovském měřítku.

## Systém Pathways: Základ pro škálování

Koncept **Pathways**, představený společností Google v roce 2021, předpokládal vytvoření jediné neuronové sítě schopné efektivně zobecňovat znalosti pro různé domény a plnit tisíce úkolů současně. PaLM se stala prvním velkoplošným využitím tohoto systému: její trénování bylo paralelizováno na **6144** specializovaných procesorech **TPU v4**, spojených do dvou cloudových clusterů (TPU v4 Pods)<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>.

V době svého vzniku se jednalo o největší konfiguraci TPU, jaká kdy byla použita pro trénování jednoho modelu. Systém dosáhl rekordní efektivity využití hardwarového výkonu (**57,8 % FLOPs**), což umožnilo výrazně překonat předchozí projekty v měřítku a úspěšně natrénovat model s více než půl bilionem parametrů<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-palm-scaling-3)</sup>.

## Architektura a trénovací data

### Architektura modelu

PaLM je hustý (neřídký) jazykový model s architekturou **„pouze dekodér"** (*decoder-only*), podobný modelům řady GPT. Tato architektura je zaměřena na úlohy predikce následujícího tokenu a dobře se hodí pro generování textu. Na rozdíl od standardní architektury transformeru používá PaLM několik klíčových modifikací pro zvýšení efektivity<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>:

- **Paralelní vrstvy**: Mechanismy attention a plně propojené vrstvy jsou počítány paralelně, což umožnilo zrychlit trénování přibližně o 15 %.
- **SwiGLU aktivace**: Použití aktivační funkce SwiGLU místo standardní ReLU, což výrazně zlepšilo kvalitu modelu.

### Trénovací data

PaLM byla natrénována na vysoce kvalitním korpusu dat o objemu **780 miliard tokenů**. Datová sada byla vícejazyčná a rozmanitá, zahrnovala<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>:

- Vysoce kvalitní webové dokumenty a knihy.
- Články z Wikipedie.
- Dialogy ze sociálních sítí (50 % korpusu).
- Zdrojový kód z GitHubu (5 % korpusu).

Přibližně 78 % dat bylo v anglickém jazyce a zbývajících 22 % tvořila vícejazyčná sada. Pro tokenizaci byla použita speciální „bezeztrátová" technika, která zachovávala všechny mezery (klíčové pro kód) a rozdělovala nerozpoznané znaky Unicode na bajty.

## Schopnosti a výsledky

### Emergentní schopnosti a few-shot učení

PaLM prokázala, že zvyšování měřítka modelu, objemu dat a výpočetního výkonu může vést k **emergentním** (nečekaně vznikajícím) schopnostem. Na mnoha úlohách výkon modelu prudce a nelineárně rostl až při dosažení maximálního měřítka, což naznačovalo vznik nových, dříve nepozorovaných schopností<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-palm-scaling-3)</sup>.

Model byl hodnocen v režimu **few-shot učení** (bez doladění, s několika příklady v promptu) a překonal předchozí velké modely (jako GPT-3 a LaMDA) na 28 z 29 populárních NLP benchmarků. Na komplexní sadě úloh **BIG-bench** se PaLM stala prvním modelem, jehož výsledky překonaly průměrnou úroveň lidských hodnotitelů<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>.

### Uvažování prostřednictvím řetězu myšlenek (Chain-of-Thought)

Jedním z nejvýznamnějších úspěchů PaLM byla schopnost víceúrovňového logického uvažování při použití techniky **„řetěz myšlenek" (chain-of-thought prompting)**<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>. Tato metoda spočívá v poskytování modelu příkladů, kde je řešení úlohy rozepsáno po krocích. Po natrénování na takových příkladech byla PaLM schopna generovat vlastní „řetěz myšlenek" pro řešení nových složitých úloh, jako jsou:

- **Matematické úlohy**: Na testu **GSM8K** (úlohy na úrovni základní školy) PaLM vyřešila 58 % úloh, čímž překonala předchozí state-of-the-art výsledek dosažený doladěným modelem.
- **Úlohy zdravého rozumu**: Model dokázal generovat podrobná vysvětlení pro netriviální úlohy, například podávat výklad dříve neviděných vtipů.

Tato schopnost učinila proces „myšlení" modelu průhlednějším a podobnějším lidskému.

### Generování kódu a vícejazyčnost

Přestože zdrojový kód tvořil pouhých 5 % trénovacích dat, PaLM dosáhla úrovně srovnatelné se specializovaným modelem OpenAI Codex v úlohách generování a transformace kódu. Model také prokázal silné schopnosti ve vícejazyčných úlohách, včetně překladu<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-palm-scaling-3)</sup>.

## Evoluce a nástupci: Rodina PaLM

PaLM se stala základem pro celou rodinu modelů vyvinutých společností Google.

### PaLM 2

Představená v květnu 2023 **PaLM 2** se stala efektivnějším a vícejazyčnějším nástupcem. Místo honby za počtem parametrů byl důraz přesunut na kvalitu trénovacích dat a efektivitu architektury. PaLM 2 je natrénována na textech ve **více než 100 jazycích** a vykazuje zlepšené schopnosti v logice, programování a překladu<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-palm2-4)</sup>. Model je vydáván ve čtyřech velikostech (od nejmenšího po největší): **Gecko**, **Otter**, **Bison** a **Unicorn**. Nejkompaktnější varianta (Gecko) je dostatečně lehká pro provoz na mobilních zařízeních v offline režimu.

### Specializované verze

Na základě PaLM a PaLM 2 byly vytvořeny verze pro konkrétní domény:

- **Med-PaLM 2**: Specializovaný model pro medicínu. Stal se prvním systémem AI, který dosáhl úrovně experta v otázkách licenční zkoušky lékaře v USA (USMLE)<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-blog-palm2-4)</sup>.
- **Sec-PaLM 2**: Model zaměřený na kybernetickou bezpečnost, natrénovaný k odhalování zranitelností a analýze škodlivého kódu<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-google-cloud-sec-ai-5)</sup>.

### PaLM-E: Multimodální verze

**PaLM-E** (Pathways Language Model Embodied) — je multimodální model, který spojuje jazykový model PaLM s vizuálními daty z Vision Transformer (ViT). To umožňuje modelu zpracovávat jak text, tak obrázky a řešit úlohy spojené s fyzickým světem, například pro řízení robotů<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-palm-e-blog-6)</sup>.

## Etické aspekty a omezení

Tvůrci PaLM zdůrazňují nutnost zodpovědného přístupu k vývoji velkých jazykových modelů. V oficiálním vědeckém článku byla provedena analýza možných **zkreslení a toxicity** v generovaném textu. Pro zajištění transparentnosti Google zveřejnila **kartu modelu (Model Card)** a **průvodní list dat (Datasheet)** pro PaLM, kde jsou zdokumentovány charakteristiky datasetu, výsledky testování a zjištěná omezení<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_note-chowdhery2022-1)</sup>. Tato opatření odpovídají současným praktikám zodpovědné AI a mají za cíl snížit rizika spojená s předsudky a generováním škodlivého obsahu.

## Odkazy

- Oficiální blog Google o PaLM
- PaLM API pro vývojáře

## Literatura

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.

## Poznámky

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(CS)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>