---
title: "PaLM (Pathways Language Model) (FR)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(FR)"
language: "fr"
categories:
  - "Category:French"
  - "Category:Google"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 5369
wiki_created_at: 2026-09-06T23:48:19Z
wiki_modified_at: 2026-09-06T23:48:19Z
downloaded_at: 2026-09-07T23:08:05Z
---

# PaLM (Pathways Language Model) (FR)

**PaLM** (**P**athways **L**anguage **M**odel) est une famille de grands modèles de langage (LLM) développée par Google. La première version du modèle, présentée en avril 2022, contenait **540 milliards de paramètres** et est devenue l'un des plus grands modèles de langage au monde à l'époque, démontrant des capacités révolutionnaires résultant d'une mise à l'échelle massive<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup>.

La base technologique clé de PaLM était **Pathways** — une nouvelle architecture de systèmes d'apprentissage automatique de Google, permettant de coordonner efficacement le calcul distribué sur des milliers de puces d'accélération<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-pathways-intro-2)</sup>. PaLM a été la première démonstration à grande échelle de ce système, montrant une efficacité d'entraînement sans précédent à une très grande échelle.

## Le système Pathways : La base de la mise à l'échelle

Le concept de **Pathways**, présenté par Google en 2021, visait à créer un réseau de neurones unique capable de généraliser efficacement les connaissances à travers différents domaines et d'exécuter des milliers de tâches simultanément. PaLM a été la première application à grande échelle de ce système : son entraînement a été parallélisé sur **6144** processeurs spécialisés **TPU v4**, répartis en deux clusters cloud (TPU v4 Pods)<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup>.

Au moment de sa création, il s'agissait de la plus grande configuration TPU jamais utilisée pour l'entraînement d'un seul modèle. Le système a atteint une efficacité record d'utilisation de la puissance de calcul matérielle (**57,8 % de FLOPs**), ce qui a permis de dépasser considérablement l'échelle des projets précédents et d'entraîner avec succès un modèle de plus d'un demi-billion de paramètres<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-palm-scaling-3)</sup>.

## Architecture et données d'entraînement

### Architecture du modèle

PaLM est un modèle de langage dense (non-creux) avec une architecture de type **« décodeur seul »** (*decoder-only*), similaire aux modèles de la série GPT. Cette architecture est orientée vers les tâches de prédiction du token suivant et est bien adaptée à la génération de texte. Contrairement à l'architecture standard du transformeur, PaLM utilise plusieurs modifications clés pour améliorer son efficacité<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup> :

- **Couches parallèles** : Les mécanismes d'attention et les couches entièrement connectées sont calculés en parallèle, ce qui a permis d'accélérer l'entraînement d'environ 15 %.
- **Activation SwiGLU** : Utilisation de la fonction d'activation SwiGLU au lieu de la ReLU standard, ce qui a considérablement amélioré la qualité du modèle.

### Données d'entraînement

PaLM a été entraîné sur un corpus de données de haute qualité de **780 milliards de tokens**. L'ensemble de données était multilingue et varié, incluant<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup> :

- Des documents web et des livres de haute qualité.
- Des articles de Wikipédia.
- Des dialogues provenant de réseaux sociaux (50 % du corpus).
- Du code source de GitHub (5 % du corpus).

Environ 78 % des données étaient en anglais, les 22 % restants constituant un ensemble multilingue. Pour la tokenisation, une méthode spéciale « sans perte » a été utilisée, qui préservait tous les espaces (essentiel pour le code) et décomposait les caractères Unicode non reconnus en octets.

## Capacités et résultats

### Capacités émergentes et apprentissage *few-shot*

PaLM a démontré que l'augmentation de l'échelle du modèle, du volume des données et de la puissance de calcul peut conduire à des capacités **émergentes** (apparaissant de manière inattendue). Sur de nombreuses tâches, les performances du modèle ont augmenté de manière abrupte et non linéaire uniquement lorsque l'échelle maximale a été atteinte, ce qui indique l'émergence de nouvelles capacités non observées auparavant<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-palm-scaling-3)</sup>.

Le modèle a été évalué en mode d'apprentissage **few-shot** (sans fine-tuning, avec quelques exemples dans le prompt) et a surpassé les modèles de grande taille précédents (tels que GPT-3 et LaMDA) sur 28 des 29 benchmarks NLP populaires. Sur l'ensemble de tâches complexes **BIG-bench**, PaLM est devenu le premier modèle dont les résultats ont dépassé le niveau moyen atteint par les testeurs humains<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup>.

### Raisonnement par chaîne de pensée (*Chain-of-Thought*)

L'une des avancées les plus remarquables de PaLM a été sa capacité au raisonnement logique en plusieurs étapes grâce à l'utilisation de la technique de prompting **« chaîne de pensée » (*chain-of-thought prompting*)**<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup>. Cette méthode consiste à fournir au modèle des exemples où la solution d'un problème est décomposée étape par étape. En s'entraînant sur de tels exemples, PaLM a pu générer sa propre « chaîne de pensée » pour résoudre de nouvelles tâches complexes, telles que :

- **Problèmes mathématiques** : Sur le test **GSM8K** (problèmes de niveau école primaire), PaLM a résolu 58 % des problèmes, surpassant le précédent résultat de l'état de l'art atteint par un modèle ayant bénéficié d'un fine-tuning.
- **Tâches de bon sens** : Le modèle a été capable de générer des explications détaillées pour des problèmes non triviaux, par exemple en interprétant des blagues qu'il n'avait jamais rencontrées.

Cette capacité a rendu le processus de « pensée » du modèle plus transparent et similaire à celui de l'être humain.

### Génération de code et multilinguisme

Bien que le code source ne représente que 5 % des données d'entraînement, PaLM a démontré un niveau de performance comparable à celui du modèle spécialisé OpenAI Codex sur des tâches de génération et de transformation de code. Le modèle a également montré de solides capacités dans les tâches multilingues, y compris la traduction<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-palm-scaling-3)</sup>.

## Évolution et successeurs : La famille PaLM

PaLM est devenue la base de toute une famille de modèles développés par Google.

### PaLM 2

Présenté en mai 2023, **PaLM 2** est un successeur plus efficace et multilingue. Plutôt que de viser une augmentation du nombre de paramètres, l'accent a été mis sur la qualité des données d'entraînement et l'efficacité de l'architecture. PaLM 2 est entraîné sur des textes dans **plus de 100 langues** et démontre des capacités améliorées en logique, en programmation et en traduction<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-palm2-4)</sup>. Le modèle est disponible en quatre tailles (de la plus petite à la plus grande) : **Gecko**, **Otter**, **Bison** et **Unicorn**. La version la plus compacte (Gecko) est suffisamment légère pour fonctionner sur des appareils mobiles en mode hors ligne.

### Versions spécialisées

Sur la base de PaLM et PaLM 2, des versions ont été créées pour des domaines spécifiques :

- **Med-PaLM 2** : Un modèle spécialisé pour la médecine. Il est devenu le premier système d'IA à atteindre le niveau d'expert aux questions de l'examen de licence médicale des États-Unis (USMLE)<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-blog-palm2-4)</sup>.
- **Sec-PaLM 2** : Un modèle axé sur la cybersécurité, entraîné pour détecter les vulnérabilités et analyser le code malveillant<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-google-cloud-sec-ai-5)</sup>.

### PaLM-E : Version multimodale

**PaLM-E** (Pathways Language Model Embodied) est un modèle multimodal qui combine le modèle de langage PaLM avec des données visuelles provenant d'un Vision Transformer (ViT). Cela permet au modèle de traiter à la fois du texte et des images pour résoudre des tâches liées au monde physique, par exemple pour le contrôle de robots<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-palm-e-blog-6)</sup>.

## Aspects éthiques et limitations

Les créateurs de PaLM soulignent la nécessité d'une approche responsable dans le développement de grands modèles de langage. Dans l'article scientifique officiel, une analyse des **biais et de la toxicité** potentiels dans le texte généré a été menée. Pour garantir la transparence, Google a publié une **carte de modèle (Model Card)** et une **fiche de données (Datasheet)** pour PaLM, documentant les caractéristiques de l'ensemble de données, les résultats des tests et les limitations identifiées<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_note-chowdhery2022-1)</sup>. Ces mesures sont conformes aux pratiques actuelles de l'IA responsable et visent à réduire les risques liés aux préjugés et à la génération de contenu préjudiciable.

## Liens externes

- <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external text" rel="nofollow">Blog officiel de Google sur PaLM</a>
- <a href="https://ai.google.dev/palm_docs" class="external text" rel="nofollow">API PaLM pour les développeurs</a>

## Bibliographie

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. <a href="https://arxiv.org/abs/2204.02311" class="external text" rel="nofollow">arXiv:2204.02311</a>.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. <a href="https://arxiv.org/abs/2305.10403" class="external text" rel="nofollow">arXiv:2305.10403</a>.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. <a href="https://arxiv.org/abs/2303.03378" class="external text" rel="nofollow">arXiv:2303.03378</a>.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. <a href="https://arxiv.org/abs/2212.13138" class="external text" rel="nofollow">arXiv:2212.13138</a>.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. <a href="https://arxiv.org/abs/2305.09617" class="external text" rel="nofollow">arXiv:2305.09617</a>.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. <a href="https://arxiv.org/abs/2203.12533" class="external text" rel="nofollow">arXiv:2203.12533</a>.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. <a href="https://arxiv.org/abs/2201.11903" class="external text" rel="nofollow">arXiv:2201.11903</a>.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. <a href="https://arxiv.org/abs/2210.03493" class="external text" rel="nofollow">arXiv:2210.03493</a>.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. <a href="https://arxiv.org/abs/2206.07682" class="external text" rel="nofollow">arXiv:2206.07682</a>.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. <a href="https://arxiv.org/abs/2304.15004" class="external text" rel="nofollow">arXiv:2304.15004</a>.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. <a href="https://arxiv.org/abs/2309.01809" class="external text" rel="nofollow">arXiv:2309.01809</a>.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. <a href="https://arxiv.org/abs/2001.08361" class="external text" rel="nofollow">arXiv:2001.08361</a>.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. <a href="https://arxiv.org/abs/2203.15556" class="external text" rel="nofollow">arXiv:2203.15556</a>.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. <a href="https://arxiv.org/abs/2112.11446" class="external text" rel="nofollow">arXiv:2112.11446</a>.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. <a href="https://arxiv.org/abs/2302.12246" class="external text" rel="nofollow">arXiv:2302.12246</a>.

## Références

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(FR)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>