---
title: "PaLM (Pathways Language Model) (ID)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(ID)"
language: "id"
categories:
  - "Category:Google"
  - "Category:Indonesian"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 5373
wiki_created_at: 2026-09-06T23:48:23Z
wiki_modified_at: 2026-09-06T23:48:23Z
downloaded_at: 2026-09-07T23:08:06Z
---

# PaLM (Pathways Language Model) (ID)

**PaLM** (**P**athways **L**anguage **M**odel) — adalah keluarga model bahasa besar (LLM) yang dikembangkan oleh perusahaan Google. Versi pertama model, yang diperkenalkan pada April 2022, memiliki **540 miliar parameter** dan menjadi salah satu model bahasa terbesar di dunia pada saat itu, mendemonstrasikan kemampuan terobosan sebagai hasil dari penskalaan masif<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>.

Landasan teknologi utama PaLM adalah **Pathways** — arsitektur baru sistem Machine Learning dari Google yang memungkinkan koordinasi komputasi terdistribusi secara efisien pada ribuan chip akselerator<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-pathways-intro-2)</sup>. PaLM menjadi demonstrasi pertama skala besar dari sistem ini, menunjukkan efisiensi pelatihan yang belum pernah ada sebelumnya pada skala yang sangat besar.

## Sistem Pathways: Fondasi untuk Penskalaan

Konsep **Pathways**, yang diperkenalkan Google pada tahun 2021, mengusulkan pembuatan satu jaringan neural yang mampu secara efektif menggeneralisasi pengetahuan untuk berbagai domain dan menjalankan ribuan tugas secara bersamaan. PaLM menjadi penerapan pertama skala besar dari sistem ini: pelatihannya diparalelkan pada **6144** prosesor khusus **TPU v4** yang tergabung dalam dua kluster cloud (TPU v4 Pods)<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>.

Pada saat pembuatannya, ini merupakan konfigurasi TPU terbesar yang pernah digunakan untuk melatih satu model. Sistem mencapai efisiensi penggunaan kapasitas perangkat keras yang memecahkan rekor (**57,8% FLOPs**), yang memungkinkan untuk secara substansial melampaui proyek-proyek sebelumnya dalam hal skala dan berhasil melatih model dengan lebih dari setengah triliun parameter<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-palm-scaling-3)</sup>.

## Arsitektur dan Data Pelatihan

### Arsitektur Model

PaLM adalah model bahasa padat (tidak jarang) dengan arsitektur **"hanya dekoder"** (*decoder-only*), serupa dengan model seri GPT. Arsitektur ini berorientasi pada tugas prediksi token berikutnya dan sangat cocok untuk pembuatan teks. Berbeda dari arsitektur transformer standar, PaLM menggunakan beberapa modifikasi kunci untuk meningkatkan efisiensi<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>:

- **Lapisan paralel**: Mekanisme attention dan lapisan fully-connected dihitung secara paralel, yang memungkinkan percepatan pelatihan sekitar 15%.
- **Aktivasi SwiGLU**: Penggunaan fungsi aktivasi SwiGLU sebagai pengganti ReLU standar, yang secara signifikan meningkatkan kualitas model.

### Data Pelatihan

PaLM dilatih pada korpus data berkualitas tinggi dengan volume **780 miliar token**. Dataset bersifat multibahasa dan beragam, mencakup<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>:

- Dokumen web berkualitas tinggi dan buku.
- Artikel dari Wikipedia.
- Dialog dari media sosial (50% dari korpus).
- Kode sumber dari GitHub (5% dari korpus).

Sekitar 78% data dalam bahasa Inggris, sedangkan 22% sisanya merupakan kumpulan multibahasa. Untuk tokenisasi digunakan teknik khusus "tanpa kehilangan" yang mempertahankan semua spasi (penting untuk kode) dan memecah karakter Unicode yang tidak dikenali menjadi byte.

## Kemampuan dan Hasil

### Kemampuan Emergent dan Few-Shot Learning

PaLM mendemonstrasikan bahwa peningkatan skala model, volume data, dan kapasitas komputasi dapat menghasilkan kemampuan **emergent** (yang muncul secara tak terduga). Pada banyak tugas, performa model meningkat secara tajam dan nonlinear hanya ketika mencapai skala maksimum, yang mengindikasikan munculnya kemampuan baru yang sebelumnya tidak pernah teramati<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-palm-scaling-3)</sup>.

Model ini dievaluasi dalam mode **few-shot learning** (tanpa fine-tuning, dengan beberapa contoh dalam prompt) dan melampaui model-model besar sebelumnya (seperti GPT-3 dan LaMDA) pada 28 dari 29 benchmark NLP populer. Pada kumpulan tugas komprehensif **BIG-bench**, PaLM menjadi model pertama yang hasilnya melampaui rata-rata tingkat yang ditunjukkan oleh penguji manusia<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>.

### Penalaran Berantai (Chain-of-Thought)

Salah satu pencapaian paling menonjol PaLM adalah kemampuan penalaran logis bertahap saat menggunakan teknik prompt **"chain-of-thought" (chain-of-thought prompting)**<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>. Teknik ini terdiri dari pemberian contoh kepada model di mana solusi suatu masalah diuraikan langkah demi langkah. Setelah belajar dari contoh-contoh tersebut, PaLM mampu menghasilkan "rantai pemikiran" sendiri untuk menyelesaikan tugas-tugas baru yang kompleks, seperti:

- **Soal matematika**: Pada tes **GSM8K** (soal tingkat sekolah dasar), PaLM menyelesaikan 58% soal, melampaui hasil state-of-the-art sebelumnya yang dicapai oleh model yang di-fine-tune.
- **Tugas penalaran umum**: Model mampu menghasilkan penjelasan terperinci untuk tugas-tugas non-trivial, misalnya memberikan penafsiran atas lelucon yang belum pernah ditemui sebelumnya.

Kemampuan ini membuat proses "berpikir" model menjadi lebih transparan dan menyerupai cara berpikir manusia.

### Pembuatan Kode dan Kemampuan Multibahasa

Meskipun kode sumber hanya mencakup 5% dari data pelatihan, PaLM menunjukkan tingkat kemampuan yang sebanding dengan model khusus OpenAI Codex pada tugas pembuatan dan transformasi kode. Model ini juga mendemonstrasikan kemampuan yang kuat dalam tugas-tugas multibahasa, termasuk penerjemahan<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-palm-scaling-3)</sup>.

## Evolusi dan Penerus: Keluarga PaLM

PaLM menjadi fondasi bagi seluruh keluarga model yang dikembangkan oleh Google.

### PaLM 2

Diperkenalkan pada Mei 2023, **PaLM 2** menjadi penerus yang lebih efisien dan multibahasa. Alih-alih mengejar jumlah parameter, penekanan dialihkan pada kualitas data pelatihan dan efisiensi arsitektur. PaLM 2 dilatih pada teks dalam **lebih dari 100 bahasa** dan menunjukkan kemampuan yang ditingkatkan dalam logika, pemrograman, dan penerjemahan<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-palm2-4)</sup>. Model ini dirilis dalam empat ukuran (dari yang terkecil ke terbesar): **Gecko**, **Otter**, **Bison**, dan **Unicorn**. Varian paling kompak (Gecko) cukup ringan untuk dijalankan pada perangkat mobile dalam mode offline.

### Versi Khusus

Berdasarkan PaLM dan PaLM 2, dibuat versi-versi untuk domain tertentu:

- **Med-PaLM 2**: Model khusus untuk kedokteran. Menjadi sistem AI pertama yang mencapai tingkat keahlian pada pertanyaan ujian lisensi dokter di AS (USMLE)<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-blog-palm2-4)</sup>.
- **Sec-PaLM 2**: Model yang berorientasi pada keamanan siber, dilatih untuk mengidentifikasi kerentanan dan menganalisis kode berbahaya<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-google-cloud-sec-ai-5)</sup>.

### PaLM-E: Versi Multimodal

**PaLM-E** (Pathways Language Model Embodied) — adalah model multimodal yang menggabungkan model bahasa PaLM dengan data visual dari Vision Transformer (ViT). Ini memungkinkan model untuk memproses teks maupun gambar, menyelesaikan tugas-tugas yang berkaitan dengan dunia fisik, misalnya untuk pengendalian robot<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-palm-e-blog-6)</sup>.

## Aspek Etis dan Keterbatasan

Para pembuat PaLM menekankan perlunya pendekatan yang bertanggung jawab dalam pengembangan model bahasa besar. Dalam artikel ilmiah resmi dilakukan analisis terhadap kemungkinan **bias dan toksisitas** dalam teks yang dihasilkan. Untuk memastikan transparansi, Google menerbitkan **kartu model (Model Card)** dan **lembar data (Datasheet)** untuk PaLM, yang mendokumentasikan karakteristik dataset, hasil pengujian, dan keterbatasan yang teridentifikasi<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_note-chowdhery2022-1)</sup>. Langkah-langkah ini sesuai dengan praktik AI yang bertanggung jawab saat ini dan bertujuan untuk mengurangi risiko yang terkait dengan bias dan pembuatan konten berbahaya.

## Tautan

- Blog resmi Google tentang PaLM
- PaLM API untuk pengembang

## Daftar Pustaka

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.

## Catatan

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(ID)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>