PaLM (Pathways Language Model) (ID)

PaLM (Pathways Language Model) — adalah keluarga model bahasa besar (LLM) yang dikembangkan oleh perusahaan Google. Versi pertama model, yang diperkenalkan pada April 2022, memiliki 540 miliar parameter dan menjadi salah satu model bahasa terbesar di dunia pada saat itu, mendemonstrasikan kemampuan terobosan sebagai hasil dari penskalaan masif.

Landasan teknologi utama PaLM adalah Pathways — arsitektur baru sistem Machine Learning dari Google yang memungkinkan koordinasi komputasi terdistribusi secara efisien pada ribuan chip akselerator. PaLM menjadi demonstrasi pertama skala besar dari sistem ini, menunjukkan efisiensi pelatihan yang belum pernah ada sebelumnya pada skala yang sangat besar.

Sistem Pathways: Fondasi untuk Penskalaan

Konsep Pathways, yang diperkenalkan Google pada tahun 2021, mengusulkan pembuatan satu jaringan neural yang mampu secara efektif menggeneralisasi pengetahuan untuk berbagai domain dan menjalankan ribuan tugas secara bersamaan. PaLM menjadi penerapan pertama skala besar dari sistem ini: pelatihannya diparalelkan pada 6144 prosesor khusus TPU v4 yang tergabung dalam dua kluster cloud (TPU v4 Pods).

Pada saat pembuatannya, ini merupakan konfigurasi TPU terbesar yang pernah digunakan untuk melatih satu model. Sistem mencapai efisiensi penggunaan kapasitas perangkat keras yang memecahkan rekor (57,8% FLOPs), yang memungkinkan untuk secara substansial melampaui proyek-proyek sebelumnya dalam hal skala dan berhasil melatih model dengan lebih dari setengah triliun parameter.

Arsitektur dan Data Pelatihan

Arsitektur Model

PaLM adalah model bahasa padat (tidak jarang) dengan arsitektur "hanya dekoder" (decoder-only), serupa dengan model seri GPT. Arsitektur ini berorientasi pada tugas prediksi token berikutnya dan sangat cocok untuk pembuatan teks. Berbeda dari arsitektur transformer standar, PaLM menggunakan beberapa modifikasi kunci untuk meningkatkan efisiensi:

• Lapisan paralel: Mekanisme attention dan lapisan fully-connected dihitung secara paralel, yang memungkinkan percepatan pelatihan sekitar 15%.
• Aktivasi SwiGLU: Penggunaan fungsi aktivasi SwiGLU sebagai pengganti ReLU standar, yang secara signifikan meningkatkan kualitas model.

Data Pelatihan

PaLM dilatih pada korpus data berkualitas tinggi dengan volume 780 miliar token. Dataset bersifat multibahasa dan beragam, mencakup:

• Dokumen web berkualitas tinggi dan buku.
• Artikel dari Wikipedia.
• Dialog dari media sosial (50% dari korpus).
• Kode sumber dari GitHub (5% dari korpus).

Sekitar 78% data dalam bahasa Inggris, sedangkan 22% sisanya merupakan kumpulan multibahasa. Untuk tokenisasi digunakan teknik khusus "tanpa kehilangan" yang mempertahankan semua spasi (penting untuk kode) dan memecah karakter Unicode yang tidak dikenali menjadi byte.

Kemampuan dan Hasil

Kemampuan Emergent dan Few-Shot Learning

PaLM mendemonstrasikan bahwa peningkatan skala model, volume data, dan kapasitas komputasi dapat menghasilkan kemampuan emergent (yang muncul secara tak terduga). Pada banyak tugas, performa model meningkat secara tajam dan nonlinear hanya ketika mencapai skala maksimum, yang mengindikasikan munculnya kemampuan baru yang sebelumnya tidak pernah teramati.

Model ini dievaluasi dalam mode few-shot learning (tanpa fine-tuning, dengan beberapa contoh dalam prompt) dan melampaui model-model besar sebelumnya (seperti GPT-3 dan LaMDA) pada 28 dari 29 benchmark NLP populer. Pada kumpulan tugas komprehensif BIG-bench, PaLM menjadi model pertama yang hasilnya melampaui rata-rata tingkat yang ditunjukkan oleh penguji manusia.

Penalaran Berantai (Chain-of-Thought)

Salah satu pencapaian paling menonjol PaLM adalah kemampuan penalaran logis bertahap saat menggunakan teknik prompt "chain-of-thought" (chain-of-thought prompting). Teknik ini terdiri dari pemberian contoh kepada model di mana solusi suatu masalah diuraikan langkah demi langkah. Setelah belajar dari contoh-contoh tersebut, PaLM mampu menghasilkan "rantai pemikiran" sendiri untuk menyelesaikan tugas-tugas baru yang kompleks, seperti:

• Soal matematika: Pada tes GSM8K (soal tingkat sekolah dasar), PaLM menyelesaikan 58% soal, melampaui hasil state-of-the-art sebelumnya yang dicapai oleh model yang di-fine-tune.
• Tugas penalaran umum: Model mampu menghasilkan penjelasan terperinci untuk tugas-tugas non-trivial, misalnya memberikan penafsiran atas lelucon yang belum pernah ditemui sebelumnya.

Kemampuan ini membuat proses "berpikir" model menjadi lebih transparan dan menyerupai cara berpikir manusia.

Pembuatan Kode dan Kemampuan Multibahasa

Meskipun kode sumber hanya mencakup 5% dari data pelatihan, PaLM menunjukkan tingkat kemampuan yang sebanding dengan model khusus OpenAI Codex pada tugas pembuatan dan transformasi kode. Model ini juga mendemonstrasikan kemampuan yang kuat dalam tugas-tugas multibahasa, termasuk penerjemahan.

Evolusi dan Penerus: Keluarga PaLM

PaLM menjadi fondasi bagi seluruh keluarga model yang dikembangkan oleh Google.

PaLM 2

Diperkenalkan pada Mei 2023, PaLM 2 menjadi penerus yang lebih efisien dan multibahasa. Alih-alih mengejar jumlah parameter, penekanan dialihkan pada kualitas data pelatihan dan efisiensi arsitektur. PaLM 2 dilatih pada teks dalam lebih dari 100 bahasa dan menunjukkan kemampuan yang ditingkatkan dalam logika, pemrograman, dan penerjemahan. Model ini dirilis dalam empat ukuran (dari yang terkecil ke terbesar): Gecko, Otter, Bison, dan Unicorn. Varian paling kompak (Gecko) cukup ringan untuk dijalankan pada perangkat mobile dalam mode offline.

Versi Khusus

Berdasarkan PaLM dan PaLM 2, dibuat versi-versi untuk domain tertentu:

• Med-PaLM 2: Model khusus untuk kedokteran. Menjadi sistem AI pertama yang mencapai tingkat keahlian pada pertanyaan ujian lisensi dokter di AS (USMLE).
• Sec-PaLM 2: Model yang berorientasi pada keamanan siber, dilatih untuk mengidentifikasi kerentanan dan menganalisis kode berbahaya.

PaLM-E: Versi Multimodal

PaLM-E (Pathways Language Model Embodied) — adalah model multimodal yang menggabungkan model bahasa PaLM dengan data visual dari Vision Transformer (ViT). Ini memungkinkan model untuk memproses teks maupun gambar, menyelesaikan tugas-tugas yang berkaitan dengan dunia fisik, misalnya untuk pengendalian robot.

Aspek Etis dan Keterbatasan

Para pembuat PaLM menekankan perlunya pendekatan yang bertanggung jawab dalam pengembangan model bahasa besar. Dalam artikel ilmiah resmi dilakukan analisis terhadap kemungkinan bias dan toksisitas dalam teks yang dihasilkan. Untuk memastikan transparansi, Google menerbitkan kartu model (Model Card) dan lembar data (Datasheet) untuk PaLM, yang mendokumentasikan karakteristik dataset, hasil pengujian, dan keterbatasan yang teridentifikasi. Langkah-langkah ini sesuai dengan praktik AI yang bertanggung jawab saat ini dan bertujuan untuk mengurangi risiko yang terkait dengan bias dan pembuatan konten berbahaya.

Tautan

• Blog resmi Google tentang PaLM
• PaLM API untuk pengembang

Daftar Pustaka

• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
• Anil, R. et al. (2023). PaLM 2 Technical Report. arXiv:2305.10403.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• Singhal, K. et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138.
• Singhal, K. et al. (2023). Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
• Barham, P. et al. (2022). Pathways: Asynchronous Distributed Dataflow for ML. arXiv:2203.12533.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage?. arXiv:2304.15004.
• Lu, S. et al. (2023). Are Emergent Abilities in Large Language Models just In-Context Learning?. arXiv:2309.01809.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Diao, S. et al. (2023). Active Prompting with Chain-of-Thought for Large Language Models. arXiv:2302.12246.