Model Bahasa Besar Google

Model Bahasa Besar Google — adalah serangkaian model bahasa besar (LLM) yang dikembangkan oleh berbagai divisi Google, termasuk Google AI (sebelumnya Google Brain) dan DeepMind. Sebagai salah satu pelopor dalam bidang deep learning dan arsitektur Transformer, Google telah memberikan kontribusi fundamental bagi perkembangan LLM modern. Sejarah pengembangan model-model ini mencerminkan perjalanan dari sistem pemahaman bahasa yang sangat terspesialisasi hingga sistem multimodal dan agentik berskala besar yang menjadi fondasi berbagai produk Google dan menentukan arah perkembangan seluruh industri AI.

Sejarah dan Evolusi Model Google

Pencapaian Awal dan Penerjemahan Berbasis Neural Network (2011–2016)

Fondasi pengembangan LLM di Google diletakkan melalui proyek Google Brain (2011), yang didedikasikan untuk penerapan deep neural network. Salah satu terobosan pertama adalah algoritma Word2Vec (2013), yang dibuat oleh Tomas Mikolov. Algoritma ini memungkinkan representasi kata dalam bentuk vektor (embedding) yang mencerminkan konteks semantiknya, dan menjadi metode dasar untuk pemahaman bahasa dalam neural network.

Langkah berikutnya adalah transisi menuju model sekuens, seperti seq2seq (2014), yang menjadi fondasi Google Neural Machine Translation (GNMT) (2016). Peralihan Google Translate ke arsitektur berbasis neural network dengan LSTM secara signifikan meningkatkan kualitas penerjemahan mesin. Secara bersamaan, anak perusahaan DeepMind, yang diakuisisi Google pada tahun 2014, menunjukkan kekuatan deep learning melalui kemenangan sistem AlphaGo atas juara dunia go, semakin memperkuat kepercayaan pada potensi AI.

Revolusi Transformer dan Lahirnya BERT (2017–2018)

Pada tahun 2017, peneliti Google Brain memperkenalkan arsitektur Transformer dalam makalah «Attention Is All You Need». Arsitektur ini, yang didasarkan pada mekanisme self-attention, memungkinkan pemrosesan sekuens secara paralel, bukan secara berurutan, yang menjadi revolusi dalam NLP dan fondasi bagi seluruh LLM modern.

Di atas keberhasilan ini, pada tahun 2018 Google memperkenalkan model BERT (Bidirectional Encoder Representations from Transformers). BERT adalah model bidireksional mendalam pertama yang mempertimbangkan konteks kata secara bersamaan dari kiri dan kanan. Hal ini memungkinkannya mencapai hasil terbaik pada berbagai tugas pemahaman bahasa (GLUE, SQuAD) dan menetapkan standar industri baru. BERT dirilis dalam dua versi (BASE dengan 110 juta parameter dan LARGE dengan 340 juta) dengan kode dan bobot terbuka, sehingga mendorong penyebarannya secara masif. Sejak tahun 2019, BERT mulai digunakan di Google Search untuk pemahaman kueri yang lebih baik.

Peningkatan Skala dan Era Model Percakapan (2019–2022)

Setelah BERT, Google terus bereksperimen dengan skala dan arsitektur:

T5 (Text-to-Text Transfer Transformer, 2019): Model terpadu yang memperlakukan setiap tugas NLP sebagai transformasi «teks-ke-teks». Dilatih pada korpus raksasa C4 (Colossal Clean Crawled Corpus), T5 juga dirilis sebagai open source dalam beberapa ukuran (hingga 11 miliar parameter).
Meena (2020): Model percakapan khusus pertama Google dengan 2,6 miliar parameter, yang menunjukkan kualitas tinggi dalam percakapan terbuka.
LaMDA (Language Model for Dialogue Applications, 2021): Keluarga model percakapan (hingga 137 miliar parameter), dilatih pada korpus dialog yang sangat besar (1,56 triliun kata). LaMDA ditujukan untuk menciptakan percakapan yang lebih alami dan bermakna, dan menjadi terkenal di kalangan masyarakat luas setelah seorang insinyur Google mengklaim model ini bersifat «cerdas».
Gopher dan Chinchilla (DeepMind, 2021–2022): Secara bersamaan, DeepMind meneliti hukum penskalaan. Model Gopher (280 miliar parameter) menunjukkan bagaimana skala mempengaruhi kualitas. Sementara model Chinchilla (70 miliar) mendemonstrasikan bahwa untuk performa optimal, yang lebih penting bukanlah jumlah parameter yang maksimal, melainkan keseimbangan yang tepat antara ukuran model dan volume data pelatihan. Kesimpulan ini dikenal sebagai «hukum Chinchilla» dan mempengaruhi strategi pelatihan LLM di seluruh industri.

Era Model Sangat Besar dan Multimodal (2022–sekarang)

PaLM (Pathways Language Model, 2022): Pada saat diumumkan, merupakan model padat (dense) Google terbesar dengan 540 miliar parameter, dilatih pada infrastruktur terdistribusi Pathways yang baru. PaLM menunjukkan kemampuan penalaran logis yang terobosan, terutama dengan menggunakan teknik Chain-of-Thought (CoT) prompting. Berdasarkan model ini, dikembangkan versi khusus seperti Med-PaLM untuk bidang medis. Pada tahun 2023, dirilis versi yang ditingkatkan PaLM 2 (~340 miliar parameter), yang menjadi fondasi chatbot Bard yang diperbarui.
Gemini (2023–sekarang): Generasi model baru yang dibuat oleh tim gabungan Google DeepMind. Gemini dirancang sejak awal sebagai sistem multimodal native, yang mampu memproses teks, kode, gambar, audio, dan video. Dirilis dalam beberapa versi:
- Gemini Ultra: Model paling powerful untuk tugas-tugas kompleks.
- Gemini Pro: Model serbaguna untuk berbagai jenis tugas.
- Gemini Nano: Model kompak untuk dijalankan pada perangkat mobile.

Pada tahun 2024–2025, keluarga ini diperluas dengan versi Gemini 1.5 (dengan jendela konteks hingga 1 juta token) dan Gemini 2.0, yang memperoleh kemampuan agentik.

Arsitektur dan Karakteristik Teknis

Fondasi: Encoder, Decoder, dan Hibrida

Google menggunakan berbagai varian arsitektur Transformer tergantung pada tugasnya:

Encoder-only: Model seperti BERT. Model ini memproses seluruh teks secara keseluruhan dan menciptakan representasi kontekstual yang kaya. Ideal untuk tugas analisis dan pemahaman teks (klasifikasi, ekstraksi entitas), tetapi tidak untuk generasi.
Decoder-only: Model seperti LaMDA dan PaLM (serupa dengan GPT). Model ini bersifat autoregresif, yaitu memprediksi teks token demi token. Ini adalah generator alami, sangat cocok untuk melanjutkan teks, percakapan, dan menjawab pertanyaan.
Encoder-Decoder: Model seperti T5 dan GNMT. Model ini memiliki kedua bagian: encoder memproses sekuens input, sementara decoder menghasilkan output. Ini adalah arsitektur serbaguna untuk tugas transformasi, seperti penerjemahan atau peringkasan.

Skala: Parameter, Data, dan Infrastruktur

Keberhasilan Google dalam LLM sebagian besar disebabkan oleh tiga faktor:

Skala model: Peningkatan sistematis jumlah parameter dari jutaan (BERT) hingga ratusan miliar (PaLM, Gemini).
Skala data: Akses ke salah satu korpus data terbesar di dunia (indeks web Google, YouTube, Google Books), yang memungkinkan pelatihan model pada triliunan token.
Infrastruktur: Penggunaan chip khusus buatan sendiri — Tensor Processing Unit (TPU) — dan sistem terdistribusi Pathways, yang memungkinkan pelatihan model sangat besar secara efisien dan stabil.

Multimodalitas dan Agentisitas

Model-model Google terbaru, khususnya Gemini, bergerak menuju multimodalitas mendalam dan agentisitas.

Multimodalitas native berarti bahwa satu model sejak awal dilatih untuk memahami dan mengombinasikan berbagai jenis data (teks, gambar, audio), bukan sekadar menghubungkan modul-modul terpisah.
Agentisitas (Agentic AI) — adalah kemampuan model bukan hanya menjawab permintaan, tetapi secara mandiri merencanakan dan melaksanakan serangkaian tindakan untuk mencapai tujuan (misalnya, memanggil alat eksternal seperti pencarian atau kalkulator).

Tabel Ringkasan Model-Model Utama

Perbandingan Model Bahasa Utama Google
Model	Tahun Rilis	Parameter (estimasi)	Arsitektur	Fitur Utama
BERT	2018	110–340 juta	Encoder	Pemahaman konteks bidireksional, SOTA pada tugas NLP.
T5	2019	60 juta – 11 miliar	Encoder-Decoder	Pendekatan terpadu «teks-ke-teks» untuk semua tugas.
LaMDA	2021	137 miliar	Decoder	Spesialisasi dalam percakapan terbuka yang bermakna.
PaLM	2022	540 miliar	Decoder	Terobosan dalam penalaran logis (Chain-of-Thought), pelatihan berskala besar.
Chinchilla	2022	70 miliar	Decoder	Model «compute-optimal», membuktikan pentingnya keseimbangan data dan parameter.
Gemini 1.0	2023	hingga ~1 triliun (Ultra)	Multimodal (kemungkinan MoE)	Multimodalitas native, SOTA pada berbagai benchmark (MMLU).
Gemini 1.5	2024	Tidak diungkapkan	Multimodal (MoE)	Jendela konteks hingga 1-2 juta token, efisiensi tinggi.
Gemini 2.0	2024	Tidak diungkapkan	Multimodal + Tools	Kemampuan agentik bawaan, generasi gambar/audio.

Penerapan dalam Produk dan Ekosistem

Google secara aktif mengintegrasikan LLM-nya ke seluruh lini produk:

Google Search: BERT, MUM, dan Gemini digunakan untuk pemahaman yang lebih baik atas kueri kompleks dan penyampaian jawaban langsung dalam format AI Overviews (sebelumnya SGE).
Google Assistant dan Bard (kini Gemini): Transisi dari perintah suara sederhana ke asisten percakapan lengkap berbasis LaMDA, PaLM 2, dan Gemini.
Google Workspace: Fitur Duet AI (kini Gemini for Workspace) membantu menulis surat di Gmail, membuat teks di Docs, dan menghasilkan presentasi di Slides.
Android: Gemini Nano memungkinkan fungsi AI berjalan secara lokal di perangkat seperti Pixel, untuk meningkatkan privasi dan kecepatan.
Google Cloud AI: Platform Vertex AI menyediakan akses bagi perusahaan ke model PaLM dan Gemini melalui API untuk membangun aplikasi mereka sendiri.

Peran dalam Lanskap Kompetitif

Google adalah salah satu pemain kunci dalam «perlombaan AI», di mana pesaing utamanya adalah OpenAI (dengan dukungan Microsoft) dan Meta.

Persaingan dengan OpenAI: Meskipun Google merupakan pelopor dalam banyak teknologi fundamental (termasuk Transformer), peluncuran ChatGPT pada akhir tahun 2022 mendorong Google untuk mempercepat peluncuran produk-produknya ke pasar (misalnya, Bard). Persaingan berlangsung dalam hal kualitas model (Gemini Ultra vs. GPT-4), ukuran jendela konteks, dan kemudahan penggunaan API.
Kontras dengan Meta: Meta memilih jalur open source (model LLaMA), menciptakan alternatif kuat terhadap model tertutup Google dan OpenAI. Sebagai respons, Google juga mulai merilis model terbuka, seperti Gemma, untuk mendukung komunitas pengembang dan tidak kehilangan ekosistem kepada Meta.
Aliansi strategis: Google berinvestasi pada pemain lain, misalnya pada startup Anthropic (pencipta model Claude), untuk mendiversifikasi pendekatan dan memperkuat posisinya dalam persaingan cloud.

Daftar Pustaka

Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
Hoffmann, R. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. JMLR.
Gemini Team, Google (2023). Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805.

Tautan

Portal resmi Google AI
Situs resmi Google DeepMind