Malalaking Modelong Pangwika ng Google

Malalaking Modelong Pangwika ng Google — ito ay isang serye ng malalaking modelong pangwika (LLM), na binuo ng iba't ibang dibisyon ng Google, kabilang ang Google AI (dating Google Brain) at DeepMind. Bilang isa sa mga pioneer sa larangan ng malalim na pag-aaral at arkitektura ng Transformer, ang Google ay gumawa ng pundamental na kontribusyon sa pagpapaunlad ng mga modernong LLM. Ang kasaysayan ng pagbuo ng mga modelong ito ay sumasalamin sa paglalakbay mula sa mga makitid na espesyalisadong sistema ng pag-unawa sa wika hanggang sa malawak na multimodal at agentic na mga sistema, na siyang pundasyon ng maraming produkto ng Google at nagtatakda ng direksyon ng buong industriya ng AI.

Kasaysayan at Ebolusyon ng mga Modelo ng Google

Maagang Tagumpay at Neural Network na Pagsasalin (2011–2016)

Ang pundasyon para sa pagbuo ng LLM sa Google ay naitatag sa loob ng proyektong Google Brain (2011), na nakatuon sa paggamit ng malalim na neural network. Isa sa mga unang tagumpay ay ang algorithm na Word2Vec (2013), na nilikha ni Tomas Mikolov. Pinahintulutan nito ang mga salita na mailarawan bilang mga vector (embedding), na sumasalamin sa kanilang semantikong konteksto, na naging pangunahing pamamaraan para sa pag-unawa sa wika sa mga neural network.

Ang susunod na hakbang ay ang paglipat sa mga modelo ng pagkakasunud-sunod, tulad ng seq2seq (2014), na naging pundasyon ng Google Neural Machine Translation (GNMT) (2016). Ang paglipat ng Google Translate sa neural network na arkitektura batay sa LSTM ay makabuluhang nagpataas ng kalidad ng pagsasalin ng makina. Sabay nito, ang subsidiary na DeepMind, na nakuha ng Google noong 2014, ay nagpakita ng kapangyarihan ng malalim na pag-aaral sa pamamagitan ng tagumpay ng sistema ng AlphaGo laban sa kampeon ng mundo sa laro ng go, na nagpapatibay ng pananampalataya sa potensyal ng AI.

Rebolusyon ng Transformer at Pagsilang ng BERT (2017–2018)

Noong 2017, ipinakita ng mga mananaliksik ng Google Brain ang arkitektura ng Transformer sa papel na «Attention Is All You Need». Ang arkitekturang ito, na batay sa mekanismo ng self-attention, ay nagpahintulot na maproseso ang mga pagkakasunud-sunod nang sabay-sabay, at hindi sunud-sunod, na naging rebolusyon sa NLP at pundasyon ng lahat ng modernong LLM.

Sa alon ng tagumpay na ito, noong 2018 ay nagpakita ang Google ng modelong BERT (Bidirectional Encoder Representations from Transformers). Ang BERT ay ang unang malalim na bidirectional na modelo, na isinasaalang-alang ang konteksto ng isang salita nang sabay-sabay mula sa kaliwa at kanan. Nagpahintulot ito sa kanya na makamit ang mga rekord na resulta sa maraming gawain ng pag-unawa sa wika (GLUE, SQuAD) at magtakda ng bagong pamantayan sa industriya. Ang BERT ay inilabas sa dalawang bersyon (BASE na may 110 milyong parameter at LARGE na may 340 milyon) nang may bukas na code at mga timbang, na nag-ambag sa malawak nitong paglaganap. Mula 2019, nagsimulang gamitin ang BERT sa Google Search para sa mas mahusay na pag-unawa ng mga query.

Paglago ng Sukat at Panahon ng mga Modelong Pang-diyalogo (2019–2022)

Pagkatapos ng BERT, nagpatuloy ang Google sa mga eksperimento sa sukat at arkitektura:

T5 (Text-to-Text Transfer Transformer, 2019): Isang unified na modelo na tinatrato ang anumang gawahin sa NLP bilang pagbabago ng «teksto-sa-teksto». Na-train sa napakalaking corpus na C4 (Colossal Clean Crawled Corpus), ang T5 ay inilabas din nang bukas sa ilang sukat (hanggang 11 bilyong parameter).
Meena (2020): Ang unang espesyalisadong dialogue na modelo ng Google na may 2.6 bilyong parameter, na nagpakita ng mataas na kalidad ng pagpapanatili ng bukas na diyalogo.
LaMDA (Language Model for Dialogue Applications, 2021): Isang pamilya ng mga dialogue na modelo (hanggang 137 bilyong parameter), na na-train sa napakalaking corpus ng mga diyalogo (1.56 trilyon na salita). Ang LaMDA ay naglayong lumikha ng mas natural at makabuluhang mga pag-uusap at naging kilala sa malawak na publiko matapos na ang isang inhinyero ng Google ay mag-claim ng «katalinuhan» nito.
Gopher at Chinchilla (DeepMind, 2021–2022): Sabay nito, sinaliksik ng DeepMind ang mga batas ng scaling. Ang modelong Gopher (280 bilyong parameter) ay nagpakita kung paano nakakaapekto ang sukat sa kalidad. At ang modelong Chinchilla (70 bilyon) ay nagpakita na para sa pinakamainam na pagganap, mas mahalaga ang tamang balanse sa pagitan ng laki ng modelo at dami ng data sa pagsasanay, kaysa sa pinakamataas na bilang ng mga parameter. Ang konklusyong ito ay naging kilala bilang «batas ng Chinchilla» at nakaapekto sa estratehiya ng pagsasanay ng LLM sa buong industriya.

Panahon ng mga Napakalaki at Multimodal na Modelo (2022–kasalukuyan)

PaLM (Pathways Language Model, 2022): Sa panahon ng anunsyo, ang pinakamalaking dense na modelo ng Google na may 540 bilyong parameter, na na-train sa bagong distributed na imprastraktura ng Pathways. Ang PaLM ay nagpakita ng mga breakthrough na kakayahan sa lohikal na pangangatuwiran, lalo na gamit ang teknik na Chain-of-Thought (CoT) prompting. Batay dito, nilikha ang mga espesyalisadong bersyon, tulad ng Med-PaLM para sa medisina. Noong 2023, inilabas ang pinahusay na bersyon na PaLM 2 (~340 bilyong parameter), na naging pundasyon ng na-update na chatbot na Bard.
Gemini (2023–kasalukuyan): Bagong henerasyong mga modelo, na nilikha ng pinagsamang koponan ng Google DeepMind. Ang Gemini ay mula sa simula ay idinisenyo bilang isang native multimodal na sistema, na kayang iproseso ang teksto, code, mga larawan, audio at video. Inilabas sa ilang bersyon:
- Gemini Ultra: Ang pinaka-makapangyarihang modelo para sa mga kumplikadong gawain.
- Gemini Pro: Isang universal na modelo para sa malawak na hanay ng mga gawain.
- Gemini Nano: Isang compact na modelo para sa paggana sa mga mobile device.

Noong 2024–2025, ang pamilya ay pinalawak ng mga bersyon na Gemini 1.5 (na may context window na hanggang 1 milyong token) at Gemini 2.0, na nakakuha ng mga agentic na kakayahan.

Arkitektura at Mga Teknikal na Katangian

Pundasyon: Mga Encoder, Decoder at Hybrid

Gumagamit ang Google ng iba't ibang variant ng arkitektura ng Transformer depende sa gawain:

Mga Encoder (Encoder-only): Mga modelong tulad ng BERT. Pinoproseso nila ang buong teksto nang buo at lumilikha ng mayamang contextual na representasyon. Perpekto para sa mga gawahin ng pagsusuri at pag-unawa ng teksto (klasipikasyon, pagkuha ng entity), ngunit hindi para sa henerasyon.
Mga Decoder (Decoder-only): Mga modelong tulad ng LaMDA at PaLM (katulad ng GPT). Sila ay autoregressive, ibig sabihin, hinuhulaan nila ang teksto nang token sa bawat token. Ito ay mga natural na generator, na perpekto para sa pagpapatuloy ng teksto, mga diyalogo at pagsagot sa mga tanong.
Mga Encoder-Decoder (Encoder-Decoder): Mga modelong tulad ng T5 at GNMT. Mayroon silang dalawang bahagi: ang encoder ay nagpoproseso ng input na pagkakasunud-sunod, at ang decoder ay bumubuo ng output. Ito ay isang universal na arkitektura para sa mga gawahin ng pagbabago, tulad ng pagsasalin o pagsasama-sama.

Sukat: Mga Parameter, Data at Imprastraktura

Ang tagumpay ng Google sa LLM ay higit na dahil sa tatlong salik:

Sukat ng mga modelo: Sistematikong pagtaas ng bilang ng mga parameter mula sa milyun-milyon (BERT) hanggang sa daan-daang bilyon (PaLM, Gemini).
Sukat ng data: Pag-access sa isa sa pinakamalaking corpus ng data sa mundo (web index ng Google, YouTube, Google Books), na nagpapahintulot na mag-train ng mga modelo sa trilyon-trilyong token.
Imprastraktura: Paggamit ng sariling espesyalisadong chips — Tensor Processing Unit (TPU) — at distributed na sistema ng Pathways, na nagbibigay-daan sa epektibo at maaasahang pagsasanay ng mga napakalaking modelo.

Multimodality at Agenticity

Ang pinakabagong mga modelo ng Google, lalo na ang Gemini, ay gumagalaw patungo sa malalim na multimodality at agenticity.

Ang native multimodality ay nangangahulugang ang isang modelo mula sa simula ay sinanay upang maunawaan at pagsamahin ang iba't ibang uri ng data (teksto, mga larawan, audio), at hindi lamang pagsamahin ang mga hiwalay na module.
Ang agenticity (Agentic AI) — ito ang kakayahan ng modelo na hindi lamang tumugon sa mga kahilingan, kundi independyenteng magplano at magsagawa ng sunud-sunod na mga aksyon upang makamit ang isang layunin (halimbawa, tumawag ng mga panlabas na tool, tulad ng paghahanap o calculator).

Buod na Talahanayan ng mga Pangunahing Modelo

Paghahambing ng Mga Pangunahing Modelong Pangwika ng Google
Modelo	Taon ng Paglalabas	Mga Parameter (pagtatantya)	Arkitektura	Mga Pangunahing Katangian
BERT	2018	110–340 milyon	Encoder	Bidirectional na pag-unawa ng konteksto, SOTA sa mga gawahin ng NLP.
T5	2019	60 milyon – 11 bilyon	Encoder-Decoder	Unified na diskarte na «teksto-sa-teksto» para sa lahat ng gawain.
LaMDA	2021	137 bilyon	Decoder	Espesyalisasyon sa bukas, makabuluhang mga diyalogo.
PaLM	2022	540 bilyon	Decoder	Breakthrough sa lohikal na pangangatuwiran (Chain-of-Thought), malawak na pagsasanay.
Chinchilla	2022	70 bilyon	Decoder	Modelong «Compute-optimal», na nagpatunay ng kahalagahan ng balanse ng data at mga parameter.
Gemini 1.0	2023	hanggang ~1 trilyon (Ultra)	Multimodal (malamang na MoE)	Native multimodality, SOTA sa maraming benchmark (MMLU).
Gemini 1.5	2024	Hindi inihayag	Multimodal (MoE)	Context window hanggang 1–2 milyong token, mataas na kahusayan.
Gemini 2.0	2024	Hindi inihayag	Multimodal + Tools	Mga built-in na agentic na kakayahan, henerasyon ng larawan/audio.

Paggamit sa mga Produkto at Ecosystem

Aktibong ini-integrate ng Google ang mga LLM nito sa buong hanay ng mga produkto:

Google Search: Ginagamit ang BERT, MUM at Gemini para sa mas mahusay na pag-unawa ng mga kumplikadong query at pagbibigay ng mga direktang sagot sa format na AI Overviews (dating SGE).
Google Assistant at Bard (ngayon Gemini): Ang paglipat mula sa mga simpleng voice command patungo sa mga ganap na dialogue assistant batay sa LaMDA, PaLM 2 at Gemini.
Google Workspace: Ang mga feature ng Duet AI (ngayon Gemini for Workspace) ay tumutulong na sumulat ng mga liham sa Gmail, lumikha ng mga teksto sa Docs at bumuo ng mga presentasyon sa Slides.
Android: Ang Gemini Nano ay nagbibigay ng lokal na paggana ng mga AI feature sa mga device, tulad ng Pixel, para sa mas mataas na privacy at bilis.
Google Cloud AI: Ang platform na Vertex AI ay nagbibigay sa mga negosyo ng access sa mga modelo ng PaLM at Gemini sa pamamagitan ng API para sa paglikha ng kanilang sariling mga aplikasyon.

Papel sa Mapagkumpetensyang Kapaligiran

Ang Google ay isa sa mga pangunahing manlalaro sa «lahi ng AI», kung saan ang pangunahing mga kakumpitensya nito ay ang OpenAI (na may suporta ng Microsoft) at Meta.

Pakikipagtunggali sa OpenAI: Kahit na ang Google ay naging pioneer sa maraming pundamental na teknolohiya (kabilang ang Transformer), ang paglulunsad ng ChatGPT sa katapusan ng 2022 ay nagpilitang pabilisin ng Google ang paglabas ng mga produkto nito sa merkado (halimbawa, Bard). Ang kompetisyon ay nagaganap sa larangan ng kalidad ng mga modelo (Gemini Ultra kumpara sa GPT-4), sukat ng context window at kaginhawahan ng API.
Pagkakaiba sa Meta: Ang Meta ay umasa sa bukas na source code (mga modelong LLaMA), na lumikha ng isang makapangyarihang alternatibo sa mga closed na modelo ng Google at OpenAI. Bilang tugon dito, nagsimula rin ang Google na maglabas ng mga bukas na modelo, tulad ng Gemma, upang suportahan ang komunidad ng mga developer at hindi maiwanan ang ecosystem sa Meta.
Mga Estratehikong Alyansa: Namumuhunan ang Google sa iba pang manlalaro, halimbawa, sa startup na Anthropic (mga tagalikha ng modelong Claude), upang pag-iba-ibahin ang mga diskarte at palakasin ang posisyon nito sa cloud na kompetisyon.

Talasanggunian

Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
Hoffmann, R. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. JMLR.
Gemini Team, Google (2023). Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805.

Mga Sanggunian

Opisyal na portal ng Google AI
Opisyal na website ng Google DeepMind