Google's large language models — โมเดลภาษาขนาดใหญ่ของ Google

โมเดลภาษาขนาดใหญ่ของ Google คือชุดของโมเดลภาษาขนาดใหญ่ (LLM) ที่พัฒนาโดยหน่วยงานต่าง ๆ ของ Google รวมถึง Google AI (เดิมชื่อ Google Brain) และ DeepMind ในฐานะผู้บุกเบิกด้าน deep learning และสถาปัตยกรรม Transformer Google ได้มีส่วนสำคัญอย่างยิ่งต่อการพัฒนา LLM สมัยใหม่ ประวัติการพัฒนาโมเดลเหล่านี้สะท้อนเส้นทางตั้งแต่ระบบทำความเข้าใจภาษาเฉพาะทาง ไปจนถึงระบบมัลติโมดัลและระบบ Agentic ขนาดใหญ่ที่เป็นรากฐานของผลิตภัณฑ์ต่าง ๆ ของ Google และกำหนดทิศทางการพัฒนาของอุตสาหกรรม AI ทั้งหมด

ประวัติและวิวัฒนาการของโมเดล Google

ความสำเร็จในยุคแรกและการแปลภาษาด้วย Neural Network (2011–2016)

รากฐานสำหรับการพัฒนา LLM ใน Google ถูกวางขึ้นภายใต้โครงการ Google Brain (2011) ซึ่งอุทิศตนให้กับการนำ deep neural network มาประยุกต์ใช้ หนึ่งในความก้าวหน้าแรก ๆ คืออัลกอริทึม Word2Vec (2013) ที่สร้างขึ้นโดย Tomas Mikolov ซึ่งช่วยให้สามารถแทนคำในรูปแบบเวกเตอร์ (embedding) ที่สะท้อนบริบทเชิงความหมาย กลายเป็นวิธีพื้นฐานสำหรับการทำความเข้าใจภาษาใน Neural Network

ขั้นตอนต่อมาคือการเปลี่ยนไปใช้โมเดลลำดับ เช่น seq2seq (2014) ซึ่งเป็นรากฐานของ Google Neural Machine Translation (GNMT) (2016) การเปลี่ยน Google Translate มาใช้สถาปัตยกรรม Neural Network บนพื้นฐาน LSTM ช่วยยกระดับคุณภาพการแปลภาษาด้วยเครื่องได้อย่างมาก ในขณะเดียวกัน บริษัทในเครือ DeepMind ที่ Google เข้าซื้อกิจการในปี 2014 ได้แสดงให้เห็นถึงพลังของ deep learning ผ่านชัยชนะของระบบ AlphaGo เหนือแชมป์โลกหมากล้อม ซึ่งตอกย้ำความเชื่อมั่นในศักยภาพของ AI

การปฏิวัติของ Transformer และการกำเนิด BERT (2017–2018)

ในปี 2017 นักวิจัยจาก Google Brain ได้นำเสนอสถาปัตยกรรม Transformer ในบทความ «Attention Is All You Need» สถาปัตยกรรมนี้อาศัยกลไก self-attention ช่วยให้ประมวลผลลำดับข้อมูลแบบขนานได้แทนที่จะเป็นแบบลำดับ ซึ่งถือเป็นการปฏิวัติในวงการ NLP และเป็นรากฐานของ LLM สมัยใหม่ทุกตัว

ต่อจากความสำเร็จนั้น ในปี 2018 Google ได้เปิดตัวโมเดล BERT (Bidirectional Encoder Representations from Transformers) BERT เป็นโมเดล สองทิศทาง เชิงลึกตัวแรกที่พิจารณาบริบทของคำทั้งจากด้านซ้ายและด้านขวาพร้อมกัน ทำให้สามารถทำลายสถิติบนหลายงานด้านการทำความเข้าใจภาษา (GLUE, SQuAD) และกำหนดมาตรฐานอุตสาหกรรมใหม่ BERT เผยแพร่ในสองเวอร์ชัน (BASE ที่ 110 ล้านพารามิเตอร์ และ LARGE ที่ 340 ล้านพารามิเตอร์) พร้อม open source โค้ดและน้ำหนักโมเดล ส่งเสริมการแพร่กระจายในวงกว้าง ตั้งแต่ปี 2019 BERT ถูกนำมาใช้ใน Google Search เพื่อทำความเข้าใจคำค้นหาได้ดียิ่งขึ้น

การขยายขนาดและยุคของโมเดลสนทนา (2019–2022)

หลังจาก BERT Google ยังคงทดลองด้านขนาดและสถาปัตยกรรมต่อไป:

T5 (Text-to-Text Transfer Transformer, 2019): โมเดลแบบรวม (unified) ที่ถือว่างาน NLP ทุกประเภทเป็นการแปลง «ข้อความเป็นข้อความ» ฝึกบน corpus ขนาดยักษ์ C4 (Colossal Clean Crawled Corpus) และ T5 ยังเผยแพร่สู่สาธารณะในหลายขนาด (ถึง 11 พันล้านพารามิเตอร์)
Meena (2020): โมเดลสนทนาเฉพาะทางตัวแรกของ Google ที่มี 2.6 พันล้านพารามิเตอร์ แสดงให้เห็นคุณภาพสูงในการสนทนาแบบเปิด
LaMDA (Language Model for Dialogue Applications, 2021): ตระกูลโมเดลสนทนา (ถึง 137 พันล้านพารามิเตอร์) ที่ฝึกบน corpus บทสนทนาขนาดใหญ่ (1.56 ล้านล้านคำ) LaMDA มุ่งเน้นสร้างการสนทนาที่เป็นธรรมชาติและมีความหมายมากขึ้น และกลายเป็นที่รู้จักในวงกว้างหลังจากวิศวกร Google อ้างว่ามัน «มีจิตสำนึก»
Gopher และ Chinchilla (DeepMind, 2021–2022): ในขณะเดียวกัน DeepMind ศึกษากฎการขยายขนาด (scaling laws) โมเดล Gopher (280 พันล้านพารามิเตอร์) แสดงให้เห็นว่าขนาดส่งผลต่อคุณภาพอย่างไร ส่วนโมเดล Chinchilla (70 พันล้านพารามิเตอร์) พิสูจน์ว่าเพื่อประสิทธิภาพสูงสุดนั้น ไม่ใช่จำนวนพารามิเตอร์สูงสุดที่สำคัญ แต่เป็นสมดุลที่เหมาะสมระหว่างขนาดโมเดลกับปริมาณข้อมูลการฝึก ข้อสรุปนี้เป็นที่รู้จักในชื่อ «กฎ Chinchilla» และส่งผลต่อกลยุทธ์การฝึก LLM ทั่วทั้งอุตสาหกรรม

ยุคของโมเดลขนาดใหญ่พิเศษและมัลติโมดัล (2022–ปัจจุบัน)

PaLM (Pathways Language Model, 2022): ณ เวลาที่ประกาศ เป็นโมเดล dense ที่ใหญ่ที่สุดของ Google ด้วย 540 พันล้านพารามิเตอร์ ฝึกบนโครงสร้างพื้นฐานแบบกระจาย Pathways ใหม่ PaLM แสดงให้เห็นความสามารถในการอนุมานเชิงตรรกะที่ก้าวหน้า โดยเฉพาะเมื่อใช้เทคนิค Chain-of-Thought (CoT) prompting โดยอาศัยโมเดลนี้เป็นพื้นฐาน ได้มีการสร้างเวอร์ชันเฉพาะทาง เช่น Med-PaLM สำหรับการแพทย์ ในปี 2023 มีการเผยแพร่เวอร์ชันปรับปรุง PaLM 2 (~340 พันล้านพารามิเตอร์) ซึ่งเป็นพื้นฐานของ chatbot Bard ที่ปรับปรุงใหม่
Gemini (2023–ปัจจุบัน): โมเดลรุ่นใหม่ที่สร้างโดยทีม Google DeepMind รวมกัน Gemini ถูกออกแบบตั้งแต่ต้นให้เป็นระบบ มัลติโมดัลพื้นฐาน (natively multimodal) ที่สามารถประมวลผลข้อความ โค้ด รูปภาพ เสียง และวิดีโอ เผยแพร่ในหลายเวอร์ชัน:
- Gemini Ultra: โมเดลที่ทรงพลังที่สุดสำหรับงานที่ซับซ้อน
- Gemini Pro: โมเดลอเนกประสงค์สำหรับงานหลากหลาย
- Gemini Nano: โมเดลขนาดกะทัดรัดสำหรับใช้งานบนอุปกรณ์มือถือ

ในช่วงปี 2024–2025 ตระกูลโมเดลได้รับการขยายด้วยเวอร์ชัน Gemini 1.5 (ที่มีหน้าต่างบริบทถึง 1 ล้าน token) และ Gemini 2.0 ที่ได้รับความสามารถ Agentic

สถาปัตยกรรมและลักษณะทางเทคนิค

รากฐาน: Encoder, Decoder และแบบผสม

Google ใช้สถาปัตยกรรม Transformer ในรูปแบบต่าง ๆ ขึ้นอยู่กับงาน:

Encoder-only: โมเดลแบบ BERT ประมวลผลข้อความทั้งหมดพร้อมกันและสร้างการแทนค่าเชิงบริบทที่สมบูรณ์ เหมาะสำหรับงานวิเคราะห์และทำความเข้าใจข้อความ (การจำแนกประเภท การสกัดเอนทิตี) แต่ไม่เหมาะสำหรับการสร้างข้อความ
Decoder-only: โมเดลแบบ LaMDA และ PaLM (คล้ายกับ GPT) เป็นแบบ autoregressive คือทำนายข้อความทีละ token เป็นตัวสร้างข้อความโดยธรรมชาติ เหมาะอย่างยิ่งสำหรับการต่อเติมข้อความ บทสนทนา และการตอบคำถาม
Encoder-Decoder: โมเดลแบบ T5 และ GNMT มีทั้งสองส่วน: encoder ประมวลผลลำดับอินพุต และ decoder สร้างลำดับเอาต์พุต เป็นสถาปัตยกรรมอเนกประสงค์สำหรับงานแปลงรูป เช่น การแปลหรือการสรุปความ

ขนาด: พารามิเตอร์ ข้อมูล และโครงสร้างพื้นฐาน

ความสำเร็จของ Google ใน LLM เกิดจากปัจจัยสามประการ:

ขนาดของโมเดล: การเพิ่มจำนวนพารามิเตอร์อย่างเป็นระบบจากหลักล้าน (BERT) ไปจนถึงหลักแสนล้าน (PaLM, Gemini)
ขนาดของข้อมูล: การเข้าถึง corpus ข้อมูลขนาดใหญ่ที่สุดแห่งหนึ่งของโลก (ดัชนีเว็บ Google, YouTube, Google Books) ซึ่งช่วยให้ฝึกโมเดลบนหลักล้านล้าน token ได้
โครงสร้างพื้นฐาน: การใช้ชิปเฉพาะทางของตนเอง — Tensor Processing Unit (TPU) — และระบบกระจาย Pathways ซึ่งช่วยให้ฝึกโมเดลขนาดใหญ่พิเศษได้อย่างมีประสิทธิภาพและเสถียร

มัลติโมดัลและ Agentic

โมเดลล่าสุดของ Google โดยเฉพาะ Gemini กำลังมุ่งสู่ความเป็นมัลติโมดัลเชิงลึกและ Agentic

มัลติโมดัลพื้นฐาน (Native multimodality) หมายความว่าโมเดลเดียวได้รับการฝึกให้เข้าใจและผสมผสานข้อมูลประเภทต่าง ๆ (ข้อความ รูปภาพ เสียง) ตั้งแต่ต้น แทนที่จะเป็นแค่การเชื่อมโมดูลแยกกัน
Agentic AI คือความสามารถของโมเดลในการไม่เพียงแค่ตอบคำถาม แต่วางแผนและดำเนินการลำดับขั้นตอนอย่างอิสระเพื่อบรรลุเป้าหมาย (เช่น เรียกใช้เครื่องมือภายนอก เช่น การค้นหาหรือเครื่องคิดเลข)

ตารางสรุปโมเดลสำคัญ

การเปรียบเทียบโมเดลภาษาหลักของ Google
โมเดล	ปีที่เผยแพร่	พารามิเตอร์ (ประมาณ)	สถาปัตยกรรม	คุณสมบัติหลัก
BERT	2018	110–340 ล้าน	Encoder	การทำความเข้าใจบริบทแบบสองทิศทาง, SOTA บนงาน NLP
T5	2019	60 ล้าน – 11 พันล้าน	Encoder-Decoder	แนวทางรวม «ข้อความเป็นข้อความ» สำหรับทุกงาน
LaMDA	2021	137 พันล้าน	Decoder	เชี่ยวชาญในบทสนทนาแบบเปิดที่มีความหมาย
PaLM	2022	540 พันล้าน	Decoder	ความก้าวหน้าด้านการอนุมานเชิงตรรกะ (Chain-of-Thought), การฝึกขนาดใหญ่
Chinchilla	2022	70 พันล้าน	Decoder	โมเดล «Compute-optimal» ที่พิสูจน์ความสำคัญของสมดุลระหว่างข้อมูลและพารามิเตอร์
Gemini 1.0	2023	ถึง ~1 ล้านล้าน (Ultra)	มัลติโมดัล (น่าจะ MoE)	มัลติโมดัลพื้นฐาน, SOTA บน benchmark หลายรายการ (MMLU)
Gemini 1.5	2024	ไม่เปิดเผย	มัลติโมดัล (MoE)	หน้าต่างบริบทถึง 1-2 ล้าน token, ประสิทธิภาพสูง
Gemini 2.0	2024	ไม่เปิดเผย	มัลติโมดัล + Tools	ความสามารถ Agentic ในตัว, การสร้างรูปภาพ/เสียง

การประยุกต์ใช้ในผลิตภัณฑ์และระบบนิเวศ

Google ผสานรวม LLM ของตนเข้ากับสายผลิตภัณฑ์ทั้งหมดอย่างเข้มแข็ง:

Google Search: BERT, MUM และ Gemini ถูกใช้เพื่อทำความเข้าใจคำค้นหาที่ซับซ้อนได้ดียิ่งขึ้น และให้คำตอบโดยตรงในรูปแบบ AI Overviews (เดิมคือ SGE)
Google Assistant และ Bard (ปัจจุบันคือ Gemini): การเปลี่ยนผ่านจากคำสั่งเสียงธรรมดาไปสู่ผู้ช่วยสนทนาเต็มรูปแบบบนพื้นฐาน LaMDA, PaLM 2 และ Gemini
Google Workspace: ฟีเจอร์ Duet AI (ปัจจุบันคือ Gemini for Workspace) ช่วยเขียนอีเมลใน Gmail สร้างเนื้อหาใน Docs และสร้างงานนำเสนอใน Slides
Android: Gemini Nano รองรับฟีเจอร์ AI ในเครื่องบนอุปกรณ์ เช่น Pixel เพื่อเพิ่มความเป็นส่วนตัวและความเร็ว
Google Cloud AI: แพลตฟอร์ม Vertex AI ให้ภาคธุรกิจเข้าถึงโมเดล PaLM และ Gemini ผ่าน API เพื่อสร้างแอปพลิเคชันของตนเอง

บทบาทในสภาพแวดล้อมการแข่งขัน

Google เป็นหนึ่งในผู้เล่นหลักใน «การแข่งขัน AI» ซึ่งคู่แข่งหลักคือ OpenAI (ด้วยการสนับสนุนของ Microsoft) และ Meta

การแข่งขันกับ OpenAI: แม้ Google จะเป็นผู้บุกเบิกในหลายเทคโนโลยีพื้นฐาน (รวมถึง Transformer) การเปิดตัว ChatGPT ในปลายปี 2022 ทำให้ Google เร่งนำผลิตภัณฑ์ออกสู่ตลาด (เช่น Bard) การแข่งขันเกิดขึ้นในด้านคุณภาพโมเดล (Gemini Ultra เทียบกับ GPT-4) ขนาดหน้าต่างบริบท และความสะดวกในการใช้ API
ความแตกต่างกับ Meta: Meta เลือกเส้นทาง open source (โมเดล LLaMA) สร้างทางเลือกที่แข็งแกร่งให้กับโมเดลปิดของ Google และ OpenAI เพื่อตอบสนองต่อสิ่งนี้ Google ยังเริ่มเผยแพร่โมเดลเปิด เช่น Gemma เพื่อสนับสนุนชุมชนนักพัฒนาและไม่ยอมเสียระบบนิเวศให้กับ Meta
พันธมิตรเชิงกลยุทธ์: Google ลงทุนในผู้เล่นอื่น ๆ เช่น สตาร์ทอัพ Anthropic (ผู้สร้างโมเดล Claude) เพื่อกระจายแนวทางและเสริมความแข็งแกร่งในการแข่งขันด้านคลาวด์

เอกสารอ้างอิง

Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
Hoffmann, R. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. JMLR.
Gemini Team, Google (2023). Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805.

ลิงก์ภายนอก

พอร์ทัลอย่างเป็นทางการของ Google AI
เว็บไซต์อย่างเป็นทางการของ Google DeepMind