Các mô hình ngôn ngữ lớn của Google

Các Mô hình Ngôn ngữ Lớn của Google — đây là một loạt các mô hình ngôn ngữ lớn (LLM) được phát triển bởi nhiều bộ phận khác nhau của Google, bao gồm Google AI (trước đây là Google Brain) và DeepMind. Là một trong những đơn vị tiên phong trong lĩnh vực học sâu và kiến trúc Transformer, Google đã có đóng góp nền tảng quan trọng cho sự phát triển của các LLM hiện đại. Lịch sử phát triển các mô hình này phản ánh hành trình từ các hệ thống hiểu ngôn ngữ chuyên biệt hẹp đến các hệ thống đa phương thức và tác nhân quy mô lớn, là nền tảng cho nhiều sản phẩm của Google và định hình hướng phát triển của toàn ngành AI.

Lịch sử và sự phát triển của các mô hình Google

Những thành tựu ban đầu và dịch máy bằng mạng nơ-ron (2011–2016)

Nền tảng cho việc phát triển LLM tại Google được đặt ra trong khuôn khổ dự án Google Brain (2011), vốn tập trung vào ứng dụng mạng nơ-ron sâu. Một trong những đột phá đầu tiên là thuật toán Word2Vec (2013), được tạo ra bởi Tomáš Mikolov. Thuật toán này cho phép biểu diễn các từ dưới dạng vector (embedding) phản ánh ngữ cảnh ngữ nghĩa của chúng, trở thành phương pháp cơ bản để hiểu ngôn ngữ trong các mạng nơ-ron.

Bước tiếp theo là chuyển sang các mô hình chuỗi, chẳng hạn như seq2seq (2014), đặt nền móng cho Google Neural Machine Translation (GNMT) (2016). Việc chuyển Google Dịch sang kiến trúc mạng nơ-ron dựa trên LSTM đã cải thiện đáng kể chất lượng dịch máy. Song song đó, công ty con DeepMind, được Google mua lại năm 2014, đã chứng minh sức mạnh của học sâu qua chiến thắng của hệ thống AlphaGo trước nhà vô địch thế giới cờ vây, củng cố niềm tin vào tiềm năng của AI.

Cuộc cách mạng Transformer và sự ra đời của BERT (2017–2018)

Năm 2017, các nhà nghiên cứu của Google Brain đã giới thiệu kiến trúc Transformer trong bài báo «Attention Is All You Need». Kiến trúc này, dựa trên cơ chế tự chú ý (self-attention), cho phép xử lý các chuỗi song song thay vì tuần tự, tạo nên cuộc cách mạng trong NLP và là nền tảng cho tất cả các LLM hiện đại.

Tiếp nối thành công đó, năm 2018 Google giới thiệu mô hình BERT (Bidirectional Encoder Representations from Transformers). BERT là mô hình hai chiều sâu đầu tiên, xem xét ngữ cảnh của từ đồng thời từ trái sang và từ phải sang. Điều này cho phép nó đạt kết quả kỷ lục trên nhiều bài toán hiểu ngôn ngữ (GLUE, SQuAD) và thiết lập tiêu chuẩn công nghiệp mới. BERT được phát hành trong hai phiên bản (BASE với 110 triệu tham số và LARGE với 340 triệu tham số) với mã nguồn mở và trọng số mở, góp phần vào sự phổ biến rộng rãi của nó. Từ năm 2019, BERT bắt đầu được sử dụng trong Google Tìm kiếm để hiểu tốt hơn các truy vấn của người dùng.

Tăng quy mô và kỷ nguyên các mô hình hội thoại (2019–2022)

Sau BERT, Google tiếp tục thử nghiệm với quy mô và kiến trúc:

• T5 (Text-to-Text Transfer Transformer, 2019): Mô hình thống nhất xử lý mọi bài toán NLP như bài toán chuyển đổi «văn bản sang văn bản». Được huấn luyện trên kho dữ liệu khổng lồ C4 (Colossal Clean Crawled Corpus), T5 cũng được phát hành mã nguồn mở ở nhiều kích thước (lên đến 11 tỷ tham số).
• Meena (2020): Mô hình hội thoại chuyên biệt đầu tiên của Google với 2,6 tỷ tham số, cho thấy chất lượng cao trong việc duy trì hội thoại mở.
• LaMDA (Language Model for Dialogue Applications, 2021): Họ mô hình hội thoại (lên đến 137 tỷ tham số), được huấn luyện trên kho ngữ liệu hội thoại khổng lồ (1,56 nghìn tỷ từ). LaMDA hướng tới việc tạo ra các cuộc trò chuyện tự nhiên và có ý nghĩa hơn, và trở nên nổi tiếng với công chúng sau khi một kỹ sư của Google tuyên bố nó có «ý thức».
• Gopher và Chinchilla (DeepMind, 2021–2022): Song song đó, DeepMind nghiên cứu các quy luật mở rộng quy mô. Mô hình Gopher (280 tỷ tham số) cho thấy quy mô ảnh hưởng như thế nào đến chất lượng. Còn mô hình Chinchilla (70 tỷ tham số) chứng minh rằng để đạt hiệu suất tối ưu, điều quan trọng không phải là số lượng tham số tối đa mà là sự cân bằng đúng đắn giữa kích thước mô hình và khối lượng dữ liệu huấn luyện. Kết luận này được gọi là «quy luật Chinchilla» và đã ảnh hưởng đến chiến lược huấn luyện LLM trong toàn ngành.

Kỷ nguyên các mô hình siêu lớn và đa phương thức (2022–nay)

• PaLM (Pathways Language Model, 2022): Tại thời điểm công bố, đây là mô hình dày đặc (dense) lớn nhất của Google với 540 tỷ tham số, được huấn luyện trên cơ sở hạ tầng phân tán Pathways mới. PaLM thể hiện khả năng lập luận logic đột phá, đặc biệt khi sử dụng kỹ thuật Chain-of-Thought (CoT) prompting. Trên cơ sở đó, các phiên bản chuyên biệt đã được tạo ra, chẳng hạn như Med-PaLM dành cho y tế. Năm 2023, phiên bản cải tiến PaLM 2 (~340 tỷ tham số) được phát hành, trở thành nền tảng cho chatbot Bard được cập nhật.
• Gemini (2023–nay): Thế hệ mô hình mới, được tạo ra bởi đội ngũ kết hợp Google DeepMind. Gemini ngay từ đầu được thiết kế như một hệ thống đa phương thức gốc, có khả năng xử lý văn bản, mã, hình ảnh, âm thanh và video. Được phát hành trong một số phiên bản:
  • Gemini Ultra: Mô hình mạnh mẽ nhất dành cho các tác vụ phức tạp.
  • Gemini Pro: Mô hình đa năng dành cho nhiều loại tác vụ.
  • Gemini Nano: Mô hình nhỏ gọn dành cho hoạt động trên thiết bị di động.

Trong giai đoạn 2024–2025, họ mô hình được mở rộng với các phiên bản Gemini 1.5 (với cửa sổ ngữ cảnh lên đến 1 triệu token) và Gemini 2.0, được bổ sung khả năng tác nhân.

Kiến trúc và đặc điểm kỹ thuật

Nền tảng: Bộ mã hóa, bộ giải mã và kiến trúc lai

Google sử dụng các biến thể khác nhau của kiến trúc Transformer tùy theo nhiệm vụ:

• Bộ mã hóa (Encoder-only): Các mô hình kiểu BERT. Chúng xử lý toàn bộ văn bản và tạo ra biểu diễn ngữ cảnh phong phú. Lý tưởng cho các tác vụ phân tích và hiểu văn bản (phân loại, trích xuất thực thể), nhưng không phù hợp để sinh văn bản.
• Bộ giải mã (Decoder-only): Các mô hình kiểu LaMDA và PaLM (tương tự GPT). Chúng có tính tự hồi quy, tức là dự đoán văn bản từng token một. Đây là các bộ sinh văn bản tự nhiên, rất phù hợp để tiếp tục văn bản, hội thoại và trả lời câu hỏi.
• Bộ mã hóa-giải mã (Encoder-Decoder): Các mô hình kiểu T5 và GNMT. Chúng có cả hai phần: bộ mã hóa xử lý chuỗi đầu vào, còn bộ giải mã tạo ra chuỗi đầu ra. Đây là kiến trúc đa năng cho các tác vụ chuyển đổi như dịch thuật hoặc tóm tắt.

Quy mô: Tham số, dữ liệu và cơ sở hạ tầng

Thành công của Google trong lĩnh vực LLM phần lớn do ba yếu tố:

1. Quy mô mô hình: Tăng có hệ thống số lượng tham số từ hàng triệu (BERT) lên hàng trăm tỷ (PaLM, Gemini).
2. Quy mô dữ liệu: Khả năng tiếp cận một trong những kho dữ liệu lớn nhất thế giới (chỉ mục web của Google, YouTube, Google Books), cho phép huấn luyện các mô hình trên hàng nghìn tỷ token.
3. Cơ sở hạ tầng: Sử dụng các chip chuyên dụng nội bộ — Tensor Processing Unit (TPU) — và hệ thống phân tán Pathways, cho phép huấn luyện hiệu quả và ổn định các mô hình siêu lớn.

Đa phương thức và tính tác nhân

Các mô hình mới nhất của Google, đặc biệt là Gemini, đang hướng tới đa phương thức sâu và tính tác nhân.

• Đa phương thức gốc có nghĩa là một mô hình duy nhất ngay từ đầu được huấn luyện để hiểu và kết hợp các loại dữ liệu khác nhau (văn bản, hình ảnh, âm thanh), thay vì chỉ đơn giản kết nối các mô-đun riêng biệt.
• Tính tác nhân (Agentic AI) — là khả năng của mô hình không chỉ trả lời các yêu cầu, mà còn tự lập kế hoạch và thực hiện một chuỗi hành động để đạt được mục tiêu (ví dụ, gọi các công cụ bên ngoài như tìm kiếm hoặc máy tính).

Bảng tổng hợp các mô hình chính

So sánh các mô hình ngôn ngữ chính của Google

Mô hình	Năm phát hành	Số tham số (ước tính)	Kiến trúc	Đặc điểm chính
BERT	2018	110–340 triệu	Bộ mã hóa	Hiểu ngữ cảnh hai chiều, SOTA trên các tác vụ NLP.
T5	2019	60 triệu – 11 tỷ	Bộ mã hóa-giải mã	Cách tiếp cận thống nhất «văn bản sang văn bản» cho mọi tác vụ.
LaMDA	2021	137 tỷ	Bộ giải mã	Chuyên biệt hóa về hội thoại mở, có ý nghĩa.
PaLM	2022	540 tỷ	Bộ giải mã	Đột phá trong lập luận logic (Chain-of-Thought), huấn luyện quy mô lớn.
Chinchilla	2022	70 tỷ	Bộ giải mã	Mô hình «tối ưu về tính toán», chứng minh tầm quan trọng của sự cân bằng dữ liệu và tham số.
Gemini 1.0	2023	đến ~1 nghìn tỷ (Ultra)	Đa phương thức (có thể là MoE)	Đa phương thức gốc, SOTA trên nhiều benchmark (MMLU).
Gemini 1.5	2024	Chưa công bố	Đa phương thức (MoE)	Cửa sổ ngữ cảnh lên đến 1-2 triệu token, hiệu quả cao.
Gemini 2.0	2024	Chưa công bố	Đa phương thức + Tools	Khả năng tác nhân tích hợp, sinh hình ảnh/âm thanh.

Ứng dụng trong sản phẩm và hệ sinh thái

Google tích cực tích hợp các LLM của mình vào toàn bộ dòng sản phẩm:

• Google Tìm kiếm: BERT, MUM và Gemini được sử dụng để hiểu tốt hơn các truy vấn phức tạp và cung cấp câu trả lời trực tiếp dưới dạng AI Overviews (trước đây là SGE).
• Google Assistant và Bard (nay là Gemini): Chuyển đổi từ các lệnh giọng nói đơn giản sang trợ lý hội thoại đầy đủ dựa trên LaMDA, PaLM 2 và Gemini.
• Google Workspace: Các tính năng Duet AI (nay là Gemini for Workspace) giúp soạn thư trong Gmail, tạo văn bản trong Docs và tạo bản trình bày trong Slides.
• Android: Gemini Nano cho phép các tính năng AI hoạt động cục bộ trên thiết bị, chẳng hạn như Pixel, để tăng cường quyền riêng tư và tốc độ.
• Google Cloud AI: Nền tảng Vertex AI cung cấp cho các doanh nghiệp quyền truy cập vào các mô hình PaLM và Gemini thông qua API để xây dựng ứng dụng của riêng họ.

Vai trò trong môi trường cạnh tranh

Google là một trong những nhân vật chủ chốt trong «cuộc đua AI», trong đó các đối thủ cạnh tranh chính là OpenAI (với sự hỗ trợ của Microsoft) và Meta.

• Cạnh tranh với OpenAI: Mặc dù Google là đơn vị tiên phong trong nhiều công nghệ nền tảng (bao gồm cả Transformer), sự ra đời của ChatGPT vào cuối năm 2022 đã buộc Google phải đẩy nhanh việc đưa sản phẩm ra thị trường (ví dụ: Bard). Sự cạnh tranh diễn ra trên các khía cạnh chất lượng mô hình (Gemini Ultra so với GPT-4), kích thước cửa sổ ngữ cảnh và sự tiện lợi của API.
• Đối lập với Meta: Meta đã đặt cược vào mã nguồn mở (các mô hình LLaMA), tạo ra một lựa chọn thay thế mạnh mẽ cho các mô hình đóng của Google và OpenAI. Để đáp lại, Google cũng bắt đầu phát hành các mô hình mã nguồn mở, chẳng hạn như Gemma, nhằm hỗ trợ cộng đồng nhà phát triển và không nhường lại hệ sinh thái cho Meta.
• Các liên minh chiến lược: Google đầu tư vào các công ty khác, ví dụ như startup Anthropic (nhà sáng tạo mô hình Claude), để đa dạng hóa cách tiếp cận và củng cố vị thế của mình trong cuộc cạnh tranh điện toán đám mây.

Tài liệu tham khảo

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
• Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
• Hoffmann, R. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. JMLR.
• Gemini Team, Google (2023). Gemini: A Family of Highly Capable Multimodal Models. arXiv:2312.11805.

Liên kết

• Cổng thông tin chính thức Google AI
• Trang web chính thức Google DeepMind