ERNIE (Baidu) (VI)

ERNIE (Baidu) — dòng mô hình ngôn ngữ được tiền huấn luyện (Large Language Model, LLM) và mô hình nền tảng đa phương thức do công ty Baidu phát triển từ năm 2019 dưới tên chung Enhanced Representation through kNowledge IntEgration (tăng cường biểu diễn thông qua tích hợp tri thức). Dòng mô hình này hướng đến nâng cao chất lượng hiểu ngữ nghĩa và sinh văn bản thông qua việc tích hợp tường minh tri thức bên ngoài từ đồ thị tri thức (Knowledge Graph, KG), bản thể luận và bách khoa toàn thư vào quá trình tiền huấn luyện.

Các mô hình trong dòng này đã tiến hóa từ các biến thể ban đầu dựa trên BERT với cơ chế che lấp thực thể và cụm từ (ERNIE 1.0, 2.0), qua các kiến trúc thống nhất quy mô lớn (ERNIE 3.0, ERNIE 3.0 Titan), đến các hệ thống đa phương thức mã nguồn mở dựa trên Mixture-of-Experts (MoE) (ERNIE 4.5) và mô hình đa phương thức gốc (ERNIE 5.0). Dòng mô hình hỗ trợ các tác vụ hiểu văn bản (Natural Language Understanding, NLU), sinh văn bản (Natural Language Generation, NLG) và, ở các phiên bản muộn hơn, các tác vụ đa phương thức (văn bản, hình ảnh, video, âm thanh), với trọng tâm là tiếng Trung và hỗ trợ đa ngôn ngữ.

Lịch sử và bối cảnh

Việc phát triển dòng ERNIE bắt đầu vào năm 2019 tại bộ phận nghiên cứu của Baidu, xuất phát từ thành công của mô hình BERT (Devlin et al., 2018) và nhu cầu thích ứng các mô hình tiền huấn luyện cho tiếng Trung — một ngôn ngữ mà việc không có khoảng trắng rõ ràng giữa các từ và tỷ lệ cao các ký tự đa nghĩa làm phức tạp việc nắm bắt các đơn vị ngữ nghĩa (thực thể, cụm từ).

ERNIE 1.0 (2019)

Mô hình đầu tiên trong dòng này (Sun et al., arXiv:1904.09223, tháng 4 năm 2019) giới thiệu chiến lược che lấp tri thức đa cấp (knowledge masking) cho kiến trúc kiểu BERT: thay vì che lấp ngẫu nhiên các token riêng lẻ, mô hình che lấp toàn bộ thực thể và cụm từ được xác định dựa trên nhận dạng thực thể có tên (Named Entity Recognition, NER) và các mẫu cụm từ.

Kiến trúc ERNIE 1.0 dựa trên bộ mã hóa Transformer (12 lớp, chiều ẩn 768, 12 đầu chú ý). Ngoài ra, một tác vụ Dialogue Language Model (DLM) được đưa vào để huấn luyện trên dữ liệu hội thoại. Mô hình được huấn luyện trên ~173 triệu câu tiếng Trung từ các kho ngữ liệu Wikipedia, Baidu Baike, tin tức và diễn đàn Baidu Tieba. Tại thời điểm công bố, ERNIE 1.0 đạt kết quả state-of-the-art (SOTA) trên năm tác vụ NLP tiếng Trung: XNLI (độ chính xác 78,4% trên tập kiểm tra so với 77,2% của BERT), MSRA-NER (F1 93,8% so với 92,6%).

ERNIE 2.0 (2019)

ERNIE 2.0 (Sun et al., arXiv:1907.12412, tháng 7 năm 2019; được chấp nhận tại hội nghị AAAI 2020) giới thiệu framework tiền huấn luyện đa tác vụ liên tục (continual multi-task pre-training), trong đó các tác vụ tiền huấn luyện mới được thêm tuần tự (tăng dần) vào transformer chung mà không cần huấn luyện lại toàn bộ mô hình.

Các tác vụ tiền huấn luyện của ERNIE 2.0 được chia thành ba nhóm:

• Word-aware — che lấp tri thức (knowledge masking), dự đoán viết hoa (capitalization prediction), quan hệ token với tài liệu (token-document relation).
• Structure-aware — sắp xếp lại câu (sentence reordering), xác định khoảng cách giữa các câu (sentence distance).
• Semantic-aware — dự đoán quan hệ diễn ngôn (discourse relation prediction), dự đoán mức độ liên quan cho tìm kiếm thông tin (IR relevance prediction).

Mô hình được huấn luyện trên các kho ngữ liệu tiếng Anh và tiếng Trung (bách khoa toàn thư, sách, Reddit, nhật ký tìm kiếm). Kết quả: điểm trung bình GLUE cho mô hình base là 80,6 (so với 78,3 của BERT), cho mô hình large là 83,6; ERNIE 2.0 vượt qua BERT và XLNet trên 16 tác vụ.

ERNIE 3.0 (2021)

Framework ERNIE 3.0 (Sun et al., arXiv:2107.02137, tháng 7 năm 2021) kết hợp mô hình tiền huấn luyện tự mã hóa (auto-encoding, AE) và tự hồi quy (auto-regressive, AR) trong một kiến trúc thống nhất, được chia thành mô-đun biểu diễn phổ quát (Universal Representation Module) và các mô-đun biểu diễn đặc thù tác vụ (Task-specific Representation Modules) cho NLU và NLG.

Mô hình với 10 tỷ tham số được huấn luyện trên 4 TB văn bản tiếng Trung (11 danh mục: Baidu Baike, Wikipedia, nhật ký tìm kiếm, hệ thống hỏi đáp, văn bản chuyên ngành) và đồ thị tri thức với hơn 50 triệu sự kiện. ERNIE 3.0 đạt SOTA trên 54 tác vụ NLP tiếng Trung; trên benchmark SuperGLUE tiếng Anh — 90,6% (tính đến ngày 3 tháng 7 năm 2021, cao hơn mốc tham chiếu của con người là 89,8%).

ERNIE 3.0 Titan (2021)

Bài báo «ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation» (Wang et al., arXiv:2112.12731, tháng 12 năm 2021) mô tả việc mở rộng framework ERNIE 3.0 lên mô hình dày đặc (dense) với 260 tỷ tham số, được triển khai trên nền tảng PaddlePaddle.

Titan giới thiệu các cơ chế bổ sung: adversarial loss tự giám sát để đánh giá độ tin cậy của văn bản được tạo ra, controllable language modeling loss để kiểm soát phong cách, chủ đề, sắc thái và độ dài của văn bản sinh ra, cũng như chưng cất trực tuyến (On-the-Fly Distillation, OFD) để thu được các mô hình học sinh nhỏ gọn trong quá trình tiền huấn luyện. Mô hình được đánh giá trên 68 tập dữ liệu và, theo các tác giả, vượt qua các mô hình trước đó trên tất cả 68 dataset.

ERNIE Bot và các phiên bản thương mại (2023–2025)

Vào tháng 3 năm 2023, Baidu phát hành chatbot ERNIE Bot (Wenxin Yiyan, 文心一言) dựa trên các mô hình ERNIE 3.x và PLATO (mô hình hội thoại). Quyền truy cập công khai được mở vào tháng 8 năm 2023 sau khi được các cơ quan quản lý phê duyệt. Các bản cập nhật bao gồm ERNIE 3.5 (tháng 6 năm 2023) và ERNIE 4.0 (tháng 10 năm 2023).

Theo báo cáo SuperBench của Đại học Thanh Hoa, ERNIE Bot 4.0 xếp hạng nhất trong số các LLM Trung Quốc theo chỉ số tổng hợp, thể hiện kết quả mạnh về hiểu ngôn ngữ tiếng Trung và tuân theo chỉ dẫn.

Vào năm 2022, song song với dòng ngôn ngữ chính, một phần mở rộng đa phương thức ERNIE-ViLG 2.0 (arXiv:2210.15257) được giới thiệu — mô hình tạo ảnh từ văn bản (text-to-image), đây là một trong những bước đi đầu tiên theo hướng đa phương thức.

Vào năm 2024, tại hội nghị WAVE SUMMIT, Baidu giới thiệu ERNIE 4.0 Turbo — phiên bản được tối ưu hóa cho các ứng dụng tốc độ cao, có khả năng tạo văn bản dài hơn một nghìn từ trong khoảng 20 giây trong khi vẫn duy trì chất lượng.

ERNIE 4.5 (2025)

Vào tháng 6 năm 2025, Baidu công bố báo cáo kỹ thuật ERNIE 4.5, trình bày một gia đình gồm 10 mô hình: LLM văn bản và mô hình đa phương thức (Vision-Language, VL). Kiến trúc dựa trên Mixture-of-Experts (MoE) không đồng nhất với sự phân chia các chuyên gia theo phương thức. Các biến thể bao gồm các mô hình MoE với tổng cộng tới 424 tỷ và 47 tỷ tham số hoạt động, cũng như mô hình dày đặc với 0,3 tỷ tham số. Gia đình mô hình được phát hành theo giấy phép Apache 2.0 trên Hugging Face và GitHub (PaddlePaddle/ERNIE).

ERNIE 5.0 (2026)

Vào tháng 2 năm 2026, báo cáo kỹ thuật ERNIE 5.0 (arXiv:2602.04705) được công bố — một mô hình tự hồi quy đa phương thức gốc với MoE cực thưa (ultra-sparse MoE), hỗ trợ mô hình hóa chung văn bản, hình ảnh, âm thanh và video. Mô hình chiếm các vị trí cao trên bảng xếp hạng LMArena.

Cơ sở lý thuyết và nguyên tắc kiến trúc

Che lấp tri thức (Knowledge Masking)

Nguyên tắc cốt lõi của các mô hình đầu dòng là tích hợp tri thức có cấu trúc vào quá trình tiền huấn luyện thông qua các chiến lược che lấp được sửa đổi. Khác với Masked Language Modeling (MLM) tiêu chuẩn, nơi các token riêng lẻ bị che lấp, ERNIE 1.0 che lấp toàn bộ các đơn vị ngữ nghĩa: thực thể (xác định qua NER) và cụm từ. Đối với một thực thể $E=\{t_1,\dots ,t_k\}$, toàn bộ chuỗi token được che lấp với xác suất $p$. Cách tiếp cận này buộc mô hình phải dựa vào ngữ cảnh rộng hơn và học các mối quan hệ giữa các thực thể.

ERNIE 2.0 phát triển cách tiếp cận này bằng cách thêm học đa tác vụ tăng dần: các tác vụ ở cấp độ từ vựng, cấu trúc và ngữ nghĩa được thêm tuần tự, trong khi kiến thức đã học trước đó được bảo tồn nhờ cơ chế tiền huấn luyện liên tục (continual pre-training).

Framework thống nhất ERNIE 3.0

Framework ERNIE 3.0 dựa trên việc phân chia kiến trúc thành hai cấp:

• Universal Representation Module — Transformer-XL đa lớp chung, được huấn luyện trên nhiều tác vụ tiền huấn luyện và trích xuất các đặc trưng từ vựng và cú pháp chung. Trong phiên bản Titan, mô-đun này chứa 48 lớp, biểu diễn ẩn kích thước 12288, 192 đầu chú ý và kích thước nội của mạng feed-forward là 196608 ($16\times d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$).
• Task-specific Representation Modules — các mô-đun riêng biệt cho NLU (chú ý hai chiều) và NLG (chú ý một chiều với bộ nhớ hồi quy Transformer-XL), mỗi mô-đun có 12 lớp, kích thước vector ẩn 768 và 12 đầu chú ý.

Việc tích hợp mô hình tự mã hóa và tự hồi quy cho phép một mô hình đạt kết quả cao trên các benchmark NLU (tác vụ kiểu BERT) và các benchmark NLG (tác vụ kiểu GPT).

Universal Knowledge-Text Prediction (UKTP)

Tác vụ UKTP là cơ chế trung tâm tích hợp tri thức trong ERNIE 3.0/Titan. Mô hình nhận một cặp (bộ ba từ đồ thị tri thức, câu từ bách khoa toàn thư) và phải dự đoán quan hệ trong bộ ba bằng cách sử dụng văn bản, hoặc dự đoán các token bị che lấp trong văn bản bằng cách sử dụng thông tin từ bộ ba.

Khi dự đoán quan hệ $r$ trong bộ ba $(h,r,t)$ liên kết với văn bản $x$, tác vụ được hình thức hóa như phân loại đa lớp:

$P_{\theta }(r\mid x,h,t)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(W\cdot f_{\theta }(x,h,t)+b)$

trong đó $f_{\theta }$ — đầu ra của transformer theo vị trí đề cập của thực thể đầu và thực thể đuôi, $W,b$ — tham số của bộ phân loại, $\theta$ — tham số của mô hình.

Cơ chế sinh có kiểm soát và đáng tin cậy (Titan)

ERNIE 3.0 Titan giới thiệu hai loại hàm mất mát bổ sung.

Adversarial loss tự giám sát. Một tập dữ liệu $D_a=\{D_{\text{original}},D_{\text{generated}}\}$ được hình thành, trong đó $D_{\text{original}}$ — các đoạn văn thực, còn $D_{\text{generated}}$ — các văn bản được tạo bởi phiên bản ERNIE trước đó dựa trên tiền tố của các đoạn văn gốc. Tác vụ là phân loại nhị phân (gốc / sinh) dựa trên trạng thái ẩn của token đặc biệt [CLS]:

$L_a(D_a)=-\sum _{n=1}^{|D_a|}\log P_{\theta }(y_n=I_{h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)}\in D_{\text{original}}}\mid h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)})$

trong đó $h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)}$ — biểu diễn vector của [CLS] cho ví dụ thứ $n$, $I_{\cdot }$ — chỉ số thuộc về văn bản gốc.

Controllable language modeling loss. Mỗi mẫu huấn luyện đi kèm với một tập các thuộc tính (prompt) mô tả thể loại, chủ đề, từ khóa, sắc thái và độ dài. Hàm mất mát kết hợp mô hình hóa ngôn ngữ có điều kiện và không điều kiện:

$L_c(D_c)=\{\begin{array}{cc}-\sum _{n=1}^{|D_c|}\log P_{\theta }(x_t^{(n)}\mid x_{<t}^{(n)}),& \text{если }p\le \mathrm{0,5},\\ -\sum _{n=1}^{|D_c|}\log P_{\theta }(x_t^{(n)}\mid x_{<t}^{(n)},{\text{prompts}}_n),& \text{если }p>\mathrm{0,5},\end{array}$

trong đó $p$ — biến ngẫu nhiên để luân phiên giữa các chế độ, $x_t^{(n)}$ — token thứ $t$ của ví dụ thứ $n$. Định nghĩa như vậy ngăn mô hình phụ thuộc quá mức vào các prompt.

Kiến trúc MoE không đồng nhất (ERNIE 4.5)

ERNIE 4.5 giới thiệu kiến trúc Mixture-of-Experts đa phương thức không đồng nhất với sự phân chia chuyên gia theo phương thức: chuyên gia văn bản và chuyên gia thị giác (chuyên gia thị giác có kích thước xấp xỉ 1/3 so với chuyên gia văn bản). Định tuyến token được thực hiện với cách ly theo phương thức (modality-isolated routing) và áp dụng phạt trực giao hóa cho bộ định tuyến (router orthogonalization loss, hệ số bậc $10^{-3}$) để đảm bảo chuyên môn hóa của các chuyên gia. 3D RoPE (Rotary Position Embeddings) được sử dụng để mã hóa vị trí theo chiều thời gian, chiều cao và chiều rộng trong dữ liệu video. Cơ chế FlashMask được áp dụng để xử lý hiệu quả ngữ cảnh dài (lên đến 131 nghìn token) với mặt nạ $O(N)$.

Việc tiền huấn luyện ERNIE 4.5 được thực hiện theo nhiều giai đoạn: đầu tiên huấn luyện chỉ trên dữ liệu văn bản, sau đó trên dữ liệu thị giác, và trong giai đoạn cuối — huấn luyện chung trên dữ liệu đa phương thức (text-only → vision-only → joint). Để xử lý hình ảnh, một bộ mã hóa ViT (Vision Transformer) thích ứng được sử dụng với cơ chế pixel shuffle để căn chỉnh biểu diễn của các phương thức khác nhau. Hỗ trợ xử lý video dài (lên đến 32 nghìn token) với lấy mẫu khung thích ứng (adaptive frame sampling).

Đa phương thức gốc (ERNIE 5.0)

ERNIE 5.0 triển khai mô hình hóa tự hồi quy gốc trên nhiều phương thức (văn bản, hình ảnh, âm thanh, video) trong một kiến trúc thống nhất với MoE cực thưa, trong đó ít hơn 3% tổng số chuyên gia được kích hoạt ở mỗi bước. Next-Group-of-Tokens Prediction — dự đoán một nhóm token thay vì một token — được sử dụng làm tác vụ tiền huấn luyện, giúp nâng cao hiệu quả học. Một codec phân cấp (hierarchical codec) được áp dụng cho phương thức âm thanh. Công nghệ elastic training cho phép tạo ra các mô hình con với độ sâu, độ rộng và mức độ thưa khác nhau trong một lần chạy huấn luyện duy nhất.

Các tác vụ tiền huấn luyện và dữ liệu

Các tác vụ tiền huấn luyện ERNIE 3.0 / Titan

ERNIE 3.0 và Titan sử dụng các nhóm tác vụ tiền huấn luyện sau:

Các tác vụ Word-aware:

• Knowledge Masked Language Modeling — che lấp cụm từ và thực thể để học các phụ thuộc trong ngữ cảnh cục bộ và toàn cục.
• Document Language Modeling — mô hình hóa tự hồi quy các tài liệu có độ dài đến 512 token và sử dụng bộ nhớ hồi quy Transformer-XL.

Các tác vụ Structure-aware:

• Sentence Reordering — với một đoạn văn được chia ngẫu nhiên thành $m$ đoạn và xáo trộn, mô hình giải quyết tác vụ phân loại $k$ lớp với $k=\sum _{n=1}^{m}n!$, khôi phục thứ tự ban đầu.
• Sentence Distance — phân loại 3 lớp: các câu liền kề, không liền kề trong cùng tài liệu, các câu từ các tài liệu khác nhau.

Các tác vụ Knowledge-aware:

• Universal Knowledge-Text Prediction (UKTP) — mô hình hóa chung văn bản và bộ ba đồ thị tri thức.
• Credible and Controllable Generations — kết hợp adversarial loss và controllable LM loss.

Dữ liệu tiền huấn luyện

Cho ERNIE 3.0/Titan, ERNIE 3.0 Corpus được sử dụng — kho ngữ liệu tiếng Trung khoảng 4 TB gồm 11 danh mục, bao gồm trang web, nhật ký tìm kiếm, dữ liệu hỏi đáp, văn bản nghệ thuật, pháp lý, tài chính và y tế, tiểu thuyết và thơ. Trên kho ngữ liệu này, một đồ thị tri thức với hơn 50 triệu sự kiện được xây dựng.

Ngoài ra, cho Titan còn được hình thành:

• Adversarial dataset — 2 triệu đoạn văn gốc và các đoạn văn «tiêu cực» tương ứng được ERNIE 3.0 tạo ra dựa trên tiền tố 1–3 câu đầu của đoạn văn gốc, có độ dài tối đa 512 token.
• Controllable dataset — các văn bản được gắn các thuộc tính thể loại, chủ đề (26 chủ đề), từ khóa, sắc thái (positive/negative/neutral) và độ dài. Các thuộc tính thể loại được mã hóa bằng các «prompt mềm» có thể học được (số lượng prompt cho thể loại được chọn ngẫu nhiên từ 0 đến 64).

Các phiên bản muộn hơn (ERNIE 4.5, 5.0) sử dụng các kho ngữ liệu đa phương thức mở rộng (văn bản, hình ảnh, video, âm thanh), bao gồm nội dung web được tuyển chọn, các ấn phẩm khoa học và dữ liệu tổng hợp.

Huấn luyện và tối ưu hóa phân tán

Việc tiền huấn luyện ERNIE 3.0 Titan được thực hiện với bộ tối ưu hóa Adam (tốc độ học $10^{-4}$, ${\beta }_1=\mathrm{0,9}$, ${\beta }_2=\mathrm{0,95}$, điều chuẩn L2 là 0,1, cắt chuẩn gradient đến 1,0), độ dài ngữ cảnh tối đa 512 và độ dài bộ nhớ hồi quy 128 cho các tác vụ sinh. Một lịch huấn luyện tăng dần (hội tụ nhanh trong 4000 bước đầu) và suy giảm tuyến tính tốc độ học được áp dụng.

Song song hóa lai 4D

Để huấn luyện mô hình dày đặc với 260 tỷ tham số trên các cụm máy không đồng nhất (GPU NVIDIA V100 và NPU Ascend 910), PaddlePaddle triển khai song song hóa lai 4D:

• Data parallelism (DP) — nhân bản mô hình trên nhiều thiết bị với xử lý batch riêng biệt.
• Tensor model parallelism (MP) — phân chia tham số và kích hoạt của transformer bên trong các lớp theo thiết bị.
• Pipeline model parallelism (PP) — phân phối các lớp mô hình theo đường ống.
• Group Sharded — biến thể cải tiến của sharded-data-parallel kiểu ZeRO để giảm sự trùng lặp trạng thái của bộ tối ưu hóa.

Báo cáo cung cấp dữ liệu về khả năng mở rộng yếu đến hàng nghìn card Ascend 910 với hiệu quả khoảng 91,7% về thông lượng.

Huấn luyện ERNIE 4.5

Việc huấn luyện ERNIE 4.5 được thực hiện trên cụm gồm 2016 GPU NVIDIA H800, đạt Model FLOPs Utilization (MFU) 47%. Độ chính xác hỗn hợp FP8, các điểm kiểm tra chịu lỗi (Zero Cost Checkpoint, phục hồi trong vòng chưa đầy 8 phút) và huấn luyện tăng dần với độ dài chuỗi và kích thước batch tăng dần được sử dụng.

Chưng cất trực tuyến

Để giảm yêu cầu tài nguyên tính toán khi triển khai ERNIE 3.0 Titan, chưng cất trực tuyến được sử dụng, trong đó mô hình giáo viên và nhiều mô hình học sinh được huấn luyện đồng thời:

• On-the-Fly Distillation (OFD) — các logit và biểu diễn của giáo viên được sử dụng để huấn luyện học sinh ở cùng các bước huấn luyện.
• Teacher assistants — các mô hình có kích thước trung gian, thu hẹp khoảng cách năng lực giữa giáo viên và học sinh cuối.
• Auxiliary Layer Distillation (ALD) — một lớp bổ sung trong học sinh, được bỏ đi khi fine-tuning, để căn chỉnh tốt hơn các biểu diễn nội tại.

Hậu huấn luyện và căn chỉnh

Các phiên bản thương mại của ERNIE (bắt đầu từ ERNIE Bot) trải qua các giai đoạn hậu huấn luyện:

• Supervised Fine-Tuning (SFT) — tinh chỉnh trên dữ liệu chỉ dẫn có nhãn (trong ERNIE 4.5 — 2,3 triệu ví dụ).
• Reinforcement Learning from Human Feedback (RLHF) — căn chỉnh hành vi mô hình bằng phản hồi của con người; các thuật toán PPO (Proximal Policy Optimization) và DPO (Direct Preference Optimization) được áp dụng.
• Unified Preference Optimization (UPO) — phương pháp tối ưu hóa ưu tiên thống nhất được giới thiệu trong ERNIE 4.5.
• Reinforcement Learning with Verifiers (RLVR) — học tăng cường với các bộ kiểm định để xác minh tính đúng đắn của câu trả lời; phương pháp GRPO (Group Relative Policy Optimization) được áp dụng.
• Chế độ suy luận (thinking modes) — các mô hình 4.5 hỗ trợ chế độ có phản chiếu (reflection, planning) và không có phản chiếu.

Kết quả chính và các benchmark

Bảng tổng hợp quá trình tiến hóa các mô hình

Phiên bản	Năm	Tham số	Kiến trúc	Các benchmark chính	Nguồn
ERNIE 1.0	2019	~110 triệu (base)	Transformer-encoder (kiểu BERT)	XNLI 78,4%; MSRA-NER F1 93,8%
ERNIE 2.0	2019	~110–340 triệu	Continual multi-task	GLUE 80,6 (base) / 83,6 (large); 16 tác vụ SOTA
ERNIE 3.0	2021	10 tỷ	Unified Transformer-XL (AE+AR)	SuperGLUE 90,6% (> human 89,8%); 54 tác vụ tiếng Trung SOTA
ERNIE 3.0 Titan	2021	260 tỷ (dense)	Dense + controllable generation	68 dataset SOTA; zero/few-shot
ERNIE 4.5	2025	0,3–424 tỷ (MoE, 47 tỷ hoạt động)	Heterogeneous multimodal MoE	C-Eval 90,6%; MMLU 86,5%; MMMU 67,3–70%
ERNIE 5.0	2026	~2,4 nghìn tỷ (ultra-sparse MoE)	Unified autoregressive multimodal MoE	LMArena Elo ~1460 (top-10 toàn cầu)

Kết quả của ERNIE 3.0 và Titan

ERNIE 3.0 (10 tỷ tham số) trên benchmark SuperGLUE tiếng Anh đạt kết quả trung bình 90,6, vượt qua mốc tham chiếu của con người (89,8) và các chỉ số của GPT-3, T5 và DeBERTa tại thời điểm công bố. ERNIE 3.0 Titan (260 tỷ) được đánh giá trên 68 tập dữ liệu, bao gồm các tác vụ phân loại, NLI, QA và sinh văn bản; các tác giả báo cáo vượt trội hơn các mô hình trước đó trên tất cả 68 dataset. Những kết quả này là dữ liệu từ nguồn gốc; việc tái tạo độc lập được mô tả còn hạn chế.

Kết quả của ERNIE 4.5

Theo dữ liệu báo cáo kỹ thuật năm 2025, ERNIE 4.5 (300B-A47B, sau huấn luyện) cho thấy các kết quả sau trên các benchmark văn bản và đa phương thức:

Benchmark	ERNIE-4.5-300B-A47B	Điều kiện
C-Eval	90,6%	5-shot
CMMLU	90,2%	—
MMLU	86,5%	tiêu chuẩn
IFEval	88,0%	instruction following
GSM8K	91,8%	—
MMMU	67,3–70,0%	non-thinking / thinking
MathVista	78,8%	thinking mode
OCRBench	883	—

Theo dữ liệu báo cáo, ERNIE 4.5 vượt trội hơn DeepSeek-V3 trên 22 trong số 28 benchmark; các biến thể đa phương thức (ERNIE-4.5-VL-424B-A47B) cho thấy kết quả cạnh tranh trên các tác vụ suy luận thị giác. Đối với một số tác vụ suy luận thị giác và diễn giải hình ảnh kỹ thuật (phân tích sơ đồ, biểu đồ kỹ thuật), các kết quả được báo cáo cao hơn so với một số mô hình GPT và Gemini.

So sánh ERNIE 4.5 với các đối thủ cạnh tranh (các benchmark được chọn lọc, sau huấn luyện, theo dữ liệu báo cáo kỹ thuật 2025):

Benchmark	ERNIE-4.5-300B-A47B	DeepSeek-V3-671B-A37B	Qwen3-235B-A22B	Ghi chú
C-Eval	90,6%	—	—	5-shot
MMLU	86,5%	tương đương	—	tiêu chuẩn
IFEval	88,0%	—	83,2%	instruction following
MMMU	67,3–70,0%	—	—	thinking / non-thinking
MathVista	78,8%	—	77,6% (Qwen2.5-VL)	thinking mode

Điều kiện tái tạo: các giao thức tiêu chuẩn (5-shot / zero-shot); các dataset mở (C-Eval 2023+, MMLU, MMMU). Dấu gạch ngang («—») có nghĩa là dữ liệu có thể so sánh trong cùng điều kiện không được cung cấp trong báo cáo.

Đánh giá ERNIE Bot 4.0

Báo cáo SuperBench của Đại học Thanh Hoa xếp hạng các LLM thương mại theo tập hợp các tác vụ (hiểu ngôn ngữ, toán học, lập trình, đa nhiệm). ERNIE Bot 4.0 xếp hạng nhất trong số các mô hình Trung Quốc, vượt qua GLM-4 (Zhipu AI) khoảng 0,41 điểm theo chỉ số tổng hợp; các mô hình GPT-4 và Anthropic Claude-3 vẫn đứng cao hơn trong bảng xếp hạng toàn cầu. ERNIE Bot 4.0 thể hiện kết quả mạnh trong hiểu văn bản tiếng Trung và tuân theo chỉ dẫn, trong khi kết quả yếu hơn ở lập trình và một số tác vụ tiếng Anh.

Ứng dụng

Sản phẩm và dịch vụ của Baidu

Các mô hình dòng ERNIE được tích hợp vào hệ sinh thái sản phẩm của Baidu:

• ERNIE Bot (Wenxin Yiyan) — chatbot hỗ trợ sinh đa phương thức (văn bản, hình ảnh, video, âm thanh). Theo dữ liệu của Baidu, số người dùng hoạt động hàng tháng vượt 200 triệu (2024–2025). Từ năm 2025, ERNIE Bot có sẵn miễn phí.
• Tìm kiếm Baidu — sinh câu trả lời và các tính năng AI trong kết quả tìm kiếm; theo dữ liệu của Baidu, tới 70% kết quả hàng đầu được làm phong phú bằng các thành phần AI.
• Qianfan (nền tảng MaaS) — API cho khách hàng doanh nghiệp; theo dữ liệu của Baidu, hơn 760 nghìn doanh nghiệp sử dụng nền tảng, số lượng cuộc gọi API hàng ngày vượt 1,5 tỷ (2024). Trong số khách hàng có Lenovo, Trip.com và những công ty khác.
• Comate — trợ lý AI cho lập trình.
• Wenxin Yige — tạo ảnh dựa trên các mô hình ERNIE-ViLG.
• Tích hợp với các đối tác bên ngoài: Samsung Galaxy (cho thị trường Trung Quốc), avatar kỹ thuật số, plugin (tìm kiếm, phân tích tệp).

Ứng dụng trong các ngành

Các mô hình được ứng dụng trong các lĩnh vực sau:

• Hệ thống hỏi đáp trong các lĩnh vực chuyên ngành (pháp lý, y tế, tài chính) với tiền huấn luyện tăng cường tri thức.
• Tạo và chỉnh sửa văn bản tiếng Trung (tin tức, nội dung marketing, sáng tạo).
• Các tác vụ đa phương thức: phân tích hình ảnh, sơ đồ kỹ thuật, video và dữ liệu bảng (trong các phiên bản 4.5 trở lên).
• Giáo dục (học tập cá nhân hóa), robot (lập kế hoạch tác vụ), lái xe tự động (Apollo).

Mã nguồn mở

Bắt đầu từ ERNIE 4.5, tất cả 10 biến thể trong gia đình được phát hành theo giấy phép Apache 2.0 với bộ công cụ ERNIEKit (hỗ trợ SFT, LoRA, DPO, suy luận trên PaddlePaddle/FastDeploy). Mã nguồn của các phiên bản trước (ERNIE 1.0–3.0) có sẵn trên GitHub PaddlePaddle/ERNIE.

Hạn chế và các vấn đề còn mở

Hạn chế về kiến trúc và tập dữ liệu

ERNIE 3.0 Titan với 260 tỷ tham số bị giới hạn độ dài ngữ cảnh 512 token cho từng mô-đun riêng lẻ, điều này hạn chế việc mô hình hóa các văn bản dài mà không có các cơ chế bổ sung (chunking, bộ nhớ ngoài). Quá trình huấn luyện chủ yếu được tiến hành trên kho ngữ liệu tiếng Trung, dẫn đến sự không đồng nhất về chất lượng giữa tiếng Trung và các ngôn ngữ khác.

Việc tích hợp đồ thị tri thức cải thiện khả năng xử lý các sự kiện có cấu trúc, nhưng độ chính xác và đầy đủ của tri thức bị giới hạn bởi chất lượng của chính đồ thị và thủ tục ánh xạ «bộ ba–văn bản» (entity linking, relation alignment), điều này trong một số trường hợp dẫn đến các liên kết sai hoặc không đầy đủ.

Ảo giác và độ tin cậy

Adversarial loss và controllable LM loss cải thiện khả năng chống lại các văn bản sinh không đáng tin cậy, nhưng không thể loại bỏ hoàn toàn vấn đề ảo giác (sinh ra các khẳng định không chính xác về mặt thực tế). Các tham số của bộ phân loại adversarial được huấn luyện trên dữ liệu trong đó văn bản «được sinh ra» được tạo bởi phiên bản ERNIE trước đó, điều này hạn chế phổ các mẫu lỗi được nhận dạng.

Định kiến xã hội

Nghiên cứu được công bố trên PeerJ Computer Science (2025) phân tích các định kiến xã hội trong các LLM tiếng Trung (ERNIE và Qwen) sử dụng 240 nhóm xã hội và hơn 30 nghìn mô tả được tạo ra. Kết quả cho thấy ERNIE tạo ra ít nội dung tiêu cực và mang tính khuôn mẫu hơn so với Baidu Search hoặc Qwen (khoảng 1/10 số từ ứng viên có hàm ý tiêu cực ở ERNIE so với 1/3 ở Qwen). Tuy nhiên, một mức độ nhất định của các khuôn mẫu, bao gồm các mô tả có khả năng gây xúc phạm, vẫn tồn tại.

Khả năng tái tạo

Một số mô hình trong dòng (ERNIE 3.0 Titan, ERNIE Bot thương mại 4.0 và 5.0) không có sẵn dưới dạng mã nguồn mở và trọng số hoàn toàn, điều này hạn chế khả năng tái tạo các benchmark và đánh giá độc lập. Với việc phát hành ERNIE 4.5 theo Apache 2.0, tình hình đã được cải thiện, nhưng các kiến trúc và cài đặt huấn luyện có thể khác với những gì được mô tả trong các công bố trước đó.

An toàn y tế

Các nghiên cứu về việc sử dụng ERNIE Bot trong các tình huống y tế (Si et al., 2025) phát hiện xu hướng chỉ định quá mức: 91,9% các xét nghiệm không cần thiết và 57,8% thuốc không cần thiết trong các tình huống mô phỏng, cũng như sự chênh lệch về độ tuổi và kinh tế-xã hội trong các khuyến nghị.

Các khía cạnh đạo đức và quy định

Các mô hình dòng ERNIE hoạt động trong khuôn khổ quy định của Trung Quốc về AI tạo sinh, cụ thể là «Biện pháp tạm thời về quản lý dịch vụ AI tạo sinh» (Interim Measures for Generative AI Services, 2023), quy định đánh giá an toàn bắt buộc, đăng ký thuật toán và các hạn chế về nội dung.

ERNIE Bot thể hiện tỷ lệ từ chối cao đối với các yêu cầu liên quan đến các chủ đề chính trị nhạy cảm, phù hợp với luật pháp quốc gia. Các nghiên cứu (Pan et al., 2026) phân tích kiểm duyệt chính trị trong các LLM có nguồn gốc Trung Quốc, bao gồm các mô hình của Baidu.

Các ấn phẩm của Baidu không phải lúc nào cũng mô tả chi tiết các quy trình kiểm toán hành vi mô hình, tiêu chí lọc nội dung và sự cân bằng giữa các yêu cầu quy định địa phương và các nguyên tắc đạo đức AI chung, đây vẫn là lĩnh vực còn mở cho các nghiên cứu độc lập.

Triển vọng và hướng nghiên cứu

Dựa trên các báo cáo kỹ thuật và tuyên bố của Baidu, các hướng phát triển dòng ERNIE được xác định như sau:

• Phát triển đa phương thức hơn nữa (văn bản–hình ảnh–video–âm thanh), bao gồm xử lý dữ liệu thị giác kỹ thuật dày đặc (sơ đồ kỹ thuật, hình ảnh y tế).
• Kết hợp các kiến trúc dày đặc và MoE để cân bằng giữa chất lượng và hiệu quả tính toán với kích thước tổng thể rất lớn của mô hình.
• Phát triển các hệ thống tác nhân (GenFlow, Famou) và các công cụ sinh có cấu trúc (JSON, lệnh gọi API) để tích hợp vào các quy trình sản xuất.
• Nâng cao hiệu quả huấn luyện: elastic training, cải thiện khả năng mở rộng MoE (MFU), lượng tử hóa (W4A8, 2-bit để triển khai trên một GPU).
• Nghiên cứu về giảm định kiến trong các LLM tiếng Trung có tính đến các khía cạnh văn hóa đặc thù và phát triển các phương pháp benchmark cho tiếng Trung và các tác vụ đa phương thức.
• Cải thiện suy luận trong ngữ cảnh dài, học tăng cường có thể xác minh (verifiable RL) và thích ứng với các lĩnh vực có dữ liệu hạn chế thông qua các kho ngữ liệu tổng hợp.

So sánh với các LLM Trung Quốc khác

ERNIE cạnh tranh với một số LLM lớn của Trung Quốc, trong đó có Qwen (Alibaba), GLM / ChatGLM (Zhipu AI), DeepSeek (DeepSeek AI) và Tongyi Qianwen. Các điểm khác biệt chính của dòng ERNIE — trọng tâm vào tích hợp đồ thị tri thức trong tiền huấn luyện (knowledge enhancement), tích hợp chặt chẽ với hệ sinh thái Baidu (tìm kiếm, đám mây, API) và định hướng vào nền tảng PaddlePaddle. Theo kết quả của các bảng xếp hạng độc lập (SuperBench, LMArena), các mô hình dòng ERNIE chiếm vị trí cao trong số các LLM Trung Quốc, đặc biệt trong các tác vụ hiểu và tuân theo chỉ dẫn bằng tiếng Trung.

Xem thêm

• BERT
• Kiến trúc Transformer
• RLHF

Tài liệu tham khảo

• Sun, Y. et al. (2019). ERNIE: Enhanced Representation through Knowledge Integration. arXiv:1904.09223. https://arxiv.org/abs/1904.09223
• Sun, Y. et al. (2019). ERNIE 2.0: A Continual Pre-training Framework for Language Understanding. AAAI 2020. arXiv:1907.12412. https://arxiv.org/abs/1907.12412
• Sun, Y. et al. (2021). ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2107.02137. https://arxiv.org/abs/2107.02137
• Wang, S. et al. (2021). ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2112.12731. https://arxiv.org/abs/2112.12731
• Feng, Z. et al. (2022). ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts. arXiv:2210.15257. https://arxiv.org/abs/2210.15257
• Baidu ERNIE Team (2025). ERNIE 4.5 Technical Report. https://ernie.baidu.com/blog/publication/ERNIE_Technical_Report.pdf
• Wang, H. et al. (2026). ERNIE 5.0 Technical Report. arXiv:2602.04705. https://arxiv.org/abs/2602.04705
• Song, X. et al. (2024). Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies. arXiv:2408.15696. https://arxiv.org/abs/2408.15696
• PeerJ Computer Science (2025). Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies. https://peerj.com/articles/cs-2694/
• Pan et al. (2026). Political censorship in large language models originating from China. PNAS Nexus.
• Si, Y. et al. (2025). Quality safety and disparity of an AI chatbot. PMC.
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• DaoInsights (2024). Baidu's ERNIE bot tops the Tsinghua University LLM report ranking. https://daoinsights.com/news/far-ahead-baidus-ernie-bot-tops-the-tsinghua-university-llm-report-ranking/
• Multiplatform.ai (2024). ERNIE Bot Leads Tsinghua University's LLM Report Rankings in China. https://multiplatform.ai/ernie-bot-leads-tsinghua-universitys-llm-report-rankings-in-china/
• ArtificialIntelligence-News (2025). Baidu ERNIE multimodal AI beats GPT and Gemini in benchmarks. https://www.artificialintelligence-news.com/news/baidu-ernie-multimodal-ai-gpt-and-gemini-benchmarks/
• ERNIE Official Blog (2025). ERNIE-5.0-Preview-1022 now ranks #2 globally on the LMArena Text leaderboard. https://ernie.baidu.com/blog/posts/ernie-5.0-preview-1022-release-on-lmarena/
• ERNIE Official Blog (2025). Announcing the Open Source Release of the ERNIE 4.5 Model Family. https://ernie.baidu.com/blog/posts/ernie4.5/