ERNIE (Baidu) (ID)

ERNIE (Baidu) — serangkaian model bahasa yang telah dilatih sebelumnya (Large Language Model, LLM) dan model fondasi multimodal yang dikembangkan oleh Baidu sejak tahun 2019 di bawah nama umum Enhanced Representation through kNowledge IntEgration (representasi yang ditingkatkan melalui integrasi pengetahuan). Seri ini difokuskan pada peningkatan kualitas pemahaman semantik dan generasi melalui integrasi eksplisit pengetahuan eksternal dari graf pengetahuan (Knowledge Graph, KG), ontologi, dan ensiklopedia ke dalam proses pra-pelatihan.

Model-model dalam seri ini berkembang dari varian awal berbasis BERT dengan masking entitas dan frasa (ERNIE 1.0, 2.0), melalui arsitektur terpadu berskala besar (ERNIE 3.0, ERNIE 3.0 Titan), menuju sistem multimodal berbasis Mixture-of-Experts (MoE) dengan kode sumber terbuka (ERNIE 4.5), dan model omnimodal nativ (ERNIE 5.0). Seri ini mendukung tugas pemahaman teks (Natural Language Understanding, NLU), generasi teks (Natural Language Generation, NLG), dan pada versi-versi terbaru, tugas multimodal (teks, gambar, video, audio), dengan penekanan pada bahasa Mandarin dan dukungan multibahasa.

Sejarah dan Latar Belakang

Pengembangan seri ERNIE dimulai pada tahun 2019 di divisi penelitian Baidu sebagai respons terhadap keberhasilan model BERT (Devlin et al., 2018) dan kebutuhan untuk mengadaptasi model yang telah dilatih sebelumnya ke bahasa Mandarin, di mana ketiadaan spasi yang jelas antar kata dan tingginya proporsi karakter bermakna ganda mempersulit penangkapan unit semantik (entitas, frasa).

ERNIE 1.0 (2019)

Model pertama dalam seri ini (Sun et al., arXiv:1904.09223, April 2019) memperkenalkan strategi masking pengetahuan (knowledge masking) bertingkat untuk arsitektur berbasis BERT: alih-alih melakukan masking acak pada token individual, model ini melakukan masking pada seluruh entitas dan frasa yang ditentukan berdasarkan pengenalan entitas bernama (Named Entity Recognition, NER) dan pola frasa.

Arsitektur ERNIE 1.0 didasarkan pada Transformer encoder (12 lapisan, dimensi tersembunyi 768, 12 kepala perhatian). Selain itu, diperkenalkan tugas Dialogue Language Model (DLM) untuk pelatihan pada data dialog. Model ini dilatih pada sekitar 173 juta kalimat berbahasa Mandarin dari korpus Wikipedia, Baidu Baike, berita, dan forum Baidu Tieba. Pada saat publikasinya, ERNIE 1.0 mencapai hasil state-of-the-art (SOTA) pada lima tugas NLP berbahasa Mandarin: XNLI (akurasi 78,4% pada uji dibandingkan 77,2% milik BERT), MSRA-NER (F1 93,8% dibandingkan 92,6%).

ERNIE 2.0 (2019)

ERNIE 2.0 (Sun et al., arXiv:1907.12412, Juli 2019; diterima pada konferensi AAAI 2020) memperkenalkan kerangka pra-pelatihan multi-tugas berkelanjutan (continual multi-task pre-training), di mana tugas-tugas pra-pelatihan baru ditambahkan secara berurutan (inkremental) ke transformer bersama tanpa pelatihan ulang penuh pada model.

Tugas pra-pelatihan ERNIE 2.0 dibagi menjadi tiga kelompok:

• Word-aware — masking pengetahuan (knowledge masking), prediksi huruf kapital (capitalization prediction), relasi token dengan dokumen (token-document relation).
• Structure-aware — pengurutan ulang kalimat (sentence reordering), penentuan jarak antar kalimat (sentence distance).
• Semantic-aware — prediksi relasi wacana (discourse relation prediction), relevansi untuk pencarian informasi (IR relevance prediction).

Model ini dilatih pada korpus bahasa Inggris dan Mandarin (ensiklopedia, buku, Reddit, log pencarian). Hasil: skor rata-rata GLUE untuk model base adalah 80,6 (dibandingkan 78,3 milik BERT), untuk model large — 83,6; ERNIE 2.0 melampaui BERT dan XLNet pada 16 tugas.

ERNIE 3.0 (2021)

Kerangka ERNIE 3.0 (Sun et al., arXiv:2107.02137, Juli 2021) menggabungkan paradigma pra-pelatihan auto-encoding (AE) dan auto-regressive (AR) dalam satu arsitektur yang dibagi menjadi modul representasi universal (Universal Representation Module) dan modul representasi spesifik-tugas (Task-specific Representation Modules) untuk NLU dan NLG.

Model dengan 10 miliar parameter dilatih pada 4 TB teks berbahasa Mandarin (11 kategori: Baidu Baike, Wikipedia, log pencarian, sistem tanya-jawab, teks domain) dan graf pengetahuan dengan lebih dari 50 juta fakta. ERNIE 3.0 mencapai SOTA pada 54 tugas NLP berbahasa Mandarin; pada benchmark berbahasa Inggris SuperGLUE — 90,6% (per 3 Juli 2021, melampaui patokan manusia 89,8%).

ERNIE 3.0 Titan (2021)

Dalam karya "ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation" (Wang et al., arXiv:2112.12731, Desember 2021) dijelaskan penskalaan kerangka ERNIE 3.0 menjadi model padat (dense) dengan 260 miliar parameter, yang diimplementasikan pada platform PaddlePaddle.

Titan memperkenalkan mekanisme tambahan: adversarial loss yang diawasi sendiri (self-supervised) untuk menilai kredibilitas teks yang dihasilkan, controllable language modeling loss untuk mengendalikan gaya, topik, nada, dan panjang generasi, serta distilasi daring (On-the-Fly Distillation, OFD) untuk mendapatkan model siswa yang ringkas selama proses pra-pelatihan. Model ini dievaluasi pada 68 kumpulan data dan, menurut para penulis, melampaui model-model sebelumnya pada semua 68 dataset.

ERNIE Bot dan Versi Komersial (2023–2025)

Pada Maret 2023, Baidu meluncurkan chatbot ERNIE Bot (Wenxin Yiyan, 文心一言) berdasarkan model ERNIE 3.x dan PLATO (model dialog). Akses publik dibuka pada Agustus 2023 setelah mendapat persetujuan regulator. Pembaruan mencakup ERNIE 3.5 (Juni 2023) dan ERNIE 4.0 (Oktober 2023).

Menurut laporan SuperBench dari Universitas Tsinghua, ERNIE Bot 4.0 menempati posisi pertama di antara LLM Tiongkok berdasarkan metrik integral, menunjukkan hasil yang kuat dalam pemahaman bahasa Mandarin dan mengikuti instruksi.

Pada tahun 2022, sejajar dengan lini bahasa utama, diperkenalkan perluasan multimodal ERNIE-ViLG 2.0 (arXiv:2210.15257) — model generasi gambar dari teks (text-to-image), yang menjadi salah satu langkah pertama menuju multimodalitas.

Pada tahun 2024, dalam konferensi WAVE SUMMIT, Baidu memperkenalkan ERNIE 4.0 Turbo — versi yang dioptimalkan untuk aplikasi berkecepatan tinggi, yang mampu menghasilkan teks dengan panjang lebih dari seribu kata dalam sekitar 20 detik sambil mempertahankan kualitas.

ERNIE 4.5 (2025)

Pada Juni 2025, Baidu menerbitkan laporan teknis ERNIE 4.5 yang memperkenalkan keluarga yang terdiri dari 10 model: LLM berbasis teks dan model multimodal (Vision-Language, VL). Arsitekturnya didasarkan pada Mixture-of-Experts (MoE) heterogen dengan pemisahan pakar berdasarkan modalitas. Variannya mencakup model MoE dengan hingga 424 miliar total parameter dan 47 miliar parameter aktif, serta model padat dengan 0,3 miliar parameter. Keluarga ini dirilis di bawah lisensi Apache 2.0 di Hugging Face dan GitHub (PaddlePaddle/ERNIE).

ERNIE 5.0 (2026)

Pada Februari 2026, laporan teknis ERNIE 5.0 (arXiv:2602.04705) diterbitkan — model autoregresif omnimodal nativ dengan MoE ultra-jarang (ultra-sparse MoE) yang mendukung pemodelan teks, gambar, audio, dan video secara bersama-sama. Model ini menempati posisi tinggi pada papan peringkat LMArena.

Landasan Teoretis dan Prinsip Arsitektur

Masking Pengetahuan (Knowledge Masking)

Prinsip utama dari model-model awal dalam seri ini adalah integrasi pengetahuan terstruktur ke dalam proses pra-pelatihan melalui strategi masking yang dimodifikasi. Berbeda dengan Masked Language Modeling (MLM) standar di mana token individual dimask, ERNIE 1.0 melakukan masking pada seluruh unit semantik: entitas (yang ditentukan melalui NER) dan frasa. Untuk entitas $E=\{t_1,\dots ,t_k\}$, seluruh rangkaian token dimask dengan probabilitas tertentu $p$. Pendekatan ini memaksa model untuk mengandalkan konteks yang lebih luas dan mempelajari hubungan antar entitas.

ERNIE 2.0 mengembangkan pendekatan ini dengan menambahkan pelatihan multi-tugas inkremental: tugas-tugas pada tingkat leksikal, struktural, dan semantik ditambahkan secara berurutan, sementara pengetahuan yang telah dipelajari sebelumnya dipertahankan melalui mekanisme pra-pelatihan berkelanjutan (continual pre-training).

Kerangka Terpadu ERNIE 3.0

Kerangka ERNIE 3.0 didasarkan pada pembagian arsitektur menjadi dua tingkat:

• Universal Representation Module — Transformer-XL berlapis banyak yang bersifat umum, dilatih pada berbagai tugas pra-pelatihan dan mengekstraksi fitur leksikal dan sintaksis umum. Dalam versi Titan, modul ini terdiri dari 48 lapisan, representasi tersembunyi berukuran 12288, 192 kepala perhatian, dan ukuran internal jaringan feed-forward sebesar 196608 ($16\times d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$).
• Task-specific Representation Modules — modul terpisah untuk NLU (perhatian dua arah) dan NLG (perhatian satu arah dengan memori rekursif Transformer-XL), masing-masing dengan 12 lapisan, ukuran vektor tersembunyi 768, dan 12 kepala perhatian.

Integrasi paradigma auto-encoding dan auto-regressive memungkinkan satu model memberikan hasil yang tinggi pada benchmark NLU (tugas berbasis BERT) dan pada benchmark NLG (tugas berbasis GPT).

Universal Knowledge-Text Prediction (UKTP)

Tugas UKTP merupakan mekanisme utama integrasi pengetahuan dalam ERNIE 3.0/Titan. Model menerima pasangan (triplet dari graf pengetahuan, kalimat dari ensiklopedia) dan harus memprediksi relasi dalam triplet menggunakan teks, atau memprediksi token yang dimask dalam teks menggunakan informasi dari triplet.

Dalam memprediksi relasi $r$ pada triplet $(h,r,t)$ yang terkait dengan teks $x$, tugas diformulasikan sebagai klasifikasi multikelas:

$P_{\theta }(r\mid x,h,t)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(W\cdot f_{\theta }(x,h,t)+b)$

di mana $f_{\theta }$ adalah keluaran transformer pada posisi penyebutan entitas kepala dan ekor, $W,b$ adalah parameter pengklasifikasi, $\theta$ adalah parameter model.

Mekanisme Generasi yang Kredibel dan Terkendali (Titan)

ERNIE 3.0 Titan memperkenalkan dua jenis fungsi kerugian tambahan.

Adversarial loss yang diawasi sendiri. Dibentuk dataset $D_a=\{D_{\text{original}},D_{\text{generated}}\}$, di mana $D_{\text{original}}$ adalah paragraf nyata, dan $D_{\text{generated}}$ adalah teks yang dihasilkan oleh versi ERNIE sebelumnya berdasarkan prefiks paragraf asli. Tugasnya adalah klasifikasi biner (asli / buatan) berdasarkan keadaan tersembunyi token khusus [CLS]:

$L_a(D_a)=-\sum _{n=1}^{|D_a|}\log P_{\theta }(y_n=I_{h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)}\in D_{\text{original}}}\mid h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)})$

di mana $h_{[\mathrm{C}\mathrm{L}\mathrm{S}]}^{(n)}$ adalah representasi vektor [CLS] untuk contoh ke-$n$, $I_{\cdot }$ adalah indikator keanggotaan dalam teks asli.

Controllable language modeling loss. Setiap contoh pelatihan disertai dengan sekumpulan atribut (prompt) yang mendeskripsikan genre, topik, kata kunci, nada, dan panjang. Kerugian menggabungkan pemodelan bahasa tanpa syarat dan bersyarat:

$L_c(D_c)=\{\begin{array}{cc}-\sum _{n=1}^{|D_c|}\log P_{\theta }(x_t^{(n)}\mid x_{<t}^{(n)}),& \text{если }p\le \mathrm{0,5},\\ -\sum _{n=1}^{|D_c|}\log P_{\theta }(x_t^{(n)}\mid x_{<t}^{(n)},{\text{prompts}}_n),& \text{если }p>\mathrm{0,5},\end{array}$

di mana $p$ adalah variabel acak untuk bergantian antara mode, $x_t^{(n)}$ adalah token ke-$t$ dari contoh ke-$n$. Definisi semacam ini mencegah ketergantungan model yang berlebihan pada prompt.

Arsitektur MoE Heterogen (ERNIE 4.5)

ERNIE 4.5 memperkenalkan arsitektur Mixture-of-Experts multimodal heterogen dengan pemisahan pakar berdasarkan modalitas: pakar teks dan pakar visual (yang terakhir berukuran sekitar 1/3 dari ukuran pakar teks). Perutean token dilakukan dengan isolasi modalitas (modality-isolated routing) dan penerapan penalti ortogonalisasi untuk router (router orthogonalization loss, koefisien sekitar $10^{-3}$) untuk memastikan spesialisasi pakar. Digunakan 3D RoPE (Rotary Position Embeddings) untuk pengkodean posisi dimensi temporal, tinggi, dan lebar dalam data video. Mekanisme FlashMask diterapkan untuk penanganan konteks panjang yang efisien (hingga 131 ribu token) dengan mask $O(N)$.

Pra-pelatihan ERNIE 4.5 dilakukan dalam beberapa tahap: pertama pelatihan hanya pada data teks, kemudian pada data visual, dan pada fase akhir — pelatihan bersama pada data multimodal (text-only → vision-only → joint). Untuk pemrosesan gambar digunakan encoder ViT (Vision Transformer) adaptif dengan mekanisme pixel shuffle untuk menyelaraskan representasi dari modalitas yang berbeda. Didukung pemrosesan video panjang (hingga 32 ribu token) dengan pengambilan sampel frame adaptif (adaptive frame sampling).

Omnimodalitas Nativ (ERNIE 5.0)

ERNIE 5.0 mengimplementasikan pemodelan autoregresif nativ dari beberapa modalitas (teks, gambar, audio, video) dalam satu arsitektur dengan MoE ultra-jarang, di mana kurang dari 3% dari total jumlah pakar diaktifkan pada setiap langkah. Sebagai tugas pra-pelatihan digunakan Next-Group-of-Tokens Prediction — prediksi sekelompok token alih-alih satu token, yang meningkatkan efisiensi pelatihan. Untuk modalitas audio digunakan codec hierarkis (hierarchical codec). Teknologi elastic training memungkinkan pembuatan sub-model dengan kedalaman, lebar, dan tingkat kejarangan yang berbeda dalam satu siklus pelatihan.

Tugas Pra-Pelatihan dan Data

Tugas Pra-Pelatihan ERNIE 3.0 / Titan

Dalam ERNIE 3.0 dan Titan digunakan kelompok tugas pra-pelatihan berikut:

Tugas Word-aware:

• Knowledge Masked Language Modeling — masking berbasis frasa dan entitas untuk mempelajari ketergantungan pada konteks lokal dan global.
• Document Language Modeling — pemodelan dokumen autoregresif dengan panjang hingga 512 token menggunakan memori rekursif Transformer-XL.

Tugas Structure-aware:

• Sentence Reordering — untuk paragraf yang dibagi secara acak menjadi $m$ segmen dan diacak, model memecahkan tugas klasifikasi $k$-kelas dengan $k=\sum _{n=1}^{m}n!$, memulihkan urutan asli.
• Sentence Distance — klasifikasi 3-kelas: kalimat yang berdekatan, tidak berdekatan dalam dokumen yang sama, kalimat dari dokumen yang berbeda.

Tugas Knowledge-aware:

• Universal Knowledge-Text Prediction (UKTP) — pemodelan bersama teks dan triplet graf pengetahuan.
• Credible and Controllable Generations — kombinasi adversarial loss dan controllable LM loss.

Data Pra-Pelatihan

Untuk ERNIE 3.0/Titan digunakan ERNIE 3.0 Corpus — korpus berbahasa Mandarin bervolume sekitar 4 TB dalam 11 kategori, mencakup halaman web, log pencarian, data tanya-jawab, teks sastra, hukum, keuangan, dan medis, novel, dan puisi. Di atas korpus ini dibentuk graf pengetahuan dengan lebih dari 50 juta fakta.

Tambahan untuk Titan dibentuk:

• Dataset adversarial — 2 juta paragraf asli dan paragraf "negatif" yang sesuai, dihasilkan oleh ERNIE 3.0 berdasarkan prefiks 1–3 kalimat pertama dari paragraf asli, dengan panjang hingga 512 token.
• Dataset terkendali — teks yang dilengkapi dengan atribut genre, topik (26 tema), kata kunci, nada (positive/negative/neutral), dan panjang. Atribut genre dikodekan sebagai "soft prompt" yang dapat dilatih (jumlah prompt untuk genre dipilih secara acak dari 0 hingga 64).

Versi-versi terbaru (ERNIE 4.5, 5.0) menggunakan korpus multimodal yang diperluas (teks, gambar, video, audio), termasuk konten web yang dikurasi, publikasi ilmiah, dan data sintetis.

Pelatihan dan Optimasi Terdistribusi

Pra-pelatihan ERNIE 3.0 Titan dilakukan menggunakan optimizer Adam (laju pembelajaran $10^{-4}$, ${\beta }_1=\mathrm{0,9}$, ${\beta }_2=\mathrm{0,95}$, regularisasi L2 sebesar 0,1, pemotongan norma gradien hingga 1,0), panjang konteks maksimal 512, dan panjang memori rekursif 128 untuk tugas-tugas generatif. Diterapkan skema pelatihan progresif (konvergensi dipercepat pada 4000 langkah pertama) dan penurunan laju pembelajaran secara linear.

Paralelisme Hibrida 4D

Untuk melatih model padat dengan 260 miliar parameter pada klaster heterogen (GPU NVIDIA V100 dan NPU Ascend 910), dalam PaddlePaddle diimplementasikan paralelisme hibrida 4D:

• Data parallelism (DP) — replikasi model pada beberapa perangkat dengan pemrosesan batch yang terpisah.
• Tensor model parallelism (MP) — pembagian parameter dan aktivasi transformer di dalam lapisan-lapisan di antara perangkat.
• Pipeline model parallelism (PP) — distribusi lapisan model melalui pipeline.
• Group Sharded — varian yang ditingkatkan dari sharded-data-parallel seperti ZeRO untuk mengurangi duplikasi status optimizer.

Laporan tersebut menyajikan data tentang penskalaan lemah hingga ribuan kartu Ascend 910 dengan efisiensi sekitar 91,7% dalam hal throughput.

Pelatihan ERNIE 4.5

Pelatihan ERNIE 4.5 dilakukan pada klaster yang terdiri dari 2016 GPU NVIDIA H800 dengan pencapaian Model FLOPs Utilization (MFU) sebesar 47%. Digunakan presisi campuran FP8, checkpoint toleran-kesalahan (Zero Cost Checkpoint, pemulihan dalam waktu kurang dari 8 menit), dan pelatihan progresif dengan peningkatan panjang urutan dan ukuran batch.

Distilasi Daring

Untuk mengurangi persyaratan komputasi dalam penerapan ERNIE 3.0 Titan, digunakan distilasi daring, di mana model guru dan beberapa model siswa dilatih secara bersamaan:

• On-the-Fly Distillation (OFD) — logit dan representasi guru digunakan untuk melatih siswa pada langkah-langkah pelatihan yang sama.
• Teacher assistants — model berukuran menengah yang memperkecil kesenjangan kapasitas antara guru dan siswa akhir.
• Auxiliary Layer Distillation (ALD) — lapisan tambahan dalam siswa yang dibuang saat fine-tuning, untuk pencocokan representasi internal yang lebih baik.

Pasca-Pelatihan dan Penyelarasan

Versi komersial ERNIE (mulai dari ERNIE Bot) menjalani tahap-tahap pasca-pelatihan:

• Supervised Fine-Tuning (SFT) — fine-tuning pada data instruksional berlabel (dalam ERNIE 4.5 — 2,3 juta contoh).
• Reinforcement Learning from Human Feedback (RLHF) — penyelarasan perilaku model menggunakan umpan balik manusia; algoritma PPO (Proximal Policy Optimization) dan DPO (Direct Preference Optimization) diterapkan.
• Unified Preference Optimization (UPO) — metode optimasi preferensi terpadu yang diperkenalkan dalam ERNIE 4.5.
• Reinforcement Learning with Verifiers (RLVR) — pembelajaran penguatan menggunakan verifikator untuk memeriksa kebenaran jawaban; metode GRPO (Group Relative Policy Optimization) diterapkan.
• Mode penalaran (thinking modes) — model 4.5 mendukung mode dengan refleksi (reflection, planning) dan tanpa refleksi.

Hasil Utama dan Benchmark

Tabel Ringkasan Evolusi Model

Versi	Tahun	Parameter	Arsitektur	Benchmark Utama	Sumber
ERNIE 1.0	2019	~110 juta (base)	Transformer encoder (berbasis BERT)	XNLI 78,4%; MSRA-NER F1 93,8%
ERNIE 2.0	2019	~110–340 juta	Continual multi-task	GLUE 80,6 (base) / 83,6 (large); 16 tugas SOTA
ERNIE 3.0	2021	10 miliar	Unified Transformer-XL (AE+AR)	SuperGLUE 90,6% (> human 89,8%); 54 tugas Mandarin SOTA
ERNIE 3.0 Titan	2021	260 miliar (dense)	Dense + controllable generation	68 dataset SOTA; zero/few-shot
ERNIE 4.5	2025	0,3–424 miliar (MoE, 47 miliar aktif)	Heterogeneous multimodal MoE	C-Eval 90,6%; MMLU 86,5%; MMMU 67,3–70%
ERNIE 5.0	2026	~2,4 triliun (ultra-sparse MoE)	Unified autoregressive multimodal MoE	LMArena Elo ~1460 (top-10 global)

Hasil ERNIE 3.0 dan Titan

ERNIE 3.0 (10 miliar parameter) pada benchmark berbahasa Inggris SuperGLUE mencapai hasil rata-rata 90,6, melampaui patokan manusia (89,8) dan hasil GPT-3, T5, serta DeBERTa pada saat publikasi. ERNIE 3.0 Titan (260 miliar) dievaluasi pada 68 kumpulan data, termasuk tugas klasifikasi, NLI, QA, dan generasi; para penulis melaporkan keunggulan atas model-model sebelumnya pada semua 68 dataset. Hasil-hasil ini merupakan data dari sumber primer; reproduksi independen dijelaskan secara terbatas.

Hasil ERNIE 4.5

Menurut laporan teknis tahun 2025, ERNIE 4.5 (300B-A47B, pasca-pelatihan) menunjukkan hasil berikut pada benchmark teks dan multimodal:

Benchmark	ERNIE-4.5-300B-A47B	Kondisi
C-Eval	90,6%	5-shot
CMMLU	90,2%	—
MMLU	86,5%	standar
IFEval	88,0%	instruction following
GSM8K	91,8%	—
MMMU	67,3–70,0%	non-thinking / thinking
MathVista	78,8%	thinking mode
OCRBench	883	—

Menurut laporan tersebut, ERNIE 4.5 melampaui DeepSeek-V3 pada 22 dari 28 benchmark; varian multimodal (ERNIE-4.5-VL-424B-A47B) menunjukkan hasil yang kompetitif pada tugas penalaran visual. Pada sejumlah tugas penalaran visual dan interpretasi gambar teknis (analisis skema, diagram teknik) dilaporkan hasil yang lebih tinggi daripada beberapa model GPT dan Gemini.

Perbandingan ERNIE 4.5 dengan pesaing (benchmark terpilih, pasca-pelatihan, berdasarkan laporan teknis 2025):

Benchmark	ERNIE-4.5-300B-A47B	DeepSeek-V3-671B-A37B	Qwen3-235B-A22B	Keterangan
C-Eval	90,6%	—	—	5-shot
MMLU	86,5%	sebanding	—	standar
IFEval	88,0%	—	83,2%	instruction following
MMMU	67,3–70,0%	—	—	thinking / non-thinking
MathVista	78,8%	—	77,6% (Qwen2.5-VL)	thinking mode

Kondisi reproduksi: protokol standar (5-shot / zero-shot); dataset terbuka (C-Eval 2023+, MMLU, MMMU). Tanda strip ("—") menunjukkan bahwa data yang dapat dibandingkan dengan kondisi yang sama tidak dicantumkan dalam laporan.

Evaluasi ERNIE Bot 4.0

Laporan SuperBench dari Universitas Tsinghua meranking LLM komersial berdasarkan sekumpulan tugas (pemahaman bahasa, matematika, pemrograman, multi-tugas). ERNIE Bot 4.0 menempati posisi pertama di antara model-model Tiongkok, mengungguli GLM-4 (Zhipu AI) sekitar 0,41 poin berdasarkan metrik integral; model GPT-4 dan Anthropic Claude-3 tetap lebih tinggi dalam peringkat global. ERNIE Bot 4.0 menunjukkan hasil yang kuat dalam pemahaman teks berbahasa Mandarin dan mengikuti instruksi, dengan hasil yang lebih lemah dalam pemrograman dan beberapa tugas berbahasa Inggris.

Penerapan

Produk dan Layanan Baidu

Model-model seri ERNIE terintegrasi ke dalam ekosistem produk Baidu:

• ERNIE Bot (Wenxin Yiyan) — chatbot dengan dukungan generasi multimodal (teks, gambar, video, audio). Menurut data Baidu, jumlah pengguna aktif bulanan melebihi 200 juta (2024–2025). Sejak tahun 2025, ERNIE Bot tersedia secara gratis.
• Pencarian Baidu — generasi jawaban dan fitur AI dalam hasil pencarian; menurut data Baidu, hingga 70% hasil teratas diperkaya dengan komponen AI.
• Qianfan (platform MaaS) — API untuk klien korporat; menurut data Baidu, lebih dari 760 ribu perusahaan menggunakan platform ini, dengan jumlah panggilan API harian melebihi 1,5 miliar (2024). Di antara kliennya terdapat Lenovo, Trip.com, dan lainnya.
• Comate — asisten AI untuk pemrograman.
• Wenxin Yige — generasi gambar berdasarkan model ERNIE-ViLG.
• Integrasi dengan mitra eksternal: Samsung Galaxy (untuk pasar Tiongkok), avatar digital, plugin (pencarian, analisis file).

Penerapan di Berbagai Industri

Model-model ini diterapkan di bidang-bidang berikut:

• Sistem tanya-jawab di domain khusus (hukum, medis, keuangan) menggunakan pra-pelatihan yang ditingkatkan dengan pengetahuan.
• Generasi dan penyuntingan teks berbahasa Mandarin (berita, teks pemasaran, konten kreatif).
• Tugas multimodal: analisis gambar, skema teknik, video, dan data tabel (pada versi 4.5 ke atas).
• Pendidikan (pembelajaran yang dipersonalisasi), robotika (perencanaan tugas), mengemudi otonom (Apollo).

Kode Sumber Terbuka

Mulai dari ERNIE 4.5, semua 10 varian keluarga ini dirilis di bawah lisensi Apache 2.0 dengan toolkit ERNIEKit (dukungan SFT, LoRA, DPO, inferensi pada PaddlePaddle/FastDeploy). Kode versi-versi sebelumnya (ERNIE 1.0–3.0) tersedia di GitHub PaddlePaddle/ERNIE.

Keterbatasan dan Masalah Terbuka

Keterbatasan Arsitektur dan Dataset

ERNIE 3.0 Titan dengan 260 miliar parameter dibatasi oleh panjang konteks 512 token untuk modul individual, yang membatasi pemodelan teks berpanjang besar tanpa mekanisme tambahan (chunking, memori eksternal). Pelatihan dilakukan terutama pada korpus berbahasa Mandarin, yang mengakibatkan kualitas yang tidak merata antara bahasa Mandarin dan bahasa-bahasa lain.

Integrasi graf pengetahuan meningkatkan penanganan fakta terstruktur, namun akurasi dan kelengkapan pengetahuan dibatasi oleh kualitas graf itu sendiri dan prosedur pencocokan "triplet-teks" (entity linking, relation alignment), yang dalam beberapa kasus menghasilkan asosiasi yang keliru atau tidak lengkap.

Halusinasi dan Kredibilitas

Adversarial loss dan controllable LM loss meningkatkan ketahanan terhadap generasi yang tidak kredibel, namun tidak sepenuhnya menghilangkan masalah halusinasi (generasi pernyataan yang secara faktual salah). Parameter pengklasifikasi adversarial dilatih pada data di mana teks "buatan" dibuat oleh versi ERNIE sebelumnya, yang membatasi spektrum pola kesalahan yang dapat dikenali.

Bias Sosial

Sebuah penelitian yang diterbitkan dalam PeerJ Computer Science (2025) menganalisis bias sosial dalam LLM berbahasa Mandarin (ERNIE dan Qwen) menggunakan 240 kelompok sosial dan lebih dari 30 ribu deskripsi yang dihasilkan. Hasilnya menunjukkan bahwa ERNIE menghasilkan lebih sedikit konten negatif dan stereotip dibandingkan Baidu Search atau Qwen (sekitar 1/10 kata kandidat berkonotasi negatif pada ERNIE dibandingkan 1/3 pada Qwen). Namun demikian, prevalensi stereotip tertentu, termasuk deskripsi yang berpotensi menyinggung, tetap ada.

Reprodusibilitas

Sebagian model dalam seri ini (ERNIE 3.0 Titan, ERNIE Bot 4.0 dan 5.0 komersial) tidak tersedia sebagai kode sumber dan bobot yang sepenuhnya terbuka, yang membatasi reprodusibilitas benchmark dan kemungkinan evaluasi independen. Dengan dirilisnya ERNIE 4.5 di bawah Apache 2.0, situasinya membaik, namun arsitektur dan pengaturan pelatihan mungkin berbeda dari yang dijelaskan dalam publikasi-publikasi awal.

Keamanan Medis

Penelitian tentang penggunaan ERNIE Bot dalam skenario medis (Si et al., 2025) mengungkap kecenderungan terhadap pemberian resep berlebihan: 91,9% tes yang tidak diperlukan dan 57,8% obat-obatan yang tidak diperlukan dalam skenario model, serta ketidakseimbangan berbasis usia dan sosial-ekonomi dalam rekomendasi.

Aspek Etika dan Regulasi

Model-model seri ERNIE beroperasi dalam kerangka regulasi AI generatif Tiongkok, khususnya "Tindakan Sementara untuk Pengelolaan Layanan AI Generatif" (Interim Measures for Generative AI Services, 2023), yang mengharuskan penilaian keamanan wajib, pendaftaran algoritma, dan pembatasan konten.

ERNIE Bot menunjukkan tingkat penolakan yang tinggi terhadap permintaan yang berkaitan dengan topik-topik politik yang sensitif, sesuai dengan peraturan perundang-undangan nasional. Penelitian (Pan et al., 2026) menganalisis sensor politik dalam LLM asal Tiongkok, termasuk model-model Baidu.

Publikasi-publikasi Baidu tidak selalu menjelaskan secara rinci prosedur audit perilaku model, kriteria penyaringan konten, dan keseimbangan antara persyaratan normatif lokal dengan prinsip-prinsip umum etika AI, yang tetap menjadi area terbuka untuk penelitian independen.

Prospek dan Arah Penelitian

Berdasarkan laporan teknis dan pernyataan Baidu, berikut adalah arah pengembangan seri ERNIE yang dapat diidentifikasi:

• Multimodalisasi lebih lanjut (teks–gambar–video–audio), termasuk pemrosesan data visual teknis yang padat (skema teknik, gambar medis).
• Menggabungkan arsitektur padat dan MoE untuk menyeimbangkan kualitas dengan efisiensi komputasi pada ukuran total model yang sangat besar.
• Pengembangan sistem agen (GenFlow, Famou) dan alat generasi terstruktur (JSON, panggilan API) untuk integrasi ke dalam alur kerja produksi.
• Peningkatan efisiensi pelatihan: elastic training, peningkatan penskalaan MoE (MFU), kuantisasi (W4A8, 2-bit untuk penerapan pada satu GPU).
• Penelitian untuk mengurangi bias dalam LLM berbahasa Mandarin dengan mempertimbangkan aspek-aspek spesifik budaya dan pengembangan metodologi benchmarking untuk bahasa Mandarin dan tugas-tugas multimodal.
• Peningkatan penalaran dalam konteks panjang, pembelajaran penguatan yang dapat diverifikasi (verifiable RL), dan adaptasi ke domain dengan data terbatas melalui korpus sintetis.

Perbandingan dengan LLM Tiongkok Lainnya

ERNIE bersaing dengan sejumlah LLM besar asal Tiongkok, di antaranya Qwen (Alibaba), GLM / ChatGLM (Zhipu AI), DeepSeek (DeepSeek AI), dan Tongyi Qianwen. Keistimewaan utama seri ERNIE adalah penekanan pada integrasi graf pengetahuan ke dalam pra-pelatihan (knowledge enhancement), integrasi erat dengan ekosistem Baidu (pencarian, cloud, API), dan orientasi pada platform PaddlePaddle. Berdasarkan peringkat independen (SuperBench, LMArena), model-model seri ERNIE menempati posisi tinggi di antara LLM Tiongkok, terutama dalam tugas pemahaman dan mengikuti instruksi dalam bahasa Mandarin.

Lihat Juga

• BERT
• Arsitektur Transformer
• RLHF

Daftar Pustaka

• Sun, Y. et al. (2019). ERNIE: Enhanced Representation through Knowledge Integration. arXiv:1904.09223. https://arxiv.org/abs/1904.09223
• Sun, Y. et al. (2019). ERNIE 2.0: A Continual Pre-training Framework for Language Understanding. AAAI 2020. arXiv:1907.12412. https://arxiv.org/abs/1907.12412
• Sun, Y. et al. (2021). ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2107.02137. https://arxiv.org/abs/2107.02137
• Wang, S. et al. (2021). ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv:2112.12731. https://arxiv.org/abs/2112.12731
• Feng, Z. et al. (2022). ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts. arXiv:2210.15257. https://arxiv.org/abs/2210.15257
• Baidu ERNIE Team (2025). ERNIE 4.5 Technical Report. https://ernie.baidu.com/blog/publication/ERNIE_Technical_Report.pdf
• Wang, H. et al. (2026). ERNIE 5.0 Technical Report. arXiv:2602.04705. https://arxiv.org/abs/2602.04705
• Song, X. et al. (2024). Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies. arXiv:2408.15696. https://arxiv.org/abs/2408.15696
• PeerJ Computer Science (2025). Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies. https://peerj.com/articles/cs-2694/
• Pan et al. (2026). Political censorship in large language models originating from China. PNAS Nexus.
• Si, Y. et al. (2025). Quality safety and disparity of an AI chatbot. PMC.
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• DaoInsights (2024). Baidu's ERNIE bot tops the Tsinghua University LLM report ranking. https://daoinsights.com/news/far-ahead-baidus-ernie-bot-tops-the-tsinghua-university-llm-report-ranking/
• Multiplatform.ai (2024). ERNIE Bot Leads Tsinghua University's LLM Report Rankings in China. https://multiplatform.ai/ernie-bot-leads-tsinghua-universitys-llm-report-rankings-in-china/
• ArtificialIntelligence-News (2025). Baidu ERNIE multimodal AI beats GPT and Gemini in benchmarks. https://www.artificialintelligence-news.com/news/baidu-ernie-multimodal-ai-gpt-and-gemini-benchmarks/
• ERNIE Official Blog (2025). ERNIE-5.0-Preview-1022 now ranks #2 globally on the LMArena Text leaderboard. https://ernie.baidu.com/blog/posts/ernie-5.0-preview-1022-release-on-lmarena/
• ERNIE Official Blog (2025). Announcing the Open Source Release of the ERNIE 4.5 Model Family. https://ernie.baidu.com/blog/posts/ernie4.5/