GLM (Zhipu AI) (ID)

GLM (General Language Model) — keluarga model bahasa besar (Large Language Model, LLM) yang dikembangkan oleh perusahaan Zhipu AI (sejak tahun 2025 — Z.ai) bersama laboratorium Knowledge Engineering Group (KEG) Fakultas Ilmu Komputer Universitas Tsinghua (Beijing). Seri ini mencakup model dengan parameter mulai dari 6 hingga 744 miliar, yang terutama ditujukan untuk bahasa Mandarin dan Inggris. Ciri khas dari fondasi arsitekturalnya adalah fungsi objektif pra-pelatihan berbasis autoregressive blank infilling, yang menggabungkan sifat transformer encoder dan decoder dalam satu skema terpadu.

Seri ini mencakup model dasar pra-terlatih, varian dialog (ChatGLM), perluasan multimodal (GLM‑4V, CogVLM), alat khusus (CodeGeeX untuk pembuatan kode, WebGLM untuk pencarian web) dan sistem agen (GLM‑4 All Tools, AutoGLM). Evolusi keluarga ini dapat ditelusuri dari GLM‑10B (2021) dan GLM‑130B (2022) hingga GLM‑4 (2024), GLM‑4.5 (2025) dan GLM‑5 (2026), dengan transisi dari arsitektur padat (dense) ke Mixture‑of‑Experts (MoE) dan penekanan pada skenario berbasis agen.

Sejarah dan Latar Belakang

Konteks Institusional

Zhipu AI didirikan pada tahun 2019 oleh profesor Universitas Tsinghua Tang Jie dan Li Juanzi berbasis laboratorium KEG yang mengkhususkan diri pada graf pengetahuan. Pada tahun 2020, perusahaan ini memusatkan upayanya pada model bahasa berskala besar. Pada tahun 2023, diperoleh investasi sebesar 2,5 miliar yuan (≈350 juta dolar AS) dengan partisipasi Alibaba Group, Tencent, Ant Group, Meituan, dan Xiaomi. Pada Juli 2025, perusahaan mengganti merek publiknya menjadi Z.ai, dan pada Januari 2026 melakukan IPO di Bursa Efek Hong Kong.

Karya Seminal: GLM (2021–2022)

Preprint dasar «GLM: General Language Model Pretraining with Autoregressive Blank Infilling» diterbitkan di arXiv pada Maret 2021 (arXiv:2103.10360) dan diterima pada konferensi ACL 2022. Para penulis: Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. Karya ini dimotivasi oleh keterbatasan paradigma arsitektur yang ada: model encoder (BERT) optimal untuk tugas Natural Language Understanding (NLU), model decoder (GPT) — untuk generasi, sedangkan encoder‑decoder (T5) membutuhkan jumlah parameter yang lebih besar. GLM mengusulkan pendekatan terpadu yang mampu menyelesaikan kedua kelas tugas tersebut.

Kronologi Rilis Utama

Tahun	Model	Fitur Utama
2021	GLM (dasar), GLM‑10B	Autoregressive blank infilling, pengkodean posisi 2D; parameter hingga 515M (dasar) dan 10B
2022	GLM‑130B	130B parameter, bilingual (Mandarin / Inggris), bobot terbuka, kuantisasi INT4 tanpa fine-tuning; diterima di ICLR 2023
2023, Maret	ChatGLM‑6B (v1)	6,2B parameter, ≈1T token pra-pelatihan, penyelarasan SFT + RLHF, kuantisasi INT4 (≈6 GB memori)
2023, Juni	ChatGLM2‑6B	1,4T token, FlashAttention, Multi‑Query Attention (MQA), konteks hingga 32K token
2023, Oktober	ChatGLM3‑6B	Peningkatan mengikuti instruksi, dukungan pemanggilan alat (tool calling), Code Interpreter
2024	GLM‑4, GLM‑4‑Air, GLM‑4‑9B	≈10T token pra-pelatihan, RoPE + GQA, konteks hingga 128K / 1M token; GLM‑4 All Tools
2024	GLM‑4V‑9B	Versi multimodal dengan encoder visual
2025	GLM‑4.5, GLM‑4.6, GLM‑4.7	Arsitektur MoE (GLM‑4.5), peningkatan bertahap dalam penalaran dan pengodean
2025	GLM‑4.1V‑Thinking	Model visual-bahasa dengan penalaran multi-langkah yang diperkuat (arXiv:2507.01006)
2026, Februari	GLM‑5	744B parameter (MoE), ≈40–44B aktif, konteks 200K token, tugas berbasis agen; pelatihan pada Huawei Ascend

Keluarga GLM berkembang bersama model pendamping Zhipu AI: model kode CodeGeeX, model visual-bahasa CogVLM / CogAgent, model generatif CogView, serta sistem khusus WebGLM dan AgentLM.

Landasan Teoritis dan Arsitektural

Fungsi Objektif Pra-pelatihan

Arsitektur dasar GLM berbasis Transformer. Ciri khas utamanya adalah autoregressive blank infilling — variasi pemodelan autoregresif di mana model belajar memulihkan span (potongan teks) yang hilang berdasarkan konteks.

Misalkan $x=[x_1,\dots ,x_n]$ adalah urutan masukan. Potongan kontinu (span) $\{s_1,\dots ,s_m\}$ dipilih secara acak, yang digantikan oleh satu token [MASK], membentuk teks yang terdistorsi $x_{\text{corrupt}}$. Model memulihkan setiap potongan secara autoregresif dalam urutan permutasi acak:

$ℒ=-\sum _{i=1}^m\sum _{j=1}^{|s_i|}\log P(s_{i,j}\mid x_{\text{corrupt}},s_{i,<j},s_{<i})$

di mana $x_{\text{corrupt}}$ adalah urutan yang rusak dengan potongan yang dimasker, $s_{i,<j}$ adalah token yang sudah dipulihkan dari potongan saat ini $s_i$, $s_{<i}$ adalah potongan sebelumnya yang telah sepenuhnya dipulihkan. Urutan pemulihan potongan ditentukan oleh permutasi acak dari himpunan $Z_m$, yang memungkinkan model memproses dependensi antar potongan.

Untuk penyesuaian tugas: dengan span pendek (≈15% token) model dioptimalkan untuk NLU, dengan potongan panjang (hingga 50–100% token) — untuk tugas generatif. Hal ini memungkinkan satu model mencakup kedua mode melalui multi‑task learning.

Pengkodean Posisi 2D

GLM memperkenalkan pengkodean posisi dua dimensi untuk membedakan posisi dalam urutan asli yang terdistorsi dan posisi di dalam potongan yang dipulihkan:

• Dimensi pertama $po{s}_1$: posisi absolut token (atau mask) dalam urutan yang terdistorsi.
• Dimensi kedua $po{s}_2$: posisi token di dalam potongannya selama generasi autoregresif (0 untuk token asli).

Skema ini memungkinkan pembedaan yang tepat antara konteks dan teks yang dihasilkan tanpa elemen arsitektural tambahan yang serupa dengan encoder.

Masker Atensi

GLM menggunakan masker atensi dua bagian: atensi dua arah (bidirectional) untuk token yang tidak dimasker (Bagian A — konteks) dan atensi kausal (causal) untuk token di dalam potongan (Bagian B — span yang dipulihkan). Hal ini memastikan pemahaman konteks penuh dari teks asli selama generasi autoregresif bagian yang dipulihkan. Berbeda dengan BERT (prediksi mask independen), GLM memperhitungkan dependensi antar span; berbeda dengan GPT — menggunakan konteks dua arah dari Bagian A; berbeda dengan T5 — tidak memerlukan encoder terpisah.

Evolusi Komponen Arsitektural

Pada level parameter blok Transformer, status tersembunyi $h_l\in {ℝ}^d$ pada lapisan $l$ dalam model mulai dari GLM‑4 diperbarui sebagai:

${\tilde{h}}_l=h_l+{\text{GQA}}_l(\text{RMSNorm}(h_l)),h_{l+1}={\tilde{h}}_l+{\text{FFN}}_l(\text{RMSNorm}({\tilde{h}}_l))$

di mana GQA adalah Grouped‑Query Attention (menggantikan Multi‑Head Attention penuh), dan FFN diimplementasikan melalui SwiGLU.

Mulai dari GLM‑130B dan seterusnya dalam seri, komponen arsitektural berikut digunakan:

• GLM‑130B: DeepNorm untuk menstabilkan pelatihan jaringan dalam; Rotary Positional Encoding (RoPE) dengan perluasan 2D; Gated Linear Units (GLU) dengan aktivasi GeLU (GeGLU).
• GLM‑4: transisi ke RMSNorm dan SwiGLU; Group Query Attention (GQA) menggantikan Multi‑Head Attention (MHA) untuk mengurangi KV‑cache; semua suku bias dihapus kecuali Q/K/V pada atensi; ukuran FFN diperbesar hingga $\frac{10}{3}{d}_{\text{hidden}}$ untuk mempertahankan jumlah parameter dengan GQA.
• GLM‑4.5: Mixture‑of‑Experts (MoE) dengan loss‑free balance routing dan sigmoid gates; mode penalaran hibrida (thinking / non‑thinking).
• GLM‑5: DeepSeek Sparse Attention (DSA) untuk pemrosesan konteks panjang yang efisien hingga 200K token; Multi‑Token Prediction (MTP) untuk speculative decoding; pelatihan sepenuhnya pada prosesor Huawei Ascend menggunakan MindSpore.

Penskalaan dan Hukum Penskalaan

Dalam pengembangan lini ChatGLM, dependensi empiris antara kehilangan pra-pelatihan dan kualitas pada berbagai tugas diteliti, termasuk fenomena «kemampuan yang muncul» (emergent abilities). Ditunjukkan bahwa pada tingkat kehilangan pra-pelatihan yang tetap, model dengan ukuran berbeda (dan jumlah token yang berbeda) menunjukkan performa yang sebanding, dan pada tugas tertentu (MMLU, GSM8K) kualitas mulai melampaui level acak hanya setelah mencapai ambang kehilangan pra-pelatihan tertentu.

Arsitektur dan Model dalam Seri GLM

GLM‑10B dan GLM‑130B

GLM‑10B (2021) — model dengan 10 miliar parameter yang mendemonstrasikan penerapan arsitektur GLM dengan blank infilling dan berfungsi sebagai dasar untuk penskalaan selanjutnya.

GLM‑130B (2022) dipresentasikan pada Oktober 2022 dan diterima di ICLR 2023 (arXiv:2210.02414):

• Jumlah parameter: ≈130 miliar (model padat bilingual).
• Volume pra-pelatihan: lebih dari 400 miliar token (≈200 miliar dalam bahasa Mandarin, ≈200 miliar dalam bahasa Inggris).
• Arsitektur: 70 lapisan, hidden size 12.288, 96 kepala atensi; DeepNorm, RoPE, GeGLU; pelatihan multi-tugas tambahan (Multi‑Task Instruction Pretraining, MIP) — ≈5% token pada 74 dataset tugas NLU/NLG.
• Kuantisasi: INT4 tanpa fine-tuning pasca kuantisasi (post‑training quantization) — hasil terdokumentasi pertama semacam ini di antara model 100B+; inferensi dimungkinkan pada 4×RTX 3090 (24 GB) atau 8×RTX 2080 Ti (11 GB).
• Stabilitas pelatihan: para penulis mendokumentasikan banyak lonjakan fungsi kehilangan (loss spikes) dan menjelaskan strategi stabilisasi yang diterapkan (gradient clipping, Embedding Gradient Shrink).

Pada saat publikasi, GLM‑130B melampaui GPT‑3 175B (davinci) pada serangkaian benchmark berbahasa Inggris yang luas (total 112 tugas) dan ERNIE TITAN 3.0 260B pada tugas berbahasa Mandarin; pada saat yang sama, keunggulan atas OPT‑175B dan BLOOM‑176B tidak dapat direproduksi — para penulis secara eksplisit menunjukkan keterbatasan ini. Menurut evaluasi HELM (November 2022), GLM‑130B sebanding dengan GPT‑3 berdasarkan sejumlah metrik.

Keluarga ChatGLM‑6B/2/3

ChatGLM‑6B (Maret 2023) — model dialog dengan 6,2 miliar parameter, yang dikembangkan bersama oleh KEG dan Zhipu AI, diterbitkan sebagai proyek terbuka:

• Pra-pelatihan pada ≈1 triliun token (Mandarin + Inggris), konteks 2K.
• Berorientasi pada dialog; penyelarasan awal dilakukan terutama melalui SFT dan RLHF.
• Kuantisasi INT4 dengan konsumsi ≈6 GB memori, yang memungkinkan pengoperasian lokal pada perangkat keras konsumen.

ChatGLM2‑6B (Juni 2023):

• Volume pra-pelatihan ditingkatkan menjadi 1,4 triliun token.
• Diperkenalkan FlashAttention dan Multi‑Query Attention (MQA); konteks diperluas hingga 32K token.
• Peningkatan signifikan pada benchmark: MMLU +23 poin persentase, GSM8K +571%, BBH +60% relatif terhadap ChatGLM‑6B.

ChatGLM3‑6B (Oktober 2023):

• Peningkatan tambahan pada 42 benchmark di bidang semantik, matematika, penalaran, kode, dan pengetahuan.
• Dukungan native untuk function call, Code Interpreter bawaan, dan tugas agen melalui AgentTuning / AgentLM.

GLM‑4, GLM‑4‑Air, GLM‑4‑9B dan GLM‑4 All Tools

Laporan teknis (arXiv:2406.12793) mendeskripsikan GLM‑4 sebagai keluarga model yang dilatih-pra pada ≈10 triliun token (terutama Mandarin dan Inggris, ditambah 24 bahasa tambahan) dan diselaraskan untuk bahasa Mandarin dan Inggris.

Varian utama:

• GLM‑4 (model unggulan, versi 0116 dan 0520): transformer padat, hidden size 6144, 61 lapisan, 48 kepala atensi, konteks 128K.
• GLM‑4‑Air — model yang lebih kompak dan cepat dengan kualitas mendekati GLM‑4‑0116 namun dengan latensi lebih rendah.
• GLM‑4‑9B — model 9 miliar parameter (konteks 8K, varian 128K dan eksperimental 1M) dengan pipeline pasca-pelatihan yang sama.
• GLM‑4 All Tools — versi yang diselaraskan tambahan untuk penggunaan alat: browser web, interpreter Python, pembuatan gambar (CogView3), dan fungsi yang dapat dikustomisasi.

Fitur arsitektural GLM‑4:

• Tidak ada suku bias kecuali Q/K/V pada atensi.
• RMSNorm dan SwiGLU.
• 2D‑RoPE.
• Group Query Attention (GQA) dengan FFN yang diperbesar.
• Tokenizer BPE berbasis byte berukuran 150K token, diperoleh dengan menggabungkan kamus BPE yang dilatih secara terpisah untuk korpus Mandarin dan multibahasa dengan cl100k_base.

GLM‑4.5 (Model Fondasi ARC)

GLM‑4.5 adalah model Mixture‑of‑Experts (MoE) terbuka dengan penekanan pada tugas agen, penalaran, dan pengodean (Agentic, Reasoning, Coding — ARC):

• 355 miliar parameter total, 32 miliar aktif (arsitektur MoE dengan aktivasi sparse): 89 lapisan, 160 ahli, 8 aktif per token; 96 kepala atensi, hidden size 5120.
• GLM‑4.5‑Air: 106 miliar total / 12 miliar parameter aktif — varian yang efisien.
• Pelatihan pada 23 triliun token dengan pasca-pelatihan multi-tahap, mencakup iterasi model pakar dan RLHF.
• Mode inferensi hibrida (thinking mode dan direct response): dalam kasus pertama, model menghasilkan jejak penalaran yang terperinci; dalam kasus kedua — merespons secara langsung. Peralihan dikendalikan pada level pipeline inferensi.
• Loss‑free balance routing dengan sigmoid gates untuk perutean pakar.
• Optimizer Muon; desain deeper‑and‑narrower.

GLM‑4.6 / GLM‑4.7

Seri GLM‑4.6 / 4.7 (September–Desember 2025) mengembangkan ide GLM‑4.5, memperkuat pemrograman (SWE‑bench Verified / Multilingual), penalaran kompleks (Humanity's Last Exam, AIME), dan tugas berbasis agen. GLM‑4.7 mencapai 73,8% pada SWE‑bench Verified dan memperkenalkan Interleaved / Preserved / Turn‑level Thinking — tiga mode integrasi penalaran dalam dialog. Konfigurasi tertentu tersedia sebagai model open‑weight.

GLM‑5

Laporan teknis diterbitkan pada 21 Februari 2026 (arXiv:2602.15763). Karakteristik utama:

• Arsitektur: Mixture‑of‑Experts dengan ≈744–745 miliar parameter total, 256 ahli, 8 diaktifkan untuk setiap token (≈40–44 miliar parameter aktif, ≈5,9% kepadatan); 75 lapisan MoE + 3 lapisan padat.
• Pra-pelatihan: 28,5 triliun token.
• Jendela konteks: 200K token.
• Dynamic Sparse Attention (DSA): mekanisme atensi sparse yang mengurangi biaya pelatihan dan inferensi sambil mempertahankan kualitas pada konteks panjang.
• Multi‑Token Prediction (MTP): teknik untuk speculative decoding saat inferensi.
• Infrastruktur teknis: pelatihan dilakukan sepenuhnya pada prosesor Huawei Ascend menggunakan framework MindSpore, tanpa ketergantungan pada perangkat keras GPU buatan Amerika.
• Pasca-pelatihan: infrastruktur Reinforcement Learning (RL) asinkron dengan dekoplingan generasi dan pelatihan (decoupling inference / training); penerapan algoritma RL berbasis agen untuk interaksi cakrawala panjang; Token‑in‑Token‑out (TITO) dan manajemen konteks hierarkis untuk tugas agen long‑horizon.
• Lisensi: bobot terbuka di bawah lisensi MIT.

Tabel Ringkasan Model Seri

Model	Tahun	Parameter (total / aktif)	Token pra-pelatihan	Konteks	Fitur Utama
GLM‑130B	2022	130 miliar / —	≈400 miliar	2K	Padat, bilingual, DeepNorm, kuantisasi INT4
ChatGLM‑6B	2023	6,2 miliar / —	≈1 triliun	2K	Dialog, SFT + RLHF, INT4 (≈6 GB)
ChatGLM2‑6B	2023	6,2 miliar / —	1,4 triliun	32K	FlashAttention, MQA
ChatGLM3‑6B	2023	6,2 miliar / —	—	32K	Function call, Code Interpreter, AgentTuning
GLM‑4	2024	tidak diungkapkan (API)	≈10 triliun	128K–1M	All Tools, multimodalitas (V)
GLM‑4‑9B	2024	≈9 miliar / —	≈10 triliun	128K–1M	Versi terbuka, GQA
GLM‑4.5	2025	355 miliar / 32 miliar	23 triliun	128K	MoE, penalaran hibrida, fokus ARC
GLM‑4.5‑Air	2025	106 miliar / 12 miliar	23 triliun	128K	Varian MoE yang efisien
GLM‑4.7	2025	—	—	128K	Pengodean yang ditingkatkan, Interleaved Thinking
GLM‑5	2026	744 miliar / ≈40 miliar	28,5 triliun	200K	DSA, MTP, rekayasa berbasis agen, Huawei Ascend

Perluasan Multimodal dan Khusus

• GLM‑4V‑9B — versi multimodal dengan encoder visual untuk pemrosesan gambar dan dokumen.
• GLM‑4.1V‑Thinking — model visual-bahasa dengan penalaran multi-langkah yang diperkuat (arXiv:2507.01006).
• GLM‑4‑Voice — model ucapan end‑to‑end (9B base, ≈1 triliun token ucapan-teks, tokenizer 175 bit/dtk).
• CodeGeeX — keluarga model kode (CodeGeeX‑13B, CodeGeeX2‑6B) untuk pembuatan, pelengkapan, dan refaktorisasi kode dalam beberapa bahasa pemrograman; terintegrasi dalam plugin IDE.
• CogVLM / CogAgent — model visual-bahasa untuk pemahaman gambar dan navigasi otonom dalam GUI.
• WebGLM — model untuk pencarian berorientasi web dan QA; ditunjukkan bahwa model dengan ≈10 miliar parameter mendekati WebGPT‑175B pada sejumlah tugas (KDD 2023).

Pelatihan, Data, dan Teknologi Pendukung

Data Pra-pelatihan

Korpus pra-pelatihan untuk GLM‑4 dan model sebelumnya mencakup:

• Halaman web multibahasa (terutama Mandarin dan Inggris), Wikipedia, buku, kode, dan artikel ilmiah.
• Pipeline pemrosesan tiga tahap: deduplikasi (tepat dan fuzzy), penyaringan (penghapusan teks yang berisik dan berpotensi berbahaya), dan tokenisasi.
• Kamus terpadu berukuran 150K token, diperoleh dengan menggabungkan kamus BPE yang dilatih secara terpisah untuk korpus Mandarin dan multibahasa dengan cl100k_base (tiktoken).

Pentingnya kualitas dan keragaman data dikonfirmasi secara empiris, namun para penulis tidak merumuskan kriteria pemilihan data fundamental yang eksplisit di luar pola empiris yang telah dipublikasikan.

Perluasan Konteks dan LongAlign

Jendela konteks secara bertahap diperluas dari 2K (ChatGLM‑6B) menjadi 32K (ChatGLM2/3) dan selanjutnya hingga 128K dan 1M token dalam GLM‑4, kemudian hingga 200K dalam GLM‑5. Digunakan kombinasi perluasan pengkodean posisi (metode penskalaan frekuensi berbasis RoPE) dan fine-tuning tambahan pada teks panjang. Resep penyelarasan khusus LongAlign memungkinkan pemeliharaan kualitas pada masukan panjang: berdasarkan LongBench‑Chat, GLM‑4 (0520) menunjukkan 87,3 pada bagian berbahasa Inggris (sebanding dengan GPT‑4 Turbo 1106: 87,2 dan Claude 3 Opus: 87,7) dan 84,0 pada bagian berbahasa Mandarin (lebih tinggi dari GPT‑4 Turbo dan Claude 3 Opus).

Pasca-pelatihan dan Penyelarasan (SFT, RLHF)

Pasca-pelatihan mencakup dua tahap utama:

• Supervised Fine‑Tuning (SFT): pelatihan pada pasangan «permintaan–respons» dengan penekanan pada interaksi nyata (yang ditulis manusia), bukan yang bersifat templat atau dihasilkan secara otomatis.
• Reinforcement Learning from Human Feedback (RLHF): optimasi berdasarkan preferensi anotator melalui PPO, DPO, dan skema khusus, khususnya ChatGLM‑RLHF dan Self‑Contrast (contoh negatif dihasilkan oleh model itu sendiri, sehingga mengurangi kebutuhan data preferensi).

Vektor fitur untuk mengevaluasi respons mencakup indikator keamanan, faktualitas, relevansi, manfaat, dan kesesuaian preferensi. Para penulis mencatat bahwa RLHF mengurangi frekuensi penolakan, meningkatkan keamanan dan konsistensi dalam dialog multi-giliran.

Teknik Khusus Ekosistem GLM

• LongAlign — resep penyelarasan konteks panjang (hingga 128K).
• ChatGLM‑Math — peningkatan pemecahan masalah matematika menggunakan skema self‑critique (penilaian mandiri atas jawaban tanpa model eksternal).
• Self‑Contrast — skema RLHF di mana contoh negatif dihasilkan oleh model itu sendiri.
• AgentTuning / AgentInstruct — framework dan dataset untuk melatih keterampilan agen pada lintasan interaksi agen dengan lingkungan.
• APAR (Auto‑Parallel Auto‑Regressive) — algoritma generasi autoregresif paralel otomatis untuk mempercepat inferensi.

Juga dikembangkan sejumlah benchmark: AgentBench (tugas agen), LongBench (konteks panjang), AlignBench (penyelarasan bahasa Mandarin), HumanEval‑X (kode di luar Python), NaturalCodeBench (tugas pemrograman praktis).

Hasil Utama dan Benchmark

Semua metrik dikutip dari laporan teknis asli dengan indikasi kondisi (zero‑/few‑shot, dataset, versi model). Perbandingan dilakukan oleh para penulis laporan teknis; reproduksi independen pada platform terstandarisasi (LMSYS Chatbot Arena, Open LLM Leaderboard) untuk semua versi tidak disistematisasi.

Dinamika Kualitas: ChatGLM‑6B → GLM‑4‑9B

Benchmark	ChatGLM‑6B	ChatGLM2‑6B	ChatGLM3‑6B	GLM‑4‑9B
GSM8K (%)	1,5	25,9	72,3	84,0
MMLU (%)	25,2	45,2	61,4	74,7
HumanEval (%)	0,0	9,8	58,5	70,1
C‑Eval (%, Mandarin)	23,7	51,7	69,0	77,1

Semua model dievaluasi dalam BF16 dengan pengaturan yang sama.

GLM‑4 pada Benchmark Akademis

Benchmark	GLM‑4 (0520)	GPT‑4 (0314)	GPT‑4 Turbo (2024‑04‑09)	Claude 3 Opus
MMLU (%)	83,3	86,4	86,7	86,8
GSM8K (%)	93,3	92,0	95,6	95,0
MATH (%)	61,3	52,9	73,4	60,1
BBH (%)	84,7	83,1	88,2	86,8
GPQA (%)	39,9	35,7	49,3	50,4
HumanEval (%)	78,5	67,0	88,2	84,9

GLM‑4 (0520) mencapai ≈96,3% dari hasil GPT‑4 pada MMLU, melampaui GPT‑4 (0314) pada MATH dan GSM8K, namun kalah dari GPT‑4 Turbo pada MATH dan HumanEval.

Berdasarkan AlignBench v1.1 (penyelarasan bahasa Mandarin), GLM‑4 (0520) menunjukkan skor keseluruhan 8,00 dibandingkan 7,90 untuk GPT‑4 Turbo dan 7,53 untuk Claude 3 Opus, dengan keunggulan yang terlihat pada sub-indikator «Logic», «Language», «Professional».

Berdasarkan AgentBench, GLM‑4 (0520) mencapai skor keseluruhan 3,79, sebanding atau sedikit di atas GPT‑4 Turbo (1106) dan Claude 3 Opus. Skor tinggi pada tugas Database, House‑Holding, dan Web‑Shopping; ketertinggalan — dalam tugas Operating System dan Lateral Thinking Puzzles.

Berdasarkan Berkeley Function Call Leaderboard, GLM‑4 (0520) mencapai 81,76% (GPT‑4 Turbo: 81,24%); GLM‑4‑9B‑Chat secara signifikan melampaui Llama‑3‑8B‑Instruct (81,00% vs 58,88%).

GLM‑4.5

Benchmark	GLM‑4.5	Keterangan
TAU‑Bench (rata-rata agen)	70,1%	Tugas berbasis agen
AIME 2024	91,0%	Kompetisi matematika
SWE‑bench Verified	64,2%	Penyelesaian tugas pada repositori nyata
GPQA (Avg@8)	79,1%	Pertanyaan tingkat pascasarjana
MATH‑500	98,2%	Matematika
MMLU‑Pro	84,6%	MMLU yang diperluas

Dengan mempertimbangkan jumlah parameter aktif yang lebih sedikit, GLM‑4.5 menempati peringkat ke-3 di antara semua model yang dievaluasi (berdasarkan peringkat gabungan dari 12 benchmark) dan ke-2 — pada benchmark agen pada saat laporan diterbitkan.

GLM‑4.7

• SWE‑bench Verified: 73,8% (+5,8 poin persentase relatif terhadap GLM‑4.5).
• Terminal‑Bench 2.0: 41,0% (+16,5 poin persentase).
• Humanity's Last Exam (dengan alat): 42,8%.

GLM‑5

Benchmark	GLM‑5	Keterangan
SWE‑bench Verified	77,8%	Pemimpin di antara model open‑weight pada saat publikasi
GPQA‑Diamond	86,0%	Pertanyaan tingkat pascasarjana
Terminal‑Bench 2.0	56,2–61,1%	Tugas rekayasa
Humanity's Last Exam (dengan alat)	50,4%	Pertanyaan multidisiplin yang kompleks
BrowseComp	62,0%	Navigasi web

GLM‑5 menunjukkan peningkatan ≈20% pada indikator rata-rata relatif terhadap GLM‑4.7 dan menempati posisi di antara model open‑weight yang sebanding dengan model tertutup setara Claude Opus 4.5 pada sejumlah benchmark agen dan kode.

Keamanan (SafetyBench)

Berdasarkan SafetyBench (subsampel bahasa Mandarin), GLM‑4 (0520) mencapai 87,2% pada indikator integral, yang sebanding dengan Claude 3 Opus (87,5%) dan sedikit di bawah GPT‑4 (≈88–89,7%). Kesenjangan yang paling mencolok dibandingkan GPT‑4 terlihat pada dimensi «Physical Health» (keamanan fisik).

Penerapan dan Ekosistem

Skenario Dialog dan Asisten

Seri ChatGLM dan model-model berikutnya digunakan sebagai asisten dialog, termasuk layanan komersial Zhipu Qingyan (chatglm.cn / chat.z.ai), dengan dukungan komunikasi multibahasa, dialog multi-langkah, dan mode instruksional.

Sistem Agen dan Alat

GLM‑4 All Tools dan model-model berikutnya terintegrasi dalam platform agen GLMs, yang memungkinkan pembuatan agen yang dapat dikustomisasi, menghubungkan interpreter Python bawaan, browser web, model VLM/T2I (CogView3), dan menggunakan API eksternal. Tugas komposit didukung: pencarian web, analisis data melalui Python, rantai alat yang dikombinasikan. GLM‑5 berfokus pada tugas rekayasa perangkat lunak dengan perencanaan cakrawala panjang (agentic engineering) dan diuji pada benchmark MCP‑Atlas dan BrowseComp.

Pembuatan Kode dan Pengembangan Perangkat Lunak

Keluarga CodeGeeX (CodeGeeX‑13B, CodeGeeX2‑6B) dan mode kode GLM digunakan untuk pembuatan kode dalam beberapa bahasa pemrograman, pelengkapan dan refaktorisasi, serta penyelesaian tugas HumanEval dan HumanEval‑X. Pada HumanEval‑X, CodeGeeX2‑6B meningkatkan Pass@1 dibandingkan CodeGeeX‑13B (menurut data penulis: +57% dalam Python, +71% dalam C++). Produk CodeGeeX terintegrasi dalam plugin IDE untuk pengembang.

Konteks Panjang dan Skenario Berpusat pada Dokumen

GLM‑4‑9B‑Chat‑1M dan model-model senior digunakan untuk menganalisis dokumen dan koleksi besar (hingga 1M token), peringkasan, pencarian dalam dokumen panjang, dan bekerja dengan kode panjang.

Infrastruktur Penerapan

Model tersedia melalui platform API Z.ai / bigmodel.cn (tool calling, framework agen). Versi terbuka mendukung penerapan lokal melalui vLLM, SGLang. Dukungan Huawei Ascend memungkinkan penerapan tanpa perangkat keras NVIDIA. Model terbuka dari seri ini telah diunduh lebih dari 10 juta kali di Hugging Face (2023–2024).

Keterbatasan dan Masalah Terbuka

• Ketidakseimbangan bahasa: seri GLM terutama dilatih-pra dalam bahasa Mandarin dan Inggris; kualitas pada bahasa lain jauh lebih rendah, seperti yang secara eksplisit dinyatakan dalam laporan teknis arXiv:2406.12793.
• Reprodusibilitas benchmark: sebagian besar hasil perbandingan disajikan dalam laporan teknis dari pengembang sendiri. Validasi eksternal independen pada platform terstandarisasi (LMSYS Chatbot Arena, Open LLM Leaderboard) untuk semua versi tidak disistematisasi.
• Loss spikes saat penskalaan: pelatihan GLM‑130B disertai dengan banyak lonjakan fungsi kehilangan yang memerlukan intervensi manual; para penulis mendokumentasikan ini sebagai masalah rekayasa yang belum terselesaikan saat penskalaan.
• Ketergantungan pada perangkat keras: mulai dari GLM‑5, pelatihan dipindahkan ke Huawei Ascend / MindSpore; reproduksi independen pada platform perangkat keras lain menjadi sulit.
• Penyelarasan dan keamanan: meskipun RLHF diterapkan, masalah penolakan menjawab, konsistensi dalam dialog multi-giliran, dan penghindaran mekanisme keamanan tetap relevan; para penulis arXiv:2406.12793 menyatakan bahwa RLHF membantu, tetapi tidak sepenuhnya menyelesaikan masalah.
• Halusinasi: seperti pada LLM lainnya, masalah kesalahan faktual terdokumentasi; estimasi kuantitatif bervariasi tergantung pada tugas dan metodologi.
• Penalaran matematika: GLM‑4 kalah dari GPT‑4 Turbo pada MATH dan sejumlah tugas aritmetika kompleks, meskipun menggunakan teknik khusus (ChatGLM‑Math).
• Tugas berbasis agen: pada AgentBench, masih terdapat kesenjangan dalam tugas yang berkaitan dengan interaksi OS tingkat rendah dan teka-teki logika yang kompleks; kualitas cakrawala panjang (long‑horizon) tetap menjadi tantangan yang belum terselesaikan (akumulasi kesalahan dalam tugas berantai).
• Kode dan tugas praktis: pada NaturalCodeBench, GLM‑4 (keseluruhan 47,1%) di bawah GPT‑4 Turbo (53,8%), meskipun sebanding dengan Claude 3 Opus (48,3%).

Aspek Etis dan Regulasi

Seri GLM dikembangkan sesuai dengan persyaratan regulator Tiongkok (Administrasi Siber Tiongkok, CAC) terkait pendaftaran model generatif dan penilaian keamanan. Pasca-pelatihan mencakup SFT dan RLHF untuk mengurangi toksisitas dan konten berbahaya.

Laporan teknis GLM‑4 mendeskripsikan proses manajemen risiko bertahap:

• Pembersihan awal korpus pra-pelatihan dari teks dengan konten yang berpotensi berbahaya.
• Penyaringan data penyelarasan berdasarkan kriteria keamanan.
• Pengujian red‑team: pembentukan permintaan berbahaya yang kompleks untuk fine-tuning.
• Penggunaan SafetyBench untuk penilaian keamanan kuantitatif (7 dimensi).

Model awal (GLM‑130B) menunjukkan tingkat bias yang lebih rendah pada CrowS‑Pairs dan toksisitas yang berkurang pada RealToxicPrompts dibandingkan dengan GPT‑3 dan OPT berkat pelatihan bilingual.

Peluncuran GLM‑5 di bawah lisensi MIT berarti tidak adanya batasan formal pada penggunaan komersial bobot terbuka, yang membawa risiko standar penggunaan yang tidak terkontrol, yang merupakan karakteristik LLM terbuka. Pertanyaan mengenai bias dalam korpus pra-pelatihan yang spesifik untuk bahasa Mandarin dan konteks budaya belum diteliti secara sistematis dalam karya publik pada saat penulisan artikel ini.

Prospek dan Arah Penelitian

Berdasarkan laporan teknis yang diterbitkan dan materi pendukung dari Z.ai, arah-arah yang dideklarasikan berikut ini diidentifikasi:

• Penskalaan arsitektur MoE dengan pengurangan biaya parameter aktif per token.
• Pengembangan algoritma RL agen asinkron untuk tugas cakrawala panjang.
• Peningkatan mekanisme atensi sparse (DSA) untuk konteks di atas 200K token.
• Penalaran multimodal: pengembangan GLM‑4.1V‑Thinking ke arah pemahaman video dan dokumen.
• Pengurangan ketergantungan pada API eksternal dalam eksekusi tugas berbasis agen melalui pelatihan agen akhir pada interaksi nyata.
• Optimasi untuk perangkat keras domestik (bagi Tiongkok) (Huawei Ascend, Cambricon) dan pengurangan jejak karbon pelatihan.
• Integrasi dengan platform robotika dan komputasi ilmiah.

Lihat Juga

• Arsitektur Transformer
• BERT
• GPT
• T5
• Arsitektur Decoder‑only
• Reinforcement Learning from Human Feedback
• DeepSeek

Referensi

• Du, Z., Qian, Y., Liu, X., Ding, M., Qiu, J., Yang, Z., Tang, J. (2022). GLM: General Language Model Pretraining with Autoregressive Blank Infilling. ACL 2022. https://aclanthology.org/2022.acl-long.26/
• Zeng, A. et al. (2022). GLM-130B: An Open Bilingual Pre-trained Model. ICLR 2023. arXiv:2210.02414. https://arxiv.org/abs/2210.02414
• Team GLM. (2024). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools. arXiv:2406.12793. https://arxiv.org/abs/2406.12793
• GLM-4.5 Team. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471. https://arxiv.org/abs/2508.06471
• GLM-5 Team. (2026). GLM-5: from Vibe Coding to Agentic Engineering. arXiv:2602.15763. https://arxiv.org/abs/2602.15763
• Zeng, A. et al. (2024). GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot. arXiv:2412.02612. https://arxiv.org/abs/2412.02612
• Zhipu AI. (2025). GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning Models. arXiv:2507.01006. https://arxiv.org/abs/2507.01006
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. https://arxiv.org/abs/2005.14165