GLM (Zhipu AI) (VI)

GLM (General Language Model) — họ các mô hình ngôn ngữ lớn (Large Language Model, LLM) được phát triển bởi công ty Zhipu AI (từ năm 2025 là Z.ai) phối hợp với phòng thí nghiệm Knowledge Engineering Group (KEG) thuộc Khoa Khoa học Máy tính của Đại học Thanh Hoa (Bắc Kinh). Bộ mô hình bao gồm các phiên bản từ 6 đến 744 tỷ tham số, tập trung chủ yếu vào tiếng Trung và tiếng Anh. Đặc điểm nổi bật của kiến trúc nền tảng là hàm mục tiêu tiền huấn luyện dựa trên autoregressive blank infilling (điền vào chỗ trống theo cơ chế tự hồi quy), kết hợp đặc tính của transformer encoder và decoder trong một sơ đồ thống nhất.

Bộ mô hình bao gồm các mô hình tiền huấn luyện cơ sở, các biến thể hội thoại (ChatGLM), các mở rộng đa phương thức (GLM‑4V, CogVLM), các công cụ chuyên dụng (CodeGeeX để sinh mã, WebGLM để tìm kiếm web) và các hệ thống tác nhân (GLM‑4 All Tools, AutoGLM). Sự phát triển của họ mô hình có thể theo dõi từ GLM‑10B (2021) và GLM‑130B (2022) đến GLM‑4 (2024), GLM‑4.5 (2025) và GLM‑5 (2026), với sự chuyển dịch từ kiến trúc dày đặc (dense) sang Mixture‑of‑Experts (MoE) và trọng tâm vào các kịch bản tác nhân.

Lịch sử và tiền đề

Bối cảnh thể chế

Zhipu AI được thành lập năm 2019 bởi các giáo sư Đại học Thanh Hoa Tang Jie và Li Juanzi trên cơ sở phòng thí nghiệm KEG chuyên về đồ thị tri thức. Năm 2020, công ty tập trung nỗ lực vào các mô hình ngôn ngữ quy mô lớn. Năm 2023, công ty huy động được 2,5 tỷ nhân dân tệ đầu tư (≈350 triệu USD) với sự tham gia của Alibaba Group, Tencent, Ant Group, Meituan và Xiaomi. Tháng 7 năm 2025, công ty đổi tên thương hiệu công khai thành Z.ai, và tháng 1 năm 2026 tiến hành IPO trên Sàn giao dịch chứng khoán Hồng Kông.

Công trình khởi nguồn: GLM (2021–2022)

Bản thảo cơ sở «GLM: General Language Model Pretraining with Autoregressive Blank Infilling» được đăng tải trên arXiv vào tháng 3 năm 2021 (arXiv:2103.10360) và được chấp nhận tại hội nghị ACL 2022. Tác giả: Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. Công trình được thúc đẩy bởi những hạn chế của các mô hình kiến trúc hiện có: các mô hình encoder (BERT) tối ưu cho bài toán hiểu ngôn ngữ tự nhiên (Natural Language Understanding, NLU), các mô hình decoder (GPT) cho sinh văn bản, còn các mô hình encoder‑decoder (T5) đòi hỏi số lượng tham số lớn hơn. GLM đề xuất một phương pháp thống nhất có khả năng giải quyết cả hai lớp bài toán.

Niên biểu các phiên bản chính

Năm	Mô hình	Đặc điểm chính
2021	GLM (cơ sở), GLM‑10B	Autoregressive blank infilling, mã hóa vị trí 2D; tham số đến 515M (cơ sở) và 10B
2022	GLM‑130B	130B tham số, song ngữ (tiếng Trung / tiếng Anh), trọng số mở, lượng tử hóa INT4 không cần tinh chỉnh; được chấp nhận tại ICLR 2023
2023, tháng 3	ChatGLM‑6B (v1)	6,2B tham số, ≈1T token tiền huấn luyện, căn chỉnh SFT + RLHF, lượng tử hóa INT4 (≈6 GB bộ nhớ)
2023, tháng 6	ChatGLM2‑6B	1,4T token, FlashAttention, Multi‑Query Attention (MQA), ngữ cảnh đến 32K token
2023, tháng 10	ChatGLM3‑6B	Cải thiện khả năng tuân theo hướng dẫn, hỗ trợ gọi công cụ (tool calling), Code Interpreter
2024	GLM‑4, GLM‑4‑Air, GLM‑4‑9B	≈10T token tiền huấn luyện, RoPE + GQA, ngữ cảnh đến 128K / 1M token; GLM‑4 All Tools
2024	GLM‑4V‑9B	Phiên bản đa phương thức với bộ mã hóa thị giác
2025	GLM‑4.5, GLM‑4.6, GLM‑4.7	Kiến trúc MoE (GLM‑4.5), cải tiến lần lượt về suy luận và lập trình
2025	GLM‑4.1V‑Thinking	Mô hình thị giác-ngôn ngữ với khả năng suy luận đa bước được tăng cường (arXiv:2507.01006)
2026, tháng 2	GLM‑5	744B tham số (MoE), ≈40–44B tham số hoạt động, ngữ cảnh 200K token, các tác vụ tác nhân; huấn luyện trên Huawei Ascend

Họ mô hình GLM phát triển song hành với các mô hình đi kèm của Zhipu AI: mô hình mã CodeGeeX, mô hình thị giác-ngôn ngữ CogVLM / CogAgent, mô hình sinh ảnh CogView, cũng như các hệ thống chuyên dụng WebGLM và AgentLM.

Cơ sở lý thuyết và kiến trúc

Hàm mục tiêu tiền huấn luyện

Kiến trúc cơ sở của GLM dựa trên Transformer. Đặc điểm phân biệt chính là autoregressive blank infilling — một biến thể của mô hình hóa tự hồi quy, trong đó mô hình học cách khôi phục các đoạn (span) bị thiếu trong văn bản dựa trên ngữ cảnh.

Giả sử $x=[x_1,\dots ,x_n]$ là chuỗi đầu vào. Các đoạn liên tục (span) $\{s_1,\dots ,s_m\}$ được chọn ngẫu nhiên và thay thế bằng một token [MASK] duy nhất, tạo ra văn bản bị biến đổi $x_{\text{corrupt}}$. Mô hình khôi phục tự hồi quy từng đoạn theo thứ tự hoán vị ngẫu nhiên:

$ℒ=-\sum _{i=1}^m\sum _{j=1}^{|s_i|}\log P(s_{i,j}\mid x_{\text{corrupt}},s_{i,<j},s_{<i})$

trong đó $x_{\text{corrupt}}$ là chuỗi bị hỏng với các đoạn bị che, $s_{i,<j}$ là các token đã được khôi phục của đoạn hiện tại $s_i$, $s_{<i}$ là các đoạn trước đó đã được khôi phục hoàn toàn. Thứ tự khôi phục các đoạn được xác định bởi một hoán vị ngẫu nhiên từ tập $Z_m$, cho phép mô hình xử lý các phụ thuộc giữa các đoạn.

Để điều chỉnh nhiệm vụ: với các đoạn ngắn bị che (≈15% token), mô hình được tối ưu hóa cho NLU; với các đoạn dài (đến 50–100% token) — cho các tác vụ sinh văn bản. Điều này cho phép một mô hình duy nhất bao phủ cả hai chế độ thông qua tiền huấn luyện đa nhiệm (multi‑task learning).

Mã hóa vị trí 2D

GLM giới thiệu mã hóa vị trí hai chiều để phân biệt vị trí trong chuỗi gốc bị biến đổi và vị trí bên trong các đoạn đang được khôi phục:

• Chiều thứ nhất $po{s}_1$: vị trí tuyệt đối của token (hoặc mask) trong chuỗi bị biến đổi.
• Chiều thứ hai $po{s}_2$: vị trí của token bên trong đoạn của nó khi sinh tự hồi quy (0 đối với các token gốc).

Sơ đồ này cho phép phân biệt chính xác giữa ngữ cảnh và văn bản được sinh ra mà không cần các phần tử kiến trúc bổ sung tương tự như encoder.

Mặt nạ attention

GLM sử dụng mặt nạ attention hai phần: attention hai chiều (bidirectional) cho các token không bị che (Phần A — ngữ cảnh) và attention nhân quả (causal) cho các token bên trong các đoạn (Phần B — các span đang được khôi phục). Điều này đảm bảo sự hiểu biết toàn ngữ cảnh của văn bản gốc trong khi sinh tự hồi quy các phần được khôi phục. Khác với BERT (dự đoán các mask độc lập), GLM tính đến sự phụ thuộc giữa các span; khác với GPT — sử dụng ngữ cảnh hai chiều của Phần A; khác với T5 — không yêu cầu encoder riêng biệt.

Sự phát triển của các thành phần kiến trúc

Ở cấp độ tham số khối Transformer, trạng thái ẩn $h_l\in {ℝ}^d$ tại lớp $l$ trong các mô hình kể từ GLM‑4 được cập nhật như sau:

${\tilde{h}}_l=h_l+{\text{GQA}}_l(\text{RMSNorm}(h_l)),h_{l+1}={\tilde{h}}_l+{\text{FFN}}_l(\text{RMSNorm}({\tilde{h}}_l))$

trong đó GQA là Grouped‑Query Attention (thay thế cho Multi‑Head Attention đầy đủ), và FFN được triển khai thông qua SwiGLU.

Kể từ GLM‑130B trở đi, các thành phần kiến trúc sau đây được sử dụng trong bộ mô hình:

• GLM‑130B: DeepNorm để ổn định huấn luyện các mạng sâu; Rotary Positional Encoding (RoPE) với mở rộng 2D; Gated Linear Units (GLU) với kích hoạt GeLU (GeGLU).
• GLM‑4: chuyển sang RMSNorm và SwiGLU; Group Query Attention (GQA) thay cho Multi‑Head Attention (MHA) để giảm KV‑cache; loại bỏ tất cả các số hạng bias ngoại trừ Q/K/V trong attention; tăng kích thước FFN lên $\frac{10}{3}{d}_{\text{hidden}}$ để duy trì số lượng tham số khi dùng GQA.
• GLM‑4.5: Mixture‑of‑Experts (MoE) với định tuyến cân bằng không mất mát (loss‑free balance routing) và sigmoid gates; chế độ suy luận lai (thinking / non‑thinking).
• GLM‑5: DeepSeek Sparse Attention (DSA) để xử lý hiệu quả ngữ cảnh dài đến 200K token; Multi‑Token Prediction (MTP) cho giải mã suy đoán (speculative decoding); huấn luyện hoàn toàn trên vi xử lý Huawei Ascend sử dụng MindSpore.

Quy mô hóa và các quy luật quy mô hóa

Trong quá trình phát triển dòng ChatGLM, các mối quan hệ thực nghiệm giữa mất mát tiền huấn luyện và chất lượng trên các tác vụ được nghiên cứu, bao gồm hiện tượng «emergent abilities» (khả năng nổi sinh). Kết quả cho thấy rằng với mức mất mát tiền huấn luyện cố định, các mô hình có kích thước khác nhau (và số lượng token khác nhau) thể hiện hiệu suất tương đương, và đối với một số tác vụ nhất định (MMLU, GSM8K), chất lượng chỉ bắt đầu vượt mức ngẫu nhiên sau khi đạt ngưỡng mất mát tiền huấn luyện nhất định.

Các kiến trúc và mô hình trong bộ GLM

GLM‑10B và GLM‑130B

GLM‑10B (2021) — mô hình 10 tỷ tham số, thể hiện khả năng ứng dụng của kiến trúc GLM với blank infilling và là nền tảng cho việc mở rộng quy mô tiếp theo.

GLM‑130B (2022) được giới thiệu vào tháng 10 năm 2022 và được chấp nhận tại ICLR 2023 (arXiv:2210.02414):

• Số tham số: ≈130 tỷ (mô hình dày đặc song ngữ).
• Khối lượng tiền huấn luyện: hơn 400 tỷ token (≈200 tỷ tiếng Trung, ≈200 tỷ tiếng Anh).
• Kiến trúc: 70 lớp, hidden size 12 288, 96 đầu attention; DeepNorm, RoPE, GeGLU; huấn luyện đa nhiệm bổ sung (Multi‑Task Instruction Pretraining, MIP) — ≈5% token trên 74 bộ dữ liệu bài toán NLU/NLG.
• Lượng tử hóa: INT4 không cần tinh chỉnh sau lượng tử hóa (post‑training quantization) — kết quả được ghi chép đầu tiên ở loại này trong các mô hình 100B+ tham số; có thể suy luận trên 4×RTX 3090 (24 GB) hoặc 8×RTX 2080 Ti (11 GB).
• Tính ổn định khi huấn luyện: các tác giả ghi chép nhiều đợt tăng đột biến của hàm mất mát (loss spikes) và mô tả các chiến lược ổn định được áp dụng (gradient clipping, Embedding Gradient Shrink).

Tại thời điểm công bố, GLM‑130B vượt qua GPT‑3 175B (davinci) trên một tập hợp rộng các benchmark tiếng Anh (tổng cộng 112 tác vụ) và ERNIE TITAN 3.0 260B trên các tác vụ tiếng Trung; tuy nhiên, sự vượt trội so với OPT‑175B và BLOOM‑176B không được tái hiện — các tác giả nêu rõ hạn chế này. Theo đánh giá HELM (tháng 11 năm 2022), GLM‑130B có kết quả tương đương GPT‑3 theo một số chỉ số.

Họ ChatGLM‑6B/2/3

ChatGLM‑6B (tháng 3 năm 2023) — mô hình hội thoại với 6,2 tỷ tham số, được phát triển chung bởi KEG và Zhipu AI, được phát hành như một dự án mã nguồn mở:

• Tiền huấn luyện trên ≈1 nghìn tỷ token (tiếng Trung + tiếng Anh), ngữ cảnh 2K.
• Hướng đến hội thoại; căn chỉnh ban đầu được thực hiện chủ yếu bằng SFT và RLHF.
• Lượng tử hóa INT4 với mức tiêu thụ ≈6 GB bộ nhớ, cho phép chạy cục bộ trên phần cứng tiêu dùng thông thường.

ChatGLM2‑6B (tháng 6 năm 2023):

• Khối lượng tiền huấn luyện tăng lên 1,4 nghìn tỷ token.
• Bổ sung FlashAttention và Multi‑Query Attention (MQA); ngữ cảnh mở rộng lên 32K token.
• Cải thiện đáng kể trên các benchmark: MMLU +23 điểm phần trăm, GSM8K +571%, BBH +60% so với ChatGLM‑6B.

ChatGLM3‑6B (tháng 10 năm 2023):

• Cải thiện thêm trên 42 benchmark trong các lĩnh vực ngữ nghĩa, toán học, suy luận, lập trình và tri thức.
• Hỗ trợ gốc cho function call, Code Interpreter tích hợp và các tác vụ tác nhân thông qua AgentTuning / AgentLM.

GLM‑4, GLM‑4‑Air, GLM‑4‑9B và GLM‑4 All Tools

Báo cáo kỹ thuật (arXiv:2406.12793) mô tả GLM‑4 như một họ mô hình được tiền huấn luyện trên ≈10 nghìn tỷ token (chủ yếu tiếng Trung và tiếng Anh, cộng thêm 24 ngôn ngữ bổ sung) và được căn chỉnh cho tiếng Trung và tiếng Anh.

Các biến thể chính:

• GLM‑4 (mô hình hàng đầu, phiên bản 0116 và 0520): transformer dày đặc, hidden size 6144, 61 lớp, 48 đầu attention, ngữ cảnh 128K.
• GLM‑4‑Air — mô hình nhỏ gọn và nhanh hơn với chất lượng gần với GLM‑4‑0116, độ trễ thấp hơn.
• GLM‑4‑9B — mô hình 9 tỷ tham số (ngữ cảnh 8K, các biến thể 128K và thử nghiệm 1M) với cùng pipeline hậu huấn luyện.
• GLM‑4 All Tools — phiên bản được căn chỉnh thêm để sử dụng các công cụ: trình duyệt web, trình thông dịch Python, sinh ảnh (CogView3) và các hàm tùy chỉnh.

Đặc điểm kiến trúc của GLM‑4:

• Không có các số hạng bias ngoại trừ Q/K/V trong attention.
• RMSNorm và SwiGLU.
• 2D‑RoPE.
• Group Query Attention (GQA) với FFN được mở rộng.
• Bộ tokenizer BPE dạng byte với kích thước 150K token, được tạo ra bằng cách kết hợp các từ điển BPE được huấn luyện riêng cho tiếng Trung và corpus đa ngôn ngữ với cl100k_base.

GLM‑4.5 (mô hình nền tảng ARC)

GLM‑4.5 là mô hình Mixture‑of‑Experts (MoE) mã nguồn mở tập trung vào các tác vụ tác nhân, suy luận và lập trình (Agentic, Reasoning, Coding — ARC):

• 355 tỷ tham số tổng cộng, 32 tỷ tham số hoạt động (kiến trúc MoE với kích hoạt sparse): 89 lớp, 160 chuyên gia, 8 chuyên gia được kích hoạt trên mỗi token; 96 đầu attention, hidden size 5120.
• GLM‑4.5‑Air: 106 tỷ tham số tổng / 12 tỷ tham số hoạt động — biến thể hiệu quả.
• Huấn luyện trên 23 nghìn tỷ token với hậu huấn luyện đa giai đoạn bao gồm vòng lặp các mô hình chuyên gia và RLHF.
• Chế độ suy luận lai (thinking mode và direct response): trong trường hợp đầu, mô hình tạo ra chuỗi suy luận chi tiết; trong trường hợp thứ hai — trả lời trực tiếp. Việc chuyển đổi được điều khiển ở cấp độ pipeline suy luận.
• Định tuyến cân bằng không mất mát (loss‑free balance routing) với sigmoid gates cho việc định tuyến chuyên gia.
• Bộ tối ưu hóa Muon; thiết kế deeper‑and‑narrower.

GLM‑4.6 / GLM‑4.7

Bộ GLM‑4.6 / 4.7 (tháng 9–tháng 12 năm 2025) phát triển các ý tưởng của GLM‑4.5, tăng cường lập trình (SWE‑bench Verified / Multilingual), suy luận phức tạp (Humanity's Last Exam, AIME) và các tác vụ tác nhân. GLM‑4.7 đạt 73,8% trên SWE‑bench Verified và giới thiệu Interleaved / Preserved / Turn‑level Thinking — ba chế độ tích hợp suy luận vào hội thoại. Một số cấu hình được phát hành dưới dạng mô hình open‑weight.

GLM‑5

Báo cáo kỹ thuật được công bố ngày 21 tháng 2 năm 2026 (arXiv:2602.15763). Các đặc điểm chính:

• Kiến trúc: Mixture‑of‑Experts với ≈744–745 tỷ tham số tổng cộng, 256 chuyên gia, 8 chuyên gia được kích hoạt trên mỗi token (≈40–44 tỷ tham số hoạt động, ≈5,9% mật độ); 75 lớp MoE + 3 lớp dày đặc.
• Tiền huấn luyện: 28,5 nghìn tỷ token.
• Cửa sổ ngữ cảnh: 200K token.
• Dynamic Sparse Attention (DSA): cơ chế attention thưa, giảm chi phí huấn luyện và suy luận trong khi vẫn duy trì chất lượng trên các ngữ cảnh dài.
• Multi‑Token Prediction (MTP): kỹ thuật cho giải mã suy đoán (speculative decoding) khi suy luận.
• Cơ sở hạ tầng kỹ thuật: huấn luyện được thực hiện hoàn toàn trên vi xử lý Huawei Ascend sử dụng framework MindSpore, không phụ thuộc vào phần cứng GPU của nhà sản xuất Mỹ.
• Hậu huấn luyện: cơ sở hạ tầng Reinforcement Learning (RL) bất đồng bộ với việc tách rời sinh và huấn luyện (decoupling inference / training); áp dụng các thuật toán RL tác nhân cho tương tác dài hạn; Token‑in‑Token‑out (TITO) và quản lý ngữ cảnh phân cấp cho các tác vụ tác nhân long‑horizon.
• Giấy phép: trọng số mở theo giấy phép MIT.

Bảng tổng hợp các mô hình trong bộ

Mô hình	Năm	Tham số (tổng / hoạt động)	Token tiền huấn luyện	Ngữ cảnh	Đặc điểm chính
GLM‑130B	2022	130 tỷ / —	≈400 tỷ	2K	Dày đặc, song ngữ, DeepNorm, lượng tử hóa INT4
ChatGLM‑6B	2023	6,2 tỷ / —	≈1 nghìn tỷ	2K	Hội thoại, SFT + RLHF, INT4 (≈6 GB)
ChatGLM2‑6B	2023	6,2 tỷ / —	1,4 nghìn tỷ	32K	FlashAttention, MQA
ChatGLM3‑6B	2023	6,2 tỷ / —	—	32K	Function call, Code Interpreter, AgentTuning
GLM‑4	2024	không công bố (API)	≈10 nghìn tỷ	128K–1M	All Tools, đa phương thức (V)
GLM‑4‑9B	2024	≈9 tỷ / —	≈10 nghìn tỷ	128K–1M	Phiên bản mở, GQA
GLM‑4.5	2025	355 tỷ / 32 tỷ	23 nghìn tỷ	128K	MoE, suy luận lai, tập trung ARC
GLM‑4.5‑Air	2025	106 tỷ / 12 tỷ	23 nghìn tỷ	128K	Biến thể MoE hiệu quả
GLM‑4.7	2025	—	—	128K	Cải thiện coding, Interleaved Thinking
GLM‑5	2026	744 tỷ / ≈40 tỷ	28,5 nghìn tỷ	200K	DSA, MTP, kỹ thuật tác nhân, Huawei Ascend

Các mở rộng đa phương thức và chuyên dụng

• GLM‑4V‑9B — phiên bản đa phương thức với bộ mã hóa thị giác để xử lý hình ảnh và tài liệu.
• GLM‑4.1V‑Thinking — mô hình thị giác-ngôn ngữ với khả năng suy luận đa bước được tăng cường (arXiv:2507.01006).
• GLM‑4‑Voice — mô hình giọng nói end‑to‑end (9B cơ sở, ≈1 nghìn tỷ token giọng nói-văn bản, bộ tokenizer 175 bit/s).
• CodeGeeX — họ mô hình lập trình (CodeGeeX‑13B, CodeGeeX2‑6B) để sinh, bổ sung và tái cấu trúc mã trên nhiều ngôn ngữ; tích hợp vào các plugin IDE.
• CogVLM / CogAgent — các mô hình thị giác-ngôn ngữ để hiểu hình ảnh và điều hướng tự chủ trong GUI.
• WebGLM — mô hình tìm kiếm web và QA; đã được chứng minh rằng mô hình ≈10 tỷ tham số tiếp cận WebGPT‑175B trên một số tác vụ (KDD 2023).

Huấn luyện, dữ liệu và công nghệ hỗ trợ

Dữ liệu tiền huấn luyện

Corpus tiền huấn luyện cho GLM‑4 và các mô hình tiền nhiệm bao gồm:

• Các trang web đa ngôn ngữ (chủ yếu tiếng Trung và tiếng Anh), Wikipedia, sách, mã lập trình và các bài báo khoa học.
• Pipeline xử lý ba giai đoạn: khử trùng lặp (chính xác và fuzzy), lọc (loại bỏ các văn bản nhiễu và có khả năng gây hại) và tokenization.
• Từ điển thống nhất kích thước 150K token, được tạo ra bằng cách kết hợp các từ điển BPE được huấn luyện riêng cho tiếng Trung và corpus đa ngôn ngữ với cl100k_base (tiktoken).

Tầm quan trọng của chất lượng và sự đa dạng dữ liệu được xác nhận theo kinh nghiệm, tuy nhiên các tiêu chí lựa chọn dữ liệu cơ bản rõ ràng vượt ra ngoài các quy luật thực nghiệm đã công bố không được các tác giả trình bày.

Mở rộng ngữ cảnh và LongAlign

Cửa sổ ngữ cảnh được tăng dần từ 2K (ChatGLM‑6B) lên 32K (ChatGLM2/3) và tiếp tục lên 128K và 1M token trong GLM‑4, sau đó lên 200K trong GLM‑5. Sử dụng kết hợp việc mở rộng mã hóa vị trí (các phương pháp mở rộng tần số dựa trên RoPE) và tinh chỉnh bổ sung trên các văn bản dài. Công thức căn chỉnh đặc biệt LongAlign cho phép duy trì chất lượng trên các đầu vào dài: theo LongBench‑Chat, GLM‑4 (0520) đạt 87,3 trong phần tiếng Anh (tương đương với GPT‑4 Turbo 1106: 87,2 và Claude 3 Opus: 87,7) và 84,0 trong phần tiếng Trung (cao hơn GPT‑4 Turbo và Claude 3 Opus).

Hậu huấn luyện và căn chỉnh (SFT, RLHF)

Hậu huấn luyện bao gồm hai giai đoạn chính:

• Supervised Fine‑Tuning (SFT): huấn luyện trên các cặp «yêu cầu–câu trả lời» với trọng tâm là các tương tác thực tế (do con người viết) thay vì các mẫu hoặc tương tác được tạo ra.
• Reinforcement Learning from Human Feedback (RLHF): tối ưu hóa theo sở thích của người chú thích thông qua PPO, DPO và các sơ đồ riêng, đặc biệt là ChatGLM‑RLHF và Self‑Contrast (các ví dụ tiêu cực được tạo ra bởi chính mô hình, giảm nhu cầu về dữ liệu sở thích).

Vectơ đặc trưng để đánh giá câu trả lời bao gồm các chỉ số về an toàn, tính thực tế, mức độ liên quan, tính hữu ích và sự phù hợp với sở thích. Các tác giả lưu ý rằng RLHF giảm tần suất từ chối, tăng cường an toàn và tính nhất quán trong các cuộc hội thoại nhiều lượt.

Các kỹ thuật chuyên biệt của hệ sinh thái GLM

• LongAlign — công thức căn chỉnh ngữ cảnh dài (đến 128K).
• ChatGLM‑Math — cải thiện khả năng giải bài toán toán học thông qua sơ đồ self‑critique (tự đánh giá câu trả lời mà không cần mô hình bên ngoài).
• Self‑Contrast — sơ đồ RLHF, trong đó các ví dụ tiêu cực được tạo ra bởi chính mô hình.
• AgentTuning / AgentInstruct — framework và bộ dữ liệu để huấn luyện các kỹ năng tác nhân trên các quỹ đạo tương tác của tác nhân với môi trường.
• APAR (Auto‑Parallel Auto‑Regressive) — thuật toán sinh tự hồi quy tự song song để tăng tốc độ suy luận.

Ngoài ra, một số benchmark cũng được phát triển: AgentBench (các tác vụ tác nhân), LongBench (ngữ cảnh dài), AlignBench (căn chỉnh tiếng Trung), HumanEval‑X (mã ngoài Python), NaturalCodeBench (các tác vụ lập trình thực tiễn).

Kết quả chính và các benchmark

Tất cả các chỉ số được trích dẫn từ các báo cáo kỹ thuật gốc với các điều kiện được chỉ định (zero‑/few‑shot, bộ dữ liệu, phiên bản mô hình). Việc so sánh được thực hiện bởi các tác giả của báo cáo kỹ thuật; việc tái tạo độc lập trên các nền tảng chuẩn hóa (LMSYS Chatbot Arena, Open LLM Leaderboard) cho tất cả các phiên bản không được hệ thống hóa.

Động lực chất lượng: ChatGLM‑6B → GLM‑4‑9B

Benchmark	ChatGLM‑6B	ChatGLM2‑6B	ChatGLM3‑6B	GLM‑4‑9B
GSM8K (%)	1,5	25,9	72,3	84,0
MMLU (%)	25,2	45,2	61,4	74,7
HumanEval (%)	0,0	9,8	58,5	70,1
C‑Eval (%, tiếng Trung)	23,7	51,7	69,0	77,1

Tất cả các mô hình được đánh giá ở định dạng BF16 với cùng cấu hình.

GLM‑4 trên các benchmark học thuật

Benchmark	GLM‑4 (0520)	GPT‑4 (0314)	GPT‑4 Turbo (2024‑04‑09)	Claude 3 Opus
MMLU (%)	83,3	86,4	86,7	86,8
GSM8K (%)	93,3	92,0	95,6	95,0
MATH (%)	61,3	52,9	73,4	60,1
BBH (%)	84,7	83,1	88,2	86,8
GPQA (%)	39,9	35,7	49,3	50,4
HumanEval (%)	78,5	67,0	88,2	84,9

GLM‑4 (0520) đạt ≈96,3% kết quả của GPT‑4 trên MMLU, vượt GPT‑4 (0314) về MATH và GSM8K, nhưng thua GPT‑4 Turbo về MATH và HumanEval.

Theo AlignBench v1.1 (căn chỉnh tiếng Trung), GLM‑4 (0520) đạt điểm tổng 8,00 so với 7,90 của GPT‑4 Turbo và 7,53 của Claude 3 Opus với lợi thế đáng chú ý theo các chỉ số con «Logic», «Language», «Professional».

Theo AgentBench, GLM‑4 (0520) đạt điểm tổng 3,79, tương đương hoặc nhỉnh hơn một chút so với GPT‑4 Turbo (1106) và Claude 3 Opus. Điểm cao cho các tác vụ Database, House‑Holding và Web‑Shopping; tụt hậu — trong các tác vụ Operating System và Lateral Thinking Puzzles.

Theo Berkeley Function Call Leaderboard, GLM‑4 (0520) đạt 81,76% (GPT‑4 Turbo: 81,24%); GLM‑4‑9B‑Chat vượt đáng kể so với Llama‑3‑8B‑Instruct (81,00% so với 58,88%).

GLM‑4.5

Benchmark	GLM‑4.5	Ghi chú
TAU‑Bench (agentic avg)	70,1%	Các tác vụ tác nhân
AIME 2024	91,0%	Cuộc thi toán học
SWE‑bench Verified	64,2%	Giải quyết bài toán trên các kho lưu trữ thực
GPQA (Avg@8)	79,1%	Câu hỏi cấp độ sau đại học
MATH‑500	98,2%	Toán học
MMLU‑Pro	84,6%	MMLU mở rộng

Xét với số lượng tham số hoạt động ít hơn, GLM‑4.5 xếp thứ 3 trong số tất cả các mô hình được đánh giá (theo bảng xếp hạng tổng hợp từ 12 benchmark) và thứ 2 — trên các benchmark tác nhân tại thời điểm công bố báo cáo.

GLM‑4.7

• SWE‑bench Verified: 73,8% (+5,8 điểm phần trăm so với GLM‑4.5).
• Terminal‑Bench 2.0: 41,0% (+16,5 điểm phần trăm).
• Humanity's Last Exam (with tools): 42,8%.

GLM‑5

Benchmark	GLM‑5	Ghi chú
SWE‑bench Verified	77,8%	Dẫn đầu trong các mô hình open‑weight tại thời điểm công bố
GPQA‑Diamond	86,0%	Câu hỏi cấp độ sau đại học
Terminal‑Bench 2.0	56,2–61,1%	Các tác vụ kỹ thuật
Humanity's Last Exam (with tools)	50,4%	Câu hỏi liên ngành phức tạp
BrowseComp	62,0%	Điều hướng web

GLM‑5 cho thấy cải thiện ≈20% theo chỉ số trung bình so với GLM‑4.7 và chiếm vị trí trong số các mô hình open‑weight tương đương với các mô hình đóng cấp Claude Opus 4.5 trên một số benchmark tác nhân và lập trình.

An toàn (SafetyBench)

Theo SafetyBench (tập con tiếng Trung), GLM‑4 (0520) đạt 87,2% theo chỉ số tổng hợp, tương đương với Claude 3 Opus (87,5%) và thấp hơn một chút so với GPT‑4 (≈88–89,7%). Khoảng cách đáng chú ý nhất so với GPT‑4 được quan sát theo chiều «Physical Health» (an toàn thể chất).

Ứng dụng và hệ sinh thái

Các kịch bản hội thoại và trợ lý

Bộ ChatGLM và các mô hình tiếp theo được sử dụng như các trợ lý hội thoại, bao gồm dịch vụ thương mại Zhipu Qingyan (chatglm.cn / chat.z.ai), với hỗ trợ giao tiếp đa ngôn ngữ, hội thoại nhiều bước và chế độ hướng dẫn.

Hệ thống tác nhân và công cụ

GLM‑4 All Tools và các mô hình tiếp theo được tích hợp vào nền tảng tác nhân GLMs, cho phép tạo các tác nhân tùy chỉnh, kết nối trình thông dịch Python tích hợp, trình duyệt web, các mô hình VLM/T2I (CogView3) và sử dụng các API bên ngoài. Hỗ trợ các tác vụ tổng hợp: tìm kiếm web, phân tích dữ liệu qua Python, các chuỗi công cụ kết hợp. GLM‑5 tập trung vào các tác vụ kỹ thuật phần mềm với chân trời lập kế hoạch dài (agentic engineering) và được kiểm tra trên các benchmark MCP‑Atlas và BrowseComp.

Sinh mã và phát triển phần mềm

Họ CodeGeeX (CodeGeeX‑13B, CodeGeeX2‑6B) và các chế độ lập trình của GLM được sử dụng để sinh mã trên nhiều ngôn ngữ, bổ sung và tái cấu trúc, giải quyết các tác vụ HumanEval và HumanEval‑X. Trên HumanEval‑X, CodeGeeX2‑6B cải thiện Pass@1 so với CodeGeeX‑13B (theo dữ liệu của tác giả: +57% trong Python, +71% trong C++). Sản phẩm CodeGeeX được tích hợp vào các plugin IDE dành cho nhà phát triển.

Ngữ cảnh dài và các kịch bản tập trung vào tài liệu

GLM‑4‑9B‑Chat‑1M và các mô hình cấp cao hơn được sử dụng để phân tích các tài liệu và bộ sưu tập lớn (đến 1M token), tóm tắt, tìm kiếm trong các tài liệu dài, làm việc với mã dài.

Cơ sở hạ tầng triển khai

Các mô hình có sẵn thông qua nền tảng API Z.ai / bigmodel.cn (tool calling, agent frameworks). Các phiên bản mã nguồn mở hỗ trợ triển khai cục bộ thông qua vLLM, SGLang. Hỗ trợ Huawei Ascend cho phép triển khai mà không cần phần cứng NVIDIA. Các mô hình mở của bộ đã được tải xuống hơn 10 triệu lần trên Hugging Face (2023–2024).

Hạn chế và các vấn đề còn mở

• Mất cân bằng ngôn ngữ: bộ GLM được tiền huấn luyện chủ yếu trên tiếng Trung và tiếng Anh; chất lượng trên các ngôn ngữ khác thấp hơn đáng kể, điều này được nêu rõ trong báo cáo kỹ thuật arXiv:2406.12793.
• Khả năng tái tạo benchmark: hầu hết các kết quả so sánh được trình bày trong các báo cáo kỹ thuật của chính nhà phát triển. Kiểm định bên ngoài độc lập trên các nền tảng chuẩn hóa (LMSYS Chatbot Arena, Open LLM Leaderboard) cho tất cả các phiên bản không được hệ thống hóa.
• Loss spikes khi quy mô hóa: quá trình huấn luyện GLM‑130B đi kèm với nhiều đợt tăng đột biến của hàm mất mát đòi hỏi can thiệp thủ công; các tác giả ghi nhận điều này là một vấn đề kỹ thuật chưa được giải quyết khi quy mô hóa.
• Phụ thuộc phần cứng: kể từ GLM‑5, quá trình huấn luyện được chuyển sang Huawei Ascend / MindSpore; việc tái tạo độc lập trên các nền tảng phần cứng khác gặp khó khăn.
• Căn chỉnh và an toàn: mặc dù áp dụng RLHF, các vấn đề về từ chối câu trả lời, tính nhất quán trong hội thoại nhiều lượt và việc vượt qua các cơ chế an toàn vẫn còn hiện hữu; các tác giả arXiv:2406.12793 chỉ ra rằng RLHF giúp ích nhưng không giải quyết hoàn toàn các vấn đề.
• Ảo giác: như trong các LLM khác, vấn đề lỗi thực tế được ghi chép; các đánh giá định lượng thay đổi tùy theo tác vụ và phương pháp luận.
• Suy luận toán học: GLM‑4 thua GPT‑4 Turbo trên MATH và một số tác vụ số học phức tạp, mặc dù sử dụng các phương pháp chuyên biệt (ChatGLM‑Math).
• Các tác vụ tác nhân: theo AgentBench, vẫn còn khoảng cách trong các tác vụ liên quan đến tương tác cấp thấp với hệ điều hành và các bài toán logic phức tạp; chất lượng long‑horizon vẫn là bài toán chưa giải quyết (lỗi tích lũy trong các tác vụ chuỗi).
• Mã và các tác vụ thực tiễn: trên NaturalCodeBench, GLM‑4 (overall 47,1%) thấp hơn GPT‑4 Turbo (53,8%), mặc dù tương đương với Claude 3 Opus (48,3%).

Các khía cạnh đạo đức và quy định

Bộ GLM được phát triển tuân thủ các yêu cầu của cơ quan quản lý Trung Quốc (Cục Quản lý Không gian mạng Trung Quốc, CAC) về việc đăng ký các mô hình sinh và thông qua đánh giá an toàn. Hậu huấn luyện bao gồm SFT và RLHF để giảm độc tính và nội dung có hại.

Báo cáo kỹ thuật GLM‑4 mô tả quy trình quản lý rủi ro nhiều bước:

• Làm sạch trước corpus tiền huấn luyện khỏi các văn bản có nội dung tiềm ẩn nguy hại.
• Lọc dữ liệu căn chỉnh theo tiêu chí an toàn.
• Kiểm tra red‑team: tạo các yêu cầu độc hại phức tạp để tinh chỉnh.
• Sử dụng SafetyBench để đánh giá định lượng an toàn (7 chiều).

Các mô hình đầu tiên (GLM‑130B) thể hiện mức độ thiên kiến thấp hơn theo CrowS‑Pairs và độc tính giảm theo RealToxicPrompts so với GPT‑3 và OPT nhờ huấn luyện song ngữ.

Việc phát hành GLM‑5 theo giấy phép MIT đồng nghĩa với việc không có giới hạn hình thức về sử dụng thương mại các trọng số mở, điều này mang lại các rủi ro tiêu chuẩn về việc sử dụng không kiểm soát đặc trưng cho các LLM mở. Các vấn đề về độ lệch (bias) trong các corpus tiền huấn luyện đặc thù cho tiếng Trung và bối cảnh văn hóa Trung Quốc chưa được nghiên cứu hệ thống trong các công trình công khai tính đến thời điểm viết bài.

Triển vọng và hướng nghiên cứu

Dựa trên các báo cáo kỹ thuật đã công bố và tài liệu kèm theo của Z.ai, các hướng đã được tuyên bố sau đây được xác định:

• Quy mô hóa các kiến trúc MoE trong khi giảm chi phí tham số hoạt động trên mỗi token.
• Phát triển các thuật toán RL tác nhân bất đồng bộ cho các tác vụ dài hạn.
• Cải thiện các cơ chế attention thưa (DSA) cho các ngữ cảnh vượt quá 200K token.
• Suy luận đa phương thức: phát triển GLM‑4.1V‑Thinking theo hướng hiểu video và tài liệu.
• Giảm phụ thuộc vào các API bên ngoài khi thực hiện tác vụ tác nhân thông qua việc huấn luyện các tác nhân đầu cuối trên các tương tác thực tế.
• Tối ưu hóa cho phần cứng trong nước (đối với Trung Quốc) (Huawei Ascend, Cambricon) và giảm lượng khí thải carbon từ quá trình huấn luyện.
• Tích hợp với các nền tảng robot và tính toán khoa học.

Xem thêm

• Kiến trúc Transformer
• BERT
• GPT
• T5
• Kiến trúc Decoder‑only
• Reinforcement Learning from Human Feedback
• DeepSeek

Tài liệu tham khảo

• Du, Z., Qian, Y., Liu, X., Ding, M., Qiu, J., Yang, Z., Tang, J. (2022). GLM: General Language Model Pretraining with Autoregressive Blank Infilling. ACL 2022. https://aclanthology.org/2022.acl-long.26/
• Zeng, A. et al. (2022). GLM-130B: An Open Bilingual Pre-trained Model. ICLR 2023. arXiv:2210.02414. https://arxiv.org/abs/2210.02414
• Team GLM. (2024). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools. arXiv:2406.12793. https://arxiv.org/abs/2406.12793
• GLM-4.5 Team. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471. https://arxiv.org/abs/2508.06471
• GLM-5 Team. (2026). GLM-5: from Vibe Coding to Agentic Engineering. arXiv:2602.15763. https://arxiv.org/abs/2602.15763
• Zeng, A. et al. (2024). GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot. arXiv:2412.02612. https://arxiv.org/abs/2412.02612
• Zhipu AI. (2025). GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning Models. arXiv:2507.01006. https://arxiv.org/abs/2507.01006
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. https://arxiv.org/abs/2005.14165