GLM (Zhipu AI) (PL)

GLM (General Language Model) — rodzina dużych modeli językowych (Large Language Model, LLM) opracowanych przez firmę Zhipu AI (od 2025 roku — Z.ai) we współpracy z laboratorium Knowledge Engineering Group (KEG) Wydziału Informatyki Uniwersytetu Tsinghua (Pekin). Seria obejmuje modele od 6 do 744 miliardów parametrów, ukierunkowane przede wszystkim na język chiński i angielski. Wyróżniającą cechą fundamentu architektonicznego jest funkcja celu przetrenowania oparta na autoregresyjnym uzupełnianiu luk (autoregressive blank infilling), łącząca właściwości transformerów enkoderowych i dekoderowych w jednym ujednoliconym schemacie.

Seria obejmuje bazowe modele wstępnie wytrenowane, warianty dialogowe (ChatGLM), rozszerzenia multimodalne (GLM‑4V, CogVLM), wyspecjalizowane narzędzia (CodeGeeX do generowania kodu, WebGLM do przeszukiwania sieci) oraz systemy agentowe (GLM‑4 All Tools, AutoGLM). Ewolucja rodziny jest widoczna od GLM‑10B (2021) i GLM‑130B (2022) przez GLM‑4 (2024), GLM‑4.5 (2025) aż do GLM‑5 (2026), z przejściem od architektur gęstych (dense) do Mixture‑of‑Experts (MoE) i naciskiem na scenariusze agentowe.

Historia i kontekst

Kontekst instytucjonalny

Zhipu AI zostało założone w 2019 roku przez profesorów Uniwersytetu Tsinghua — Tang Jie oraz Li Juanzi — na bazie laboratorium KEG specjalizującego się w grafach wiedzy. W 2020 roku firma skoncentrowała wysiłki na wielkoskalowych modelach językowych. W 2023 roku pozyskano 2,5 miliarda juanów inwestycji (≈350 mln dolarów USA) przy udziale Alibaba Group, Tencent, Ant Group, Meituan i Xiaomi. W lipcu 2025 roku firma zmieniła publiczną markę na Z.ai, a w styczniu 2026 roku przeprowadziła IPO na Giełdzie Papierów Wartościowych w Hongkongu.

Seminalna praca: GLM (2021–2022)

Podstawowy preprint „GLM: General Language Model Pretraining with Autoregressive Blank Infilling" został opublikowany na arXiv w marcu 2021 roku (arXiv:2103.10360) i przyjęty na konferencję ACL 2022. Autorzy: Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. Praca została zmotywowana ograniczeniami istniejących paradygmatów architektonicznych: modele enkoderowe (BERT) są optymalne dla zadań rozumienia języka naturalnego (Natural Language Understanding, NLU), dekoderowe (GPT) — dla generowania, a enkoderowo-dekoderowe (T5) wymagają większej liczby parametrów. GLM zaproponował jednolite podejście zdolne do rozwiązywania obu klas zadań.

Chronologia głównych wydań

Rok	Model	Kluczowe cechy
2021	GLM (bazowy), GLM‑10B	Autoregresyjne uzupełnianie luk, dwuwymiarowe kodowania pozycji; parametry do 515M (bazowy) i 10B
2022	GLM‑130B	130B parametrów, dwujęzyczny (chiński / angielski), otwarte wagi, kwantyzacja INT4 bez doustrajania; przyjęty na ICLR 2023
2023, marzec	ChatGLM‑6B (v1)	6,2B parametrów, ≈1T tokenów przetrenowania, SFT + wyrównanie RLHF, kwantyzacja INT4 (≈6 GB pamięci)
2023, czerwiec	ChatGLM2‑6B	1,4T tokenów, FlashAttention, Multi‑Query Attention (MQA), kontekst do 32K tokenów
2023, październik	ChatGLM3‑6B	Ulepszone śledzenie instrukcji, obsługa wywoływania narzędzi (tool calling), Code Interpreter
2024	GLM‑4, GLM‑4‑Air, GLM‑4‑9B	≈10T tokenów przetrenowania, RoPE + GQA, kontekst do 128K / 1M tokenów; GLM‑4 All Tools
2024	GLM‑4V‑9B	Wersja multimodalna z enkoderowym modułem wizualnym
2025	GLM‑4.5, GLM‑4.6, GLM‑4.7	Architektura MoE (GLM‑4.5), kolejne ulepszenia rozumowania i kodowania
2025	GLM‑4.1V‑Thinking	Wizualno-językowy model ze wzmocnionym wieloetapowym rozumowaniem (arXiv:2507.01006)
2026, luty	GLM‑5	744B parametrów (MoE), ≈40–44B aktywnych, kontekst 200K tokenów, zadania agentowe; trenowanie na Huawei Ascend

Rodzina GLM rozwija się w powiązaniu z towarzyszącymi modelami Zhipu AI: kodowymi CodeGeeX, wizualno-językowymi CogVLM / CogAgent, generatywnymi CogView, a także wyspecjalizowanymi systemami WebGLM i AgentLM.

Podstawy teoretyczne i architektoniczne

Funkcja celu przetrenowania

Bazowa architektura GLM opiera się na Transformerze. Kluczową wyróżniającą cechą jest autoregressive blank infilling — wariant autoregresyjnego modelowania, w którym model uczy się odtwarzać luki (spans) w tekście na podstawie kontekstu.

Niech $x=[x_1,\dots ,x_n]$ będzie sekwencją wejściową. Losowo wybierane są ciągłe fragmenty (spans) $\{s_1,\dots ,s_m\}$, które zastępowane są jednym tokenem [MASK], tworząc zniekształcony tekst $x_{extcorrupt}$. Model autoregresyjnie odtwarza każdy fragment w losowej kolejności permutacji:

$ℒ=-\sum _{i=1}^m\sum _{j=1}^{|s_i|}\log P(s_{i,j}\mid x_{extcorrupt},s_{i,<j},s_{<i})$

gdzie $x_{extcorrupt}$ — uszkodzona sekwencja z zamaskowanymi fragmentami, $s_{i,<j}$ — już odtworzone tokeny bieżącego fragmentu $s_i$, $s_{<i}$ — w pełni odtworzone wcześniejsze fragmenty. Kolejność odtwarzania fragmentów wyznaczona jest przez losową permutację ze zbioru $Z_m$, co pozwala modelowi obsługiwać zależności między fragmentami.

W celu regulacji zadania: przy krótkich lukach (≈15% tokenów) model jest optymalizowany pod kątem NLU, przy długich fragmentach (do 50–100% tokenów) — pod kątem zadań generatywnych. Pozwala to jednemu modelowi pokrywać oba tryby poprzez wielozadaniowe przetrenowanie (multi‑task learning).

Dwuwymiarowe kodowania pozycji

GLM wprowadza dwuwymiarowe kodowania pozycji w celu rozróżnienia pozycji w oryginalnej uszkodzonej sekwencji oraz pozycji wewnątrz odtwarzanych fragmentów:

• Pierwszy wymiar $po{s}_1$: bezwzględna pozycja tokenu (lub maski) w uszkodzonej sekwencji.
• Drugi wymiar $po{s}_2$: pozycja tokenu wewnątrz swojego fragmentu podczas generowania autoregresyjnego (0 dla tokenów oryginalnych).

Ten schemat pozwala poprawnie rozróżniać kontekst i generowany tekst bez dodatkowych elementów architektonicznych analogicznych do enkodera.

Maska uwagi

W GLM stosowana jest dwuczęściowa maska uwagi: dwukierunkowe (bidirectional) uwagi dla niezamaskowanych tokenów (Część A — kontekst) oraz przyczynowe (causal) uwagi dla tokenów wewnątrz fragmentów (Część B — odtwarzane spany). Zapewnia to pełnokontekstowe rozumienie oryginalnego tekstu przy autoregresyjnym generowaniu odtwarzanych części. W przeciwieństwie do BERT (niezależne przewidywania masek) GLM uwzględnia zależności między spanami; w przeciwieństwie do GPT — wykorzystuje dwukierunkowy kontekst Części A; w przeciwieństwie do T5 — nie wymaga oddzielnego enkodera.

Ewolucja komponentów architektonicznych

Na poziomie parametrów bloku Transformer ukryty stan $h_l\in {ℝ}^d$ na warstwie $l$ w modelach począwszy od GLM‑4 jest aktualizowany jako:

$ilde{h}_l=h_l+ext{GQA}_l(extRMSNorm(h_l)),h_{l+1}=ilde{h}_l+ext{FFN}_l(extRMSNorm(ilde{h}_l))$

gdzie GQA — Grouped‑Query Attention (zamiast pełnego Multi‑Head Attention), a FFN jest realizowany przez SwiGLU.

Począwszy od GLM‑130B i w dalszej części serii stosowane są następujące komponenty architektoniczne:

• GLM‑130B: DeepNorm do stabilizacji uczenia głębokich sieci; Rotary Positional Encoding (RoPE) z dwuwymiarowym rozszerzeniem; Gated Linear Units (GLU) z aktywacją GeLU (GeGLU).
• GLM‑4: przejście na RMSNorm i SwiGLU; Group Query Attention (GQA) zamiast Multi‑Head Attention (MHA) w celu zmniejszenia pamięci podręcznej KV; usunięto wszystkie wyrazy bias z wyjątkiem Q/K/V w mechanizmie uwagi; zwiększony rozmiar FFN do $\frac{10}{3}{d}_{exthidden}$ w celu zachowania liczby parametrów przy GQA.
• GLM‑4.5: Mixture‑of‑Experts (MoE) z trasowaniem z bilansowaniem bez straty (loss‑free balance routing) i bramkami sigmoid; hybrydowy tryb rozumowania (thinking / non‑thinking).
• GLM‑5: DeepSeek Sparse Attention (DSA) do wydajnego przetwarzania długiego kontekstu do 200K tokenów; Multi‑Token Prediction (MTP) do spekulatywnego dekodowania; trenowanie w całości na procesorach Huawei Ascend z wykorzystaniem MindSpore.

Skalowanie i prawa skalowania

Podczas opracowywania linii ChatGLM badano empiryczne zależności między stratą przetrenowania a jakością w zadaniach, w tym zjawisko „emergent abilities". Wykazano, że przy stałym poziomie straty przetrenowania modele różnych rozmiarów (i liczby tokenów) wykazują porównywalną wydajność, a w poszczególnych zadaniach (MMLU, GSM8K) jakość zaczyna przewyższać poziom losowy dopiero po osiągnięciu określonego progu straty przetrenowania.

Architektury i modele w serii GLM

GLM‑10B i GLM‑130B

GLM‑10B (2021) — model dziesięciomiliardowy demonstrujący zastosowanie architektury GLM z blank infilling i służący jako baza do dalszego skalowania.

GLM‑130B (2022) został zaprezentowany w październiku 2022 roku i przyjęty na ICLR 2023 (arXiv:2210.02414):

• Liczba parametrów: ≈130 miliardów (gęsty model dwujęzyczny).
• Objętość przetrenowania: ponad 400 miliardów tokenów (≈200 miliardów po chińsku, ≈200 miliardów po angielsku).
• Architektura: 70 warstw, hidden size 12 288, 96 głowic uwagi; DeepNorm, RoPE, GeGLU; dodatkowe wielozadaniowe uczenie (Multi‑Task Instruction Pretraining, MIP) — ≈5% tokenów na 74 zbiorach danych zadań NLU/NLG.
• Kwantyzacja: INT4 bez doustrajania po kwantyzacji (post‑training quantization) — pierwszy udokumentowany wynik tego rodzaju wśród modeli 100B+; wnioskowanie możliwe na 4×RTX 3090 (24 GB) lub 8×RTX 2080 Ti (11 GB).
• Stabilność uczenia: autorzy dokumentują liczne skoki funkcji straty (loss spikes) i opisują zastosowane strategie stabilizacji (gradient clipping, Embedding Gradient Shrink).

W chwili publikacji GLM‑130B przewyższał GPT‑3 175B (davinci) na szerokim zestawie anglojęzycznych benchmarków (łącznie 112 zadań) oraz ERNIE TITAN 3.0 260B na zadaniach chińskojęzycznych; przy tym przewaga nad OPT‑175B i BLOOM‑176B nie została odtworzona — autorzy wyraźnie wskazują na to ograniczenie. Według oceny HELM (listopad 2022) GLM‑130B jest porównywalny z GPT‑3 pod względem szeregu metryk.

Rodzina ChatGLM‑6B/2/3

ChatGLM‑6B (marzec 2023) — model dialogowy z 6,2 miliarda parametrów, opracowany wspólnie przez KEG i Zhipu AI, opublikowany jako projekt otwartoźródłowy:

• Przetrenowanie na ≈1 biliona tokenów (chiński + angielski), kontekst 2K.
• Ukierunkowany na dialog; wstępne wyrównanie realizowane głównie przez SFT i RLHF.
• Kwantyzacja INT4 przy zużyciu ≈6 GB pamięci, co umożliwiało lokalne uruchamianie na sprzęcie konsumenckim.

ChatGLM2‑6B (czerwiec 2023):

• Zwiększona objętość przetrenowania do 1,4 biliona tokenów.
• Wprowadzono FlashAttention oraz Multi‑Query Attention (MQA); kontekst rozszerzono do 32K tokenów.
• Znaczący wzrost na benchmarkach: MMLU +23 p.p., GSM8K +571%, BBH +60% względem ChatGLM‑6B.

ChatGLM3‑6B (październik 2023):

• Dodatkowy wzrost na 42 benchmarkach w obszarach semantyki, matematyki, rozumowania, kodu i wiedzy.
• Natywna obsługa function call, wbudowanego Code Interpretera i zadań agentowych przez AgentTuning / AgentLM.

GLM‑4, GLM‑4‑Air, GLM‑4‑9B i GLM‑4 All Tools

Raport techniczny (arXiv:2406.12793) opisuje GLM‑4 jako rodzinę modeli wstępnie wytrenowanych na ≈10 bilionach tokenów (głównie chiński i angielski, plus 24 dodatkowe języki) i wyrównanych pod język chiński i angielski.

Kluczowe warianty:

• GLM‑4 (flagowy model, wersje 0116 i 0520): gęsty transformer, hidden size 6144, 61 warstw, 48 głowic uwagi, kontekst 128K.
• GLM‑4‑Air — bardziej kompaktowy i szybki model o jakości zbliżonej do GLM‑4‑0116 przy mniejszych opóźnieniach.
• GLM‑4‑9B — model dziewięciomiliardowy (kontekst 8K, warianty 128K i eksperymentalny 1M) z tym samym potokiem po-uczenia.
• GLM‑4 All Tools — wersja dodatkowo wyrównana pod kątem korzystania z narzędzi: przeglądarka internetowa, interpreter Python, generowanie obrazów (CogView3) i funkcje niestandardowe.

Cechy architektoniczne GLM‑4:

• Brak wyrazów bias z wyjątkiem Q/K/V w mechanizmie uwagi.
• RMSNorm i SwiGLU.
• 2D‑RoPE.
• Group Query Attention (GQA) z powiększonym FFN.
• Tokenizer bajtowy BPE o rozmiarze 150K tokenów, uzyskany przez połączenie osobno wytrenowanych słowników BPE dla korpusów chińskiego i wielojęzycznego z cl100k_base.

GLM‑4.5 (modele bazowe ARC)

GLM‑4.5 — otwarty model Mixture‑of‑Experts (MoE) z naciskiem na zadania agentowe, rozumowanie i kodowanie (Agentic, Reasoning, Coding — ARC):

• 355 miliardów łącznych parametrów, 32 miliardy aktywnych (architektura MoE z aktywacją rzadką): 89 warstw, 160 ekspertów, 8 aktywnych na token; 96 głowic uwagi, hidden size 5120.
• GLM‑4.5‑Air: 106 miliardów łącznych / 12 miliardów aktywnych parametrów — wariant wydajnościowy.
• Uczenie na 23 bilionach tokenów z wieloetapowym po-uczeniem obejmującym iterację modeli eksperckich i RLHF.
• Hybrydowy tryb wnioskowania (tryb thinking i bezpośrednia odpowiedź): w pierwszym przypadku model generuje rozwinięty ślad rozumowania; w drugim — odpowiada bezpośrednio. Przełączanie jest zarządzane na poziomie potoku wnioskowania.
• Trasowanie z bilansowaniem bez straty (loss‑free balance routing) z bramkami sigmoid dla routingu ekspertów.
• Optymalizator Muon; głębszy i węższy projekt (deeper‑and‑narrower).

GLM‑4.6 / GLM‑4.7

Seria GLM‑4.6 / 4.7 (wrzesień–grudzień 2025) rozwija idee GLM‑4.5, wzmacniając programowanie (SWE‑bench Verified / Multilingual), złożone rozumowanie (Humanity's Last Exam, AIME) oraz zadania agentowe. GLM‑4.7 osiąga 73,8% na SWE‑bench Verified i wprowadza tryby Interleaved / Preserved / Turn‑level Thinking — trzy tryby integracji rozumowania w dialog. Wybrane konfiguracje są udostępniane jako modele open‑weight.

GLM‑5

Raport techniczny opublikowano 21 lutego 2026 roku (arXiv:2602.15763). Główne charakterystyki:

• Architektura: Mixture‑of‑Experts z ≈744–745 miliardami łącznych parametrów, 256 ekspertów, 8 aktywowanych dla każdego tokenu (≈40–44 miliardy aktywnych parametrów, ≈5,9% gęstości); 75 warstw MoE + 3 warstwy gęste.
• Przetrenowanie: 28,5 biliona tokenów.
• Okno kontekstowe: 200K tokenów.
• Dynamic Sparse Attention (DSA): mechanizm rzadkiej uwagi zmniejszający koszty uczenia i wnioskowania przy zachowaniu jakości na długich kontekstach.
• Multi‑Token Prediction (MTP): technika do spekulatywnego dekodowania podczas wnioskowania.
• Infrastruktura techniczna: uczenie przeprowadzone w całości na procesorach Huawei Ascend z wykorzystaniem frameworku MindSpore, bez uzależnienia od sprzętu GPU produkcji amerykańskiej.
• Po-uczenie: asynchroniczna infrastruktura Reinforcement Learning (RL) z dekuplowaniem generowania i uczenia (decoupling inference / training); zastosowanie agentowych algorytmów RL do zadań o długim horyzoncie planowania; Token‑in‑Token‑out (TITO) i hierarchiczne zarządzanie kontekstem dla długohoryzontalnych zadań agentowych.
• Licencja: otwarte wagi na licencji MIT.

Tabela zbiorcza modeli serii

Model	Rok	Parametry (łącznie / aktywne)	Tokenów przetrenowania	Kontekst	Kluczowe cechy
GLM‑130B	2022	130 mld / —	≈400 mld	2K	Gęsty, dwujęzyczny, DeepNorm, kwantyzacja INT4
ChatGLM‑6B	2023	6,2 mld / —	≈1 bln	2K	Dialogowy, SFT + RLHF, INT4 (≈6 GB)
ChatGLM2‑6B	2023	6,2 mld / —	1,4 bln	32K	FlashAttention, MQA
ChatGLM3‑6B	2023	6,2 mld / —	—	32K	Function call, Code Interpreter, AgentTuning
GLM‑4	2024	nieujawnione (API)	≈10 bln	128K–1M	All Tools, multimodalność (V)
GLM‑4‑9B	2024	≈9 mld / —	≈10 bln	128K–1M	Wersja otwarta, GQA
GLM‑4.5	2025	355 mld / 32 mld	23 bln	128K	MoE, hybrydowe myślenie, fokus ARC
GLM‑4.5‑Air	2025	106 mld / 12 mld	23 bln	128K	Wydajny wariant MoE
GLM‑4.7	2025	—	—	128K	Ulepszone kodowanie, Interleaved Thinking
GLM‑5	2026	744 mld / ≈40 mld	28,5 bln	200K	DSA, MTP, inżynieria agentowa, Huawei Ascend

Rozszerzenia multimodalne i wyspecjalizowane

• GLM‑4V‑9B — wersja multimodalna z enkoderowym modułem wizualnym do przetwarzania obrazów i dokumentów.
• GLM‑4.1V‑Thinking — wizualno-językowy model ze wzmocnionym wieloetapowym rozumowaniem (arXiv:2507.01006).
• GLM‑4‑Voice — kompleksowy model mowy end‑to‑end (baza 9B, ≈1 bilion tokenów mowno-tekstowych, tokenizer 175 bitów/s).
• CodeGeeX — rodzina modeli kodowych (CodeGeeX‑13B, CodeGeeX2‑6B) do generowania, uzupełniania i refaktoryzacji kodu w wielu językach programowania; zintegrowane z wtyczkami IDE.
• CogVLM / CogAgent — wizualno-językowe modele do rozumienia obrazów i autonomicznej nawigacji w GUI.
• WebGLM — model do przeszukiwania sieci i odpowiadania na pytania (QA); wykazano, że model o ≈10 miliardach parametrów zbliża się do WebGPT‑175B w szeregu zadań (KDD 2023).

Uczenie, dane i technologie pomocnicze

Dane przetrenowania

Korpus przetrenowania dla GLM‑4 i poprzednich modeli obejmuje:

• Wielojęzyczne (głównie chiński i angielski) strony internetowe, Wikipedię, książki, kod i artykuły naukowe.
• Trzystopniowy potok przetwarzania: deduplikacja (dokładna i fuzzy), filtrowanie (usuwanie szumowych i potencjalnie szkodliwych tekstów) oraz tokenizacja.
• Jednolity słownik o rozmiarze 150K tokenów, uzyskany przez połączenie osobno wytrenowanych słowników BPE dla korpusów chińskiego i wielojęzycznego z cl100k_base (tiktoken).

Empirycznie potwierdzono znaczenie jakości i różnorodności danych, jednak autorzy nie formułują wyraźnych fundamentalnych kryteriów selekcji danych wykraczających poza opublikowane zależności empiryczne.

Rozszerzenie kontekstu i LongAlign

Okna kontekstowe są sukcesywnie powiększane od 2K (ChatGLM‑6B) do 32K (ChatGLM2/3), następnie do 128K i 1M tokenów w GLM‑4, a potem do 200K w GLM‑5. Stosowana jest kombinacja rozszerzenia kodowania pozycji (metody skalowania częstotliwości oparte na RoPE) i dodatkowego doustrajania na długich tekstach. Specjalny przepis wyrównania LongAlign pozwala utrzymać jakość na długich wejściach: według LongBench‑Chat GLM‑4 (0520) osiąga 87,3 w części angielskiej (porównywalnie z GPT‑4 Turbo 1106: 87,2 i Claude 3 Opus: 87,7) oraz 84,0 w części chińskiej (wyżej niż GPT‑4 Turbo i Claude 3 Opus).

Po-uczenie i wyrównanie (SFT, RLHF)

Po-uczenie obejmuje dwa główne etapy:

• Supervised Fine‑Tuning (SFT): uczenie na parach „zapytanie–odpowiedź" z naciskiem na rzeczywiste (tworzone przez ludzi) interakcje, a nie szablonowe lub generowane.
• Reinforcement Learning from Human Feedback (RLHF): optymalizacja według preferencji adnotatorów za pomocą PPO, DPO i własnych schematów, w szczególności ChatGLM‑RLHF oraz Self‑Contrast (negatywne przykłady są generowane przez sam model, co zmniejsza zapotrzebowanie na dane dotyczące preferencji).

Wektor cech do oceny odpowiedzi obejmuje wskaźniki bezpieczeństwa, faktyczności, trafności, przydatności i zgodności z preferencjami. Autorzy zauważają, że RLHF zmniejsza częstotliwość odmów, zwiększa bezpieczeństwo i spójność w dialogach wieloetapowych.

Wyspecjalizowane techniki ekosystemu GLM

• LongAlign — przepis wyrównania dla długiego kontekstu (do 128K).
• ChatGLM‑Math — poprawa rozwiązywania zadań matematycznych za pomocą schematu self‑critique (samoocena odpowiedzi bez zewnętrznych modeli).
• Self‑Contrast — schemat RLHF, w którym negatywne przykłady są generowane przez sam model.
• AgentTuning / AgentInstruct — framework i zbiór danych do uczenia umiejętności agentowych na trajektoriach interakcji agenta z otoczeniem.
• APAR (Auto‑Parallel Auto‑Regressive) — algorytm autoparallelnego autoregresyjnego generowania do przyspieszenia wnioskowania.

Opracowano również szereg benchmarków: AgentBench (zadania agentowe), LongBench (długi kontekst), AlignBench (chińskie wyrównanie), HumanEval‑X (kod poza Pythonem), NaturalCodeBench (praktyczne zadania programistyczne).

Kluczowe wyniki i benchmarki

Wszystkie metryki podano według oryginalnych raportów technicznych z podaniem warunków (zero‑/few‑shot, zbiór danych, wersja modelu). Porównania zostały wykonane przez autorów raportów technicznych; niezależna reprodukcja na standaryzowanych platformach (LMSYS Chatbot Arena, Open LLM Leaderboard) dla wszystkich wersji nie jest usystematyzowana.

Dynamika jakości: ChatGLM‑6B → GLM‑4‑9B

Benchmark	ChatGLM‑6B	ChatGLM2‑6B	ChatGLM3‑6B	GLM‑4‑9B
GSM8K (%)	1,5	25,9	72,3	84,0
MMLU (%)	25,2	45,2	61,4	74,7
HumanEval (%)	0,0	9,8	58,5	70,1
C‑Eval (%, chiński)	23,7	51,7	69,0	77,1

Wszystkie modele oceniono w BF16 z identycznymi ustawieniami.

GLM‑4 na akademickich benchmarkach

Benchmark	GLM‑4 (0520)	GPT‑4 (0314)	GPT‑4 Turbo (2024‑04‑09)	Claude 3 Opus
MMLU (%)	83,3	86,4	86,7	86,8
GSM8K (%)	93,3	92,0	95,6	95,0
MATH (%)	61,3	52,9	73,4	60,1
BBH (%)	84,7	83,1	88,2	86,8
GPQA (%)	39,9	35,7	49,3	50,4
HumanEval (%)	78,5	67,0	88,2	84,9

GLM‑4 (0520) osiąga ≈96,3% wyniku GPT‑4 na MMLU, przewyższa GPT‑4 (0314) w MATH i GSM8K, lecz ustępuje GPT‑4 Turbo w MATH i HumanEval.

W AlignBench v1.1 (chińskie wyrównanie) GLM‑4 (0520) osiąga łączny wynik 8,00 wobec 7,90 u GPT‑4 Turbo i 7,53 u Claude 3 Opus, z zauważalną przewagą w podkategoriach „Logic", „Language", „Professional".

W AgentBench GLM‑4 (0520) osiąga łączny wynik 3,79, porównywalny lub nieco wyższy niż GPT‑4 Turbo (1106) i Claude 3 Opus. Wysokie wyniki w zadaniach Database, House‑Holding i Web‑Shopping; słabsze wyniki w zadaniach Operating System i Lateral Thinking Puzzles.

W Berkeley Function Call Leaderboard GLM‑4 (0520) osiąga 81,76% (GPT‑4 Turbo: 81,24%); GLM‑4‑9B‑Chat znacznie przewyższa Llama‑3‑8B‑Instruct (81,00% vs 58,88%).

GLM‑4.5

Benchmark	GLM‑4.5	Uwaga
TAU‑Bench (średnia agentowa)	70,1%	Zadania agentowe
AIME 2024	91,0%	Matematyczne zawody
SWE‑bench Verified	64,2%	Rozwiązywanie zadań na rzeczywistych repozytoriach
GPQA (Avg@8)	79,1%	Pytania na poziomie magisterskim
MATH‑500	98,2%	Matematyka
MMLU‑Pro	84,6%	Rozszerzony MMLU

Biorąc pod uwagę mniejszą liczbę aktywnych parametrów, GLM‑4.5 zajmuje 3. miejsce wśród wszystkich ocenianych modeli (według zbiorczego rankingu z 12 benchmarków) oraz 2. miejsce w benchmarkach agentowych w momencie publikacji raportu.

GLM‑4.7

• SWE‑bench Verified: 73,8% (+5,8 p.p. względem GLM‑4.5).
• Terminal‑Bench 2.0: 41,0% (+16,5 p.p.).
• Humanity's Last Exam (with tools): 42,8%.

GLM‑5

Benchmark	GLM‑5	Uwaga
SWE‑bench Verified	77,8%	Lider wśród modeli open‑weight w chwili publikacji
GPQA‑Diamond	86,0%	Pytania na poziomie magisterskim
Terminal‑Bench 2.0	56,2–61,1%	Zadania inżynierskie
Humanity's Last Exam (with tools)	50,4%	Złożone pytania interdyscyplinarne
BrowseComp	62,0%	Nawigacja w sieci

GLM‑5 demonstruje poprawę ≈20% według średniego wskaźnika względem GLM‑4.7 i zajmuje pozycje wśród modeli open‑weight porównywalne z modelami zamkniętymi klasy Claude Opus 4.5 w szeregu agentowych i kodowych benchmarków.

Bezpieczeństwo (SafetyBench)

Według SafetyBench (chińska podpróba) GLM‑4 (0520) osiąga 87,2% według wskaźnika integralnego, co jest porównywalne z Claude 3 Opus (87,5%) i nieznacznie poniżej GPT‑4 (≈88–89,7%). Najbardziej zauważalna różnica w porównaniu z GPT‑4 widoczna jest w wymiarze „Physical Health" (bezpieczeństwo fizyczne).

Zastosowania i ekosystem

Scenariusze dialogowe i asystentowe

Seria ChatGLM i kolejne modele są wykorzystywane jako asystenci dialogowi, w tym w komercyjnym serwisie Zhipu Qingyan (chatglm.cn / chat.z.ai), z obsługą komunikacji wielojęzycznej, wieloetapowego dialogu i trybu instrukcyjnego.

Systemy agentowe i narzędzia

GLM‑4 All Tools i kolejne modele są integrowane z agentową platformą GLMs, umożliwiającą tworzenie niestandardowych agentów, podłączanie wbudowanego interpretera Python, przeglądarki internetowej, modeli VLM/T2I (CogView3) oraz korzystanie z zewnętrznych API. Obsługiwane są zadania złożone: przeszukiwanie sieci, analiza danych przez Python, złożone łańcuchy narzędzi. GLM‑5 koncentruje się na zadaniach inżynierii oprogramowania z długim horyzontem planowania (agentic engineering) i był testowany na benchmarkach MCP‑Atlas i BrowseComp.

Generowanie kodu i tworzenie oprogramowania

Rodzina CodeGeeX (CodeGeeX‑13B, CodeGeeX2‑6B) i tryby kodowania GLM są używane do generowania kodu w wielu językach programowania, jego uzupełniania i refaktoryzacji, a także rozwiązywania zadań HumanEval i HumanEval‑X. W HumanEval‑X CodeGeeX2‑6B poprawia Pass@1 w porównaniu z CodeGeeX‑13B (według danych autorów: +57% w Pythonie, +71% w C++). Produkt CodeGeeX jest zintegrowany z wtyczkami IDE dla programistów.

Długi kontekst i scenariusze dokumentocentryczne

GLM‑4‑9B‑Chat‑1M i starsze modele są stosowane do analizy dużych dokumentów i kolekcji (do 1M tokenów), podsumowywania, wyszukiwania w długich dokumentach i pracy z długim kodem.

Infrastruktura wdrożeniowa

Modele są dostępne przez platformę API Z.ai / bigmodel.cn (tool calling, agent frameworks). Wersje otwarte obsługują wdrożenie lokalne przez vLLM, SGLang. Obsługa Huawei Ascend umożliwia wdrożenie bez sprzętu NVIDIA. Otwarte modele serii zostały pobrane ponad 10 milionów razy na Hugging Face (2023–2024).

Ograniczenia i otwarte problemy

• Nierównowaga językowa: seria GLM jest przetrenowywana głównie na językach chińskim i angielskim; jakość w innych językach jest znacząco niższa, co zostało wyraźnie wskazane w raporcie technicznym arXiv:2406.12793.
• Odtwarzalność benchmarków: większość wyników porównawczych jest podawana w raportach technicznych samych twórców. Niezależna zewnętrzna walidacja na standaryzowanych platformach (LMSYS Chatbot Arena, Open LLM Leaderboard) dla wszystkich wersji nie jest usystematyzowana.
• Skoki straty podczas skalowania: uczenie GLM‑130B towarzyszyły liczne skoki funkcji straty wymagające ręcznej interwencji; autorzy dokumentują to jako nierozwiązany problem inżynierski przy skalowaniu.
• Uzależnienie od sprzętu: począwszy od GLM‑5 uczenie zostało przeniesione na Huawei Ascend / MindSpore; niezależna reprodukcja na innych platformach sprzętowych jest utrudniona.
• Wyrównanie i bezpieczeństwo: pomimo stosowania RLHF problemy odmowy odpowiedzi, spójności w dialogach wieloetapowych i obchodzenia mechanizmów bezpieczeństwa pozostają aktualne; autorzy arXiv:2406.12793 wskazują, że RLHF pomaga, lecz nie rozwiązuje problemów w pełni.
• Halucynacje: jak w innych LLM, problem błędów faktograficznych jest udokumentowany; ilościowe oceny różnią się w zależności od zadania i metodologii.
• Rozumowanie matematyczne: GLM‑4 ustępuje GPT‑4 Turbo w MATH i szeregu zadań złożonej arytmetyki, choć stosuje wyspecjalizowane techniki (ChatGLM‑Math).
• Zadania agentowe: w AgentBench utrzymuje się luka w zadaniach związanych z niskopoziomową interakcją z systemem operacyjnym i złożonymi łamigłówkami logicznymi; jakość w długim horyzoncie (long‑horizon) pozostaje nierozwiązanym problemem (kumulacja błędów w zadaniach łańcuchowych).
• Kod i zadania praktyczne: w NaturalCodeBench GLM‑4 (ogółem 47,1%) wypada poniżej GPT‑4 Turbo (53,8%), choć jest porównywalny z Claude 3 Opus (48,3%).

Aspekty etyczne i regulacyjne

Seria GLM jest rozwijana zgodnie z wymogami chińskiego regulatora (Urząd Cyberprzestrzeni Chińskiej Republiki Ludowej, CAC) w zakresie rejestracji modeli generatywnych i przechodzenia oceny bezpieczeństwa. Po-uczenie obejmuje SFT i RLHF w celu redukcji toksyczności i szkodliwych treści.

W raporcie technicznym GLM‑4 opisano wielostopniowy proces zarządzania ryzykiem:

• Wstępne oczyszczanie korpusu przetrenowania z tekstów o potencjalnie niebezpiecznej treści.
• Filtrowanie danych wyrównujących według kryteriów bezpieczeństwa.
• Testowanie red‑team: formowanie złożonych szkodliwych zapytań do doustrajania.
• Wykorzystanie SafetyBench do ilościowej oceny bezpieczeństwa (7 wymiarów).

Wcześniejsze modele (GLM‑130B) wykazują niższy poziom stronniczości według CrowS‑Pairs i obniżoną toksyczność według RealToxicPrompts w porównaniu z GPT‑3 i OPT, dzięki dwujęzycznemu uczeniu.

Wydanie GLM‑5 na licencji MIT oznacza brak formalnych ograniczeń dla komercyjnego wykorzystania otwartych wag, co niesie ze sobą standardowe ryzyka niekontrolowanego zastosowania charakterystyczne dla otwartych LLM. Kwestie tendencyjności (bias) w korpusach przetrenowania specyficznych dla języka chińskiego i kontekstu kulturowego nie są systematycznie badane w publicznych pracach w chwili pisania artykułu.

Perspektywy i kierunki badań

Na podstawie opublikowanych raportów technicznych i materiałów towarzyszących Z.ai wyróżniono następujące zadeklarowane kierunki:

• Skalowanie architektur MoE przy obniżaniu kosztu aktywnych parametrów na token.
• Rozwój asynchronicznych algorytmów agentowego RL dla zadań o długim horyzoncie planowania.
• Usprawnienie mechanizmów rzadkiej uwagi (DSA) dla kontekstów powyżej 200K tokenów.
• Multimodalne rozumowanie: rozwój GLM‑4.1V‑Thinking w kierunku rozumienia wideo i dokumentów.
• Zmniejszenie uzależnienia od zewnętrznych API przy agentowym wykonywaniu zadań przez uczenie końcowych agentów na rzeczywistych interakcjach.
• Optymalizacja pod kątem krajowego (dla Chin) sprzętu (Huawei Ascend, Cambricon) i redukcja śladu węglowego uczenia.
• Integracja z platformami robotycznymi i obliczeniami naukowymi.

Zobacz też

• Architektura Transformer
• BERT
• GPT
• T5
• Architektury Decoder‑only
• Reinforcement Learning from Human Feedback
• DeepSeek

Literatura

• Du, Z., Qian, Y., Liu, X., Ding, M., Qiu, J., Yang, Z., Tang, J. (2022). GLM: General Language Model Pretraining with Autoregressive Blank Infilling. ACL 2022. https://aclanthology.org/2022.acl-long.26/
• Zeng, A. et al. (2022). GLM-130B: An Open Bilingual Pre-trained Model. ICLR 2023. arXiv:2210.02414. https://arxiv.org/abs/2210.02414
• Team GLM. (2024). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools. arXiv:2406.12793. https://arxiv.org/abs/2406.12793
• GLM-4.5 Team. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471. https://arxiv.org/abs/2508.06471
• GLM-5 Team. (2026). GLM-5: from Vibe Coding to Agentic Engineering. arXiv:2602.15763. https://arxiv.org/abs/2602.15763
• Zeng, A. et al. (2024). GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot. arXiv:2412.02612. https://arxiv.org/abs/2412.02612
• Zhipu AI. (2025). GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning Models. arXiv:2507.01006. https://arxiv.org/abs/2507.01006
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. https://arxiv.org/abs/2005.14165