GLM (Zhipu AI) (HU)

GLM (General Language Model) — nagy nyelvi modellek (Large Language Model, LLM) családja, amelyet a Zhipu AI vállalat (2025-től Z.ai) fejlesztett ki a Csinghvai Egyetem (Peking) informatikai karának Knowledge Engineering Group (KEG) laboratóriumával közösen. A sorozat 6 milliárdtól 744 milliárd paraméterig terjedő modelleket foglal magában, amelyek elsősorban a kínai és az angol nyelvre összpontosítanak. Az architekturális alap megkülönböztető jellemzője az autoregressive blank infilling elvén alapuló előtanítási célfüggvény, amely az enkóder- és dekóder-alapú transformerek tulajdonságait egyetlen egységes sémában egyesíti.

A sorozat magában foglalja az alapul szolgáló előtanított modelleket, a párbeszédes változatokat (ChatGLM), a multimodális kiterjesztéseket (GLM‑4V, CogVLM), a specializált eszközöket (CodeGeeX kódgeneráláshoz, WebGLM webes kereséshez) és az ágensrendszereket (GLM‑4 All Tools, AutoGLM). A család fejlődése nyomon követhető a GLM‑10B-től (2021) és a GLM‑130B-től (2022) egészen a GLM‑4-ig (2024), a GLM‑4.5-ig (2025) és a GLM‑5-ig (2026), a sűrű (dense) architektúráktól a Mixture‑of‑Experts (MoE) felé való átmenettel és az ágensvezérelt forgatókönyvek előtérbe helyezésével.

Történet és előzmények

Intézményi kontextus

A Zhipu AI-t 2019-ben alapította Teng Csie (Tang Jie) és Li Csüanczi (Li Juanzi), a Csinghvai Egyetem professzorai, a tudásgráfokra specializálódott KEG laboratórium bázisán. 2020-ban a vállalat nagy léptékű nyelvi modellek fejlesztésére összpontosított. 2023-ban 2,5 milliárd jüan befektetést vonzott (≈350 millió USD) az Alibaba Group, a Tencent, az Ant Group, a Meituan és a Xiaomi részvételével. 2025 júliusában a vállalat nyilvános márkáját Z.ai-ra változtatta, 2026 januárjában pedig tőzsdére lépett a Hongkongi Értéktőzsdén.

Alapozó mű: GLM (2021–2022)

Az alapvető előnyomtatvány „GLM: General Language Model Pretraining with Autoregressive Blank Infilling" címmel 2021 márciusában jelent meg az arXiv-on (arXiv:2103.10360), és az ACL 2022 konferencián fogadták el. Szerzők: Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. A munka motivációja a meglévő architekturális paradigmák korlátaiban rejlik: az enkóder-alapú modellek (BERT) a természetes nyelv megértésének (Natural Language Understanding, NLU) feladataira optimálisak, a dekóderesek (GPT) a generálásra, az enkóder-dekóder modellek (T5) pedig több paramétert igényelnek. A GLM egységes megközelítést javasolt, amely mindkét feladatosztályt képes kezelni.

A főbb kiadások kronológiája

Év	Modell	Főbb jellemzők
2021	GLM (alap), GLM‑10B	Autoregressive blank infilling, 2D-pozíciókódolás; paraméterek: legfeljebb 515M (alap) és 10B
2022	GLM‑130B	130B paraméter, kétnyelvű (kínai / angol), nyílt súlyok, INT4-kvantálás utólagos finomhangolás nélkül; elfogadva az ICLR 2023-ra
2023, március	ChatGLM‑6B (v1)	6,2B paraméter, ≈1T token előtanítás, SFT + RLHF-igazítás, INT4-kvantálás (≈6 GB memória)
2023, június	ChatGLM2‑6B	1,4T token, FlashAttention, Multi‑Query Attention (MQA), kontextus legfeljebb 32K token
2023, október	ChatGLM3‑6B	Javított utasításkövetés, eszközhívás (tool calling) támogatása, Code Interpreter
2024	GLM‑4, GLM‑4‑Air, GLM‑4‑9B	≈10T token előtanítás, RoPE + GQA, kontextus legfeljebb 128K / 1M token; GLM‑4 All Tools
2024	GLM‑4V‑9B	Multimodális változat vizuális enkóderrel
2025	GLM‑4.5, GLM‑4.6, GLM‑4.7	MoE-architektúra (GLM‑4.5), a következtetés és kódolás egymást követő fejlesztései
2025	GLM‑4.1V‑Thinking	Vizuális-nyelvi modell megerősített többlépéses következtetéssel (arXiv:2507.01006)
2026, február	GLM‑5	744B paraméter (MoE), ≈40–44B aktív, 200K-tokenes kontextus, ágensi feladatok; tanítás Huawei Ascend processzorokon

A GLM-család a Zhipu AI kísérő modelljeivel párhuzamosan fejlődik: kódmodellek (CodeGeeX), vizuális-nyelvi modellek (CogVLM / CogAgent), generatív modellek (CogView), valamint specializált rendszerek (WebGLM és AgentLM).

Elméleti és architekturális alapok

Az előtanítás célfüggvénye

A GLM alaparchitektúrája Transformer-alapú. A legfontosabb megkülönböztető jellemző az autoregressive blank infilling — az autoregresszív modellezés egy változata, amelyben a modell megtanulja visszaállítani a szövegben lévő hiányos részleteket (span-eket) a kontextus alapján.

Legyen $x=[x_1,\dots ,x_n]$ a bemeneti sorozat. Véletlenszerűen kiválasztott összefüggő részletek (span-ek) $\{s_1,\dots ,s_m\}$ egyetlen [MASK] tokenre cserélődnek, létrehozva a torzított szöveget $x_{extcorrupt}$. A modell autoregresszíven állítja vissza az egyes részleteket véletlenszerű permutációs sorrendben:

$ℒ=-\sum _{i=1}^m\sum _{j=1}^{|s_i|}\log P(s_{i,j}\mid x_{extcorrupt},s_{i,<j},s_{<i})$

ahol $x_{extcorrupt}$ a maszkolt részleteket tartalmazó sérült sorozat, $s_{i,<j}$ az aktuális $s_i$ részlet már visszaállított tokenei, $s_{<i}$ a teljesen visszaállított korábbi részletek. A részletek visszaállítási sorrendjét a $Z_m$ halmazból vett véletlenszerű permutáció határozza meg, ami lehetővé teszi a modell számára, hogy kezelje a részletek közötti függőségeket.

A feladat szabályozásához: rövid hiányok esetén (≈15% token) a modell NLU-ra optimalizálódik, hosszú részletek esetén (50–100% token) generatív feladatokra. Ez lehetővé teszi, hogy egyetlen modell mindkét módot lefedje a többfeladatos előtanítás (multi‑task learning) révén.

2D-pozíciókódolás

A GLM kétdimenziós pozíciókódolást vezet be az eredeti torzított sorozatban lévő pozíciók és a visszaállítandó részletek belső pozícióinak megkülönböztetésére:

• Első dimenzió $po{s}_1$: a token (vagy maszk) abszolút pozíciója a torzított sorozatban.
• Második dimenzió $po{s}_2$: a token pozíciója saját részletén belül az autoregresszív generálás során (0 az eredeti tokenek esetén).

Ez a séma lehetővé teszi a kontextus és a generált szöveg helyes elkülönítését további, enkóderhez hasonló architekturális elemek nélkül.

Figyelemmaszk

A GLM kétrészes figyelemmaszkot alkalmaz: kétirányú (bidirectional) figyelmet a nem maszkolt tokenekhez (A rész — kontextus) és kauzális (causal) figyelmet a részleteken belüli tokenekhez (B rész — visszaállítandó span-ek). Ez teljes kontextuális megértést biztosít az eredeti szövegről a visszaállított részek autoregresszív generálása közben. A BERT-tel szemben (független maszkolt előrejelzések) a GLM figyelembe veszi a span-ek közötti függőségeket; a GPT-vel szemben — kétirányú A-rész kontextust használ; a T5-tel szemben — nem igényel külön enkódert.

Az architekturális komponensek fejlődése

A Transformer-blokk paramétereinek szintjén a $h_l\in {ℝ}^d$ rejtett állapot a $l$ rétegen a GLM‑4-től kezdve a következőképpen frissül:

$ilde{h}_l=h_l+ext{GQA}_l(extRMSNorm(h_l)),h_{l+1}=ilde{h}_l+ext{FFN}_l(extRMSNorm(ilde{h}_l))$

ahol a GQA a Grouped‑Query Attention (a teljes Multi‑Head Attention helyett), az FFN pedig SwiGLU révén valósul meg.

A GLM‑130B-től kezdődően a sorozatban a következő architekturális komponenseket alkalmazzák:

• GLM‑130B: DeepNorm a mély hálózatok tanításának stabilizálásához; Rotary Positional Encoding (RoPE) 2D-kiterjesztéssel; Gated Linear Units (GLU) GeLU-aktivációval (GeGLU).
• GLM‑4: Áttérés RMSNorm-ra és SwiGLU-ra; Group Query Attention (GQA) a Multi‑Head Attention (MHA) helyett a KV-gyorsítótár csökkentése érdekében; minden bias-tag eltávolítva, kivéve a Q/K/V-t a figyelemben; növelt FFN-méret $\frac{10}{3}{d}_{exthidden}$-re a paraméterschám megőrzéséhez GQA esetén.
• GLM‑4.5: Mixture‑of‑Experts (MoE) loss-free balance routinggal és sigmoid gate-ekkel; hibrid következtetési mód (thinking / non‑thinking).
• GLM‑5: DeepSeek Sparse Attention (DSA) a hosszú, legfeljebb 200K tokenből álló kontextus hatékony feldolgozásához; Multi‑Token Prediction (MTP) spekulatív dekódoláshoz; a tanítás teljes egészében Huawei Ascend processzorokon zajlott a MindSpore keretrendszer használatával.

Skálázás és skálázási törvények

A ChatGLM-sorozat fejlesztése során empirikus összefüggéseket vizsgáltak az előtanítási veszteség és a feladatokon elért teljesítmény között, beleértve az „emergent abilities" jelenségét. Megmutatták, hogy rögzített előtanítási veszteségszintnél különböző méretű modellek (és különböző számú token esetén) összehasonlítható teljesítményt nyújtanak, egyes feladatokon (MMLU, GSM8K) pedig a minőség csak bizonyos előtanítási veszteségküszöb elérése után haladja meg a véletlenszerű szintet.

Architektúrák és modellek a GLM-sorozatban

GLM‑10B és GLM‑130B

GLM‑10B (2021) — 10 milliárd paraméteres modell, amely demonstrálja a GLM-architektúra alkalmazhatóságát blank infilling segítségével, és alapul szolgál a további skálázáshoz.

GLM‑130B (2022) 2022 októberében mutatták be, és az ICLR 2023-on fogadták el (arXiv:2210.02414):

• Paraméterek száma: ≈130 milliárd (sűrű kétnyelvű modell).
• Előtanítási mennyiség: több mint 400 milliárd token (≈200 milliárd kínai, ≈200 milliárd angol).
• Architektúra: 70 réteg, rejtett méret 12 288, 96 figyelemfej; DeepNorm, RoPE, GeGLU; kiegészítő többfeladatos tanítás (Multi‑Task Instruction Pretraining, MIP) — ≈5% token 74 NLU/NLG feladatadatkészleten.
• Kvantálás: INT4 kvantálás utáni finomhangolás nélkül (post‑training quantization) — az első dokumentált eredmény ilyen jellegűen a 100B+-os modellek körében; következtetés lehetséges 4×RTX 3090 (24 GB) vagy 8×RTX 2080 Ti (11 GB) kártyán.
• Tanítási stabilitás: a szerzők számos veszteségfüggvény-kiugrást (loss spike) dokumentálnak, és leírják az alkalmazott stabilizálási stratégiákat (gradient clipping, Embedding Gradient Shrink).

A közzétételkor a GLM‑130B felülmúlta a GPT‑3 175B-t (davinci) az angol nyelvű benchmarkok széles körén (összesen 112 feladat) és az ERNIE TITAN 3.0 260B-t a kínai feladatokon; az OPT‑175B és a BLOOM‑176B feletti fölény azonban nem volt reprodukálható — a szerzők kifejezetten jelzik ezt a korlátot. A HELM értékelés szerint (2022 november) a GLM‑130B számos mutató tekintetében összehasonlítható a GPT‑3-mal.

A ChatGLM‑6B/2/3 család

ChatGLM‑6B (2023 március) — párbeszédes modell 6,2 milliárd paraméterrel, amelyet a KEG és a Zhipu AI közösen fejlesztett ki, és nyílt projektként tett közzé:

• Előtanítás ≈1 billió tokenen (kínai + angol), 2K kontextus.
• Párbeszédre orientált; a kezdeti igazítást főként SFT és RLHF végzi.
• INT4-kvantálás ≈6 GB memóriafelhasználással, ami lehetővé tette a helyi futtatást fogyasztói hardveren.

ChatGLM2‑6B (2023 június):

• Az előtanítás mennyisége 1,4 billió tokenre nőtt.
• Bevezette a FlashAttention-t és a Multi‑Query Attention-t (MQA); a kontextus 32K tokenre bővült.
• Jelentős javulás a benchmarkokon: MMLU +23 százalékpont, GSM8K +571%, BBH +60% a ChatGLM‑6B-hez képest.

ChatGLM3‑6B (2023 október):

• További javulás 42 benchmarkon a szemantika, matematika, következtetés, kód és tudás területein.
• Natív function call, beépített Code Interpreter és ágensi feladatok támogatása AgentTuning / AgentLM révén.

GLM‑4, GLM‑4‑Air, GLM‑4‑9B és GLM‑4 All Tools

A technikai jelentés (arXiv:2406.12793) a GLM‑4-et modellek olyan családjaként írja le, amelyeket ≈10 billió tokenen (főként kínai és angol, plusz 24 további nyelv) tanítottak elő, és kínai és angol nyelvre igazítottak.

Főbb változatok:

• GLM‑4 (flagship modell, 0116-os és 0520-as verzió): sűrű transformer, rejtett méret 6144, 61 réteg, 48 figyelemfej, 128K kontextus.
• GLM‑4‑Air — kompaktabb és gyorsabb modell, a GLM‑4‑0116-hoz közeli minőséggel, kisebb késleltetéssel.
• GLM‑4‑9B — 9 milliárd paraméteres modell (8K kontextus, 128K és kísérleti 1M változatok) ugyanazzal az utótanítási folyamattal.
• GLM‑4 All Tools — eszközhasználatra további igazítást kapott verzió: webböngésző, Python-értelmező, képgenerálás (CogView3) és egyéni függvények.

A GLM‑4 architekturális jellemzői:

• Nincs bias-tag, kivéve a Q/K/V-t a figyelemben.
• RMSNorm és SwiGLU.
• 2D‑RoPE.
• Group Query Attention (GQA) megnövelt FFN-nel.
• Bájt alapú BPE-tokenizátor 150K token mérettel, amelyet külön-külön betanított BPE-szótárak egyesítésével kaptak kínai és többnyelvű korpuszhoz a cl100k_base alapján.

GLM‑4.5 (ARC foundation models)

A GLM‑4.5 egy nyílt Mixture‑of‑Experts (MoE) modell, amely az ágensi, következtetési és kódolási feladatokra (Agentic, Reasoning, Coding — ARC) helyezi a hangsúlyt:

• 355 milliárd összesített paraméter, 32 milliárd aktív (MoE-architektúra sparse aktiválással): 89 réteg, 160 szakértő, tokenenként 8 aktív; 96 figyelemfej, rejtett méret 5120.
• GLM‑4.5‑Air: 106 milliárd összesített / 12 milliárd aktív paraméter — hatékony változat.
• Tanítás 23 billió tokenen, többlépéses utótanítással, amely tartalmaz szakértői modellek iterációját és RLHF-et.
• Hibrid következtetési mód (thinking mode és közvetlen válasz): az első esetben a modell részletes következtetési nyomvonalat generál; a másodikban közvetlenül válaszol. A kapcsolás az inference-folyamat szintjén vezérelhető.
• Loss-free balance routing sigmoid gate-ekkel a szakértők irányításához.
• Muon optimalizáló; mélyebb-és-kesketebb (deeper-and-narrower) dizájn.

GLM‑4.6 / GLM‑4.7

A GLM‑4.6 / 4.7 sorozat (2025 szeptember–december) fejleszti a GLM‑4.5 ötleteit, erősítve a programozást (SWE‑bench Verified / Multilingual), az összetett következtetést (Humanity's Last Exam, AIME) és az ágensi feladatokat. A GLM‑4.7 73,8%-ot ér el az SWE‑bench Verified teszten, és bevezeti az Interleaved / Preserved / Turn‑level Thinking megközelítést — a következtetések párbeszédbe való integrálásának három módját. Egyes konfigurációk open‑weight modellként érhetők el.

GLM‑5

A technikai jelentést 2026. február 21-én tették közzé (arXiv:2602.15763). Főbb jellemzők:

• Architektúra: Mixture‑of‑Experts ≈744–745 milliárd összesített paraméterrel, 256 szakértő, tokenenként 8 aktiválódik (≈40–44 milliárd aktív paraméter, ≈5,9% sűrűség); 75 MoE-réteg + 3 sűrű réteg.
• Előtanítás: 28,5 billió token.
• Kontextusablak: 200K token.
• Dynamic Sparse Attention (DSA): ritka figyelemmechanizmus, amely csökkenti a tanítási és következtetési költségeket, miközben megőrzi a hosszú kontextusokon elért minőséget.
• Multi‑Token Prediction (MTP): technika spekulatív dekódoláshoz következtetéskor.
• Technikai infrastruktúra: a tanítás teljes egészében Huawei Ascend processzorokon zajlott a MindSpore keretrendszer használatával, amerikai gyártású GPU-hardvertől való függőség nélkül.
• Utótanítás: aszinkron megerősítő tanulási (Reinforcement Learning, RL) infrastruktúra a generálás és tanítás szétválasztásával (decoupling inference / training); ágensi RL-algoritmusok alkalmazása hosszú horizontú interakcióhoz; Token‑in‑Token‑out (TITO) és hierarchikus kontextuskezelés long‑horizon ágensi feladatokhoz.
• Licenc: nyílt súlyok MIT-licenc alatt.

A sorozat modelljeinek összefoglaló táblázata

Modell	Év	Paraméterek (összesen / aktív)	Előtanítási tokenek	Kontextus	Főbb jellemzők
GLM‑130B	2022	130 milliárd / —	≈400 milliárd	2K	Sűrű, kétnyelvű, DeepNorm, INT4-kvantálás
ChatGLM‑6B	2023	6,2 milliárd / —	≈1 billió	2K	Párbeszédes, SFT + RLHF, INT4 (≈6 GB)
ChatGLM2‑6B	2023	6,2 milliárd / —	1,4 billió	32K	FlashAttention, MQA
ChatGLM3‑6B	2023	6,2 milliárd / —	—	32K	Function call, Code Interpreter, AgentTuning
GLM‑4	2024	nem nyilvános (API)	≈10 billió	128K–1M	All Tools, multimodalitás (V)
GLM‑4‑9B	2024	≈9 milliárd / —	≈10 billió	128K–1M	Nyílt verzió, GQA
GLM‑4.5	2025	355 milliárd / 32 milliárd	23 billió	128K	MoE, hibrid gondolkodás, ARC-fókusz
GLM‑4.5‑Air	2025	106 milliárd / 12 milliárd	23 billió	128K	Hatékony MoE-változat
GLM‑4.7	2025	—	—	128K	Javított kódolás, Interleaved Thinking
GLM‑5	2026	744 milliárd / ≈40 milliárd	28,5 billió	200K	DSA, MTP, ágensi mérnöki megközelítés, Huawei Ascend

Multimodális és specializált kiterjesztések

• GLM‑4V‑9B — multimodális változat vizuális enkóderrel képek és dokumentumok feldolgozásához.
• GLM‑4.1V‑Thinking — vizuális-nyelvi modell megerősített többlépéses következtetéssel (arXiv:2507.01006).
• GLM‑4‑Voice — end‑to‑end beszédmodell (9B alap, ≈1 billió hang-szöveges token, tokenizátor 175 bit/s).
• CodeGeeX — kódmodellek családja (CodeGeeX‑13B, CodeGeeX2‑6B) kód generálásához, kiegészítéséhez és refaktorálásához több programozási nyelven; beépítve IDE-pluginekbe.
• CogVLM / CogAgent — vizuális-nyelvi modellek képmegértéshez és autonóm GUI-navigációhoz.
• WebGLM — webalapú keresésre és QA-ra szolgáló modell; megmutatták, hogy a ≈10 milliárd paraméteres modell egyes feladatokon megközelíti a WebGPT‑175B teljesítményét (KDD 2023).

Tanítás, adatok és kiegészítő technológiák

Előtanítási adatok

A GLM‑4 és a korábbi modellek előtanítási korpusza a következőket tartalmazza:

• Többnyelvű (főként kínai és angol) weboldalak, Wikipedia, könyvek, kód és tudományos cikkek.
• Háromszakaszos feldolgozási folyamat: deduplikálás (pontos és fuzzy), szűrés (zajos és potenciálisan káros szövegek eltávolítása) és tokenizálás.
• Egységes, 150K tokenes szótár, amelyet külön-külön betanított BPE-szótárak egyesítésével kaptak kínai és többnyelvű korpuszhoz a cl100k_base (tiktoken) alapján.

Empirikusan igazolódott az adatok minőségének és változatosságának fontossága, azonban a szerzők nem fogalmaznak meg egyértelmű alapvető adatkiválasztási kritériumokat, amelyek meghaladnák a publikált empirikus szabályszerűségeket.

Kontextusbővítés és LongAlign

A kontextusablakok fokozatosan bővülnek 2K-ról (ChatGLM‑6B) 32K-ra (ChatGLM2/3), majd 128K-ra és 1M tokenre a GLM‑4-ben, végül 200K-ra a GLM‑5-ben. A pozíciókódolás bővítésének kombinációját (RoPE-alapú frekvenciaskálázási módszerek) és a hosszú szövegeken végzett további finomhangolást alkalmazzák. A speciális LongAlign igazítási recept lehetővé teszi a minőség megőrzését hosszú bemeneteken: a LongBench‑Chat szerint a GLM‑4 (0520) 87,3-at ér el az angol részben (összehasonlítható a GPT‑4 Turbo 1106: 87,2 és a Claude 3 Opus: 87,7 eredményével) és 84,0-t a kínai részben (magasabb, mint a GPT‑4 Turbo és a Claude 3 Opus).

Utótanítás és igazítás (SFT, RLHF)

Az utótanítás két fő szakaszt foglal magában:

• Supervised Fine‑Tuning (SFT): tanítás „kérés–válasz" párokban, hangsúlyozva a valódi (emberek által írt) interakciókat a sablonszerű vagy generált helyett.
• Reinforcement Learning from Human Feedback (RLHF): optimalizálás annotátorok preferenciái alapján PPO, DPO és saját sémák révén, különösen a ChatGLM‑RLHF és a Self‑Contrast (a negatív példákat maga a modell generálja, ami csökkenti a preferencia-adatok iránti igényt).

A válaszok értékelésének jellemzővektora biztonsági, tényszerűségi, relevanciaalapú, hasznosság- és preferenciamutató összetevőket tartalmaz. A szerzők megjegyzik, hogy az RLHF csökkenti az elutasítások számát, növeli a biztonságot és a konzisztenciát a többfordulós párbeszédekben.

A GLM-ökoszisztéma specializált technikái

• LongAlign — hosszú kontextusú igazítási recept (legfeljebb 128K).
• ChatGLM‑Math — matematikai feladatok megoldásának javítása self‑critique sémával (önértékelés külső modellek nélkül).
• Self‑Contrast — RLHF-séma, ahol a negatív példákat maga a modell generálja.
• AgentTuning / AgentInstruct — keretrendszer és adatkészlet ágensi készségek tanításához az ágens és a környezet közötti interakció nyomvonalain.
• APAR (Auto‑Parallel Auto‑Regressive) — autopárhuzamos autoregresszív generálási algoritmus a következtetés gyorsítására.

Ezenkívül számos benchmark is kifejlesztésre került: AgentBench (ágensi feladatok), LongBench (hosszú kontextus), AlignBench (kínai igazítás), HumanEval‑X (kód Python-on kívül), NaturalCodeBench (gyakorlati programozási feladatok).

Főbb eredmények és benchmarkok

Minden mutatót az eredeti technikai jelentések alapján közlünk, feltüntetve a feltételeket (zero-/few-shot, adatkészlet, modellverzió). Az összehasonlítást a technikai jelentések szerzői végezték; minden verzió esetén a szabványosított platformokon (LMSYS Chatbot Arena, Open LLM Leaderboard) végzett független reprodukció nem szisztematizált.

Minőségi dinamika: ChatGLM‑6B → GLM‑4‑9B

Benchmark	ChatGLM‑6B	ChatGLM2‑6B	ChatGLM3‑6B	GLM‑4‑9B
GSM8K (%)	1,5	25,9	72,3	84,0
MMLU (%)	25,2	45,2	61,4	74,7
HumanEval (%)	0,0	9,8	58,5	70,1
C‑Eval (%, kínai)	23,7	51,7	69,0	77,1

Minden modell BF16-ban lett kiértékelve azonos beállításokkal.

GLM‑4 akadémiai benchmarkokon

Benchmark	GLM‑4 (0520)	GPT‑4 (0314)	GPT‑4 Turbo (2024‑04‑09)	Claude 3 Opus
MMLU (%)	83,3	86,4	86,7	86,8
GSM8K (%)	93,3	92,0	95,6	95,0
MATH (%)	61,3	52,9	73,4	60,1
BBH (%)	84,7	83,1	88,2	86,8
GPQA (%)	39,9	35,7	49,3	50,4
HumanEval (%)	78,5	67,0	88,2	84,9

A GLM‑4 (0520) az MMLU-n a GPT‑4 eredményének ≈96,3%-át éri el, felülmúlja a GPT‑4 (0314)-et MATH és GSM8K tekintetében, de elmarad a GPT‑4 Turbotól MATH és HumanEval terén.

Az AlignBench v1.1 szerint (kínai igazítás) a GLM‑4 (0520) összesített pontszáma 8,00, szemben a GPT‑4 Turbo 7,90-es és a Claude 3 Opus 7,53-as eredményével, szembetűnő előnnyel a „Logic", „Language" és „Professional" almutatókban.

Az AgentBench szerint a GLM‑4 (0520) 3,79-es összesített pontszámot ér el, ami összehasonlítható a GPT‑4 Turbo (1106) és a Claude 3 Opus eredményével, vagy kissé felülmúlja azokat. Magas eredmények a Database, House‑Holding és Web‑Shopping feladatokon; lemaradás az Operating System és a Lateral Thinking Puzzles feladatokon.

A Berkeley Function Call Leaderboard szerint a GLM‑4 (0520) 81,76%-ot ér el (GPT‑4 Turbo: 81,24%); a GLM‑4‑9B‑Chat jelentősen felülmúlja a Llama‑3‑8B‑Instruct-ot (81,00% vs 58,88%).

GLM‑4.5

Benchmark	GLM‑4.5	Megjegyzés
TAU‑Bench (agentic avg)	70,1%	Ágensi feladatok
AIME 2024	91,0%	Matematikai versenyek
SWE‑bench Verified	64,2%	Feladatok megoldása valódi adattárakon
GPQA (Avg@8)	79,1%	Felsőfokú kérdések
MATH‑500	98,2%	Matematika
MMLU‑Pro	84,6%	Kibővített MMLU

A kisebb számú aktív paramétert figyelembe véve a GLM‑4.5 a 3. helyet foglalja el az összes kiértékelt modell között (12 benchmark összesített ranglistája alapján) és a 2. helyet az ágensi benchmarkokon a jelentés közzétételének időpontjában.

GLM‑4.7

• SWE‑bench Verified: 73,8% (+5,8 százalékpont a GLM‑4.5-höz képest).
• Terminal‑Bench 2.0: 41,0% (+16,5 százalékpont).
• Humanity's Last Exam (eszközökkel): 42,8%.

GLM‑5

Benchmark	GLM‑5	Megjegyzés
SWE‑bench Verified	77,8%	Vezető a nyílt súlyú modellek között a közzétételkor
GPQA‑Diamond	86,0%	Felsőfokú kérdések
Terminal‑Bench 2.0	56,2–61,1%	Mérnöki feladatok
Humanity's Last Exam (eszközökkel)	50,4%	Összetett interdiszciplináris kérdések
BrowseComp	62,0%	Webes navigáció

A GLM‑5 ≈20%-os javulást mutat a GLM‑4.7-hez képest átlagosan, és a nyílt súlyú modellek között olyan pozíciókat foglal el egyes ágensi és kódolási benchmarkokon, amelyek összehasonlíthatók a zárt modellek Claude Opus 4.5-szintű teljesítményével.

Biztonság (SafetyBench)

A SafetyBench kínai almintája alapján a GLM‑4 (0520) 87,2%-ot ér el az integrált mutatón, ami összehasonlítható a Claude 3 Opusszal (87,5%) és kissé elmarad a GPT‑4-től (≈88–89,7%). A GPT‑4-hez képest a legszembetűnőbb különbség a „Physical Health" (fizikai biztonság) dimenzióban tapasztalható.

Alkalmazás és ökoszisztéma

Párbeszédes és asszisztens forgatókönyvek

A ChatGLM-sorozat és az azt követő modellek párbeszédes asszisztensként kerülnek felhasználásra, beleértve a kereskedelmi Zhipu Qingyan szolgáltatást (chatglm.cn / chat.z.ai), többnyelvű kommunikáció, többlépéses párbeszéd és utasításos mód támogatásával.

Ágensrendszerek és eszközök

A GLM‑4 All Tools és az azt követő modellek integrálódnak a GLMs ágensi platformba, amely lehetővé teszi egyéni ágensek létrehozását, beépített Python-értelmező, webböngésző, VLM/T2I-modellek (CogView3) csatlakoztatását és külső API-k használatát. Összetett feladatok is támogatottak: webes keresés, adatelemzés Python segítségével, kombinált eszközláncok. A GLM‑5 a hosszú tervezési horizontú szoftvermérnöki feladatokra (agentic engineering) összpontosít, és az MCP‑Atlas és BrowseComp benchmarkokon tesztelték.

Kódgenerálás és szoftverfejlesztés

A CodeGeeX-család (CodeGeeX‑13B, CodeGeeX2‑6B) és a GLM kódolási módjai több programozási nyelven alkalmazhatók kódgenerálásra, kiegészítésre és refaktorálásra, HumanEval és HumanEval‑X feladatok megoldására. A HumanEval‑X teszten a CodeGeeX2‑6B javítja a Pass@1 értéket a CodeGeeX‑13B-hez képest (a szerzők adatai szerint: +57% Python-ban, +71% C++-ban). A CodeGeeX termék beépített IDE-pluginként érhető el fejlesztők számára.

Hosszú kontextus és dokumentumközpontú forgatókönyvek

A GLM‑4‑9B‑Chat‑1M és a nagyobb modellek nagy dokumentumok és gyűjtemények elemzésére (legfeljebb 1M token), összefoglalásra, keresésre hosszú dokumentumokban és hosszú kóddal való munkára alkalmazhatók.

Telepítési infrastruktúra

A modellek elérhetők a Z.ai / bigmodel.cn API-platformon keresztül (tool calling, agent frameworks). A nyílt verziók helyi telepítést tesznek lehetővé vLLM és SGLang segítségével. A Huawei Ascend támogatása lehetővé teszi a telepítést NVIDIA-hardver nélkül. A sorozat nyílt modelljeit több mint 10 millió alkalommal töltötték le a Hugging Face-en (2023–2024).

Korlátok és nyitott problémák

• Nyelvi egyensúlytalanság: a GLM-sorozat elsősorban kínai és angol nyelven lett előtanítva; más nyelveken a minőség jelentősen alacsonyabb, amint azt az arXiv:2406.12793 technikai jelentés kifejezetten jelzi.
• Benchmarkok reprodukálhatósága: a legtöbb összehasonlító eredményt maguk a fejlesztők technikai jelentéseiben közlik. A szabványosított platformokon (LMSYS Chatbot Arena, Open LLM Leaderboard) végzett független külső validáció minden verzióra nem szisztematizált.
• Loss spike-ok skálázáskor: a GLM‑130B tanítása számos veszteségfüggvény-kiugrással járt, amelyek kézi beavatkozást igényeltek; a szerzők ezt megoldatlan mérnöki problémaként dokumentálják skálázáskor.
• Hardverfüggőség: a GLM‑5-től kezdve a tanítás Huawei Ascend / MindSpore platformra helyeződött át; más hardverplatformokon a független reprodukció nehézkes.
• Igazítás és biztonság: a RLHF alkalmazása ellenére az elutasítással, a többfordulós párbeszédek konzisztenciájával és a biztonsági mechanizmusok megkerülésével kapcsolatos problémák továbbra is aktuálisak; az arXiv:2406.12793 szerzői jelzik, hogy a RLHF segít, de nem oldja meg teljes mértékben a problémákat.
• Hallucinációk: mint más LLM-ek esetében, a tényszerű hibák problémája dokumentált; a mennyiségi becslések feladatonként és módszertantól függően változnak.
• Matematikai következtetés: a GLM‑4 elmarad a GPT‑4 Turbotól a MATH és egyes összetett számtani feladatokon, bár specializált módszereket alkalmaz (ChatGLM‑Math).
• Ágensi feladatok: az AgentBench szerint lemaradás tapasztalható az alacsony szintű operációs rendszer-interakcióval és összetett logikai rejtvényekkel kapcsolatos feladatokon; a hosszú horizontú (long‑horizon) minőség megoldatlan probléma marad (hibafelhalmozódás láncolódó feladatokban).
• Kód és gyakorlati feladatok: a NaturalCodeBench teszten a GLM‑4 (összesített 47,1%) elmarad a GPT‑4 Turbotól (53,8%), bár összehasonlítható a Claude 3 Opusszal (48,3%).

Etikai és szabályozási szempontok

A GLM-sorozatot a kínai szabályozó hatóság (Kínai Kibertér Adminisztráció, CAC) követelményeinek megfelelően fejlesztik, a generatív modellek regisztrációja és biztonsági értékelése tekintetében. Az utótanítás SFT-t és RLHF-et foglal magában a toxicitás és a káros tartalom csökkentése érdekében.

A GLM‑4 technikai jelentése többlépéses kockázatkezelési folyamatot ír le:

• Az előtanítási korpusz előzetes megtisztítása potenciálisan veszélyes tartalmú szövegektől.
• Az igazítási adatok szűrése biztonsági kritériumok alapján.
• Red-team tesztelés: összetett káros kérések összeállítása finomhangoláshoz.
• A SafetyBench alkalmazása a biztonság mennyiségi értékelésére (7 dimenzió).

A korai modellek (GLM‑130B) a CrowS‑Pairs alapján alacsonyabb elfogultságot és a RealToxicPrompts alapján csökkentett toxicitást mutatnak a GPT‑3-hoz és az OPT-hoz képest a kétnyelvű tanításnak köszönhetően.

A GLM‑5 MIT-licenc alatti kiadása azt jelenti, hogy a nyílt súlyok kereskedelmi felhasználására vonatkozóan nincsenek formális korlátozások, ami az nyílt LLM-ekre jellemző szokásos, ellenőrizetlen felhasználási kockázatokat vonja maga után. A kínai nyelvre és kulturális kontextusra jellemző előtanítási korpuszok torzításainak (bias) kérdéseit a cikk megírásának időpontjában nyilvános munkákban nem vizsgálták szisztematikusan.

Perspektívák és kutatási irányok

A közzétett technikai jelentések és kísérő anyagok alapján a Z.ai a következő deklarált irányokat határozza meg:

• MoE-architektúrák skálázása az aktív paraméterek tokenenkénti költségének csökkentése mellett.
• Aszinkron ágensi RL-algoritmusok fejlesztése hosszú horizontú feladatokhoz.
• Ritka figyelmi mechanizmusok (DSA) fejlesztése 200K tokennél hosszabb kontextusokhoz.
• Multimodális következtetés: a GLM‑4.1V‑Thinking fejlesztése videó- és dokumentummegértés irányába.
• A külső API-któl való függőség csökkentése ágensi feladatvégrehajtásnál a végső ágensek valódi interakciókon való tanítása révén.
• Optimalizálás a hazai (KNR) hardverekre (Huawei Ascend, Cambricon) és a tanítás szénlábnyomának csökkentése.
• Integráció robotikai és tudományos számítástechnikai platformokkal.

Lásd még

• Transformer architektúra
• BERT
• GPT
• T5
• Decoder-only architektúrák
• Reinforcement Learning from Human Feedback
• DeepSeek

Irodalom

• Du, Z., Qian, Y., Liu, X., Ding, M., Qiu, J., Yang, Z., Tang, J. (2022). GLM: General Language Model Pretraining with Autoregressive Blank Infilling. ACL 2022. https://aclanthology.org/2022.acl-long.26/
• Zeng, A. et al. (2022). GLM-130B: An Open Bilingual Pre-trained Model. ICLR 2023. arXiv:2210.02414. https://arxiv.org/abs/2210.02414
• Team GLM. (2024). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools. arXiv:2406.12793. https://arxiv.org/abs/2406.12793
• GLM-4.5 Team. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471. https://arxiv.org/abs/2508.06471
• GLM-5 Team. (2026). GLM-5: from Vibe Coding to Agentic Engineering. arXiv:2602.15763. https://arxiv.org/abs/2602.15763
• Zeng, A. et al. (2024). GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot. arXiv:2412.02612. https://arxiv.org/abs/2412.02612
• Zhipu AI. (2025). GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning Models. arXiv:2507.01006. https://arxiv.org/abs/2507.01006
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. https://arxiv.org/abs/2005.14165