GLM (Zhipu AI) (IT)

GLM (General Language Model) — famiglia di Large Language Model (LLM) sviluppati dalla società Zhipu AI (dal 2025 denominata Z.ai) in collaborazione con il laboratorio Knowledge Engineering Group (KEG) della facoltà di informatica dell'Università Tsinghua (Pechino). La serie comprende modelli da 6 a 744 miliardi di parametri, orientati principalmente alle lingue cinese e inglese. La caratteristica distintiva del fondamento architetturale è la funzione obiettivo di pre-addestramento basata sull'autoregressive blank infilling, che unisce le proprietà dei transformer encoder e decoder in un unico schema unificato.

La serie include modelli base pre-addestrati, varianti dialogiche (ChatGLM), estensioni multimodali (GLM‑4V, CogVLM), strumenti specializzati (CodeGeeX per la generazione di codice, WebGLM per la ricerca web) e sistemi agentici (GLM‑4 All Tools, AutoGLM). L'evoluzione della famiglia si traccia da GLM‑10B (2021) e GLM‑130B (2022) fino a GLM‑4 (2024), GLM‑4.5 (2025) e GLM‑5 (2026), con il passaggio da architetture dense a Mixture‑of‑Experts (MoE) e un'enfasi sugli scenari agentici.

Storia e contesto

Contesto istituzionale

Zhipu AI è stata fondata nel 2019 dai professori dell'Università Tsinghua Tang Jie e Li Juanzi sulla base del laboratorio KEG, specializzato nei grafi della conoscenza. Nel 2020 l'azienda ha concentrato i propri sforzi sui modelli linguistici su larga scala. Nel 2023 sono stati raccolti 2,5 miliardi di yuan di investimenti (≈350 milioni di dollari USA) con la partecipazione di Alibaba Group, Tencent, Ant Group, Meituan e Xiaomi. Nel luglio 2025 l'azienda ha cambiato il proprio marchio pubblico in Z.ai, e nel gennaio 2026 ha effettuato un'IPO alla Borsa di Hong Kong.

Lavoro fondamentale: GLM (2021–2022)

Il preprint fondamentale «GLM: General Language Model Pretraining with Autoregressive Blank Infilling» è stato pubblicato su arXiv nel marzo 2021 (arXiv:2103.10360) e accettato alla conferenza ACL 2022. Autori: Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. Il lavoro è motivato dai limiti dei paradigmi architetturali esistenti: i modelli encoder (BERT) sono ottimali per i compiti di Natural Language Understanding (NLU), quelli decoder (GPT) per la generazione, mentre quelli encoder‑decoder (T5) richiedono un numero maggiore di parametri. GLM ha proposto un approccio unificato in grado di affrontare entrambe le classi di compiti.

Cronologia delle principali versioni

Anno	Modello	Caratteristiche principali
2021	GLM (base), GLM‑10B	Autoregressive blank infilling, codifiche posizionali 2D; parametri fino a 515M (base) e 10B
2022	GLM‑130B	130B parametri, bilingue (cinese / inglese), pesi aperti, quantizzazione INT4 senza fine-tuning; accettato all'ICLR 2023
2023, marzo	ChatGLM‑6B (v1)	6,2B parametri, ≈1T token di pre-addestramento, allineamento SFT + RLHF, quantizzazione INT4 (≈6 GB di memoria)
2023, giugno	ChatGLM2‑6B	1,4T token, FlashAttention, Multi‑Query Attention (MQA), contesto fino a 32K token
2023, ottobre	ChatGLM3‑6B	Miglioramento del seguimento delle istruzioni, supporto del tool calling, Code Interpreter
2024	GLM‑4, GLM‑4‑Air, GLM‑4‑9B	≈10T token di pre-addestramento, RoPE + GQA, contesto fino a 128K / 1M token; GLM‑4 All Tools
2024	GLM‑4V‑9B	Versione multimodale con encoder visivo
2025	GLM‑4.5, GLM‑4.6, GLM‑4.7	Architettura MoE (GLM‑4.5), miglioramenti progressivi del ragionamento e della codifica
2025	GLM‑4.1V‑Thinking	Modello visivo-linguistico con ragionamento multi-step potenziato (arXiv:2507.01006)
2026, febbraio	GLM‑5	744B parametri (MoE), ≈40–44B attivi, contesto da 200K token, compiti agentici; addestramento su Huawei Ascend

La famiglia GLM si evolve in sinergia con i modelli complementari di Zhipu AI: i modelli di codice CodeGeeX, i modelli visivo-linguistici CogVLM / CogAgent, i modelli generativi CogView, nonché i sistemi specializzati WebGLM e AgentLM.

Fondamenti teorici e architetturali

Funzione obiettivo di pre-addestramento

L'architettura base di GLM si fonda sul Transformer. La caratteristica distintiva principale è l'autoregressive blank infilling — una variante della modellazione autoregressiva in cui il modello impara a ripristinare le lacune (span) nel testo a partire dal contesto.

Sia $x=[x_1,\dots ,x_n]$ la sequenza di input. Vengono scelti casualmente frammenti continui (span) $\{s_1,\dots ,s_m\}$, che vengono sostituiti da un unico token [MASK], formando il testo corrotto $x_{\text{corrupt}}$. Il modello ripristina autoregressivamente ogni frammento in un ordine casuale di permutazione:

$ℒ=-\sum _{i=1}^m\sum _{j=1}^{|s_i|}\log P(s_{i,j}\mid x_{\text{corrupt}},s_{i,<j},s_{<i})$

dove $x_{\text{corrupt}}$ è la sequenza danneggiata con i frammenti mascherati, $s_{i,<j}$ sono i token già ripristinati del frammento corrente $s_i$, $s_{<i}$ sono i frammenti precedenti completamente ripristinati. L'ordine di ripristino dei frammenti è determinato da una permutazione casuale dell'insieme $Z_m$, il che permette al modello di gestire le dipendenze tra i frammenti.

Per regolare il compito: con lacune brevi (≈15% dei token) il modello è ottimizzato per NLU, con frammenti lunghi (fino al 50–100% dei token) per compiti generativi. Ciò consente a un unico modello di coprire entrambe le modalità tramite il multi‑task learning.

Codifiche posizionali 2D

GLM introduce codifiche posizionali bidimensionali per distinguere le posizioni nella sequenza corrotta originale e le posizioni all'interno dei frammenti da ripristinare:

• Prima dimensione $po{s}_1$: posizione assoluta del token (o della maschera) nella sequenza corrotta.
• Seconda dimensione $po{s}_2$: posizione del token all'interno del proprio frammento durante la generazione autoregressiva (0 per i token dell'originale).

Questo schema consente di distinguere correttamente il contesto dal testo generato senza elementi architetturali aggiuntivi analoghi a un encoder.

Maschera di attenzione

In GLM viene applicata una maschera di attenzione a due parti: attenzione bidirezionale (bidirectional) per i token non mascherati (Parte A — contesto) e attenzione causale (causal) per i token all'interno dei frammenti (Parte B — span da ripristinare). Ciò garantisce una comprensione contestuale completa del testo originale durante la generazione autoregressiva delle parti da ripristinare. A differenza di BERT (predizioni delle maschere indipendenti), GLM tiene conto delle dipendenze tra gli span; a differenza di GPT — utilizza il contesto bidirezionale della Parte A; a differenza di T5 — non richiede un encoder separato.

Evoluzione dei componenti architetturali

A livello di parametri del blocco Transformer, lo stato nascosto $h_l\in {ℝ}^d$ al layer $l$ nei modelli a partire da GLM‑4 viene aggiornato come:

${\tilde{h}}_l=h_l+{\text{GQA}}_l(\text{RMSNorm}(h_l)),h_{l+1}={\tilde{h}}_l+{\text{FFN}}_l(\text{RMSNorm}({\tilde{h}}_l))$

dove GQA è la Grouped‑Query Attention (in sostituzione della Multi‑Head Attention completa), e FFN è implementata tramite SwiGLU.

A partire da GLM‑130B e nelle versioni successive della serie vengono utilizzati i seguenti componenti architetturali:

• GLM‑130B: DeepNorm per la stabilizzazione dell'addestramento di reti profonde; Rotary Positional Encoding (RoPE) con estensione 2D; Gated Linear Units (GLU) con attivazione GeLU (GeGLU).
• GLM‑4: passaggio a RMSNorm e SwiGLU; Group Query Attention (GQA) in sostituzione della Multi‑Head Attention (MHA) per ridurre la cache KV; eliminazione di tutti i termini bias, ad eccezione di Q/K/V nell'attenzione; dimensione FFN aumentata a $\frac{10}{3}{d}_{\text{hidden}}$ per preservare il numero di parametri con GQA.
• GLM‑4.5: Mixture‑of‑Experts (MoE) con loss‑free balance routing e sigmoid gates; modalità di ragionamento ibrida (thinking / non‑thinking).
• GLM‑5: DeepSeek Sparse Attention (DSA) per l'elaborazione efficiente di contesti lunghi fino a 200K token; Multi‑Token Prediction (MTP) per la decodifica speculativa; addestramento interamente su processori Huawei Ascend con l'utilizzo di MindSpore.

Scalabilità e leggi di scala

Nello sviluppo della linea ChatGLM vengono studiate le dipendenze empiriche tra la perdita di pre-addestramento e la qualità sui compiti, incluso il fenomeno delle «emergent abilities». È stato dimostrato che, a parità di livello di perdita di pre-addestramento, modelli di diverse dimensioni (e numero di token) mostrano prestazioni comparabili, e su alcuni compiti (MMLU, GSM8K) la qualità supera il livello casuale solo dopo aver raggiunto una certa soglia di perdita di pre-addestramento.

Architetture e modelli della serie GLM

GLM‑10B e GLM‑130B

GLM‑10B (2021) — un modello da 10 miliardi di parametri che dimostra l'applicabilità dell'architettura GLM con blank infilling e funge da base per la successiva scalabilità.

GLM‑130B (2022) è stato presentato nell'ottobre 2022 e accettato all'ICLR 2023 (arXiv:2210.02414):

• Numero di parametri: ≈130 miliardi (modello denso bilingue).
• Volume di pre-addestramento: oltre 400 miliardi di token (≈200 miliardi in cinese, ≈200 miliardi in inglese).
• Architettura: 70 layer, hidden size 12 288, 96 teste di attenzione; DeepNorm, RoPE, GeGLU; addestramento multi-task aggiuntivo (Multi‑Task Instruction Pretraining, MIP) — ≈5% dei token su 74 dataset di compiti NLU/NLG.
• Quantizzazione: INT4 senza fine-tuning dopo la quantizzazione (post‑training quantization) — primo risultato documentato di questo tipo tra i modelli con 100B+ parametri; l'inferenza è possibile su 4×RTX 3090 (24 GB) o 8×RTX 2080 Ti (11 GB).
• Stabilità dell'addestramento: gli autori documentano numerosi picchi della funzione di perdita (loss spikes) e descrivono le strategie di stabilizzazione applicate (gradient clipping, Embedding Gradient Shrink).

Al momento della pubblicazione, GLM‑130B superava GPT‑3 175B (davinci) su un ampio insieme di benchmark in lingua inglese (112 compiti complessivi) ed ERNIE TITAN 3.0 260B sui compiti in lingua cinese; tuttavia il superamento di OPT‑175B e BLOOM‑176B non è stato riprodotto — gli autori indicano esplicitamente questo limite. Secondo la valutazione HELM (novembre 2022), GLM‑130B è comparabile a GPT‑3 su diverse metriche.

Famiglia ChatGLM‑6B/2/3

ChatGLM‑6B (marzo 2023) — modello dialogico con 6,2 miliardi di parametri, sviluppato congiuntamente da KEG e Zhipu AI, pubblicato come progetto aperto:

• Pre-addestramento su ≈1 trilione di token (cinese + inglese), contesto di 2K.
• Orientato al dialogo; l'allineamento iniziale è effettuato principalmente tramite SFT e RLHF.
• Quantizzazione INT4 con un consumo di ≈6 GB di memoria, che consentiva l'esecuzione locale su hardware consumer.

ChatGLM2‑6B (giugno 2023):

• Volume di pre-addestramento aumentato a 1,4 trilioni di token.
• Introdotti FlashAttention e Multi‑Query Attention (MQA); contesto esteso a 32K token.
• Miglioramento significativo sui benchmark: MMLU +23 p.p., GSM8K +571%, BBH +60% rispetto a ChatGLM‑6B.

ChatGLM3‑6B (ottobre 2023):

• Ulteriore miglioramento su 42 benchmark nelle aree di semantica, matematica, ragionamento, codice e conoscenze.
• Supporto nativo per function call, Code Interpreter integrato e compiti agentici tramite AgentTuning / AgentLM.

GLM‑4, GLM‑4‑Air, GLM‑4‑9B e GLM‑4 All Tools

Il rapporto tecnico (arXiv:2406.12793) descrive GLM‑4 come una famiglia di modelli pre-addestrati su ≈10 trilioni di token (prevalentemente cinese e inglese, più 24 lingue aggiuntive) e allineati per il cinese e l'inglese.

Varianti principali:

• GLM‑4 (modello di punta, versioni 0116 e 0520): transformer denso, hidden size 6144, 61 layer, 48 teste di attenzione, contesto di 128K.
• GLM‑4‑Air — modello più compatto e veloce con qualità vicina a GLM‑4‑0116 e latenze ridotte.
• GLM‑4‑9B — modello da 9 miliardi di parametri (contesto 8K, varianti 128K e sperimentale 1M) con la stessa pipeline di post-addestramento.
• GLM‑4 All Tools — versione ulteriormente allineata all'uso degli strumenti: browser web, interprete Python, generazione di immagini (CogView3) e funzioni personalizzate.

Caratteristiche architetturali di GLM‑4:

• Assenza di termini bias, ad eccezione di Q/K/V nell'attenzione.
• RMSNorm e SwiGLU.
• 2D‑RoPE.
• Group Query Attention (GQA) con FFN ampliata.
• Tokenizzatore BPE a byte di dimensione 150K token, ottenuto dalla fusione di dizionari BPE addestrati separatamente per il corpus cinese e multilingue con cl100k_base.

GLM‑4.5 (modelli fondazionali ARC)

GLM‑4.5 è un modello aperto Mixture‑of‑Experts (MoE) con enfasi sui compiti agentici, di ragionamento e di codice (Agentic, Reasoning, Coding — ARC):

• 355 miliardi di parametri totali, 32 miliardi attivi (architettura MoE con attivazione sparse): 89 layer, 160 esperti, 8 attivi per token; 96 teste di attenzione, hidden size 5120.
• GLM‑4.5‑Air: 106 miliardi totali / 12 miliardi di parametri attivi — variante efficiente.
• Addestramento su 23 trilioni di token con post-addestramento multi-stadio che include l'iterazione di modelli esperti e RLHF.
• Modalità di inferenza ibrida (thinking mode e risposta diretta): nel primo caso il modello genera una traccia di ragionamento estesa; nel secondo risponde direttamente. Il cambio di modalità è gestito a livello della pipeline di inferenza.
• Loss‑free balance routing con sigmoid gates per il routing degli esperti.
• Ottimizzatore Muon; design deeper‑and‑narrower.

GLM‑4.6 / GLM‑4.7

La serie GLM‑4.6 / 4.7 (settembre–dicembre 2025) sviluppa le idee di GLM‑4.5, potenziando la programmazione (SWE‑bench Verified / Multilingual), il ragionamento complesso (Humanity's Last Exam, AIME) e i compiti agentici. GLM‑4.7 raggiunge il 73,8% su SWE‑bench Verified e introduce Interleaved / Preserved / Turn‑level Thinking — tre modalità di integrazione del ragionamento nel dialogo. Alcune configurazioni sono rilasciate come modelli open‑weight.

GLM‑5

Il rapporto tecnico è stato pubblicato il 21 febbraio 2026 (arXiv:2602.15763). Caratteristiche principali:

• Architettura: Mixture‑of‑Experts con ≈744–745 miliardi di parametri totali, 256 esperti, 8 attivati per ogni token (≈40–44 miliardi di parametri attivi, ≈5,9% di densità); 75 layer MoE + 3 layer densi.
• Pre-addestramento: 28,5 trilioni di token.
• Finestra contestuale: 200K token.
• Dynamic Sparse Attention (DSA): meccanismo di attenzione sparsa che riduce i costi di addestramento e inferenza preservando la qualità su contesti lunghi.
• Multi‑Token Prediction (MTP): tecnica per la decodifica speculativa durante l'inferenza.
• Infrastruttura tecnica: l'addestramento è stato eseguito interamente su processori Huawei Ascend con il framework MindSpore, senza dipendenza da hardware GPU di produzione americana.
• Post-addestramento: infrastruttura asincrona di Reinforcement Learning (RL) con disaccoppiamento della generazione e dell'addestramento (decoupling inference / training); applicazione di algoritmi RL agentici per l'interazione a lungo orizzonte; Token‑in‑Token‑out (TITO) e gestione gerarchica del contesto per compiti agentici a lungo orizzonte.
• Licenza: pesi aperti sotto licenza MIT.

Tabella riassuntiva dei modelli della serie

Modello	Anno	Parametri (totali / attivi)	Token di pre-addestramento	Contesto	Caratteristiche principali
GLM‑130B	2022	130 miliardi / —	≈400 miliardi	2K	Denso, bilingue, DeepNorm, quantizzazione INT4
ChatGLM‑6B	2023	6,2 miliardi / —	≈1 trilione	2K	Dialogico, SFT + RLHF, INT4 (≈6 GB)
ChatGLM2‑6B	2023	6,2 miliardi / —	1,4 trilioni	32K	FlashAttention, MQA
ChatGLM3‑6B	2023	6,2 miliardi / —	—	32K	Function call, Code Interpreter, AgentTuning
GLM‑4	2024	non divulgato (API)	≈10 trilioni	128K–1M	All Tools, multimodalità (V)
GLM‑4‑9B	2024	≈9 miliardi / —	≈10 trilioni	128K–1M	Versione aperta, GQA
GLM‑4.5	2025	355 miliardi / 32 miliardi	23 trilioni	128K	MoE, ragionamento ibrido, focus ARC
GLM‑4.5‑Air	2025	106 miliardi / 12 miliardi	23 trilioni	128K	Variante MoE efficiente
GLM‑4.7	2025	—	—	128K	Coding migliorato, Interleaved Thinking
GLM‑5	2026	744 miliardi / ≈40 miliardi	28,5 trilioni	200K	DSA, MTP, ingegneria agentica, Huawei Ascend

Estensioni multimodali e specializzate

• GLM‑4V‑9B — versione multimodale con encoder visivo per l'elaborazione di immagini e documenti.
• GLM‑4.1V‑Thinking — modello visivo-linguistico con ragionamento multi-step potenziato (arXiv:2507.01006).
• GLM‑4‑Voice — modello vocale end‑to‑end (base 9B, ≈1 trilione di token voce-testo, tokenizzatore 175 bit/s).
• CodeGeeX — famiglia di modelli di codice (CodeGeeX‑13B, CodeGeeX2‑6B) per la generazione, il completamento e il refactoring del codice in diversi linguaggi; integrato nei plugin IDE.
• CogVLM / CogAgent — modelli visivo-linguistici per la comprensione delle immagini e la navigazione autonoma nelle GUI.
• WebGLM — modello per la ricerca web e il QA; è stato dimostrato che un modello di ≈10 miliardi di parametri si avvicina a WebGPT‑175B su una serie di compiti (KDD 2023).

Addestramento, dati e tecnologie ausiliarie

Dati di pre-addestramento

Il corpus di pre-addestramento per GLM‑4 e i modelli precedenti include:

• Pagine web multilingui (prevalentemente cinese e inglese), Wikipedia, libri, codice e articoli scientifici.
• Pipeline di elaborazione in tre fasi: deduplicazione (esatta e fuzzy), filtraggio (rimozione di testi rumorosi e potenzialmente dannosi) e tokenizzazione.
• Un vocabolario unificato di 150K token, ottenuto dalla fusione di dizionari BPE addestrati separatamente per il corpus cinese e multilingue con cl100k_base (tiktoken).

Viene confermata empiricamente l'importanza della qualità e della diversità dei dati, tuttavia gli autori non formulano criteri fondamentali espliciti per la selezione dei dati che vadano oltre le regolarità empiriche pubblicate.

Estensione del contesto e LongAlign

Le finestre contestuali vengono progressivamente ampliate da 2K (ChatGLM‑6B) a 32K (ChatGLM2/3) e poi a 128K e 1M token in GLM‑4, e infine a 200K in GLM‑5. Viene utilizzata una combinazione di estensione della codifica posizionale (metodi di scalatura delle frequenze basati su RoPE) e fine-tuning aggiuntivo su testi lunghi. La speciale ricetta di allineamento LongAlign consente di mantenere la qualità su input lunghi: per LongBench‑Chat, GLM‑4 (0520) ottiene 87,3 nella parte inglese (comparabile a GPT‑4 Turbo 1106: 87,2 e Claude 3 Opus: 87,7) e 84,0 in quella cinese (superiore a GPT‑4 Turbo e Claude 3 Opus).

Post-addestramento e allineamento (SFT, RLHF)

Il post-addestramento comprende due fasi principali:

• Supervised Fine‑Tuning (SFT): addestramento su coppie «richiesta–risposta» con enfasi sulle interazioni reali (scritte da esseri umani) piuttosto che su quelle schematiche o generate automaticamente.
• Reinforcement Learning from Human Feedback (RLHF): ottimizzazione in base alle preferenze degli annotatori tramite PPO, DPO e schemi proprietari, in particolare ChatGLM‑RLHF e Self‑Contrast (gli esempi negativi vengono generati dal modello stesso, riducendo la necessità di dati di preferenza).

Il vettore di caratteristiche per la valutazione delle risposte include indicatori di sicurezza, fattualità, rilevanza, utilità e conformità alle preferenze. Gli autori osservano che RLHF riduce la frequenza dei rifiuti, migliora la sicurezza e la coerenza nei dialoghi multi-turno.

Tecniche specializzate dell'ecosistema GLM

• LongAlign — ricetta di allineamento per contesti lunghi (fino a 128K).
• ChatGLM‑Math — miglioramento della risoluzione di problemi matematici tramite uno schema di self‑critique (autovalutazione delle risposte senza modelli esterni).
• Self‑Contrast — schema RLHF in cui gli esempi negativi vengono generati dal modello stesso.
• AgentTuning / AgentInstruct — framework e dataset per l'addestramento delle competenze agentiche su traiettorie di interazione agente-ambiente.
• APAR (Auto‑Parallel Auto‑Regressive) — algoritmo di generazione autoregressiva auto-parallela per accelerare l'inferenza.

Sono stati sviluppati anche una serie di benchmark: AgentBench (compiti agentici), LongBench (contesto lungo), AlignBench (allineamento in cinese), HumanEval‑X (codice oltre Python), NaturalCodeBench (compiti di programmazione pratici).

Risultati principali e benchmark

Tutte le metriche sono riportate dai rapporti tecnici originali con indicazione delle condizioni (zero‑/few‑shot, dataset, versione del modello). Il confronto è stato eseguito dagli autori dei rapporti tecnici; la riproduzione indipendente su piattaforme standardizzate (LMSYS Chatbot Arena, Open LLM Leaderboard) per tutte le versioni non è sistematizzata.

Dinamica della qualità: ChatGLM‑6B → GLM‑4‑9B

Benchmark	ChatGLM‑6B	ChatGLM2‑6B	ChatGLM3‑6B	GLM‑4‑9B
GSM8K (%)	1,5	25,9	72,3	84,0
MMLU (%)	25,2	45,2	61,4	74,7
HumanEval (%)	0,0	9,8	58,5	70,1
C‑Eval (%, cin.)	23,7	51,7	69,0	77,1

Tutti i modelli sono stati valutati in BF16 con le stesse impostazioni.

GLM‑4 sui benchmark accademici

Benchmark	GLM‑4 (0520)	GPT‑4 (0314)	GPT‑4 Turbo (2024‑04‑09)	Claude 3 Opus
MMLU (%)	83,3	86,4	86,7	86,8
GSM8K (%)	93,3	92,0	95,6	95,0
MATH (%)	61,3	52,9	73,4	60,1
BBH (%)	84,7	83,1	88,2	86,8
GPQA (%)	39,9	35,7	49,3	50,4
HumanEval (%)	78,5	67,0	88,2	84,9

GLM‑4 (0520) raggiunge ≈96,3% del risultato di GPT‑4 su MMLU, supera GPT‑4 (0314) su MATH e GSM8K, ma è inferiore a GPT‑4 Turbo su MATH e HumanEval.

Su AlignBench v1.1 (allineamento in cinese) GLM‑4 (0520) ottiene un punteggio complessivo di 8,00 contro 7,90 di GPT‑4 Turbo e 7,53 di Claude 3 Opus, con un vantaggio significativo nei sottopunteggi «Logic», «Language» e «Professional».

Su AgentBench GLM‑4 (0520) raggiunge un punteggio complessivo di 3,79, comparabile o leggermente superiore a GPT‑4 Turbo (1106) e Claude 3 Opus. Punteggi elevati nei compiti Database, House‑Holding e Web‑Shopping; ritardo nei compiti Operating System e Lateral Thinking Puzzles.

Su Berkeley Function Call Leaderboard GLM‑4 (0520) raggiunge l'81,76% (GPT‑4 Turbo: 81,24%); GLM‑4‑9B‑Chat supera significativamente Llama‑3‑8B‑Instruct (81,00% vs 58,88%).

GLM‑4.5

Benchmark	GLM‑4.5	Nota
TAU‑Bench (media agentica)	70,1%	Compiti agentici
AIME 2024	91,0%	Gare di matematica
SWE‑bench Verified	64,2%	Risoluzione di problemi su repository reali
GPQA (Avg@8)	79,1%	Domande di livello universitario avanzato
MATH‑500	98,2%	Matematica
MMLU‑Pro	84,6%	MMLU esteso

Considerando il minor numero di parametri attivi, GLM‑4.5 occupa il 3° posto tra tutti i modelli valutati (secondo la classifica aggregata di 12 benchmark) e il 2° sui benchmark agentici al momento della pubblicazione del rapporto.

GLM‑4.7

• SWE‑bench Verified: 73,8% (+5,8 p.p. rispetto a GLM‑4.5).
• Terminal‑Bench 2.0: 41,0% (+16,5 p.p.).
• Humanity's Last Exam (with tools): 42,8%.

GLM‑5

Benchmark	GLM‑5	Nota
SWE‑bench Verified	77,8%	Leader tra i modelli open‑weight al momento della pubblicazione
GPQA‑Diamond	86,0%	Domande di livello universitario avanzato
Terminal‑Bench 2.0	56,2–61,1%	Compiti di ingegneria
Humanity's Last Exam (with tools)	50,4%	Domande interdisciplinari complesse
BrowseComp	62,0%	Navigazione web

GLM‑5 mostra un miglioramento di ≈20% sul punteggio medio rispetto a GLM‑4.7 e occupa posizioni tra i modelli open‑weight comparabili a modelli chiusi del livello di Claude Opus 4.5 su diversi benchmark agentici e di codice.

Sicurezza (SafetyBench)

Su SafetyBench (sottocampione cinese) GLM‑4 (0520) raggiunge l'87,2% sull'indicatore integrale, comparabile a Claude 3 Opus (87,5%) e leggermente inferiore a GPT‑4 (≈88–89,7%). Il divario più significativo rispetto a GPT‑4 si osserva nella dimensione «Physical Health» (sicurezza fisica).

Applicazioni ed ecosistema

Scenari dialogici e di assistente

La serie ChatGLM e i modelli successivi sono utilizzati come assistenti dialogici, incluso il servizio commerciale Zhipu Qingyan (chatglm.cn / chat.z.ai), con supporto per la comunicazione multilingue, il dialogo multi-turno e la modalità istruzionale.

Sistemi agentici e strumenti

GLM‑4 All Tools e i modelli successivi si integrano nella piattaforma agentica GLMs, che consente di creare agenti personalizzati, collegare un interprete Python integrato, un browser web, modelli VLM/T2I (CogView3) e utilizzare API esterne. Sono supportati compiti compositi: ricerca web, analisi dei dati tramite Python, catene di strumenti combinate. GLM‑5 si concentra sui compiti di ingegneria del software con un lungo orizzonte di pianificazione (agentic engineering) ed è stato testato sui benchmark MCP‑Atlas e BrowseComp.

Generazione di codice e sviluppo software

La famiglia CodeGeeX (CodeGeeX‑13B, CodeGeeX2‑6B) e le modalità di codice GLM sono utilizzate per la generazione di codice in diversi linguaggi, il completamento e il refactoring, la risoluzione di compiti HumanEval e HumanEval‑X. Su HumanEval‑X, CodeGeeX2‑6B migliora il Pass@1 rispetto a CodeGeeX‑13B (secondo gli autori: +57% in Python, +71% in C++). Il prodotto CodeGeeX è integrato nei plugin IDE per sviluppatori.

Contesto lungo e scenari incentrati sui documenti

GLM‑4‑9B‑Chat‑1M e i modelli di fascia alta sono utilizzati per l'analisi di grandi documenti e raccolte (fino a 1M token), la sintesi, la ricerca in documenti lunghi e l'elaborazione di codice esteso.

Infrastruttura di distribuzione

I modelli sono disponibili tramite la piattaforma API Z.ai / bigmodel.cn (tool calling, framework agentici). Le versioni aperte supportano la distribuzione locale tramite vLLM, SGLang. Il supporto per Huawei Ascend consente la distribuzione senza hardware NVIDIA. I modelli aperti della serie sono stati scaricati oltre 10 milioni di volte su Hugging Face (2023–2024).

Limitazioni e problemi aperti

• Squilibrio linguistico: la serie GLM è pre-addestrata principalmente in cinese e inglese; la qualità su altre lingue è significativamente inferiore, come esplicitamente indicato nel rapporto tecnico arXiv:2406.12793.
• Riproducibilità dei benchmark: la maggior parte dei risultati comparativi è riportata nei rapporti tecnici degli stessi sviluppatori. La validazione esterna indipendente su piattaforme standardizzate (LMSYS Chatbot Arena, Open LLM Leaderboard) per tutte le versioni non è sistematizzata.
• Loss spikes durante la scalabilità: l'addestramento di GLM‑130B è stato accompagnato da numerosi picchi della funzione di perdita che richiedevano intervento manuale; gli autori documentano questo come un problema ingegneristico irrisolto nella scalabilità.
• Dipendenza dall'hardware: a partire da GLM‑5, l'addestramento è stato trasferito su Huawei Ascend / MindSpore; la riproduzione indipendente su altre piattaforme hardware è difficile.
• Allineamento e sicurezza: nonostante l'applicazione di RLHF, i problemi di rifiuto delle risposte, coerenza nei dialoghi multi-turno e aggiramento dei meccanismi di sicurezza rimangono attuali; gli autori di arXiv:2406.12793 indicano che RLHF aiuta, ma non risolve completamente i problemi.
• Allucinazioni: come in altri LLM, il problema degli errori fattuali è documentato; le stime quantitative variano a seconda del compito e della metodologia.
• Ragionamento matematico: GLM‑4 è inferiore a GPT‑4 Turbo su MATH e su una serie di compiti di aritmetica complessa, sebbene utilizzi metodologie specializzate (ChatGLM‑Math).
• Compiti agentici: su AgentBench rimane un divario nei compiti legati all'interazione con il sistema operativo a basso livello e nei puzzle logici complessi; la qualità a lungo orizzonte (long‑horizon) rimane un problema irrisolto (accumulo di errori nei compiti concatenati).
• Codice e compiti pratici: su NaturalCodeBench GLM‑4 (complessivo 47,1%) è inferiore a GPT‑4 Turbo (53,8%), sebbene comparabile a Claude 3 Opus (48,3%).

Aspetti etici e regolatori

La serie GLM viene sviluppata in conformità con i requisiti del regolatore cinese (Cyberspace Administration of China, CAC) in materia di registrazione dei modelli generativi e superamento della valutazione della sicurezza. Il post-addestramento include SFT e RLHF per ridurre la tossicità e i contenuti dannosi.

Il rapporto tecnico di GLM‑4 descrive un processo multi-stadio di gestione dei rischi:

• Pulizia preliminare del corpus di pre-addestramento dai testi con contenuti potenzialmente pericolosi.
• Filtraggio dei dati di allineamento in base a criteri di sicurezza.
• Red‑team testing: formulazione di richieste malevole complesse per il fine-tuning.
• Utilizzo di SafetyBench per la valutazione quantitativa della sicurezza (7 dimensioni).

I modelli precedenti (GLM‑130B) mostrano un livello inferiore di pregiudizi su CrowS‑Pairs e una tossicità ridotta su RealToxicPrompts rispetto a GPT‑3 e OPT, grazie all'addestramento bilingue.

Il rilascio di GLM‑5 sotto licenza MIT implica l'assenza di restrizioni formali sull'uso commerciale dei pesi aperti, il che comporta i rischi standard di applicazione incontrollata tipici degli LLM aperti. Le questioni relative ai pregiudizi (bias) nei corpus di pre-addestramento specifici per la lingua cinese e il contesto culturale non sono state sistematicamente studiate nelle pubblicazioni pubbliche al momento della stesura dell'articolo.

Prospettive e direzioni di ricerca

Sulla base dei rapporti tecnici pubblicati e dei materiali di accompagnamento di Z.ai, si individuano le seguenti direzioni dichiarate:

• Scalabilità delle architetture MoE riducendo il costo dei parametri attivi per token.
• Sviluppo di algoritmi RL agentici asincroni per compiti a lungo orizzonte.
• Miglioramento dei meccanismi di attenzione sparsa (DSA) per contesti superiori a 200K token.
• Ragionamento multimodale: sviluppo di GLM‑4.1V‑Thinking verso la comprensione di video e documenti.
• Riduzione della dipendenza da API esterne nell'esecuzione agentica dei compiti tramite l'addestramento di agenti finali su interazioni reali.
• Ottimizzazione per l'hardware domestico (per la Cina) (Huawei Ascend, Cambricon) e riduzione dell'impronta di carbonio dell'addestramento.
• Integrazione con piattaforme robotiche e di calcolo scientifico.

Vedi anche

• Architettura Transformer
• BERT
• GPT
• T5
• Architetture Decoder‑only
• Reinforcement Learning from Human Feedback
• DeepSeek

Bibliografia

• Du, Z., Qian, Y., Liu, X., Ding, M., Qiu, J., Yang, Z., Tang, J. (2022). GLM: General Language Model Pretraining with Autoregressive Blank Infilling. ACL 2022. https://aclanthology.org/2022.acl-long.26/
• Zeng, A. et al. (2022). GLM-130B: An Open Bilingual Pre-trained Model. ICLR 2023. arXiv:2210.02414. https://arxiv.org/abs/2210.02414
• Team GLM. (2024). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools. arXiv:2406.12793. https://arxiv.org/abs/2406.12793
• GLM-4.5 Team. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471. https://arxiv.org/abs/2508.06471
• GLM-5 Team. (2026). GLM-5: from Vibe Coding to Agentic Engineering. arXiv:2602.15763. https://arxiv.org/abs/2602.15763
• Zeng, A. et al. (2024). GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot. arXiv:2412.02612. https://arxiv.org/abs/2412.02612
• Zhipu AI. (2025). GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning Models. arXiv:2507.01006. https://arxiv.org/abs/2507.01006
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. https://arxiv.org/abs/1810.04805
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS. https://arxiv.org/abs/2005.14165