Nemotron (NVIDIA) (IT)

Nemotron — famiglia di grandi modelli linguistici (Large Language Model, LLM) con pesi aperti, sviluppata dalla divisione Applied Deep Learning Research (ADLR) di NVIDIA. I modelli appartengono al campo del Machine Learning e del Natural Language Processing (NLP) e sono destinati a un'ampia gamma di compiti: generazione sintetica di dati, ragionamento (reasoning), applicazioni agentiche (agentic AI) e distribuzione su hardware industriale NVIDIA. La famiglia comprende modelli di diverse architetture e scale: da 4 miliardi a circa 500 miliardi di parametri, inclusi modelli decoder-only Transformer densi (dense) della serie Nemotron-4 (2024), modelli ibridi Mamba-Transformer (Nemotron-H, 2025) e modelli ibridi Mamba-Transformer con Mixture-of-Experts (MoE) nella serie Nemotron 3 (2025). A partire da marzo 2026, la famiglia conta più di 20 modelli, che coprono compiti di generazione di testo, ragionamento, comprensione visiva di documenti, estrazione di informazioni e valutazione della qualità delle risposte. I modelli vengono distribuiti prevalentemente con pesi aperti sotto le licenze NVIDIA Open Model License e Llama Community License.

Storia e presupposti

Lo sviluppo della famiglia Nemotron si inserisce nella strategia di NVIDIA per la creazione di uno stack completo di strumenti per l'IA generativa: dall'infrastruttura di addestramento (DGX, supercomputer basati su GPU H100/B200) alle piattaforme di addestramento (NeMo Framework), allineamento (NeMo-Aligner), distribuzione (NIM — NVIDIA Inference Microservices) e sicurezza (NeMo Guardrails).

Nemotron-3 8B (2023)

Il primo modello pubblicamente disponibile della serie — un Transformer decoder con 8 miliardi di parametri e un contesto di 4096 token, addestrato su 3,8 trilioni di token in 53 lingue naturali e 37 linguaggi di programmazione. L'addestramento è stato condotto su 1024 GPU A100 in 19 giorni. Non è stato pubblicato alcun report tecnico formale su arXiv. Il modello veniva distribuito tramite NeMo Framework e Hugging Face; esistevano varianti Chat (SFT e SteerLM). La licenza era NVIDIA AI Foundation Models Community License.

Nota sui nomi: «Nemotron-3» del 2023 e «Nemotron 3» del dicembre 2025 sono modelli diversi. Il primo era un prototipo iniziale, il secondo è la generazione attuale con architettura MoE.

Nemotron-4 15B (febbraio 2024)

Il primo rilascio pubblicamente documentato della serie Nemotron-4 — un modello con 15 miliardi di parametri, addestrato su 8 trilioni di token in circa 13 giorni di calendario su 384 nodi DGX H100 (fino a 3072 GPU). È stato utilizzato un parallelismo tensoriale 8x e un parallelismo dei dati da 96 a 288. Il picco di MFU (Model FLOPs Utilization) è stato del 34,3% con batch size 384. L'architettura è un Transformer decoder-only con Grouped-Query Attention (GQA) e Rotary Position Embeddings (RoPE). In base ai risultati dei benchmark al momento della pubblicazione, il modello superava tutti i modelli aperti di dimensioni comparabili nei compiti multilingue, inclusi alcuni modelli quattro volte più grandi.

Nemotron-4 340B (giugno 2024)

Nel giugno 2024 è stato rilasciato il modello più grande della serie Nemotron-4 — 340 miliardi di parametri (331,6 miliardi non-embedding), pre-addestrato su 9 trilioni di token (8 trilioni di pre-addestramento + 1 trilione di addestramento continuo con ri-ponderazione delle fonti di alta qualità). L'addestramento è stato condotto su 768 nodi DGX H100 (fino a 6144 GPU) con un picco di MFU del 42,4%, da dicembre 2023 a maggio 2024. La famiglia include tre varianti: Base, Instruct e Reward. La dimensione del modello è stata scelta in modo che potesse stare su un singolo nodo DGX H100 (8 GPU) quando distribuito in formato di precisione FP8. Più del 98% dei dati utilizzati nell'allineamento (alignment) è stato generato sinteticamente dai modelli della serie stessa in un processo iterativo; la pipeline di generazione sintetica dei dati è aperta per la riproducibilità.

Llama-3.1-Nemotron-70B (ottobre 2024)

Nell'ottobre 2024 sono stati rilasciati modelli messi a punto a partire da Meta Llama-3.1-70B-Instruct: Llama-3.1-Nemotron-70B-Instruct e Llama-3.1-Nemotron-70B-Reward. Al 1° ottobre 2024, il modello Instruct occupava il 1° posto contemporaneamente su tre benchmark automatici: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6%, MT-Bench (GPT-4-Turbo) — 8,98. Il modello Reward ha raggiunto il 94,1% su RewardBench.

Transizione alle architetture ibride (2025)

Nel 2025, la serie si è espansa con architetture ibride che combinano strati Mamba-2 (State Space Model, SSM — modello a spazio degli stati) e Transformer. Tra marzo e maggio 2025 è stata rilasciata la famiglia di modelli di ragionamento Llama-Nemotron (Nano 8B, Super 49B, Ultra 253B) con modalità di ragionamento commutabile. Nell'aprile 2025 è stato pubblicato Nemotron-H (arXiv:2504.03624) — una famiglia di modelli ibridi Mamba-Transformer di dimensioni 8B, 56B e 47B parametri. Nell'agosto 2025 è stato presentato Nemotron Nano 2 (9B-v2, arXiv:2508.14444).

Nemotron 3 (dicembre 2025)

Il 15 dicembre 2025 è stata annunciata la terza generazione — la famiglia Nemotron 3 con modelli Nano, Super e Ultra, che unisce le architetture Mamba-2, Transformer e MoE con una finestra contestuale fino a 1 milione di token. Nano è stata rilasciata con un report tecnico; Super e Ultra sono previsti per la prima metà del 2026.

Fondamenti teorici

Architettura Transformer in Nemotron-4

I modelli della serie Nemotron-4 sono costruiti sulla classica architettura Transformer decoder con attenzione causale. La probabilità di una sequenza di token $x_1,x_2,\dots ,x_T$ è fattorizzata come:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

dove $\theta$ sono i parametri del modello.

Il meccanismo di attenzione è implementato nella variante Grouped-Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

dove $Q,K,V$ sono le matrici di query, chiavi e valori; $d_k$ è la dimensione della testa di attenzione.

Per la codifica delle posizioni vengono utilizzati Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

dove $x_m$ è il vettore nella posizione $m$, ${\theta }_i=10000^{-2i/d}$, $d$ è la dimensione del vettore.

Negli strati MLP viene utilizzata l'attivazione Squared ReLU: $f(x)=(max(0,x){)}^2$, che garantisce la sparsità delle attivazioni. I modelli non contengono bias, non utilizzano dropout, e le matrici di embedding di ingresso e uscita non sono collegate tra loro (untied embeddings). Il tokenizer è SentencePiece BPE con conservazione degli spazi, suddivisione carattere per carattere delle cifre e fallback byte per byte; la dimensione del vocabolario è 256 000.

Parametri architetturali di Nemotron-4

Parametro	Nemotron-4 15B	Nemotron-4 340B
Numero di parametri	15 mld (3,2 mld embed.)	340 mld (9,4 mld embed.)
Numero di strati	32	96
Dimensione nascosta	6144	18 432
Teste di attenzione	48	96
Teste KV (GQA)	8	8
Lunghezza del contesto	4096	4096
Dimensione del vocabolario	256 000	256 000

Fonti: arXiv:2402.16819, arXiv:2406.11704.

Architettura ibrida Mamba-Transformer (Nemotron-H)

Nei modelli Nemotron-H, i blocchi standard di auto-attenzione sono parzialmente sostituiti da blocchi Mamba-2 — modelli a spazio degli stati (State Space Models, SSM). Nella generazione autoregressiva, ogni strato di auto-attenzione richiede $O(n)$ operazioni e memoria per passo (a causa della cache KV), mentre gli strati Mamba garantiscono costi di memoria e calcolo costanti per ogni token generato.

Mamba-2 è descritto dalla relazione ricorrente:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

dove $h_t\in {ℝ}^N$ è lo stato nascosto, $A\in {ℝ}^{N\times N}$ è la matrice diagonale di transizione degli stati, $B\in {ℝ}^{N\times 1}$ e $C\in {ℝ}^{1\times N}$ sono le matrici di proiezione, $x_t$ è il token in ingresso, $y_t$ è il segnale in uscita. In Mamba-2, le matrici $A$, $B$, $C$ dipendono dall'ingresso (input-dependent), il che distingue il modello dagli SSM lineari classici.

In Nemotron-H-56B vengono utilizzati 54 strati Mamba-2 + 54 strati MLP + 10 strati di auto-attenzione, dove gli strati di attenzione sono distribuiti uniformemente tra gli strati Mamba. Il modello è addestrato su 20 trilioni di token in formato FP8 (per-tensor scaling) su 6144 GPU H100. La versione Nemotron-H-8B contiene 24 strati Mamba-2, 24 strati MLP e 4 strati di auto-attenzione; l'addestramento è stato condotto su 15 trilioni di token.

Architettura MoE di Nemotron 3

I modelli Nemotron 3 (dicembre 2025) combinano tre componenti architetturali: Mamba-2, Transformer e Mixture-of-Experts. Nemotron 3 Nano (30B-A3B) contiene 52 strati: 23 strati Mamba-2 + MoE, 23 strati MoE e 6 strati di attenzione GQA. Ogni strato MoE include 128 esperti instradati (routed) + 1 esperto condiviso (shared), di cui 6 esperti vengono attivati per ogni token. L'instradamento viene eseguito da un router MLP addestrato con sigmoid gating. Il bilanciamento del carico è implementato senza funzione di perdita ausiliaria (aux-loss-free). Il numero totale di parametri è 31,6 miliardi, ma quelli attivi per ogni token sono solo 3,2 miliardi.

La normalizzazione utilizza RMSNorm. Gli embedding posizionali nelle parti Mamba sono assenti (le informazioni posizionali sono implicite nello stato SSM). Vengono utilizzati embedding non collegati, assenza di dropout e bias nei livelli lineari.

Estensioni in Super/Ultra: LatentMoE e Multi-Token Prediction

I modelli Super e Ultra della famiglia Nemotron 3 applicano due innovazioni architetturali aggiuntive:

• Latent MoE (LatentMoE) — proiezione della rappresentazione in ingresso in uno spazio latente di dimensione inferiore prima dell'instradamento, il che consente di aumentare il numero di esperti a costi computazionali comparabili e migliorare la precisione senza ridurre il throughput.
• Multi-Token Prediction (MTP) — predizione di più token successivi simultaneamente, utilizzata per migliorare la qualità dei testi lunghi e la decodifica speculativa durante l'inferenza.

L'addestramento di Super e Ultra avviene nel formato NVFP4 — un formato numerico a 4 bit di NVIDIA sull'architettura Blackwell.

Metodi di compressione dei modelli: Minitron, Puzzle, MiniPuzzle

Per creare modelli compatti, NVIDIA applica diversi approcci:

• Minitron — metodo di potatura strutturata (pruning) e distillazione della conoscenza (knowledge distillation). Vengono studiati due tipi di pruning: per profondità (rimozione di strati) e per larghezza (riduzione congiunta delle dimensioni degli strati nascosti, delle teste di attenzione e delle proiezioni MLP). L'applicazione di Minitron a Nemotron-4 15B consente di ottenere modelli 8B e 4B riducendo i costi di addestramento fino a 40 volte rispetto all'addestramento da zero.
• Puzzle — algoritmo di Neural Architecture Search (NAS) che seleziona la configurazione ottimale di ogni blocco (numero di teste KV, dimensione FFN, presenza/assenza di attenzione) con distillazione blocco per blocco. È in questo modo che Llama 3.1 405B è stato compresso a 253B (Llama-Nemotron Ultra), e Llama 3.3 70B a 49B (Llama-Nemotron Super).
• MiniPuzzle — estensione di Puzzle per architetture ibride, che ha compresso Nemotron-H-56B a 47B con soli 63 miliardi di token di distillazione. A parità di precisione, il modello compresso genera il 20% più velocemente.

Metodi di allineamento

HelpSteer e HelpSteer2

HelpSteer — un insieme di 37 120 esempi (licenza CC-BY-4.0), creato in collaborazione con Scale AI, in cui ogni risposta è annotata secondo cinque attributi: utilità (helpfulness), correttezza (correctness), coerenza (coherence), complessità (complexity) e prolissità (verbosity) su scala Likert 0–4.

HelpSteer2 — un insieme aggiornato di 21 362 esempi (10 681 prompt × 2 risposte), dove più del 95% dei prompt proviene da ShareGPT (richieste reali degli utenti). Circa il 50% delle annotazioni è stato filtrato come insufficientemente qualitativo. L'estensione HelpSteer2-Preference aggiunge le preferenze accoppiate degli annotatori, consentendo di addestrare sia modelli di ricompensa regressivi che modelli a coppie sugli stessi dati.

SteerLM

SteerLM — metodo SFT (Supervised Fine-Tuning — addestramento supervisionato) con condizionamento sugli attributi (helpfulness, correctness, coherence, complexity, verbosity), che consente all'utente di controllare lo stile della risposta durante l'inferenza. La pipeline include: (1) addestramento del modello di predizione degli attributi (APM) su HelpSteer, (2) annotazione dei dati tramite APM, (3) SFT con condizionamento sui valori target degli attributi, (4) bootstrapping.

DPO e RPO

DPO (Direct Preference Optimization) — metodo di ottimizzazione diretta delle preferenze senza un modello di ricompensa esplicito, utilizzato nelle pipeline di Nemotron-4 340B Instruct e Nemotron Nano 2.

RPO (Reward-aware Preference Optimization) — framework matematico unificato di NVIDIA che generalizza DPO, IPO, SimPO, REINFORCE e SteerLM 2.0 come casi particolari. RPO minimizza la distanza tra le previsioni del modello di ricompensa implicito e il modello esplicito target:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

dove $r_{\varphi }$ è il modello di ricompensa esplicito, ${\pi }_{\theta }$ è la policy addestrabile, ${\pi }_{\text{ref}}$ è la policy di riferimento, $d(\cdot ,\cdot )$ è la funzione di distanza, $y_w$/$y_l$ è la risposta preferita/rifiutata. RPO viene applicato nell'addestramento di Nemotron-4 340B Instruct e dei modelli Llama-Nemotron.

Apprendimento per rinforzo multi-ambiente (RLVR)

In Nemotron 3 viene applicato il Multi-environment RLVR (Reinforcement Learning from Verifiable Rewards) — addestramento simultaneo su più ambienti nell'ambito di NeMo Gym: matematica competitiva, programmazione, QA, tool-use, instruction-following, long-context. L'algoritmo è GRPO (Group Relative Policy Optimization) con masked importance sampling.

Nemotron 3 supporta il controllo granulare del budget di ragionamento (reasoning budget control): l'utente può impostare un limite di token per la traccia di pensiero tramite un flag nel template di chat (commutazione «detailed thinking on/off» o limitazione della lunghezza).

Gamma di modelli

Tabella riepilogativa

Modello	Anno	Parametri totali / attivi	Contesto	Architettura	Caratteristiche principali
Nemotron-3 8B	2023	8B / 8B	4K	Dense Transformer	3,8T token; 1024 GPU A100; 19 giorni
Nemotron-4 15B	2024	15B / 15B	4K	Dense Transformer	8T token; MFU 34,3%
Nemotron-4 340B	2024	340B / 340B	4K	Dense Transformer	9T token; Base/Instruct/Reward; >98% dati sintetici per l'allineamento
Llama-3.1-Nemotron-70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1%
Llama-Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama-Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	Compressione NAS da Llama 3.1 8B
Llama-Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Da Llama 3.3 70B
Llama-Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Da Llama 3.1 405B; GPQA 76,0%
Nemotron-H 8B	2025	8B / 8B	—	Ibrido Mamba-Transformer	15T token; 24 Mamba-2 + 24 MLP + 4 Attn
Nemotron-H 56B	2025	56B / 56B	—	Ibrido Mamba-Transformer	20T token FP8; 54 Mamba-2 + 54 MLP + 10 Attn
Nemotron-H 47B	2025	47B / 47B	~1M (FP4)	Ibrido Mamba-Transformer	MiniPuzzle da 56B; +20% velocità
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Ibrido Mamba-Transformer	20T token; distillazione Minitron
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Ibrido Mamba-Transformer MoE	25T token; 128 esperti, 6 attivi
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Ibrido LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Ibrido LatentMoE	MTP; NVFP4

Nemotron-4 15B

Architettura: 32 strati, dimensione nascosta 6144, 48 teste di attenzione, 8 teste KV (GQA). Il numero totale di parametri è 15 miliardi (3,2 miliardi embedding + 12,5 miliardi non-embedding). Risultati: MMLU — 64,2% (5-shot), BBH — 58,7% (3-shot), GSM8K — 46,0% (8-shot, maj@1), HumanEval — 31,6% (0-shot, pass@1). Sui benchmark multilingue (XCOPA, TyDiQA-GoldP, MGSM), il modello superava modelli quattro volte più grandi.

Nemotron-4 340B

Architettura: 96 strati, dimensione nascosta 18 432, 96 teste di attenzione, 8 teste KV.

Nemotron-4 340B Base ha ottenuto: MMLU — 81,1% (5-shot), BBH — 85,4% (3-shot), HumanEval — 57,3% (0-shot), ARC-Challenge — 94,3% (25-shot).

Nemotron-4 340B Instruct ha subito un allineamento multi-fase: Code SFT → General SFT → DPO → RPO (3 round). Risultati: MT-Bench — 8,22 (giudice GPT-4-Turbo), MMLU — 78,7% (0-shot), GSM8K — 92,3% (0-shot), HumanEval — 73,2% (0-shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5%.

Nemotron-4 340B Reward sostituisce lo strato finale softmax con una proiezione lineare dello stato nascosto dell'ultimo strato in un vettore di 5 attributi HelpSteer2. La ricompensa finale è la somma pesata dei cinque attributi. L'addestramento è stato condotto per 2 epoche sui dati HelpSteer2 (batch size 128). Su RewardBench il modello ha raggiunto il 92,0%, superando GPT-4o (84,7%), Gemini 1.5 Pro (88,1%) e Claude-3-Opus (80,7%) al momento della pubblicazione.

Modello	Arena Hard	AlpacaEval 2.0 LC	MT-Bench
Nemotron-4-340B-Instruct	54,2	41,5%	8,22
Llama-3-70B-Instruct	41,1	34,4%	8,16
Mixtral-8x22B-Instruct	36,4	30,9%	7,63
Qwen-2-72B-Instruct	48,1	38,8%	8,26

Fonte: arXiv:2406.11704, tabella 5.

Llama-3.1-Nemotron-70B

Llama-3.1-Nemotron-70B-Reward è stato addestrato con un metodo ibrido che combina Bradley-Terry (preferenze a coppie) e regressione SteerLM (valutazione multi-attributo su scala Likert). L'addestramento è stato condotto esclusivamente sui dati HelpSteer2 (CC-BY-4.0). Su RewardBench il modello ha raggiunto il 94,1%, occupando il 1° posto al momento della pubblicazione.

Llama-3.1-Nemotron-70B-Instruct è stato allineato con il metodo RLHF tramite l'algoritmo REINFORCE (non PPO) e il modello di ricompensa Nemotron-70B-Reward. L'infrastruttura è NeMo-Aligner con accelerazione TRT-LLM.

Llama-Nemotron: Nano, Super, Ultra (2025)

Famiglia di modelli di ragionamento ottenuti da Llama 3.x tramite NAS, distillazione e post-addestramento avanzato.

Modello	Parametri	Modello base	Contesto
Llama-Nemotron-Nano 8B	8 mld	Llama-3.1-8B-Instruct	128K
Llama-Nemotron-Nano 4B	4 mld	Minitron 4B (da Llama 3.1 8B)	128K
Llama-Nemotron-Super 49B	49 mld	Llama-3.3-70B → NAS (Puzzle)	128K
Llama-Nemotron-Ultra 253B	253 mld	Llama-3.1-405B → NAS (Puzzle)	128K

Pipeline di addestramento in cinque fasi: (1) NAS + FFN Fusion, (2) distillazione + pre-addestramento continuo, (3) SFT (incluse le tracce di ragionamento DeepSeek-R1), (4) RL su larga scala (GRPO per Ultra, REINFORCE/RLOO + Online RPO per Nano), (5) allineamento per il dialogo.

I modelli sono stati i primi tra gli LLM aperti a supportare la modalità di ragionamento commutabile (reasoning toggle): quando attivata («detailed thinking on» nel prompt di sistema), il modello genera una catena di ragionamento nei tag <think>...</think> prima della risposta; quando disattivata, risponde direttamente.

Risultati di Llama-Nemotron-Ultra 253B (reasoning ON): GPQA Diamond — 76,0%, AIME 2024 — 80,8%, MATH 500 — ~97%. Per confronto: DeepSeek-R1 (671B totale / 37B attivi) — GPQA Diamond 71,5%, AIME 2024 ~79,8%. Ultra si colloca su un singolo nodo 8×H100.

Nemotron-H (aprile 2025)

Famiglia di modelli ibridi densi, addestrati da zero e progettati per compiti con generazioni lunghe. Nemotron-H-56B è stato addestrato su 20 trilioni di token in FP8 — uno dei più grandi esperimenti pubblici di pre-addestramento in FP8. Nemotron-H-47B è stato ottenuto dalla compressione di 56B tramite MiniPuzzle (63 miliardi di token di distillazione) e rientra nella memoria di una singola RTX 5090 (FP4) con un contesto di ~1M token.

Benchmark	Nemotron-H-56B	Nemotron-H-47B	Qwen-2.5-72B	Llama-3.1-70B
MMLU-Pro (5-shot CoT)	60,5	61,8	58,8	51,3
MMLU (5-shot)	84,2	83,6	86,1	78,8
GSM8K (8-shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0-shot)	60,4	61,0	56,7	57,3

Fonte: arXiv:2504.03624.

Nella generazione con 65 536 token in ingresso e 1024 token in uscita su H100, il modello Nemotron-H-47B operava 2,9 volte più velocemente di Qwen-2.5-72B e Llama-3.1-70B.

Nemotron Nano 2 (agosto 2025)

Modello ibrido Mamba-Transformer per il ragionamento. Nemotron-Nano-12B-v2-Base — il modello padre con 62 strati (prevalentemente Mamba-2 + MLP + 4 strati di attenzione), addestrato su 20 trilioni di token in FP8 da zero. Da esso, tramite Minitron avanzato, è stato ottenuto Nemotron-Nano-9B-v2, in grado di operare in un contesto di 128K token su una singola GPU NVIDIA A10G (22 GB, BF16). Post-addestramento: SFT (80 miliardi di token, incluse le tracce DeepSeek-R1-0528) → GRPO → DPO → RLHF. Sui benchmark di ragionamento, il modello è paragonabile a Qwen3-8B in termini di precisione, ma raggiunge un'accelerazione della generazione da 3 a 6 volte per sequenze di output lunghe.

Nemotron 3 Nano 30B-A3B

Rilasciato nel dicembre 2025. Parametri: 31,6 miliardi in totale, 3,2 miliardi attivi. Architettura: 52 strati, dimensione nascosta 2688, dimensione degli esperti 1856, dimensione dello stato Mamba 128. MoE: 128 esperti instradati + 1 condiviso, 6 attivi per token. Contesto — fino a 1 048 576 token. Addestramento su 25 trilioni di token (schedule WSD, batch size 3072, cutoff dei dati — giugno 2025) in due fasi: Fase 1 — 23,5 trilioni (dati vari), Fase 2 — 1,5 trilioni (dati di alta qualità) + 121 miliardi di token CPT per contesto lungo.

Benchmark	Nemotron 3 Nano 30B-A3B	Qwen3-30B-A3B-Thinking	GPT-OSS-20B
MMLU-Pro	78,30	80,9	75,0
AIME25 (no tools)	89,06	85,0	91,7
AIME25 (with tools)	99,17	—	98,7
GPQA (no tools)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE-Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena-Hard-V2 Avg	67,65	57,8	48,55
RULER-100 @ 1M	86,34	77,5	—

* — valori da fonti secondarie; condizioni di riproduzione — NeMo Evaluator SDK. Fonte: arXiv:2512.20848.

Throughput (ingresso 8K / uscita 16K, single H200): 3,3 volte superiore a Qwen3-30B-A3B-Thinking e 2,2 volte superiore a GPT-OSS-20B.

Modelli aggiuntivi e direzioni di sviluppo

• OpenReasoning-Nemotron (luglio 2025) — serie di modelli da 1,5B a 32B parametri, basati su Qwen 2.5 e messi a punto sui dati DeepSeek-R1-0528. La variante 32B con GenSelect@64 supera o3 (high) su diversi benchmark matematici.
• Nemotron Elastic (arXiv:2511.16664) — framework di sottomodelli annidati (6B, 9B, 12B) all'interno di un unico modello padre, che riduce il costo di addestramento di 360 volte rispetto all'addestramento da zero.
• Nemotron-CrossThink — framework di apprendimento per rinforzo multi-dominio al di là dei compiti matematici, che ha garantito +30,1% su MATH-500 e +12,8% su MMLU-PRO.
• Nemotron-UltraLong — estensione del contesto fino a 4 milioni di token.
• Jet-Nemotron — NAS per post-addestramento di modelli ibridi compatti 2B/4B.

Modelli specializzati

Nell'ecosistema Nemotron sono presenti anche modelli per compiti specializzati:

• Nemotron Nano V2 VL — modello vision-language per OCR, elaborazione di tabelle e video.
• Nemotron Parse 1.1 — modello per OCR ed estrazione della struttura di documenti.
• Nemotron ColEmbed V2 — modello di embedding per la ricerca visiva di documenti (late interaction).
• Nemotron Speech — modelli per il riconoscimento automatico del parlato (ASR), la sintesi vocale (TTS) e la traduzione automatica (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — modello di classificazione di contenuti non sicuri in 23 categorie in 9 lingue con una precisione dell'84,2%.

Dati per il pre-addestramento

Composizione dei dati di Nemotron-4

Il corpus di pre-addestramento di Nemotron-4 15B e 340B è composto da tre categorie principali: testi in inglese (70%), testi multilingue in 53 lingue (15%) e codice sorgente in 43 linguaggi di programmazione (15%). È stata applicata la deduplicazione a livello di documento (esatta e quasi-duplicata), nonché il filtraggio tramite modelli linguistici ed euristiche. Il modello 15B è stato addestrato su 8 trilioni di token, il modello 340B su 9 trilioni (8 trilioni di pre-addestramento + 1 trilione di addestramento continuo con ri-ponderazione delle fonti di alta qualità).

Nemotron-CC

Il dataset Nemotron-CC è stato formato a partire da Common Crawl utilizzando un insieme di classificatori di qualità e riformulazioni sintetiche dei testi. Il volume totale è di 6,3 trilioni di token (4,4 trilioni deduplicati + 1,9 trilioni di riformulazioni sintetiche). La pipeline è integrata nello strumento NeMo Curator. Il lavoro è stato accettato come Long Paper alla conferenza ACL 2025.

Nemotron-CC-Math

Sottoinsieme orientato alla matematica di 133 miliardi di token, estratto da Common Crawl tramite la pipeline Lynx + LLM con conservazione della struttura delle formule matematiche e del codice in LaTeX.

Dati di Nemotron 3 Nano

Il pre-addestramento di Nemotron 3 Nano è stato eseguito su 25 trilioni di token. L'insieme include: Nemotron-CC-v2.1, Nemotron-CC-Code-v1, Nemotron-CC-Math-v1 e dataset STEM specializzati. Per l'addestramento su contesto lungo sono stati utilizzati ulteriori 121 miliardi di token CPT.

Nemotron Pretraining Dataset v1

Dataset generato sinteticamente, che comprende STEM, testi accademici, compiti di ragionamento e domini multilingue; contiene più di 10 trilioni di token linguistici e 18 milioni di campioni per SFT. Tutti i dataset vengono distribuiti sotto licenze aperte permissive.

Pipeline di generazione sintetica dei dati (SDG)

La pipeline descritta nel report su Nemotron-4 340B comprende le seguenti fasi:

• Generazione di prompt: richieste sintetiche a uno e due turni, generate tramite Mixtral-8x7B-Instruct-v0.1 (licenza Apache 2.0) secondo i template Open QA, Writing, Closed QA, Math & Coding.
• Generazione di risposte: risposte multiple da versioni intermedie dei modelli per garantire la diversità.
• Valutazione della qualità: tre approcci — Ground-Truth-as-a-Judge (per compiti con risposta verificabile), LLM-as-Judge (confronto tra coppie di risposte tramite un modello linguistico), Reward-Model-as-Judge (utilizzo di Nemotron-4-340B-Reward).
• Allineamento iterativo dai modelli deboli a quelli forti (weak-to-strong).

Da circa 20 000 esempi annotati da esseri umani (10 000 per SFT, 10 000 HelpSteer2 per il modello di ricompensa) è stato sintetizzato l'intero volume restante dei dati di allineamento.

Quantizzazione e ottimizzazione dell'inferenza

I modelli Nemotron 3 Nano supportano la Post-Training Quantization (PTQ) in FP8 tramite ModelOpt e Megatron-LM. Viene applicata la quantizzazione selettiva — gli strati di attenzione e parte di Mamba vengono mantenuti in BF16 per preservare la qualità; gli altri vengono quantizzati in FP8. Secondo il report tecnico, ciò garantisce ~99% di retention della precisione. Nano supporta anche l'inferenza nel formato NVFP4.

Tabella riepilogativa dei benchmark per generazione

Modello	MMLU	GSM8K	HumanEval	Arena Hard	MT-Bench	Condizioni
Nemotron-4 15B	64,2%	46,0%	31,6%	—	—	base; 5-/8-/0-shot
Nemotron-4 340B Base	81,1%	—	57,3%	—	—	5-/—/0-shot
Nemotron-4 340B Instruct	78,7%	92,3%	73,2%	54,2	8,22	0-shot
Llama-3.1-Nemotron-70B-Instruct	—	—	—	85,0	8,98	ott. 2024
LN-Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0%, AIME 80,8%
Nemotron-H-47B	83,6%	93,3%	61,0%	—	—	5-/8-CoT/0-shot
Nemotron 3 Nano (30B-A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1%, LCB 68,3%

Il confronto va interpretato con cautela: le condizioni di valutazione, le versioni dei benchmark e le date delle prove differiscono tra le generazioni. I risultati sono tratti dai report tecnici NVIDIA; le valutazioni indipendenti possono differire (si veda la sezione «Limitazioni»).

Applicazioni

Distribuzione tramite NVIDIA NIM

NVIDIA NIM è un insieme di microservizi containerizzati ottimizzati per l'inferenza con API compatibile con OpenAI. I modelli Nemotron sono disponibili come microservizi NIM sulla piattaforma build.nvidia.com. NIM supporta i formati FP8, BF16, NVFP4 e la distribuzione tramite chart Helm su Kubernetes. I modelli sono anche compatibili con framework indipendenti: vLLM, SGLang, Ollama, llama.cpp, TensorRT-LLM.

Generazione sintetica dei dati

Nemotron-4 340B è progettato per essere utilizzato come generatore di dati sintetici: il modello Instruct genera risposte, il modello Reward le valuta e le filtra. La licenza NVIDIA Open Model License consente esplicitamente l'utilizzo degli output del modello per addestrare altri modelli. Secondo ServiceNow, il 15% dei dati di pre-addestramento del loro modello Apriel 1.6 è stato ottenuto dai dataset Nemotron.

Sistemi agentici

I modelli della famiglia Nemotron 3 (Nano, Super, Ultra) sono destinati ai carichi di lavoro multi-agente: pianificazione, retrieval, chiamata di strumenti (tool use). Nemotron 3 Nano ottiene il 38,76% su SWE-Bench (con OpenHands) e il 49,04% (media) su TauBench V2.

Implementazioni aziendali

Tra i partner dichiarati: ServiceNow (modello congiunto Apriel Nemotron 15B per l'automazione dei flussi di lavoro), CrowdStrike (piattaforma Charlotte AI), Perplexity (instradamento delle richieste), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. I modelli sono disponibili su AWS Amazon Bedrock; è previsto il supporto per Google Cloud, CoreWeave, Nebius.

Limitazioni e problemi aperti

Valutazioni indipendenti e discrepanze con i dati NVIDIA

Le valutazioni indipendenti rivelano discrepanze rispetto ai risultati riportati da NVIDIA. Secondo Artificial Analysis (febbraio 2026), Llama-Nemotron-Ultra 253B (reasoning) ha ottenuto un Intelligence Index di 15 a fronte di una mediana di 26 per i modelli di dimensione comparabile. Sulla piattaforma Chatbot Arena (LMArena), i modelli Nemotron occupano posizioni intermedie nella classifica: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147° posizione), Nemotron 3 Nano — 1317 ±6 (~164° posizione).

Prolissità

I modelli Nemotron mostrano una prolissità elevata: nella valutazione di Artificial Analysis, il modello Nemotron 3 Nano ha generato 140 milioni di token (a fronte di una mediana di 12 milioni per altri modelli), il che aumenta il costo dell'inferenza. Un'analisi di DEV Community ha rilevato che Llama-3.1-Nemotron-70B-Instruct, pur risultando formalmente in testa ai benchmark automatici, mostrava una precisione insufficiente in alcuni compiti pratici, e gli alti punteggi sui benchmark simili ad Arena potevano essere spiegati dalla preferenza per risposte prolisse e sicure, ma non necessariamente accurate.

Allucinazioni e bias

NVIDIA nelle schede dei modelli indica che i modelli possono «amplificare i pregiudizi e generare risposte tossiche, specialmente in risposta a prompt tossici», nonché «produrre informazioni imprecise, omettendo dettagli chiave». L'apertura dei pesi e dei dati consente un audit esterno.

Requisiti computazionali

I modelli densi (Nemotron-4 340B) richiedono un cluster di 768 nodi DGX H100 per l'addestramento completo, il che limita la riproducibilità per i gruppi accademici privi di accesso a un'infrastruttura analoga. Il contesto lungo (1M) durante l'inferenza richiede una quantità significativa di VRAM.

Degrado con l'estensione del contesto

Con l'estensione del contesto a sequenze estremamente lunghe, è stato osservato un degrado dei risultati sui benchmark con contesto breve.

Quantizzazione delle architetture ibride

L'utilizzo di precisione ultra-bassa (FP8/NVFP4) nelle architetture Mamba-Transformer porta a una piccola perdita di precisione (~1% su alcuni benchmark). Questo problema viene risolto tramite la quantizzazione selettiva, il che complica l'architettura dei compilatori e dei server di inferenza.

Altri problemi aperti

• Dipendenza dai benchmark con possibile contaminazione dei dati di addestramento.
• Assenza di protocolli standardizzati per il confronto delle architetture ibride SSM-Transformer con i modelli Transformer puri.
• Questione della scalabilità dell'approccio MoE nei compiti che richiedono un ragionamento profondo con un numero ridotto di esperti per token.
• I dati su Super/Ultra al dicembre 2025 sono preliminari; i benchmark completi sono attesi dopo il rilascio.

Aspetti etici e regolatori

Sicurezza nella fase di sviluppo

Nella fase di sviluppo vengono applicati: valutazione secondo il framework AEGIS (13 categorie di sicurezza dei contenuti), scanner di vulnerabilità garak, red-teaming manuale.

Sicurezza nella fase di inferenza

NeMo Guardrails — strumentazione open source (licenza Apache 2.0) che aggiunge barriere programmabili ai sistemi LLM. Il microservizio intercetta input e output, applicando controlli configurabili: controllo dell'argomento, rilevamento di PII, verifica del «grounding» RAG, rilevamento di attacchi jailbreak (inclusa la protezione contro iniezioni di codice basata su YARA), classificazione di sicurezza multilingue e multimodale.

Per Nemotron 3 è stato pubblicato un insieme di circa 11 000 tracce OpenTelemetry annotate provenienti da scenari realistici con uso di strumenti, destinate alla valutazione della sicurezza agentica.

Licenze

Modelli	Licenza
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron-4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama-Nemotron (Nano/Super/Ultra)	Llama Community License (ereditata da Meta)
Nemotron-3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License consente l'uso commerciale, la creazione e la distribuzione di opere derivate, non richiede attribuzione (con conservazione del file NOTICE), non impone restrizioni sul numero di utenti e consente esplicitamente l'utilizzo degli output del modello per addestrare altri modelli. I modelli basati su Llama ereditano le restrizioni di Meta, inclusa la soglia di 700 milioni di utenti attivi mensili.

Per Nemotron 3 Nano, NVIDIA ha pubblicato: i pesi del modello, più di 10 trilioni di token di dati di addestramento, ricette di addestramento, codebase (NeMo, Megatron-LM, NeMo-Aligner), più di 10 ambienti di apprendimento per rinforzo con oltre 900 000 compiti.

Prospettive e direzioni di ricerca

I prossimi rilascio includono Nemotron 3 Super (~100 miliardi di parametri, ~10 miliardi attivi) e Nemotron 3 Ultra (~500 miliardi, ~50 miliardi attivi), attesi nella prima metà del 2026. Entrambi i modelli utilizzeranno LatentMoE, MTP e addestramento nel formato NVFP4 sull'architettura Blackwell.

La direzione strategica di NVIDIA è il posizionamento di Nemotron non come singolo modello, ma come livello infrastrutturale per sistemi multi-agente, dove diversi modelli della famiglia vengono utilizzati per compiti diversi con instradamento in base alla complessità.

Principali direzioni di ricerca:

• Sviluppo delle architetture ibride — ulteriore integrazione degli strati SSM con il meccanismo di attenzione per un contesto lungo scalabile.
• Metodi di compressione multi-livello — sviluppo di Minitron, Puzzle, MiniPuzzle e Nemotron Elastic.
• Apprendimento per rinforzo multi-dominio — Nemotron-CrossThink per estendere il RL al di là dei compiti matematici.
• Estensione del contesto — Nemotron-UltraLong fino a 4 milioni di token.
• Multimodalità — espansione nel campo vision-language (Nemotron VL), parlato (Nemotron Speech), ricerca visiva di documenti (Nemotron ColEmbed V2).
• Modelli ibridi compatti — Jet-Nemotron (NAS per modelli 2B/4B).
• Ricette aperte — pubblicazione di ricette di addestramento complete e dati per la riproducibilità e la personalizzazione da parte della comunità.

Vedi anche

• Architettura Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (famiglia di modelli Meta)

Riferimenti

• NVIDIA Research — pagina Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — documentazione Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Bibliografia

• NVIDIA. Nemotron-3-8B-Base-4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron-4 15B Technical Report. arXiv:2402.16819, febbraio 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron-4 340B Technical Report. arXiv:2406.11704, giugno 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open-source Dataset for Training Top-Performing Reward Models. arXiv:2406.08673, giugno 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, luglio 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation-Based NAS for Inference-Optimized LLMs. arXiv:2411.19146, novembre 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron-CC: Transforming Common Crawl into a Refined Long-Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward-aware Preference Optimization. arXiv:2502.00203, gennaio 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. arXiv:2504.03624, aprile 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama-Nemotron: Efficient Reasoning Models. arXiv:2505.00949, maggio 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, agosto 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron-CC-Math. arXiv:2508.15096, agosto 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, novembre 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, dicembre 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, dicembre 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290