Nemotron (NVIDIA) (NL)

Nemotron — een familie van grote taalmodellen (Large Language Model, LLM) met open gewichten, ontwikkeld door de afdeling Applied Deep Learning Research (ADLR) van NVIDIA. De modellen behoren tot het domein van machine learning en Natural Language Processing (NLP) en zijn bestemd voor een breed scala aan taken: synthetische datageneratie, redeneren (reasoning), agentische toepassingen (agentic AI) en inzet op industriële NVIDIA-hardware. De familie omvat modellen van verschillende architecturen en schalen: van 4 miljard tot ~500 miljard parameters, waaronder dense decoder‑only Transformer-modellen uit de Nemotron‑4-serie (2024), hybride Mamba‑Transformer-modellen (Nemotron‑H, 2025) en hybride Mamba‑Transformer-modellen met Mixture-of-Experts (MoE) in de Nemotron 3-serie (2025). Vanaf maart 2026 telt de familie meer dan 20 modellen, voor taken als tekstgeneratie, redeneren, visueel documentbegrip, informatieextractie en antwoordkwaliteitsevaluatie. Modellen worden voornamelijk uitgebracht met open gewichten onder de NVIDIA Open Model License en de Llama Community License.

Geschiedenis en achtergrond

De ontwikkeling van de Nemotron-familie vindt plaats in het kader van NVIDIA's strategie om een volledige gereedschapsstapel voor generatieve AI te bouwen: van trainingsinfrastructuur (DGX, supercomputers op basis van GPU H100/B200) tot trainingsplatforms (NeMo Framework), uitlijning (NeMo‑Aligner), implementatie (NIM — NVIDIA Inference Microservices) en beveiliging (NeMo Guardrails).

Nemotron‑3 8B (2023)

Het eerste publiek beschikbare model van de serie — een decoder-only Transformer met 8 miljard parameters en een context van 4096 tokens, getraind op 3,8 biljoen tokens in 53 natuurlijke talen en 37 programmeertalen. De training werd uitgevoerd op 1024 GPU A100-eenheden gedurende 19 dagen. Er werd geen formeel technisch rapport op arXiv gepubliceerd. Het model werd verspreid via NeMo Framework en Hugging Face; er bestonden varianten voor Chat (SFT en SteerLM). Licentie — NVIDIA AI Foundation Models Community License.

Opmerking over naamgeving: «Nemotron‑3» uit 2023 en «Nemotron 3» uit december 2025 zijn verschillende modellen. Het eerste was een vroeg prototype, het tweede is de actuele generatie met MoE-architectuur.

Nemotron‑4 15B (februari 2024)

De eerste publiek gedocumenteerde release van de Nemotron‑4-serie — een model met 15 miljard parameters, getraind op 8 biljoen tokens in ~13 kalenderdagen op 384 DGX H100-knooppunten (tot 3072 GPU's). Er werd gebruik gemaakt van 8-voudige tensorparallellisme en dataparallellisme van 96 tot 288. De piek-MFU (Model FLOPs Utilization) bedroeg 34,3 % bij een batch size van 384. De architectuur is een decoder-only Transformer met Grouped‑Query Attention (GQA) en Rotary Position Embeddings (RoPE). Op basis van benchmarks ten tijde van publicatie overtrof het model alle vergelijkbare open modellen in meertalige taken, inclusief een aantal modellen die vier keer zo groot zijn.

Nemotron‑4 340B (juni 2024)

In juni 2024 werd het grootste model van de Nemotron‑4-serie uitgebracht — 340 miljard parameters (331,6 miljard niet-embedding-parameters), voorgetraind op 9 biljoen tokens (8 biljoen voortraining + 1 biljoen voortgezette training met herwogen hoogwaardige bronnen). De training werd uitgevoerd op 768 DGX H100-knooppunten (tot 6144 GPU's) met een piek-MFU van 42,4 %, van december 2023 tot mei 2024. De familie omvat drie varianten: Base, Instruct en Reward. De modelgrootte is zodanig gekozen dat het model past op één DGX H100-knooppunt (8 GPU's) bij implementatie in FP8-precisieformaat. Meer dan 98 % van de bij uitlijning (alignment) gebruikte data is synthetisch gegenereerd door de modellen van de serie zelf in een iteratief proces; de pipeline voor synthetische datageneratie is opengesteld voor reproductie.

Llama‑3.1‑Nemotron‑70B (oktober 2024)

In oktober 2024 werden modellen uitgebracht die zijn verfijnd op basis van Meta Llama‑3.1‑70B‑Instruct: Llama‑3.1‑Nemotron‑70B‑Instruct en Llama‑3.1‑Nemotron‑70B‑Reward. Per 1 oktober 2024 stond het Instruct-model gelijktijdig op de 1e plaats op drie automatische benchmarks: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 %, MT‑Bench (GPT‑4‑Turbo) — 8,98. Het Reward-model behaalde 94,1 % op RewardBench.

Overgang naar hybride architecturen (2025)

In 2025 werd de serie uitgebreid met hybride architecturen die Mamba‑2-lagen (State Space Model, SSM — toestandsruimtemodel) en Transformer combineren. Tussen maart en mei 2025 werd de familie redenerende modellen Llama‑Nemotron uitgebracht (Nano 8B, Super 49B, Ultra 253B) met een schakelbare redeneerstand. In april 2025 werd Nemotron‑H gepubliceerd (arXiv:2504.03624) — een familie van hybride Mamba‑Transformer-modellen van 8B, 56B en 47B parameters. In augustus 2025 werd Nemotron Nano 2 gepresenteerd (9B‑v2, arXiv:2508.14444).

Nemotron 3 (december 2025)

Op 15 december 2025 werd de derde generatie aangekondigd — de Nemotron 3-familie met de modellen Nano, Super en Ultra, die Mamba‑2-, Transformer- en MoE-architecturen combineert met een contextvenster van maximaal 1 miljoen tokens. Nano werd uitgebracht met een technisch rapport; Super en Ultra zijn gepland voor de eerste helft van 2026.

Theoretische grondslagen

Transformer-architectuur in Nemotron‑4

De modellen van de Nemotron‑4-serie zijn gebouwd op de standaard decoder-only Transformer-architectuur met causale aandacht. De kans op een tokenreeks $x_1,x_2,\dots ,x_T$ wordt gefactoriseerd als:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

waar $\theta$ — de parameters van het model zijn.

Het aandachtsmechanisme is geïmplementeerd als Grouped‑Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

waar $Q,K,V$ — query-, sleutel- en waardematrices zijn; $d_k$ — de dimensie van de aandachtskop.

Voor positiecodering worden Rotary Position Embeddings (RoPE) toegepast:

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

waar $x_m$ — de vector op positie $m$, ${\theta }_i=10000^{-2i/d}$, $d$ — de dimensie van de vector.

In MLP-lagen wordt Squared ReLU-activatie gebruikt: $f(x)=(max(0,x){)}^2$, wat zorgt voor schaarse activaties. De modellen bevatten geen biassen (bias), gebruiken geen dropout, en de invoer- en uitvoerembeddingmatrices zijn niet aan elkaar gekoppeld (untied embeddings). De tokenizer — SentencePiece BPE met behoud van spaties, cijfer-voor-cijfer opsplitsing en byte-level fallback, woordenschatgrootte — 256.000.

Architectuurparameters van Nemotron‑4

Parameter	Nemotron‑4 15B	Nemotron‑4 340B
Aantal parameters	15 miljard (3,2 miljard embed.)	340 miljard (9,4 miljard embed.)
Aantal lagen	32	96
Verborgen dimensie	6144	18.432
Aandachtskoppen	48	96
KV‑koppen (GQA)	8	8
Contextlengte	4096	4096
Woordenschatgrootte	256.000	256.000

Bronnen: arXiv:2402.16819, arXiv:2406.11704.

Hybride Mamba‑Transformer-architectuur (Nemotron‑H)

In de Nemotron‑H-modellen zijn standaard zelf-aandachtsblokken gedeeltelijk vervangen door Mamba‑2-blokken — toestandsruimtemodellen (State Space Models, SSM). Bij autoregressieve generatie vereist elke zelf-aandachtslaag $O(n)$ bewerkingen en geheugen per stap (vanwege de KV-cache), terwijl Mamba-lagen constante geheugen- en rekenkosten bieden voor elk gegenereerd token.

Mamba‑2 wordt beschreven door de recurrente betrekking:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

waar $h_t\in {ℝ}^N$ — de verborgen toestand, $A\in {ℝ}^{N\times N}$ — de diagonale toestandsovergangsmatrix, $B\in {ℝ}^{N\times 1}$ en $C\in {ℝ}^{1\times N}$ — projectiematrices, $x_t$ — het invoertoken, $y_t$ — het uitgangssignaal. In Mamba‑2 zijn de matrices $A$, $B$, $C$ invoerafhankelijk (input‑dependent), wat het model onderscheidt van klassieke lineaire SSM's.

In Nemotron‑H‑56B worden 54 Mamba‑2-lagen + 54 MLP-lagen + 10 zelf-aandachtslagen gebruikt, waarbij de aandachtslagen gelijkmatig verdeeld zijn tussen de Mamba-lagen. Het model is getraind op 20 biljoen tokens in FP8-formaat (per‑tensor scaling) op 6144 GPU's H100. Versie Nemotron‑H‑8B bevat 24 Mamba‑2-lagen, 24 MLP-lagen en 4 zelf-aandachtslagen; de training werd uitgevoerd op 15 biljoen tokens.

MoE-architectuur van Nemotron 3

De Nemotron 3-modellen (december 2025) combineren drie architecturele componenten: Mamba‑2, Transformer en Mixture‑of‑Experts. Nemotron 3 Nano (30B‑A3B) bevat 52 lagen: 23 Mamba‑2 + MoE-lagen, 23 MoE-lagen en 6 GQA-aandachtslagen. Elke MoE-laag bevat 128 gerouteerde (routed) experts + 1 gedeelde (shared) expert, waarvan 6 experts geactiveerd worden per token. De routing wordt uitgevoerd door een trainbare MLP-router met sigmoid gating. Lastbalancering is geïmplementeerd zonder hulpverliesfunctie (aux‑loss‑free). Het totale aantal parameters bedraagt 31,6 miljard, maar er zijn slechts 3,2 miljard actief per token.

Normalisatie — RMSNorm. Positie-embeddings in Mamba-gedeelten ontbreken (positie-informatie is impliciet in de SSM-toestand). Er worden niet-gekoppelde embeddings gebruikt, zonder dropout en zonder bias in lineaire lagen.

Uitbreidingen in Super/Ultra: LatentMoE en Multi‑Token Prediction

De Super- en Ultra-modellen uit de Nemotron 3-familie passen twee aanvullende architecturale innovaties toe:

• Latent MoE (LatentMoE) — projectie van de invoerrepresentatie naar een latente ruimte met kleinere dimensie vóór routing, waardoor het aantal experts kan worden vergroot bij vergelijkbare rekenkosten en de nauwkeurigheid wordt verhoogd zonder verlies aan doorvoer.
• Multi‑Token Prediction (MTP) — gelijktijdige voorspelling van meerdere volgende tokens, gebruikt om de kwaliteit van lange teksten te verbeteren en voor speculatief decoderen tijdens inferentie.

De training van Super en Ultra vindt plaats in NVFP4-formaat — NVIDIA's 4-bits getalformaat op de Blackwell-architectuur.

Methoden voor modelcompressie: Minitron, Puzzle, MiniPuzzle

Voor het maken van compacte modellen past NVIDIA verschillende benaderingen toe:

• Minitron — een methode voor gestructureerd snoeien (pruning) en kennisdistillatie (knowledge distillation). Er worden twee soorten pruning onderzocht: op diepte (verwijdering van lagen) en op breedte (gezamenlijke verkleining van de dimensies van verborgen lagen, aandachtskoppen en MLP-projecties). Toepassing van Minitron op Nemotron‑4 15B levert modellen van 8B en 4B op, met een reductie van trainingskosten tot 40 keer ten opzichte van training vanaf nul.
• Puzzle — een Neural Architecture Search (NAS)-algoritme dat de optimale configuratie van elk blok bepaalt (aantal KV-koppen, FFN-grootte, aanwezigheid/afwezigheid van aandacht) met bloksgewijze distillatie. Op deze manier werd Llama 3.1 405B gecomprimeerd tot 253B (Llama‑Nemotron Ultra) en Llama 3.3 70B tot 49B (Llama‑Nemotron Super).
• MiniPuzzle — een uitbreiding van Puzzle voor hybride architecturen, waarmee Nemotron‑H‑56B werd gecomprimeerd tot 47B met slechts 63 miljard distillatietokens. Bij vergelijkbare nauwkeurigheid is het gecomprimeerde model 20 % sneller bij inferentie.

Uitlijningsmethoden

HelpSteer en HelpSteer2

HelpSteer — een dataset met 37.120 voorbeelden (licentie CC‑BY‑4.0), gecreëerd in samenwerking met Scale AI, waarbij elk antwoord is geannoteerd op vijf attributen: behulpzaamheid (helpfulness), correctheid (correctness), samenhang (coherence), complexiteit (complexity) en uitvoerigheid (verbosity) op een Likert-schaal van 0–4.

HelpSteer2 — een bijgewerkte dataset met 21.362 voorbeelden (10.681 prompts × 2 antwoorden), waarbij meer dan 95 % van de prompts afkomstig zijn uit ShareGPT (echte gebruikersverzoeken). Ongeveer 50 % van de annotaties werd gefilterd als onvoldoende kwalitatief. De uitbreiding HelpSteer2‑Preference voegt paarsgewijze annotatorvoorkeuren toe, waardoor zowel regressie- als paarsgewijze beloningsmodellen op dezelfde data getraind kunnen worden.

SteerLM

SteerLM — een SFT (Supervised Fine‑Tuning)-methode met conditionering op attributen (helpfulness, correctness, coherence, complexity, verbosity), waarmee de gebruiker de antwoordstijl tijdens inferentie kan sturen. De pipeline omvat: (1) training van een attribuutvoorspellingsmodel (APM) op HelpSteer, (2) annotatie van data met behulp van APM, (3) SFT met conditionering op doelattribuutwaarden, (4) bootstrapping.

DPO en RPO

DPO (Direct Preference Optimization) — een methode voor directe voorkeuroptimalisatie zonder expliciet beloningsmodel, gebruikt in de pipelines van Nemotron‑4 340B Instruct en Nemotron Nano 2.

RPO (Reward‑aware Preference Optimization) — een geünificeerd wiskundig framework van NVIDIA, dat DPO, IPO, SimPO, REINFORCE en SteerLM 2.0 als bijzondere gevallen generaliseert. RPO minimaliseert de afstand tussen de voorspellingen van het impliciete beloningsmodel en het doelgerichte expliciete model:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

waar $r_{\varphi }$ — het expliciete beloningsmodel, ${\pi }_{\theta }$ — het te trainen beleid, ${\pi }_{\text{ref}}$ — het referentiebeleid, $d(\cdot ,\cdot )$ — de afstandsfunctie, $y_w$/$y_l$ — het geprefereerde/verworpen antwoord. RPO wordt toegepast bij het trainen van Nemotron‑4 340B Instruct en de Llama‑Nemotron-modellen.

Multi-omgeving versterkend leren (RLVR)

In Nemotron 3 wordt Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) toegepast — gelijktijdig trainen in meerdere omgevingen binnen NeMo Gym: competitieve wiskunde, programmeren, QA, tool‑use, instruction‑following, lange context. Het algoritme is GRPO (Group Relative Policy Optimization) met masked importance sampling.

Nemotron 3 ondersteunt granulaire redeneerbudgetbeheersing (reasoning budget control): de gebruiker kan een tokenlimiet voor de redeneerreeks instellen via een vlag in de chat template (schakelaar «detailed thinking on/off» of beperking van de lengte).

Modelreeks

Overzichtstabel

Model	Jaar	Totaal / Actieve parameters	Context	Architectuur	Belangrijkste kenmerken
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3,8B tokens; 1024 GPU A100; 19 dagen
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8B tokens; MFU 34,3 %
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9B tokens; Base/Instruct/Reward; >98 % synthetische uitlijndata
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1 %
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	NAS-compressie uit Llama 3.1 8B
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Uit Llama 3.3 70B
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Uit Llama 3.1 405B; GPQA 76,0 %
Nemotron‑H 8B	2025	8B / 8B	—	Hybride Mamba‑Transformer	15B tokens; 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	Hybride Mamba‑Transformer	20B tokens FP8; 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	Hybride Mamba‑Transformer	MiniPuzzle uit 56B; +20 % snelheid
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Hybride Mamba‑Transformer	20B tokens; Minitron-distillatie
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Hybride Mamba‑Transformer MoE	25B tokens; 128 experts, 6 actief
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Hybride LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Hybride LatentMoE	MTP; NVFP4

Nemotron‑4 15B

Architectuur: 32 lagen, hidden dimension 6144, 48 aandachtskoppen, 8 KV‑koppen (GQA). Totaal aantal parameters — 15 miljard (3,2 miljard embedding + 12,5 miljard non‑embedding). Resultaten: MMLU — 64,2 % (5‑shot), BBH — 58,7 % (3‑shot), GSM8K — 46,0 % (8‑shot, maj@1), HumanEval — 31,6 % (0‑shot, pass@1). Op meertalige benchmarks (XCOPA, TyDiQA‑GoldP, MGSM) overtrof het model modellen die vier keer zo groot zijn.

Nemotron‑4 340B

Architectuur: 96 lagen, hidden dimension 18.432, 96 aandachtskoppen, 8 KV‑koppen.

Nemotron‑4 340B Base behaalde: MMLU — 81,1 % (5‑shot), BBH — 85,4 % (3‑shot), HumanEval — 57,3 % (0‑shot), ARC‑Challenge — 94,3 % (25‑shot).

Nemotron‑4 340B Instruct doorliep meerfasige uitlijning: Code SFT → General SFT → DPO → RPO (3 rondes). Resultaten: MT‑Bench — 8,22 (GPT‑4‑Turbo judge), MMLU — 78,7 % (0‑shot), GSM8K — 92,3 % (0‑shot), HumanEval — 73,2 % (0‑shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5 %.

Nemotron‑4 340B Reward vervangt de finale softmax-laag door een lineaire projectie van de verborgen toestand van de laatste laag naar een vector van 5 HelpSteer2-attributen. De uiteindelijke beloning is een gewogen som van vijf attributen. De training werd uitgevoerd gedurende 2 epochs op HelpSteer2-data (batch size 128). Op RewardBench behaalde het model 92,0 %, waarmee het GPT‑4o (84,7 %), Gemini 1.5 Pro (88,1 %) en Claude‑3‑Opus (80,7 %) overtrof ten tijde van publicatie.

Model	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54,2	41,5 %	8,22
Llama‑3‑70B‑Instruct	41,1	34,4 %	8,16
Mixtral‑8x22B‑Instruct	36,4	30,9 %	7,63
Qwen‑2‑72B‑Instruct	48,1	38,8 %	8,26

Bron: arXiv:2406.11704, tabel 5.

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward is getraind met een hybride methode die Bradley‑Terry (paarsgewijze voorkeuren) en SteerLM-regressie (meerkenmerksbeoordeling op Likert-schaal) combineert. De training werd uitsluitend uitgevoerd op HelpSteer2-data (CC‑BY‑4.0). Op RewardBench behaalde het model 94,1 %, waarmee het de eerste plaats innam ten tijde van publicatie.

Llama‑3.1‑Nemotron‑70B‑Instruct is uitgelijnd met RLHF met het REINFORCE-algoritme (niet PPO) en het Nemotron‑70B‑Reward-beloningsmodel. De infrastructuur — NeMo‑Aligner met TRT‑LLM-versnelling.

Llama‑Nemotron: Nano, Super, Ultra (2025)

Een familie van redenerende modellen, afgeleid van Llama 3.x via NAS, distillatie en uitgebreid post-training.

Model	Parameters	Basismodel	Context
Llama‑Nemotron‑Nano 8B	8 miljard	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 miljard	Minitron 4B (uit Llama 3.1 8B)	128K
Llama‑Nemotron‑Super 49B	49 miljard	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 miljard	Llama‑3.1‑405B → NAS (Puzzle)	128K

Vijffasige trainingspipeline: (1) NAS + FFN Fusion, (2) distillatie + voortgezette voortraining, (3) SFT (inclusief redeneerreeksen van DeepSeek‑R1), (4) grootschalig RL (GRPO voor Ultra, REINFORCE/RLOO + Online RPO voor Nano), (5) uitlijning voor dialoog.

De modellen zijn als eerste onder open LLM's uitgerust met schakelbare redeneerstand (reasoning toggle): wanneer ingeschakeld («detailed thinking on» in de systeemprompt) genereert het model een redeneerreeks in de tags <think>...</think> vóór het antwoord; wanneer uitgeschakeld — antwoordt het direct.

Resultaten van Llama‑Nemotron‑Ultra 253B (reasoning ON): GPQA Diamond — 76,0 %, AIME 2024 — 80,8 %, MATH 500 — ~97 %. Ter vergelijking: DeepSeek‑R1 (671B totaal / 37B actief) — GPQA Diamond 71,5 %, AIME 2024 ~79,8 %. Ultra past op één knooppunt met 8×H100.

Nemotron‑H (april 2025)

Een familie van dense hybride modellen, van grond af getraind en ontworpen voor taken met lange generaties. Nemotron‑H‑56B is getraind op 20 biljoen tokens in FP8 — een van de grootste publieke experimenten met FP8-voortraining. Nemotron‑H‑47B is verkregen door compressie van 56B via MiniPuzzle (63 miljard distillatietokens) en past in het geheugen van één RTX 5090 (FP4) bij een context van ~1M tokens.

Benchmark	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60,5	61,8	58,8	51,3
MMLU (5‑shot)	84,2	83,6	86,1	78,8
GSM8K (8‑shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0‑shot)	60,4	61,0	56,7	57,3

Bron: arXiv:2504.03624.

Bij generatie met 65.536 invoer- en 1024 uitvoertokens op H100 werkte het model Nemotron‑H‑47B 2,9 keer sneller dan Qwen‑2.5‑72B en Llama‑3.1‑70B.

Nemotron Nano 2 (augustus 2025)

Een hybride Mamba‑Transformer-model voor redeneren. Nemotron‑Nano‑12B‑v2‑Base — het oudermodel met 62 lagen (voornamelijk Mamba‑2 + MLP + 4 aandachtslagen), van grond af getraind op 20 biljoen tokens in FP8. Hieruit is via uitgebreide Minitron Nemotron‑Nano‑9B‑v2 afgeleid, dat in staat is te werken in een context van 128K tokens op één GPU NVIDIA A10G (22 GB, BF16). Post-training: SFT (80 miljard tokens, inclusief DeepSeek‑R1‑0528-reeksen) → GRPO → DPO → RLHF. Op redeneer-benchmarks is het model vergelijkbaar met Qwen3‑8B qua nauwkeurigheid, maar bereikt het een 3–6-voudige versnelling van generatie bij lange uitvoerreeksen.

Nemotron 3 Nano 30B‑A3B

Uitgebracht in december 2025. Parameters: 31,6 miljard totaal, 3,2 miljard actief. Architectuur: 52 lagen, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128. MoE: 128 gerouteerde experts + 1 gedeelde, 6 actief per token. Context — tot 1.048.576 tokens. Training op 25 biljoen tokens (WSD-schema, batch size 3072, datumgrens gegevens — juni 2025) in twee fasen: Fase 1 — 23,5 biljoen (gevarieerde data), Fase 2 — 1,5 biljoen (hoogwaardige data) + 121 miljard tokens long‑context CPT.

Benchmark	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78,30	80,9	75,0
AIME25 (no tools)	89,06	85,0	91,7
AIME25 (with tools)	99,17	—	98,7
GPQA (no tools)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE‑Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena‑Hard‑V2 Avg	67,65	57,8	48,55
RULER‑100 @ 1M	86,34	77,5	—

* — waarden uit secundaire bronnen; reproductiescondities — NeMo Evaluator SDK. Bron: arXiv:2512.20848.

Doorvoer (8K invoer / 16K uitvoer, single H200): 3,3 keer hoger dan Qwen3‑30B‑A3B‑Thinking en 2,2 keer hoger dan GPT‑OSS‑20B.

Aanvullende modellen en richtingen

• OpenReasoning‑Nemotron (juli 2025) — een serie modellen van 1,5B–32B parameters, gebaseerd op Qwen 2.5 en verfijnd op DeepSeek‑R1‑0528-data. De 32B-variant met GenSelect@64 overtreft o3 (high) op een aantal wiskundige benchmarks.
• Nemotron Elastic (arXiv:2511.16664) — een framework van geneste submodellen (6B, 9B, 12B) binnen één oudermodel, waarmee de trainingskosten 360 keer worden verlaagd ten opzichte van training vanaf nul.
• Nemotron‑CrossThink — een framework voor multi-domein versterkend leren buiten wiskundige taken, dat +30,1 % op MATH‑500 en +12,8 % op MMLU‑PRO opleverde.
• Nemotron‑UltraLong — contextuitbreiding tot 4 miljoen tokens.
• Jet‑Nemotron — post-training NAS voor compacte hybride modellen van 2B/4B.

Gespecialiseerde modellen

In het Nemotron-ecosysteem zijn ook modellen aanwezig voor gespecialiseerde taken:

• Nemotron Nano V2 VL — een vision‑language-model voor OCR, tabelverwerking en video.
• Nemotron Parse 1.1 — een model voor OCR en extractie van documentstructuur.
• Nemotron ColEmbed V2 — een embedding-model voor visueel zoeken in documenten (late interaction).
• Nemotron Speech — modellen voor automatische spraakherkenning (ASR), spraaksynthese (TTS) en machinevertaling (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — een model voor classificatie van onveilige inhoud in 23 categorieën in 9 talen met een nauwkeurigheid van 84,2 %.

Voortrainingsdata

Samenstelling van de Nemotron‑4-data

Het voortrainingscorpus van Nemotron‑4 15B en 340B bestaat uit drie hoofdcategorieën: Engelstalige teksten (70 %), meertalige teksten in 53 talen (15 %) en broncode in 43 programmeertalen (15 %). Er werd deduplicatie toegepast op documentniveau (exact en near‑duplicate), evenals filtering via taalmodellen en heuristieken. Het 15B-model is getraind op 8 biljoen tokens, het 340B-model op 9 biljoen (8 biljoen voortraining + 1 biljoen voortgezette training met herwogen hoogwaardige bronnen).

Nemotron‑CC

De dataset Nemotron‑CC is samengesteld uit Common Crawl met behulp van een ensemble van kwaliteitsclassificatoren en synthetisch herformuleren van teksten. De totale omvang bedraagt 6,3 biljoen tokens (4,4 biljoen gededupliceerd + 1,9 biljoen synthetische herformuleringen). De pipeline is geïntegreerd in het NeMo Curator-hulpprogramma. Het werk is geaccepteerd als Long Paper op de ACL 2025-conferentie.

Nemotron‑CC‑Math

Een wiskundig georiënteerde deelverzameling van 133 miljard tokens, geëxtraheerd uit Common Crawl met behulp van de Lynx + LLM-pipeline, met behoud van de structuur van wiskundige formules en code in LaTeX.

Data voor Nemotron 3 Nano

De voortraining van Nemotron 3 Nano is uitgevoerd op 25 biljoen tokens. De verzameling omvat: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 en gespecialiseerde STEM-datasets. Voor long‑context training werden aanvullend 121 miljard tokens CPT gebruikt.

Nemotron Pretraining Dataset v1

Een synthetisch gegenereerde dataset die STEM, academische teksten, redeneertaken en meertalige domeinen omvat; bevat meer dan 10 biljoen taaltokens en 18 miljoen SFT-voorbeelden. Alle datasets worden verspreid onder open, permissieve licenties.

Pipeline voor synthetische datageneratie (SDG)

De pipeline beschreven in het rapport over Nemotron‑4 340B omvat de volgende stappen:

• Promptgeneratie: synthetische één- en tweebeurtsvragen, gegenereerd met Mixtral‑8x7B‑Instruct‑v0.1 (Apache 2.0-licentie) op basis van sjablonen voor Open QA, Writing, Closed QA, Math & Coding.
• Antwoordgeneratie: meerdere antwoorden van tussentijdse modelversies voor diversiteit.
• Kwaliteitsevaluatie: drie benaderingen — Ground‑Truth‑as‑a‑Judge (voor taken met verifieerbare antwoorden), LLM‑as‑Judge (paarsgewijze antwoordvergelijking door een taalmodel), Reward‑Model‑as‑Judge (gebruik van Nemotron‑4‑340B‑Reward).
• Iteratieve uitlijning van zwakke naar sterke modellen (weak‑to‑strong).

Uit ~20.000 door mensen geannoteerde voorbeelden (10.000 voor SFT, 10.000 HelpSteer2 voor het beloningsmodel) werd al het overige uitlijndata synthetisch gegenereerd.

Kwantisering en inferentie-optimalisatie

De Nemotron 3 Nano-modellen ondersteunen Post‑Training Quantization (PTQ) in FP8 met behulp van ModelOpt en Megatron‑LM. Selectieve kwantisering wordt toegepast — aandachtslagen en een deel van Mamba worden in BF16 gehouden voor kwaliteitsbehoud; de overige worden gekwantiseerd naar FP8. Volgens het technisch rapport levert dit ~99 % nauwkeurigheidsretentie op. Nano ondersteunt ook inferentie in NVFP4-formaat.

Overzichtstabel van benchmarks per generatie

Model	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	Condities
Nemotron‑4 15B	64,2 %	46,0 %	31,6 %	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81,1 %	—	57,3 %	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78,7 %	92,3 %	73,2 %	54,2	8,22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85,0	8,98	okt. 2024
LN‑Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0 %, AIME 80,8 %
Nemotron‑H‑47B	83,6 %	93,3 %	61,0 %	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1 %, LCB 68,3 %

De vergelijking dient met voorzichtigheid te worden geïnterpreteerd: de evaluatiecondities, benchmarkversies en testdata verschillen per generatie. Resultaten zijn afkomstig uit technische rapporten van NVIDIA; onafhankelijke evaluaties kunnen afwijken (zie paragraaf «Beperkingen»).

Toepassingen

Implementatie via NVIDIA NIM

NVIDIA NIM — een set geoptimaliseerde container-microservices voor inferentie met een OpenAI-compatibele API. Nemotron-modellen zijn beschikbaar als NIM-microservices op het platform build.nvidia.com. NIM ondersteunt FP8-, BF16- en NVFP4-formaten en implementatie via Helm-charts op Kubernetes. De modellen zijn ook compatibel met onafhankelijke frameworks: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM.

Synthetische datageneratie

Nemotron‑4 340B is ontworpen voor gebruik als generator van synthetische data: het Instruct-model genereert antwoorden, het Reward-model beoordeelt en filtert ze. De NVIDIA Open Model License staat uitdrukkelijk toe dat modeloutput wordt gebruikt voor het trainen van andere modellen. Volgens ServiceNow is 15 % van de voortrainingsdata van hun model Apriel 1.6 afkomstig uit Nemotron-datasets.

Agentische systemen

De modellen van de Nemotron 3-familie (Nano, Super, Ultra) zijn bestemd voor multi-agent-werklast: planning, retrieval, gereedschapsaanroep (tool use). Nemotron 3 Nano behaalt 38,76 % op SWE‑Bench (met OpenHands) en 49,04 % (gemiddeld) op TauBench V2.

Bedrijfsimplementaties

Onder de genoemde partners: ServiceNow (gezamenlijk model Apriel Nemotron 15B voor workflowautomatisering), CrowdStrike (Charlotte AI-platform), Perplexity (verzoekroutering), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. Modellen zijn beschikbaar op AWS Amazon Bedrock; ondersteuning voor Google Cloud, CoreWeave en Nebius is gepland.

Beperkingen en open problemen

Onafhankelijke evaluaties en afwijkingen van NVIDIA-gegevens

Onafhankelijke evaluaties onthullen afwijkingen ten opzichte van de door NVIDIA vermelde resultaten. Volgens Artificial Analysis (februari 2026) kreeg Llama‑Nemotron‑Ultra 253B (reasoning) een Intelligence Index van 15, bij een mediaan van 26 voor modellen van vergelijkbare grootte. Op het Chatbot Arena-platform (LMArena) bezetten Nemotron-modellen middenposities in de ranglijst: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147e positie), Nemotron 3 Nano — 1317 ±6 (~164e positie).

Uitvoerigheid

Nemotron-modellen vertonen verhoogde uitvoerigheid: bij de Artificial Analysis-evaluatie genereerde het Nemotron 3 Nano-model 140 miljoen tokens (bij een mediaan van 12 miljoen voor andere modellen), wat de inferentiekosten verhoogt. Een analyse van DEV Community toonde aan dat Llama‑3.1‑Nemotron‑70B‑Instruct, ondanks formeel leiderschap op automatische benchmarks, onvoldoende nauwkeurigheid vertoonde bij een aantal praktische taken, en dat hoge scores op Arena-achtige benchmarks mogelijk verklaard werden door een voorkeur voor uitvoerige en zelfverzekerde, maar niet noodzakelijk nauwkeurige antwoorden.

Hallucinaties en bias

NVIDIA vermeldt in de modelkaarten dat de modellen «vooroordelen kunnen versterken en toxische antwoorden kunnen genereren, met name bij toxische prompts», en ook «onnauwkeurige informatie kunnen produceren en cruciale details kunnen weglaten». De openheid van gewichten en data maakt externe audits mogelijk.

Rekenvereisten

Dense modellen (Nemotron‑4 340B) vereisen een cluster van 768 DGX H100-knooppunten voor volledige training, wat de reproduceerbaarheid beperkt voor academische groepen zonder toegang tot vergelijkbare infrastructuur. Lange context (1M) bij inferentie vereist aanzienlijke VRAM.

Degradatie bij contextuitbreiding

Bij uitbreiding van de context naar zeer lange reeksen werd een verslechtering van de resultaten op benchmarks met korte context waargenomen.

Kwantisering van hybride architecturen

Het gebruik van extreem lage bitbreedte (FP8/NVFP4) in Mamba‑Transformer-architecturen leidt tot een geringe daling van de nauwkeurigheid (~1 % op een aantal benchmarks). Dit probleem wordt opgelost door selectieve kwantisering toe te passen, wat de architectuur van compilers en inferentie-servers compliceert.

Overige open problemen

• Afhankelijkheid van benchmarks met mogelijke contaminatie van trainingsdata.
• Gebrek aan gestandaardiseerde vergelijkingsprotocollen voor hybride SSM‑Transformer-architecturen ten opzichte van pure Transformer-modellen.
• Vraagstuk van de schaalbaarheid van de MoE-aanpak bij taken die diepgaand redeneren vereisen met een klein aantal actieve experts per token.
• Gegevens over Super/Ultra waren per december 2025 voorlopig; volledige benchmarks worden verwacht na de release.

Ethische en regelgevende aspecten

Veiligheid tijdens de ontwikkelingsfase

Tijdens de ontwikkeling worden toegepast: evaluatie via het AEGIS-framework (13 categorieën voor inhoudsveiligheid), kwetsbaarheidsscanner garak, handmatig «rood testen» (red‑teaming).

Veiligheid tijdens inferentie

NeMo Guardrails — een open toolset (Apache 2.0-licentie), die programmeerbare barrières toevoegt aan LLM-systemen. De microservice onderschept invoer en uitvoer en past configureerbare controles toe: onderwerpbewaking, PII-detectie, verificatie van RAG-«aarding», detectie van jailbreak-aanvallen (inclusief bescherming tegen code-injectie op basis van YARA), meertalige multimodale veiligheidsclassificatie.

Voor Nemotron 3 is een set van ~11.000 gelabelde OpenTelemetry-reeksen gepubliceerd uit realistische scenario's met toolgebruik, bedoeld voor evaluatie van agentische veiligheid.

Licenties

Modellen	Licentie
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (overgenomen van Meta)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

De NVIDIA Nemotron Open Model License staat commercieel gebruik toe, het maken en verspreiden van afgeleide werken, vereist geen naamsvermelding (bij behoud van het NOTICE-bestand), stelt geen beperkingen aan het aantal gebruikers en staat uitdrukkelijk toe dat modeloutput wordt gebruikt voor het trainen van andere modellen. Op Llama gebaseerde modellen erven de beperkingen van Meta, waaronder de drempel van 700 miljoen maandelijks actieve gebruikers.

Voor Nemotron 3 Nano heeft NVIDIA gepubliceerd: modelgewichten, meer dan 10 biljoen tokens aan trainingsdata, trainingsrecepten, codebases (NeMo, Megatron‑LM, NeMo‑Aligner), meer dan 10 versterkend-leerromgevingen met 900.000+ taken.

Vooruitzichten en onderzoeksrichtingen

De komende releases omvatten Nemotron 3 Super (~100 miljard parameters, ~10 miljard actief) en Nemotron 3 Ultra (~500 miljard, ~50 miljard actief), verwacht in de eerste helft van 2026. Beide modellen zullen gebruik maken van LatentMoE, MTP en training in NVFP4-formaat op de Blackwell-architectuur.

NVIDIA's strategische richting is het positioneren van Nemotron niet als een enkel model, maar als een infrastructurele laag voor multi-agentsystemen, waarbij verschillende modellen van de familie worden gebruikt voor verschillende taken met routering op basis van complexiteit.

Belangrijkste onderzoeksrichtingen:

• Ontwikkeling van hybride architecturen — verdere integratie van SSM-lagen met het aandachtsmechanisme voor schaalbare lange context.
• Meerlagige compressiemethoden — verdere ontwikkeling van Minitron, Puzzle, MiniPuzzle en Nemotron Elastic.
• Multi-domein versterkend leren — Nemotron‑CrossThink voor uitbreiding van RL buiten wiskundige taken.
• Contextuitbreiding — Nemotron‑UltraLong tot 4 miljoen tokens.
• Multimodaliteit — uitbreiding naar vision‑language (Nemotron VL), spraak (Nemotron Speech), visueel zoeken in documenten (Nemotron ColEmbed V2).
• Compacte hybride modellen — Jet‑Nemotron (NAS voor modellen van 2B/4B).
• Open recepten — publicatie van volledige trainingsrecepten en data voor reproductie en aanpassing door de gemeenschap.

Zie ook

• Transformer-architectuur
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (modellfamilie van Meta)

Verwijzingen

• NVIDIA Research — Nemotron 3-pagina: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — Nemotron-documentatie: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Literatuur

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, februari 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, juni 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, juni 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, juli 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, november 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, januari 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, april 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, mei 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, augustus 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, augustus 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, november 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, december 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, december 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290