Nemotron (NVIDIA) (SV)

Nemotron — en familj av stora språkmodeller (Large Language Model, LLM) med öppna vikter, utvecklad av avdelningen Applied Deep Learning Research (ADLR) vid NVIDIA. Modellerna tillhör området Machine Learning och Natural Language Processing (NLP) och är avsedda för ett brett spektrum av uppgifter: syntetisk datagenerering, logisk slutledning (reasoning), agentbaserade tillämpningar (agentic AI) och driftsättning på NVIDIAs industriella hårdvara. Familjen samlar modeller med olika arkitekturer och skalor: från 4 miljarder till ~500 miljarder parametrar, inklusive täta (dense) decoder-only Transformer-modeller i Nemotron-4-serien (2024), hybrida Mamba-Transformer-modeller (Nemotron-H, 2025) och hybrida Mamba-Transformer-modeller med Mixture-of-Experts (MoE) i Nemotron 3-serien (2025). Per mars 2026 omfattar familjen mer än 20 modeller som täcker uppgifter inom textgenerering, resonemang, visuell dokumentförståelse, informationsutvinning och svarskvalitetsbedömning. Modellerna släpps huvudsakligen med öppna vikter under licenserna NVIDIA Open Model License och Llama Community License.

Historia och bakgrund

Utvecklingen av Nemotron-familjen sker inom ramen för NVIDIAs strategi att bygga en komplett verktygsstack för generativ AI: från träningsinfrastruktur (DGX, superdatorer baserade på GPU H100/B200) till träningsplattformar (NeMo Framework), anpassning (NeMo-Aligner), driftsättning (NIM — NVIDIA Inference Microservices) och säkerhet (NeMo Guardrails).

Nemotron-3 8B (2023)

Den första offentligt tillgängliga modellen i serien — en decoder-baserad Transformer med 8 miljarder parametrar och ett kontextfönster på 4096 token, tränad på 3,8 biljoner token på 53 naturliga språk och 37 programmeringsspråk. Träningen genomfördes på 1024 GPU A100 under 19 dagar. Ingen formell teknisk rapport publicerades på arXiv. Modellen distribuerades via NeMo Framework och Hugging Face; varianter för Chat (SFT och SteerLM) fanns tillgängliga. Licens — NVIDIA AI Foundation Models Community License.

Anmärkning om namngivning: «Nemotron-3» från 2023 och «Nemotron 3» från december 2025 är olika modeller. Den förstnämnda var en tidig prototyp, den sistnämnda är den aktuella generationen med MoE-arkitektur.

Nemotron-4 15B (februari 2024)

Den första offentligt dokumenterade utgåvan i Nemotron-4-serien — en modell med 15 miljarder parametrar, tränad på 8 biljoner token under ~13 kalenderdagar på 384 DGX H100-noder (upp till 3072 GPU). En 8-faldig tensorparallelism och dataparallelism från 96 till 288 användes. Den maximala MFU (Model FLOPs Utilization) uppnådde 34,3 % vid batch size 384. Arkitekturen är en decoder-only Transformer med Grouped-Query Attention (GQA) och Rotary Position Embeddings (RoPE). Enligt benchmark-resultat vid publiceringstillfället överträffade modellen alla jämförbara öppna modeller av liknande storlek inom flerspråkiga uppgifter, inklusive ett antal modeller som är fyra gånger större.

Nemotron-4 340B (juni 2024)

I juni 2024 släpptes den största modellen i Nemotron-4-serien — 340 miljarder parametrar (331,6 miljarder icke-embedding-parametrar), förtränad på 9 biljoner token (8 biljoner förträning + 1 biljon fortsatt träning med omviktning av högkvalitativa källor). Träningen genomfördes på 768 DGX H100-noder (upp till 6144 GPU) med en maximal MFU på 42,4 %, från december 2023 till maj 2024. Familjen omfattar tre varianter: Base, Instruct och Reward. Modellstorleken valdes så att den ryms på en enda DGX H100-nod (8 GPU) vid driftsättning i FP8-precisionsformat. Mer än 98 % av de data som användes vid anpassning (alignment) genererades syntetiskt av modellerna i serien i en iterativ process; pipelinen för syntetisk datagenerering är öppen för reproduktion.

Llama-3.1-Nemotron-70B (oktober 2024)

I oktober 2024 släpptes modeller finjusterade från Meta Llama-3.1-70B-Instruct: Llama-3.1-Nemotron-70B-Instruct och Llama-3.1-Nemotron-70B-Reward. Per den 1 oktober 2024 innehade Instruct-modellen 1:a plats samtidigt på tre automatiska benchmark: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 %, MT-Bench (GPT-4-Turbo) — 8,98. Reward-modellen uppnådde 94,1 % på RewardBench.

Övergång till hybrida arkitekturer (2025)

Under 2025 utvidgades serien med hybrida arkitekturer som kombinerar Mamba-2-lager (State Space Model, SSM — tillståndsrymdsmodell) och Transformer. Under mars–maj 2025 släpptes familjen av resonerande modeller Llama-Nemotron (Nano 8B, Super 49B, Ultra 253B) med ett omkopplingsbart resonemangssätt. I april 2025 publicerades Nemotron-H (arXiv:2504.03624) — en familj av hybrida Mamba-Transformer-modeller med storlekarna 8B, 56B och 47B parametrar. I augusti 2025 presenterades Nemotron Nano 2 (9B-v2, arXiv:2508.14444).

Nemotron 3 (december 2025)

Den 15 december 2025 tillkännagavs den tredje generationen — Nemotron 3-familjen med modellerna Nano, Super och Ultra, som förenar arkitekturerna Mamba-2, Transformer och MoE med ett kontextfönster på upp till 1 miljon token. Nano släpptes med en teknisk rapport; Super och Ultra planeras till första halvåret 2026.

Teoretiska grunder

Transformer-arkitekturen i Nemotron-4

Modellerna i Nemotron-4-serien bygger på standardarkitekturen för decoder-baserad Transformer med kausal uppmärksamhet. Sannolikheten för en tokensekvens $x_1,x_2,\dots ,x_T$ faktoriseras som:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

där $\theta$ är modellens parametrar.

Uppmärksamhetsmekanismen implementeras i varianten Grouped-Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

där $Q,K,V$ är matriser för frågor, nycklar och värden; $d_k$ är dimensionen för uppmärksamhetshuvudet.

För positionskodning används Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

där $x_m$ är vektorn i position $m$, ${\theta }_i=10000^{-2i/d}$, $d$ är vektordimensionen.

I MLP-lager används aktiveringsfunktionen Squared ReLU: $f(x)=(max(0,x){)}^2$, vilket ger gles aktivering. Modellerna innehåller inga bias-termer, använder inte dropout, och indata- och utdata-inbäddningsmatriserna är inte kopplade till varandra (untied embeddings). Tokenizern är SentencePiece BPE med bevarade blanksteg, teckenvis uppdelning av siffror och byte-fallback; ordförrådets storlek är 256 000.

Arkitekturparametrar för Nemotron-4

Parameter	Nemotron-4 15B	Nemotron-4 340B
Antal parametrar	15 miljarder (3,2 miljarder embed.)	340 miljarder (9,4 miljarder embed.)
Antal lager	32	96
Dold dimension	6144	18 432
Uppmärksamhetshuvuden	48	96
KV-huvuden (GQA)	8	8
Kontextlängd	4096	4096
Ordförrådssstorlek	256 000	256 000

Källor: arXiv:2402.16819, arXiv:2406.11704.

Hybrid Mamba-Transformer-arkitektur (Nemotron-H)

I Nemotron-H-modellerna ersätts de vanliga självuppmärksamhetsblock delvis av Mamba-2-block — tillståndsrymdsmodeller (State Space Models, SSM). Vid autoregressiv generering kräver varje självuppmärksamhetslager $O(n)$ operationer och minne per steg (på grund av KV-cachen), medan Mamba-lager erbjuder konstanta minneskostnader och beräkningskostnader per genererad token.

Mamba-2 beskrivs av den rekurrenta relationen:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

där $h_t\in {ℝ}^N$ är det dolda tillståndet, $A\in {ℝ}^{N\times N}$ är den diagonala tillståndsövergångsmatrisen, $B\in {ℝ}^{N\times 1}$ och $C\in {ℝ}^{1\times N}$ är projektionsmatriser, $x_t$ är indata-token, $y_t$ är utsignalen. I Mamba-2 beror matriserna $A$, $B$, $C$ på indata (input-dependent), vilket skiljer modellen från klassiska linjära SSM.

I Nemotron-H-56B används 54 Mamba-2-lager + 54 MLP-lager + 10 självuppmärksamhetslager, varvid uppmärksamhetslagren placeras jämnt bland Mamba-lagren. Modellen tränas på 20 biljoner token i FP8-format (per-tensor scaling) på 6144 GPU H100. Versionen Nemotron-H-8B innehåller 24 Mamba-2-lager, 24 MLP-lager och 4 självuppmärksamhetslager; träningen genomfördes på 15 biljoner token.

MoE-arkitekturen i Nemotron 3

Modellerna i Nemotron 3 (december 2025) kombinerar tre arkitekturkomponenter: Mamba-2, Transformer och Mixture-of-Experts. Nemotron 3 Nano (30B-A3B) innehåller 52 lager: 23 Mamba-2 + MoE-lager, 23 MoE-lager och 6 GQA-uppmärksamhetslager. Varje MoE-lager omfattar 128 dirigerade (routed) experter + 1 gemensam (shared) expert, varav 6 experter aktiveras per token. Dirigeringen utförs av ett träningsbart MLP-router med sigmoid gating. Lastbalansering implementeras utan hjälpförlusttillägg (aux-loss-free). Det totala antalet parametrar är 31,6 miljarder, men aktiva per token — endast 3,2 miljarder.

Normalisering — RMSNorm. Positionsinbäddningar saknas i Mamba-delarna (positionsinformation är implicit i SSM-tillståndet). Frikopplade inbäddningar används, utan dropout och bias i linjära lager.

Utvidgningar i Super/Ultra: LatentMoE och Multi-Token Prediction

Super- och Ultra-modellerna i Nemotron 3-familjen tillämpar två ytterligare arkitektoniska innovationer:

• Latent MoE (LatentMoE) — projektion av inrepresentationen till ett latent rum med lägre dimension innan dirigering, vilket gör det möjligt att öka antalet experter vid jämförbara beräkningskostnader och förbättra noggrannheten utan att minska genomströmningen.
• Multi-Token Prediction (MTP) — förutsägelse av flera nästkommande token samtidigt, vilket används för att förbättra kvaliteten på långa texter och spekulativ avkodning vid inferens.

Träning av Super och Ultra sker i formatet NVFP4 — NVIDIAs 4-bitars numeriska format på Blackwell-arkitekturen.

Metoder för modellkomprimering: Minitron, Puzzle, MiniPuzzle

För att skapa kompakta modeller tillämpar NVIDIA flera metoder:

• Minitron — en metod för strukturerad beskärning (pruning) och kunskapsdestillation (knowledge distillation). Två typer av beskärning undersöks: efter djup (borttagning av lager) och efter bredd (gemensam minskning av dimensioner för dolda lager, uppmärksamhetshuvuden och MLP-projektioner). Tillämpning av Minitron på Nemotron-4 15B möjliggör framtagning av modeller på 8B och 4B med upp till 40 gånger lägre träningskostnad jämfört med träning från grunden.
• Puzzle — en Neural Architecture Search (NAS)-algoritm som väljer den optimala konfigurationen för varje block (antal KV-huvuden, FFN-storlek, förekomst/frånvaro av uppmärksamhet) med blockvis destillation. På detta sätt komprimerades Llama 3.1 405B till 253B (Llama-Nemotron Ultra) och Llama 3.3 70B till 49B (Llama-Nemotron Super).
• MiniPuzzle — en utvidgning av Puzzle för hybrida arkitekturer, som komprimerade Nemotron-H-56B till 47B med endast 63 miljarder destillationstoken. Med liknande noggrannhet är den komprimerade modellen 20 % snabbare vid inferens.

Anpassningsmetoder

HelpSteer och HelpSteer2

HelpSteer — en datamängd med 37 120 exempel (licens CC-BY-4.0), skapad i samarbete med Scale AI, där varje svar är annoterat efter fem attribut: hjälpsamhet (helpfulness), korrekthet (correctness), sammanhang (coherence), komplexitet (complexity) och ordrikedom (verbosity) på en Likert-skala 0–4.

HelpSteer2 — en uppdaterad datamängd med 21 362 exempel (10 681 prompt × 2 svar), där mer än 95 % av promptarna är hämtade från ShareGPT (verkliga användarförfrågningar). Ungefär 50 % av annoteringarna filtrerades bort som otillräckligt kvalitativa. Utvidgningen HelpSteer2-Preference lägger till parvis annotatorpreferenser, vilket möjliggör träning av såväl regressiva som parvisa belöningsmodeller på samma data.

SteerLM

SteerLM — en metod för Supervised Fine-Tuning (SFT) med betingning på attribut (helpfulness, correctness, coherence, complexity, verbosity), som låter användaren styra svarsformatet vid inferens. Pipelinen inkluderar: (1) träning av en attributförutsägelsemodell (APM) på HelpSteer, (2) datamärkning med APM, (3) SFT med betingning på målattributvärden, (4) bootstrapping.

DPO och RPO

DPO (Direct Preference Optimization) — en metod för direkt preferensoptimering utan en explicit belöningsmodell, som används i pipelines för Nemotron-4 340B Instruct och Nemotron Nano 2.

RPO (Reward-aware Preference Optimization) — ett enhetligt matematiskt ramverk från NVIDIA som generaliserar DPO, IPO, SimPO, REINFORCE och SteerLM 2.0 som specialfall. RPO minimerar avståndet mellan förutsägelserna från den implicita belöningsmodellen och den explicita målmodellen:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

där $r_{\varphi }$ är den explicita belöningsmodellen, ${\pi }_{\theta }$ är den träningsbara policyn, ${\pi }_{\text{ref}}$ är referenspolicyn, $d(\cdot ,\cdot )$ är avståndsfunktionen, $y_w$/$y_l$ är föredraget/avvisat svar. RPO tillämpas vid träning av Nemotron-4 340B Instruct och Llama-Nemotron-modellerna.

Förstärkningsinlärning med verifierbara belöningar i flera miljöer (RLVR)

I Nemotron 3 tillämpas Multi-environment RLVR (Reinforcement Learning from Verifiable Rewards) — samtidig träning i flera miljöer inom NeMo Gym: tävlingsmatematik, programmering, QA, tool-use, instruction-following, long-context. Algoritmen är GRPO (Group Relative Policy Optimization) med masked importance sampling.

Nemotron 3 stöder granulär styrning av resonemangsbudget (reasoning budget control): användaren kan ange en tokengräns för thinking trace via en flagga i chat-mallen (växling «detailed thinking on/off» eller begränsning av längd).

Modellsortiment

Sammanfattande tabell

Modell	År	Totalt / Aktiva parametrar	Kontext	Arkitektur	Viktigaste egenskaper
Nemotron-3 8B	2023	8B / 8B	4K	Dense Transformer	3,8T token; 1024 GPU A100; 19 dagar
Nemotron-4 15B	2024	15B / 15B	4K	Dense Transformer	8T token; MFU 34,3 %
Nemotron-4 340B	2024	340B / 340B	4K	Dense Transformer	9T token; Base/Instruct/Reward; >98 % syntetiska alignment-data
Llama-3.1-Nemotron-70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1 %
Llama-Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama-Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	NAS-komprimering från Llama 3.1 8B
Llama-Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Från Llama 3.3 70B
Llama-Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Från Llama 3.1 405B; GPQA 76,0 %
Nemotron-H 8B	2025	8B / 8B	—	Hybrid Mamba-Transformer	15T token; 24 Mamba-2 + 24 MLP + 4 Attn
Nemotron-H 56B	2025	56B / 56B	—	Hybrid Mamba-Transformer	20T token FP8; 54 Mamba-2 + 54 MLP + 10 Attn
Nemotron-H 47B	2025	47B / 47B	~1M (FP4)	Hybrid Mamba-Transformer	MiniPuzzle från 56B; +20 % hastighet
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Hybrid Mamba-Transformer	20T token; Minitron-destillation
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Hybrid Mamba-Transformer MoE	25T token; 128 experter, 6 aktiva
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Hybrid LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Hybrid LatentMoE	MTP; NVFP4

Nemotron-4 15B

Arkitektur: 32 lager, hidden dimension 6144, 48 uppmärksamhetshuvuden, 8 KV-huvuden (GQA). Totalt antal parametrar — 15 miljarder (3,2 miljarder embedding + 12,5 miljarder non-embedding). Resultat: MMLU — 64,2 % (5-shot), BBH — 58,7 % (3-shot), GSM8K — 46,0 % (8-shot, maj@1), HumanEval — 31,6 % (0-shot, pass@1). På flerspråkiga benchmark (XCOPA, TyDiQA-GoldP, MGSM) överträffade modellen modeller som är fyra gånger större.

Nemotron-4 340B

Arkitektur: 96 lager, hidden dimension 18 432, 96 uppmärksamhetshuvuden, 8 KV-huvuden.

Nemotron-4 340B Base visade: MMLU — 81,1 % (5-shot), BBH — 85,4 % (3-shot), HumanEval — 57,3 % (0-shot), ARC-Challenge — 94,3 % (25-shot).

Nemotron-4 340B Instruct genomgick flerstegsanpassning: Code SFT → General SFT → DPO → RPO (3 omgångar). Resultat: MT-Bench — 8,22 (GPT-4-Turbo judge), MMLU — 78,7 % (0-shot), GSM8K — 92,3 % (0-shot), HumanEval — 73,2 % (0-shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5 %.

Nemotron-4 340B Reward ersätter det slutliga softmax-lagret med en linjär projektion av det dolda tillståndet i det sista lagret till en vektor med 5 HelpSteer2-attribut. Den slutliga belöningen är en viktad summa av fem attribut. Träningen genomfördes under 2 epoker på HelpSteer2-data (batch size 128). På RewardBench uppnådde modellen 92,0 %, vilket överträffade GPT-4o (84,7 %), Gemini 1.5 Pro (88,1 %) och Claude-3-Opus (80,7 %) vid publiceringstillfället.

Modell	Arena Hard	AlpacaEval 2.0 LC	MT-Bench
Nemotron-4-340B-Instruct	54,2	41,5 %	8,22
Llama-3-70B-Instruct	41,1	34,4 %	8,16
Mixtral-8x22B-Instruct	36,4	30,9 %	7,63
Qwen-2-72B-Instruct	48,1	38,8 %	8,26

Källa: arXiv:2406.11704, tabell 5.

Llama-3.1-Nemotron-70B

Llama-3.1-Nemotron-70B-Reward tränas med en hybridmetod som kombinerar Bradley-Terry (parvis preferens) och SteerLM-regression (flerattributbedömning på Likert-skala). Träningen genomfördes uteslutande på HelpSteer2-data (CC-BY-4.0). På RewardBench uppnådde modellen 94,1 % och intog 1:a plats vid publiceringstillfället.

Llama-3.1-Nemotron-70B-Instruct anpassas med RLHF-metoden och algoritmen REINFORCE (inte PPO) samt belöningsmodellen Nemotron-70B-Reward. Infrastrukturen är NeMo-Aligner med TRT-LLM-acceleration.

Llama-Nemotron: Nano, Super, Ultra (2025)

En familj av resonerande modeller, härledda från Llama 3.x med hjälp av NAS, destillation och utökad efterträning.

Modell	Parametrar	Basmodell	Kontext
Llama-Nemotron-Nano 8B	8 miljarder	Llama-3.1-8B-Instruct	128K
Llama-Nemotron-Nano 4B	4 miljarder	Minitron 4B (från Llama 3.1 8B)	128K
Llama-Nemotron-Super 49B	49 miljarder	Llama-3.3-70B → NAS (Puzzle)	128K
Llama-Nemotron-Ultra 253B	253 miljarder	Llama-3.1-405B → NAS (Puzzle)	128K

Femstegs träningspipeline: (1) NAS + FFN Fusion, (2) destillation + fortsatt förträning, (3) SFT (inklusive resonemangsspår från DeepSeek-R1), (4) storskalig RL (GRPO för Ultra, REINFORCE/RLOO + Online RPO för Nano), (5) dialoganpassning.

Modellerna var de första bland öppna LLM att stödja omkopplingsbart resonemangssätt (reasoning toggle): när det är aktiverat («detailed thinking on» i systemprompt) genererar modellen en resoneringskedja i taggarna <think>...</think> före svaret; när det är inaktiverat svarar modellen direkt.

Resultat för Llama-Nemotron-Ultra 253B (reasoning ON): GPQA Diamond — 76,0 %, AIME 2024 — 80,8 %, MATH 500 — ~97 %. Till jämförelse: DeepSeek-R1 (671B totalt / 37B aktiva) — GPQA Diamond 71,5 %, AIME 2024 ~79,8 %. Ultra ryms på en enda nod med 8×H100.

Nemotron-H (april 2025)

En familj av täta hybrida modeller, tränade från grunden och utformade för uppgifter med långa genereringar. Nemotron-H-56B tränas på 20 biljoner token i FP8 — ett av de största offentliga experimenten med FP8-förträning. Nemotron-H-47B erhålls genom komprimering av 56B med metoden MiniPuzzle (63 miljarder destillationstoken) och ryms i minnet på ett enda RTX 5090 (FP4) med ett kontextfönster på ~1M token.

Benchmark	Nemotron-H-56B	Nemotron-H-47B	Qwen-2.5-72B	Llama-3.1-70B
MMLU-Pro (5-shot CoT)	60,5	61,8	58,8	51,3
MMLU (5-shot)	84,2	83,6	86,1	78,8
GSM8K (8-shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0-shot)	60,4	61,0	56,7	57,3

Källa: arXiv:2504.03624.

Vid generering med 65 536 indata- och 1024 utdatatoken på H100 var Nemotron-H-47B 2,9 gånger snabbare än Qwen-2.5-72B och Llama-3.1-70B.

Nemotron Nano 2 (augusti 2025)

En hybrid Mamba-Transformer-modell för resonemang. Nemotron-Nano-12B-v2-Base — föräldramodellen med 62 lager (huvudsakligen Mamba-2 + MLP + 4 uppmärksamhetslager), tränad på 20 biljoner token i FP8 från grunden. Från denna modell erhålls Nemotron-Nano-9B-v2 med den utökade Minitron-metoden; den kan köras med ett kontextfönster på 128K token på en enda GPU NVIDIA A10G (22 GB, BF16). Efterträning: SFT (80 miljarder token, inklusive spår från DeepSeek-R1-0528) → GRPO → DPO → RLHF. På resonemangsbenchmark är modellen jämförbar med Qwen3-8B i noggrannhet, men uppnår 3–6 gånger snabbare generering vid långa utdatasekvenser.

Nemotron 3 Nano 30B-A3B

Släpptes i december 2025. Parametrar: 31,6 miljarder totalt, 3,2 miljarder aktiva. Arkitektur: 52 lager, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128. MoE: 128 dirigerade experter + 1 gemensam, 6 aktiva per token. Kontext — upp till 1 048 576 token. Träning på 25 biljoner token (WSD-schema, batch size 3072, datautsnitt — juni 2025) i två faser: Fas 1 — 23,5 biljoner (varierade data), Fas 2 — 1,5 biljoner (högkvalitativa data) + 121 miljarder token long-context CPT.

Benchmark	Nemotron 3 Nano 30B-A3B	Qwen3-30B-A3B-Thinking	GPT-OSS-20B
MMLU-Pro	78,30	80,9	75,0
AIME25 (no tools)	89,06	85,0	91,7
AIME25 (with tools)	99,17	—	98,7
GPQA (no tools)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE-Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena-Hard-V2 Avg	67,65	57,8	48,55
RULER-100 @ 1M	86,34	77,5	—

* — värden från sekundära källor; reproduktionsvillkor — NeMo Evaluator SDK. Källa: arXiv:2512.20848.

Genomströmning (8K indata / 16K utdata, single H200): 3,3 gånger högre än Qwen3-30B-A3B-Thinking och 2,2 gånger högre än GPT-OSS-20B.

Ytterligare modeller och inriktningar

• OpenReasoning-Nemotron (juli 2025) — en serie modeller med 1,5B–32B parametrar, baserade på Qwen 2.5 och finjusterade på data från DeepSeek-R1-0528. Varianten 32B med GenSelect@64 överträffar o3 (high) på ett antal matematiska benchmark.
• Nemotron Elastic (arXiv:2511.16664) — ett ramverk för inbäddade delmodeller (6B, 9B, 12B) inom en enda föräldramodell, vilket sänker träningskostnaden 360 gånger jämfört med träning från grunden.
• Nemotron-CrossThink — ett ramverk för multidomain förstärkningsinlärning utanför matematiska uppgifter, vilket gav +30,1 % på MATH-500 och +12,8 % på MMLU-PRO.
• Nemotron-UltraLong — kontextutvidgning upp till 4 miljoner token.
• Jet-Nemotron — eftertränings-NAS för kompakta hybrida modeller 2B/4B.

Specialiserade modeller

I Nemotron-ekosystemet finns även modeller för specialiserade uppgifter:

• Nemotron Nano V2 VL — en vision-language-modell för OCR, tabellbehandling och video.
• Nemotron Parse 1.1 — en modell för OCR och extraktion av dokumentstruktur.
• Nemotron ColEmbed V2 — en embedding-modell för visuell dokumentsökning (late interaction).
• Nemotron Speech — modeller för automatisk taligenkänning (ASR), talsyntes (TTS) och maskinöversättning (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — en klassificeringsmodell för osäkert innehåll i 23 kategorier på 9 språk med en noggrannhet på 84,2 %.

Data för förträning

Sammansättning av data i Nemotron-4

Förträningskorpusen för Nemotron-4 15B och 340B består av tre huvudkategorier: engelska texter (70 %), flerspråkiga texter på 53 språk (15 %) och källkod på 43 programmeringsspråk (15 %). Deduplicering på dokumentnivå (exakt och nära-duplikat) tillämpades, liksom filtrering med hjälp av språkmodeller och heuristiker. Modellen 15B tränas på 8 biljoner token, modellen 340B på 9 biljoner (8 biljoner förträning + 1 biljon fortsatt träning med omviktning av högkvalitativa källor).

Nemotron-CC

Datamängden Nemotron-CC skapas från Common Crawl med hjälp av ett ensemble av kvalitetsklassificerare och syntetisk omformulering av texter. Den totala volymen är 6,3 biljoner token (4,4 biljoner deduplicerade + 1,9 biljoner syntetiska omformuleringar). Pipelinen är integrerad i verktyget NeMo Curator. Arbetet antogs som Long Paper på konferensen ACL 2025.

Nemotron-CC-Math

En matematikfokuserad delmängd på 133 miljarder token, extraherad från Common Crawl med hjälp av Lynx + LLM-pipeline med bevarad struktur för matematiska formler och kod i LaTeX.

Data för Nemotron 3 Nano

Förträning av Nemotron 3 Nano genomfördes på 25 biljoner token. Datamängden inkluderar: Nemotron-CC-v2.1, Nemotron-CC-Code-v1, Nemotron-CC-Math-v1 och specialiserade STEM-datamängder. För long-context-träning användes ytterligare 121 miljarder token CPT.

Nemotron Pretraining Dataset v1

En syntetiskt genererad datamängd som täcker STEM, akademiska texter, resoneringsuppgifter och flerspråkiga domäner; den innehåller mer än 10 biljoner språktoken och 18 miljoner SFT-exempel. Alla datamängder distribueras under öppna tillåtande licenser.

Pipeline för syntetisk datagenerering (SDG)

Pipelinen som beskrivs i den tekniska rapporten om Nemotron-4 340B inkluderar följande steg:

• Promptgenerering: syntetiska en- och tvåvändiga förfrågningar, genererade med hjälp av Mixtral-8x7B-Instruct-v0.1 (licens Apache 2.0) enligt mallarna Open QA, Writing, Closed QA, Math & Coding.
• Svarsgenerering: flera svar från mellanversioner av modellerna för att säkerställa mångfald.
• Kvalitetsbedömning: tre metoder — Ground-Truth-as-a-Judge (för uppgifter med verifierbart svar), LLM-as-Judge (parvis svarsjämförelse med hjälp av en språkmodell), Reward-Model-as-Judge (användning av Nemotron-4-340B-Reward).
• Iterativ anpassning från svaga till starka modeller (weak-to-strong).

Från ~20 000 mänskligt annoterade exempel (10 000 för SFT, 10 000 HelpSteer2 för belöningsmodellen) syntetiserades hela den återstående volymen av anpassningsdata.

Kvantisering och inferensoptimering

Nemotron 3 Nano-modellerna stöder Post-Training Quantization (PTQ) i FP8 med hjälp av ModelOpt och Megatron-LM. Selektiv kvantisering tillämpas — uppmärksamhetslager och delar av Mamba behålls i BF16 för att bevara kvaliteten; övriga kvantiseras till FP8. Enligt den tekniska rapporten ger detta ~99 % noggrannhetsbevarandegrad. Nano stöder också inferens i NVFP4-formatet.

Sammanfattande benchmark-tabell per generation

Modell	MMLU	GSM8K	HumanEval	Arena Hard	MT-Bench	Villkor
Nemotron-4 15B	64,2 %	46,0 %	31,6 %	—	—	base; 5-/8-/0-shot
Nemotron-4 340B Base	81,1 %	—	57,3 %	—	—	5-/—/0-shot
Nemotron-4 340B Instruct	78,7 %	92,3 %	73,2 %	54,2	8,22	0-shot
Llama-3.1-Nemotron-70B-Instruct	—	—	—	85,0	8,98	okt. 2024
LN-Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0 %, AIME 80,8 %
Nemotron-H-47B	83,6 %	93,3 %	61,0 %	—	—	5-/8-CoT/0-shot
Nemotron 3 Nano (30B-A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1 %, LCB 68,3 %

Jämförelsen bör tolkas med försiktighet: utvärderingsvillkor, benchmark-versioner och testdatum skiljer sig åt mellan generationerna. Resultaten är hämtade från NVIDIAs tekniska rapporter; oberoende utvärderingar kan avvika (se avsnittet «Begränsningar»).

Tillämpningar

Driftsättning via NVIDIA NIM

NVIDIA NIM — en uppsättning optimerade containerbaserade mikrotjänster för inferens med ett OpenAI-kompatibelt API. Nemotron-modellerna finns tillgängliga som NIM-mikrotjänster på plattformen build.nvidia.com. NIM stöder formaten FP8, BF16, NVFP4 och driftsättning via Helm-diagram på Kubernetes. Modellerna är även kompatibla med oberoende ramverk: vLLM, SGLang, Ollama, llama.cpp, TensorRT-LLM.

Syntetisk datagenerering

Nemotron-4 340B är utformad för användning som generator av syntetiska data: Instruct-modellen genererar svar, Reward-modellen utvärderar och filtrerar dem. NVIDIA Open Model License tillåter uttryckligen användning av modellens utdata för träning av andra modeller. Enligt ServiceNow härstammar 15 % av förträningsdata för deras modell Apriel 1.6 från Nemotron-datamängder.

Agentbaserade system

Modellerna i Nemotron 3-familjen (Nano, Super, Ultra) är utformade för multiagentarbetsbelastningar: planering, retrieval, verktygsanrop (tool use). Nemotron 3 Nano uppnår 38,76 % på SWE-Bench (med OpenHands) och 49,04 % (avg) på TauBench V2.

Företagsimplementeringar

Bland de uttalade partnerna finns: ServiceNow (gemensam modell Apriel Nemotron 15B för automatisering av arbetsflöden), CrowdStrike (plattformen Charlotte AI), Perplexity (förfrågningsrouting), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. Modellerna finns tillgängliga på AWS Amazon Bedrock; stöd för Google Cloud, CoreWeave och Nebius planeras.

Begränsningar och öppna problem

Oberoende utvärderingar och avvikelser från NVIDIAs uppgifter

Oberoende utvärderingar avslöjar avvikelser från de resultat som NVIDIA redovisar. Enligt Artificial Analysis (februari 2026) fick Llama-Nemotron-Ultra 253B (reasoning) ett Intelligence Index-värde på 15, mot ett median på 26 för modeller av jämförbar storlek. På plattformen Chatbot Arena (LMArena) intog Nemotron-modellerna mellanplaceringar: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147:e plats), Nemotron 3 Nano — 1317 ±6 (~164:e plats).

Ordrikedom

Nemotron-modellerna uppvisar förhöjd ordrikedom: vid utvärdering av Artificial Analysis genererade Nemotron 3 Nano 140 miljoner token (mot ett median på 12 miljoner för andra modeller), vilket ökar inferenskostnaden. En analys från DEV Community visade att Llama-3.1-Nemotron-70B-Instruct, trots formellt ledarskap på automatiska benchmark, uppvisade otillräcklig noggrannhet i ett antal praktiska uppgifter, och att höga poäng på Arena-liknande benchmark kan ha berott på preferensen för ordrika och självsäkra, men inte nödvändigtvis exakta svar.

Hallucineringar och bias

NVIDIA anger i modellkorten att modellerna kan «förstärka fördomar och generera toxiska svar, särskilt vid toxiska promptar», samt «producera felaktig information och utelämna viktiga detaljer». Öppenhet avseende vikter och data möjliggör extern revision.

Beräkningskrav

Täta modeller (Nemotron-4 340B) kräver ett kluster med 768 DGX H100-noder för fullständig träning, vilket begränsar reproducerbarheten för akademiska grupper utan tillgång till likvärdig infrastruktur. Lång kontext (1M) vid inferens kräver avsevärd VRAM-kapacitet.

Degradering vid kontextutvidgning

Vid utvidgning av kontexten till mycket långa sekvenser observerades en försämring av resultaten på benchmark med kort kontext.

Kvantisering av hybrida arkitekturer

Användning av extremt låg bitbredd (FP8/NVFP4) i Mamba-Transformer-arkitekturer leder till en liten försämring av noggrannheten (~1 % på ett antal benchmark). Detta problem löses med selektiv kvantisering, vilket komplicerar kompilatorarkitektur och inferensservrar.

Övriga öppna problem

• Beroende av benchmark med möjlig kontaminering av träningsdata.
• Avsaknad av standardiserade protokoll för jämförelse av hybrida SSM-Transformer-arkitekturer med rena Transformer-modeller.
• Frågan om skalbarhet hos MoE-metoden för uppgifter som kräver djupt resonemang med ett litet antal aktiva experter per token.
• Data om Super/Ultra per december 2025 är preliminära; fullständiga benchmark väntas efter release.

Etiska och regulatoriska aspekter

Säkerhet i utvecklingsfasen

Under utvecklingsfasen tillämpas: utvärdering enligt AEGIS-ramverket (13 kategorier för innehållssäkerhet), sårbarhetsskannern garak, manuell «röd-teamning» (red-teaming).

Säkerhet vid inferens

NeMo Guardrails — ett öppet verktygsset (licens Apache 2.0) som lägger till programmerbara barriärer till LLM-system. Mikrotjänsten fångar upp indata och utdata och tillämpar konfigurerbara kontroller: ämneskontroll, PII-detektering, verifiering av RAG-förankring, detektering av jailbreak-attacker (inklusive skydd mot kodinjektioner baserat på YARA), flerspråkig multimodal säkerhetsklassificering.

För Nemotron 3 har en datamängd med ~11 000 märkta OpenTelemetry-spår från realistiska scenarier med verktygsanvändning publicerats, avsedd för utvärdering av agentsäkerhet.

Licensiering

Modeller	Licens
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron-4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama-Nemotron (Nano/Super/Ultra)	Llama Community License (ärvd från Meta)
Nemotron-3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License tillåter kommersiell användning, skapande och distribution av derivatverk, kräver ingen attribution (vid bevarande av NOTICE-filen), ställer inga begränsningar på antalet användare och tillåter uttryckligen användning av modellens utdata för träning av andra modeller. Modeller baserade på Llama ärver Metas begränsningar, inklusive tröskeln på 700 miljoner månatliga aktiva användare.

För Nemotron 3 Nano har NVIDIA publicerat: modellvikter, mer än 10 biljoner token träningsdata, träningsrecept, kodbaser (NeMo, Megatron-LM, NeMo-Aligner) och mer än 10 miljöer för förstärkningsinlärning med 900 000+ uppgifter.

Framtidsperspektiv och forskningsinriktningar

Kommande releaser inkluderar Nemotron 3 Super (~100 miljarder parametrar, ~10 miljarder aktiva) och Nemotron 3 Ultra (~500 miljarder, ~50 miljarder aktiva), förväntade under första halvåret 2026. Båda modellerna kommer att använda LatentMoE, MTP och träning i NVFP4-format på Blackwell-arkitekturen.

NVIDIAs strategiska inriktning är att positionera Nemotron inte som en enstaka modell, utan som ett infrastrukturlager för multiagentsystem, där olika modeller i familjen används för olika uppgifter med routing baserat på komplexitet.

Huvudsakliga forskningsinriktningar:

• Utveckling av hybrida arkitekturer — vidare integration av SSM-lager med uppmärksamhetsmekanismen för skalbar lång kontext.
• Flernivåmetoder för komprimering — vidareutveckling av Minitron, Puzzle, MiniPuzzle och Nemotron Elastic.
• Multidomain förstärkningsinlärning — Nemotron-CrossThink för utvidgning av RL utanför matematiska uppgifter.
• Kontextutvidgning — Nemotron-UltraLong upp till 4 miljoner token.
• Multimodalitet — utvidgning till vision-language (Nemotron VL), tal (Nemotron Speech), visuell dokumentsökning (Nemotron ColEmbed V2).
• Kompakta hybrida modeller — Jet-Nemotron (NAS för modeller 2B/4B).
• Öppna recept — publicering av fullständiga träningsrecept och data för reproduktion och anpassning av gemenskapen.

Se även

• Transformer-arkitekturen
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (Meta:s modellfamilj)

Referenser

• NVIDIA Research — Nemotron 3-sida: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — Nemotron-dokumentation: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Litteratur

• NVIDIA. Nemotron-3-8B-Base-4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron-4 15B Technical Report. arXiv:2402.16819, februari 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron-4 340B Technical Report. arXiv:2406.11704, juni 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open-source Dataset for Training Top-Performing Reward Models. arXiv:2406.08673, juni 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, juli 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation-Based NAS for Inference-Optimized LLMs. arXiv:2411.19146, november 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron-CC: Transforming Common Crawl into a Refined Long-Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward-aware Preference Optimization. arXiv:2502.00203, januari 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. arXiv:2504.03624, april 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama-Nemotron: Efficient Reasoning Models. arXiv:2505.00949, maj 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, augusti 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron-CC-Math. arXiv:2508.15096, augusti 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, november 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, december 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, december 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290