Nemotron (NVIDIA) (BG)

Nemotron — семейство от големи езикови модели (Large Language Model, LLM) с отворени тегла, разработено от подразделението Applied Deep Learning Research (ADLR) на корпорацията NVIDIA. Моделите принадлежат към областта на машинното обучение и обработката на естествен език (Natural Language Processing, NLP) и са предназначени за широк кръг задачи: синтетично генериране на данни, логически извод (reasoning), агентни приложения (agentic AI) и разгръщане на промишлено оборудване на NVIDIA. Семейството обединява модели с различни архитектури и мащаби: от 4 млрд до ~500 млрд параметъра, включително плътни (dense) decoder‑only Transformer‑модели от серията Nemotron‑4 (2024), хибридни Mamba‑Transformer (Nemotron‑H, 2025) и хибридни Mamba‑Transformer с Mixture-of-Experts (MoE) в серията Nemotron 3 (2025). Към март 2026 година семейството наброява над 20 модела, обхващащи задачи по генериране на текст, разсъждаване, визуално разбиране на документи, извличане на информация и оценка на качеството на отговорите. Моделите се публикуват предимно с отворени тегла под лицензите NVIDIA Open Model License и Llama Community License.

История и предпоставки

Разработката на семейството Nemotron се извършва в контекста на стратегията на NVIDIA за изграждане на пълен стек от инструменти за генеративен ИИ: от инфраструктурата за обучение (DGX, суперкомпютри на базата на GPU H100/B200) до платформите за обучение (NeMo Framework), изравняване (NeMo‑Aligner), разгръщане (NIM — NVIDIA Inference Microservices) и осигуряване на безопасност (NeMo Guardrails).

Nemotron‑3 8B (2023)

Първият публично достъпен модел от серията — декодерен Transformer с 8 млрд параметъра и контекст от 4096 токена, обучен на 3,8 трлн токена на 53 естествени и 37 езика за програмиране. Обучението е проведено на 1024 GPU A100 за 19 дни. Формален технически доклад в arXiv не е публикуван. Моделът се разпространяваше чрез NeMo Framework и Hugging Face, съществуваха варианти Chat (SFT и SteerLM). Лицензът е NVIDIA AI Foundation Models Community License.

Бележка за наименованията: „Nemotron‑3" от 2023 г. и „Nemotron 3" от декември 2025 г. са различни модели. Първият беше ранен прототип, вторият — актуалното поколение с архитектура MoE.

Nemotron‑4 15B (февруари 2024)

Първото публично документирано издание от серията Nemotron‑4 — модел с 15 милиарда параметъра, обучен на 8 трилиона токена за ~13 календарни дни на 384 възела DGX H100 (до 3072 GPU). Използван е 8‑кратен тензорен паралелизъм и паралелизъм по данни от 96 до 288. Пиковата MFU (Model FLOPs Utilization) е 34,3 % при batch size 384. Архитектурата е decoder‑only Transformer с Grouped‑Query Attention (GQA) и Rotary Position Embeddings (RoPE). Според резултатите от benchmark-овете към момента на публикуване моделът превъзхожда всички сравними по размер отворени модели в многоезични задачи, включително редица модели, надвишаващи го по размер четири пъти.

Nemotron‑4 340B (юни 2024)

През юни 2024 г. е публикуван най-мащабният модел от серията Nemotron‑4 — 340 милиарда параметъра (331,6 млрд не‑embedding параметъра), предварително обучен на 9 трилиона токена (8 трлн предварително обучение + 1 трлн продължено обучение с претегляне на висококачествени източници). Обучението е проведено на 768 възела DGX H100 (до 6144 GPU) с пикова MFU 42,4 %, от декември 2023 до май 2024 г. Семейството включва три варианта: Base, Instruct и Reward. Размерът на модела е избран така, че да се побира на един възел DGX H100 (8 GPU) при разгръщане в точност FP8. Над 98 % от данните, използвани при изравняването (alignment), са генерирани синтетично от самите модели на серията в итеративен процес; конвейерът за синтетично генериране на данни е отворен за възпроизвеждане.

Llama‑3.1‑Nemotron‑70B (октомври 2024)

През октомври 2024 г. са публикувани модели, дообучени от Meta Llama‑3.1‑70B‑Instruct: Llama‑3.1‑Nemotron‑70B‑Instruct и Llama‑3.1‑Nemotron‑70B‑Reward. Към 1 октомври 2024 г. моделът Instruct заемаше 1‑во място едновременно на три автоматични benchmark-а: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 %, MT‑Bench (GPT‑4‑Turbo) — 8,98. Reward‑моделът достигна 94,1 % на RewardBench.

Преход към хибридни архитектури (2025)

През 2025 г. серията се разшири с хибридни архитектури, съчетаващи слоеве Mamba‑2 (State Space Model, SSM — модел на пространството на състоянията) и Transformer. През март–май 2025 г. е публикувано семейството от разсъждаващи модели Llama‑Nemotron (Nano 8B, Super 49B, Ultra 253B) с превключваем режим на разсъждения. През април 2025 г. е публикуван Nemotron‑H (arXiv:2504.03624) — семейство от хибридни Mamba‑Transformer модели с размер 8B, 56B и 47B параметъра. През август 2025 г. е представен Nemotron Nano 2 (9B‑v2, arXiv:2508.14444).

Nemotron 3 (декември 2025)

На 15 декември 2025 г. е анонсирано третото поколение — семейството Nemotron 3 с модели Nano, Super и Ultra, обединяващо архитектурите Mamba‑2, Transformer и MoE с контекстен прозорец до 1 млн токена. Nano е публикуван с технически доклад; Super и Ultra са планирани за първата половина на 2026 г.

Теоретични основи

Архитектура Transformer в Nemotron‑4

Моделите от серията Nemotron‑4 са изградени на стандартна архитектура на декодерен Transformer с каузално внимание. Вероятността на последователност от токени $x_1,x_2,\dots ,x_T$ се факторизира като:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};heta),$

където $heta$ са параметрите на модела.

Механизмът на внимание е реализиран като Grouped‑Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{o}p}{\sqrt{d_k}}\right)V,$

където $Q,K,V$ са матриците на заявките, ключовете и стойностите; $d_k$ е размерността на главата на внимание.

За кодиране на позиции се прилагат Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos mhet{a}_1-x_m^{(2)}\sin mhet{a}_1\\ x_m^{(1)}\sin mhet{a}_1+x_m^{(2)}\cos mhet{a}_1\\ ⋮\end{array}\right),$

където $x_m$ е вектор на позиция $m$, $het{a}_i=10000^{-2i/d}$, $d$ е размерността на вектора.

В MLP‑слоевете се използва активация Squared ReLU: $f(x)=(max(0,x){)}^2$, осигуряваща разреденост на активациите. Моделите не съдържат отместване (bias), не използват dropout, а матриците на входните и изходните embedding-и не са свързани помежду си (untied embeddings). Токенизаторът е SentencePiece BPE със запазване на интервалите, посимволно разделяне на цифрите и байтов fallback; размерът на речника е 256 000.

Архитектурни параметри на Nemotron‑4

Параметър	Nemotron‑4 15B	Nemotron‑4 340B
Брой параметри	15 млрд (3,2 млрд embed.)	340 млрд (9,4 млрд embed.)
Брой слоеве	32	96
Скрита размерност	6144	18 432
Глави на внимание	48	96
KV‑глави (GQA)	8	8
Дължина на контекста	4096	4096
Размер на речника	256 000	256 000

Източници: arXiv:2402.16819, arXiv:2406.11704.

Хибридна архитектура Mamba‑Transformer (Nemotron‑H)

В моделите Nemotron‑H стандартните блокове за самовнимание са частично заменени с блокове Mamba‑2 — модели на пространството на състоянията (State Space Models, SSM). При авторегресивно генериране всеки слой на самовнимание изисква $O(n)$ операции и памет на стъпка (поради KV‑кеша), докато Mamba‑слоевете осигуряват постоянни разходи за памет и изчисления за всеки генериран токен.

Mamba‑2 се описва с рекурентно съотношение:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

където $h_t\in {ℝ}^N$ е скритото състояние, $A\in {ℝ}^{NimesN}$ е диагоналната матрица на прехода на състоянията, $B\in {ℝ}^{Nimes1}$ и $C\in {ℝ}^{1imesN}$ са матриците на проекцията, $x_t$ е входният токен, $y_t$ е изходният сигнал. В Mamba‑2 матриците $A$, $B$, $C$ зависят от входа (input‑dependent), което отличава модела от класическите линейни SSM.

В Nemotron‑H‑56B се използват 54 слоя Mamba‑2 + 54 MLP‑слоя + 10 слоя на самовнимание, като слоевете на внимание са наредени равномерно сред Mamba‑слоевете. Моделът е обучен на 20 трлн токена в FP8 (per‑tensor scaling) на 6144 GPU H100. Версията Nemotron‑H‑8B съдържа 24 слоя Mamba‑2, 24 MLP‑слоя и 4 слоя на самовнимание; обучението е проведено на 15 трлн токена.

MoE‑архитектура на Nemotron 3

Моделите Nemotron 3 (декември 2025) обединяват три архитектурни компонента: Mamba‑2, Transformer и Mixture‑of‑Experts. Nemotron 3 Nano (30B‑A3B) съдържа 52 слоя: 23 слоя Mamba‑2 + MoE, 23 слоя MoE и 6 слоя GQA‑внимание. Всеки MoE‑слой включва 128 маршрутизирани (routed) експерта + 1 общ (shared) експерт, от които 6 експерта се активират за всеки токен. Маршрутизацията се извършва от обучаем MLP‑рутер с sigmoid gating. Балансирането на натоварването е реализирано без спомагателна функция на загубата (aux‑loss‑free). Общият брой параметри е 31,6 млрд, но активните за всеки токен са само 3,2 млрд.

Нормализацията е RMSNorm. Позиционни embedding-и в частите Mamba липсват (позиционната информация е имплицитна в състоянието на SSM). Използват се несвързани embedding-и, без dropout и без отместване (bias) в линейните слоеве.

Разширения в Super/Ultra: LatentMoE и Multi‑Token Prediction

Моделите Super и Ultra от семейството Nemotron 3 прилагат две допълнителни архитектурни иновации:

• Latent MoE (LatentMoE) — проекция на входното представяне в латентно пространство с по-малка размерност преди маршрутизацията, което позволява увеличаване на броя на експертите при сравними изчислителни разходи и подобряване на точността без намаляване на пропускателната способност.
• Multi‑Token Prediction (MTP) — предсказване на няколко следващи токена едновременно, използвано за подобряване на качеството на дългите текстове и спекулативно декодиране при инференс.

Обучението на Super и Ultra се извършва в NVFP4 — 4‑битов числов формат на NVIDIA за архитектурата Blackwell.

Методи за компресиране на модели: Minitron, Puzzle, MiniPuzzle

За създаването на компактни модели NVIDIA прилага няколко подхода:

• Minitron — метод на структурирано изреждане (pruning) и дистилация на знания (knowledge distillation). Изследват се два вида pruning: по дълбочина (премахване на слоеве) и по ширина (съвместно намаляване на размерностите на скритите слоеве, главите на внимание и MLP‑проекциите). Прилагането на Minitron към Nemotron‑4 15B позволява получаването на модели 8B и 4B с намаляване на разходите за обучение до 40 пъти в сравнение с обучение от нулата.
• Puzzle — алгоритъм Neural Architecture Search (NAS), който подбира оптималната конфигурация на всеки блок (брой KV‑глави, размер на FFN, наличие/отсъствие на внимание) с поблочна дистилация. Именно по този начин Llama 3.1 405B е компресиран до 253B (Llama‑Nemotron Ultra), а Llama 3.3 70B — до 49B (Llama‑Nemotron Super).
• MiniPuzzle — разширение на Puzzle за хибридни архитектури, което е компресирало Nemotron‑H‑56B до 47B с изразходване на само 63 млрд токена за дистилация. При сходна точност компресираният модел извежда с 20 % по-бързо.

Методи за изравняване

HelpSteer и HelpSteer2

HelpSteer — набор от 37 120 примера (лиценз CC‑BY‑4.0), създаден съвместно с Scale AI, в който всеки отговор е анотиран по пет атрибута: полезност (helpfulness), коректност (correctness), свързаност (coherence), сложност (complexity) и многословност (verbosity) по скалата на Ликерт 0–4.

HelpSteer2 — актуализиран набор от 21 362 примера (10 681 prompt × 2 отговора), като над 95 % от prompt-овете са взети от ShareGPT (реални потребителски заявки). Около 50 % от анотациите са филтрирани като недостатъчно качествени. Разширението HelpSteer2‑Preference добавя двойни предпочитания на анотаторите, което позволява обучаването на регресионни и двойни модели на възнаграждение върху едни и същи данни.

SteerLM

SteerLM — метод SFT (Supervised Fine‑Tuning — обучение с учител) с обусловяване на атрибути (helpfulness, correctness, coherence, complexity, verbosity), позволяващ на потребителя да управлява стила на отговора при инференс. Конвейерът включва: (1) обучение на модел за предсказване на атрибути (APM) върху HelpSteer, (2) маркиране на данните с помощта на APM, (3) SFT с обусловяване на целевите стойности на атрибутите, (4) bootstrapping.

DPO и RPO

DPO (Direct Preference Optimization) — метод за пряка оптимизация на предпочитанията без явен модел на възнаграждение, използван в конвейерите на Nemotron‑4 340B Instruct и Nemotron Nano 2.

RPO (Reward‑aware Preference Optimization) — унифицирана математическа рамка на NVIDIA, обобщаваща DPO, IPO, SimPO, REINFORCE и SteerLM 2.0 като частни случаи. RPO минимизира разстоянието между предсказанията на неявния модел на възнаграждение и целевия явен модел:

${ℒ}_{extRPO}(heta)={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{h}eta(y_w|x)}{{\pi }_{extref}(y_w|x)}-\beta \log \frac{{\pi }_{h}eta(y_l|x)}{{\pi }_{extref}(y_l|x)})\right],$

където $r_{\varphi }$ е явният модел на възнаграждение, ${\pi }_{h}eta$ е обучаваната политика, ${\pi }_{extref}$ е референтната политика, $d(\cdot ,\cdot )$ е функцията на разстоянието, $y_w$/$y_l$ е предпочитаният/отхвърленият отговор. RPO се прилага при обучението на Nemotron‑4 340B Instruct и моделите Llama‑Nemotron.

Многосредово обучение с подкрепление (RLVR)

В Nemotron 3 се прилага Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) — едновременно обучение в няколко среди в рамките на NeMo Gym: съревнователна математика, програмиране, QA, tool‑use, instruction‑following, long‑context. Алгоритъмът е GRPO (Group Relative Policy Optimization) с masked importance sampling.

Nemotron 3 поддържа гранулирано управление на бюджета за разсъждения (reasoning budget control): потребителят може да зададе лимит от токени за thinking trace чрез флаг в chat template (превключване „detailed thinking on/off" или ограничение на дължината).

Линейка от модели

Обобщаваща таблица

Модел	Година	Общо / Активни параметри	Контекст	Архитектура	Ключови особености
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3,8T токена; 1024 GPU A100; 19 дни
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8T токена; MFU 34,3 %
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9T токена; Base/Instruct/Reward; >98 % синт. данни alignment
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1 %
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	NAS‑компресия от Llama 3.1 8B
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	От Llama 3.3 70B
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	От Llama 3.1 405B; GPQA 76,0 %
Nemotron‑H 8B	2025	8B / 8B	—	Хибрид Mamba‑Transformer	15T токена; 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	Хибрид Mamba‑Transformer	20T токена FP8; 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	Хибрид Mamba‑Transformer	MiniPuzzle от 56B; +20 % скорост
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Хибрид Mamba‑Transformer	20T токена; Minitron‑дистилация
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Хибрид Mamba‑Transformer MoE	25T токена; 128 експерта, 6 активни
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Хибрид LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Хибрид LatentMoE	MTP; NVFP4

Nemotron‑4 15B

Архитектура: 32 слоя, hidden dimension 6144, 48 глави на внимание, 8 KV‑глави (GQA). Общият брой параметри е 15 млрд (3,2 млрд embedding + 12,5 млрд non‑embedding). Резултати: MMLU — 64,2 % (5‑shot), BBH — 58,7 % (3‑shot), GSM8K — 46,0 % (8‑shot, maj@1), HumanEval — 31,6 % (0‑shot, pass@1). На многоезичните benchmark-ове (XCOPA, TyDiQA‑GoldP, MGSM) моделът превъзхожда модели четири пъти по-големи от него.

Nemotron‑4 340B

Архитектура: 96 слоя, hidden dimension 18 432, 96 глави на внимание, 8 KV‑глави.

Nemotron‑4 340B Base показа: MMLU — 81,1 % (5‑shot), BBH — 85,4 % (3‑shot), HumanEval — 57,3 % (0‑shot), ARC‑Challenge — 94,3 % (25‑shot).

Nemotron‑4 340B Instruct премина многоетапно изравняване: Code SFT → General SFT → DPO → RPO (3 кръга). Резултати: MT‑Bench — 8,22 (GPT‑4‑Turbo judge), MMLU — 78,7 % (0‑shot), GSM8K — 92,3 % (0‑shot), HumanEval — 73,2 % (0‑shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5 %.

Nemotron‑4 340B Reward заменя финалния слой softmax с линейна проекция на скритото състояние на последния слой в вектор от 5 атрибута на HelpSteer2. Крайното възнаграждение е претеглена сума от петте атрибута. Обучението е проведено за 2 епохи върху данните HelpSteer2 (batch size 128). На RewardBench моделът достигна 92,0 %, надминавайки GPT‑4o (84,7 %), Gemini 1.5 Pro (88,1 %) и Claude‑3‑Opus (80,7 %) към момента на публикуване.

Модел	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54,2	41,5 %	8,22
Llama‑3‑70B‑Instruct	41,1	34,4 %	8,16
Mixtral‑8x22B‑Instruct	36,4	30,9 %	7,63
Qwen‑2‑72B‑Instruct	48,1	38,8 %	8,26

Източник: arXiv:2406.11704, таблица 5.

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward е обучен с хибриден метод, обединяващ Bradley‑Terry (двойни предпочитания) и SteerLM‑регресия (многоатрибутна оценка по скалата на Ликерт). Обучението е проведено изключително върху данните HelpSteer2 (CC‑BY‑4.0). На RewardBench моделът достигна 94,1 %, заемайки 1‑во място към момента на публикуване.

Llama‑3.1‑Nemotron‑70B‑Instruct е изравнен с метода RLHF с алгоритъм REINFORCE (не PPO) и модел на възнаграждение Nemotron‑70B‑Reward. Инфраструктурата е NeMo‑Aligner с ускорение TRT‑LLM.

Llama‑Nemotron: Nano, Super, Ultra (2025)

Семейство от разсъждаващи модели, получени от Llama 3.x чрез NAS, дистилация и разширено постобучение.

Модел	Параметри	Базов модел	Контекст
Llama‑Nemotron‑Nano 8B	8 млрд	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 млрд	Minitron 4B (от Llama 3.1 8B)	128K
Llama‑Nemotron‑Super 49B	49 млрд	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 млрд	Llama‑3.1‑405B → NAS (Puzzle)	128K

Петстъпален конвейер за обучение: (1) NAS + FFN Fusion, (2) дистилация + продължено предобучение, (3) SFT (включително трасировки на разсъждения DeepSeek‑R1), (4) мащабно RL (GRPO за Ultra, REINFORCE/RLOO + Online RPO за Nano), (5) изравняване за диалог.

Моделите са сред първите отворени LLM, поддържащи превключваем режим на разсъждения (reasoning toggle): при включване („detailed thinking on" в системния prompt) моделът генерира верига от разсъждения в тагове <think>...</think> преди отговора; при изключване — отговаря директно.

Резултати на Llama‑Nemotron‑Ultra 253B (reasoning ON): GPQA Diamond — 76,0 %, AIME 2024 — 80,8 %, MATH 500 — ~97 %. За сравнение: DeepSeek‑R1 (671B общо / 37B активни) — GPQA Diamond 71,5 %, AIME 2024 ~79,8 %. Ultra се разполага на един възел 8×H100.

Nemotron‑H (април 2025)

Семейство от плътни хибридни модели, обучени от нулата и проектирани за задачи с дълги генерации. Nemotron‑H‑56B е обучен на 20 трлн токена в FP8 — един от най-мащабните публични експерименти с FP8‑предобучение. Nemotron‑H‑47B е получен чрез компресиране на 56B с метода MiniPuzzle (63 млрд токена дистилация) и се побира в паметта на единична RTX 5090 (FP4) при контекст ~1M токена.

Benchmark	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60,5	61,8	58,8	51,3
MMLU (5‑shot)	84,2	83,6	86,1	78,8
GSM8K (8‑shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0‑shot)	60,4	61,0	56,7	57,3

Източник: arXiv:2504.03624.

При генериране с 65 536 входни и 1024 изходни токена на H100 моделът Nemotron‑H‑47B работеше 2,9 пъти по-бързо от Qwen‑2.5‑72B и Llama‑3.1‑70B.

Nemotron Nano 2 (август 2025)

Хибриден Mamba‑Transformer модел за разсъждения. Nemotron‑Nano‑12B‑v2‑Base — родителският модел с 62 слоя (предимно Mamba‑2 + MLP + 4 слоя на внимание), обучен на 20 трлн токена в FP8 от нулата. От него чрез разширен Minitron е получена Nemotron‑Nano‑9B‑v2, способна да работи в контекст от 128K токена на единичен GPU NVIDIA A10G (22 ГБ, BF16). Постобучение: SFT (80 млрд токена, включително трасировки DeepSeek‑R1‑0528) → GRPO → DPO → RLHF. На benchmark-овете за разсъждения моделът е сравним с Qwen3‑8B по точност, но постига 3–6‑кратно ускорение на генерацията при дълги изходни последователности.

Nemotron 3 Nano 30B‑A3B

Публикуван през декември 2025 г. Параметри: 31,6 млрд общо, 3,2 млрд активни. Архитектура: 52 слоя, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128. MoE: 128 маршрутизирани експерта + 1 общ, 6 активни на токен. Контекст — до 1 048 576 токена. Обучение на 25 трлн токена (WSD‑разписание, batch size 3072, отсечване на данните — юни 2025) в две фази: Phase 1 — 23,5 трлн (разнообразни данни), Phase 2 — 1,5 трлн (висококачествени данни) + 121 млрд токена long‑context CPT.

Benchmark	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78,30	80,9	75,0
AIME25 (no tools)	89,06	85,0	91,7
AIME25 (with tools)	99,17	—	98,7
GPQA (no tools)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE‑Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena‑Hard‑V2 Avg	67,65	57,8	48,55
RULER‑100 @ 1M	86,34	77,5	—

* — стойности от вторични източници; условия за възпроизвеждане — NeMo Evaluator SDK. Източник: arXiv:2512.20848.

Пропускателна способност (8K вход / 16K изход, единичен H200): 3,3 пъти по-висока от Qwen3‑30B‑A3B‑Thinking и 2,2 пъти по-висока от GPT‑OSS‑20B.

Допълнителни модели и направления

• OpenReasoning‑Nemotron (юли 2025) — серия от модели с 1,5B–32B параметъра, базирани на Qwen 2.5 и дообучени върху данни от DeepSeek‑R1‑0528. Вариантът 32B с GenSelect@64 превъзхожда o3 (high) на редица математически benchmark-ове.
• Nemotron Elastic (arXiv:2511.16664) — рамка от вложени подмодели (6B, 9B, 12B) в рамките на един родителски модел, намаляваща разходите за обучение 360 пъти в сравнение с обучение от нулата.
• Nemotron‑CrossThink — рамка за многодоменно обучение с подкрепление извън математическите задачи, осигурила +30,1 % на MATH‑500 и +12,8 % на MMLU‑PRO.
• Nemotron‑UltraLong — разширение на контекста до 4 млн токена.
• Jet‑Nemotron — постобучителен NAS за компактни хибридни модели 2B/4B.

Специализирани модели

В екосистемата на Nemotron присъстват и модели за специализирани задачи:

• Nemotron Nano V2 VL — vision‑language модел за OCR, обработка на таблици и видео.
• Nemotron Parse 1.1 — модел за OCR и извличане на структурата на документи.
• Nemotron ColEmbed V2 — модел за embedding-и за визуално търсене в документи (late interaction).
• Nemotron Speech — модели за автоматично разпознаване на реч (ASR), синтез на реч (TTS) и машинен превод (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — модел за класификация на небезопасно съдържание по 23 категории на 9 езика с точност 84,2 %.

Данни за предварително обучение

Състав на данните за Nemotron‑4

Предобучителният корпус на Nemotron‑4 15B и 340B се състои от три основни категории: английски текстове (70 %), многоезични текстове на 53 езика (15 %) и изходен код на 43 езика за програмиране (15 %). Приложена е дедупликация на ниво документ (exact и near‑duplicate), както и филтриране с помощта на езикови модели и евристики. Моделът 15B е обучен на 8 трлн токена, моделът 340B — на 9 трлн (8 трлн предварително обучение + 1 трлн продължено обучение с претегляне на висококачествени източници).

Nemotron‑CC

Наборът от данни Nemotron‑CC е формиран от Common Crawl с използване на ансамбъл от класификатори за качество и синтетично перефразиране на текстове. Общият обем е 6,3 трлн токена (4,4 трлн дедупликирани + 1,9 трлн синтетични преформулировки). Конвейерът е интегриран в инструмента NeMo Curator. Трудът е приет като Long Paper на конференцията ACL 2025.

Nemotron‑CC‑Math

Математически ориентиран поднабор с обем 133 млрд токена, извлечен от Common Crawl с помощта на конвейера Lynx + LLM със запазване на структурата на математическите формули и кода в LaTeX.

Данни за Nemotron 3 Nano

Предобучението на Nemotron 3 Nano е извършено на 25 трлн токена. Наборът включва: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 и специализирани STEM‑набори от данни. За long‑context обучение са използвани допълнителни 121 млрд токена CPT.

Nemotron Pretraining Dataset v1

Синтетично генериран набор, обхващащ STEM, академични текстове, задачи за разсъждаване и многоезични домени; съдържа над 10 трлн езикови токена и 18 млн образеца за SFT. Всички набори от данни се разпространяват под отворени разрешителни лицензи.

Конвейер за синтетично генериране на данни (SDG)

Конвейерът, описан в доклада за Nemotron‑4 340B, включва следните етапи:

• Генериране на prompt-ове: синтетични едно‑ и двуоборотни заявки, генерирани с помощта на Mixtral‑8x7B‑Instruct‑v0.1 (лиценз Apache 2.0) по шаблони Open QA, Writing, Closed QA, Math & Coding.
• Генериране на отговори: множество отговори от междинни версии на моделите за осигуряване на разнообразие.
• Оценка на качеството: три подхода — Ground‑Truth‑as‑a‑Judge (за задачи с проверим отговор), LLM‑as‑Judge (сравнение на двойки отговори от езиков модел), Reward‑Model‑as‑Judge (използване на Nemotron‑4‑340B‑Reward).
• Итеративно изравняване от слаби към силни модели (weak‑to‑strong).

От ~20 000 анотирани от хора примера (10 000 за SFT, 10 000 HelpSteer2 за модела на възнаграждение) е синтезиран целият останал обем от данни за изравняване.

Квантизация и оптимизация на инференса

Моделите Nemotron 3 Nano поддържат Post‑Training Quantization (PTQ) в FP8 с използване на ModelOpt и Megatron‑LM. Прилага се selective quantization — слоевете attention и част от Mamba се запазват в BF16 за поддържане на качеството; останалите се квантизират в FP8. Според техническия доклад, това осигурява ~99 % запазване на точността. Nano поддържа и инференс в NVFP4.

Обобщаваща таблица с benchmark-ове по поколения

Модел	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	Условия
Nemotron‑4 15B	64,2 %	46,0 %	31,6 %	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81,1 %	—	57,3 %	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78,7 %	92,3 %	73,2 %	54,2	8,22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85,0	8,98	окт. 2024
LN‑Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0 %, AIME 80,8 %
Nemotron‑H‑47B	83,6 %	93,3 %	61,0 %	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1 %, LCB 68,3 %

Сравнението трябва да се интерпретира с внимание: условията за оценка, версиите на benchmark-овете и датите на провеждане на тестовете се различават между поколенията. Резултатите са взети от техническите доклади на NVIDIA; независимите оценки може да се различават (вж. раздел „Ограничения").

Приложение

Разгръщане чрез NVIDIA NIM

NVIDIA NIM — набор от оптимизирани контейнерни микросервиси за инференс с OpenAI‑съвместим API. Моделите Nemotron са достъпни като NIM‑микросервиси на платформата build.nvidia.com. NIM поддържа форматите FP8, BF16, NVFP4 и разгръщане чрез Helm‑чарти на Kubernetes. Моделите са съвместими и с независими рамки: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM.

Синтетично генериране на данни

Nemotron‑4 340B е проектиран за използване като генератор на синтетични данни: моделът Instruct генерира отговори, а моделът Reward ги оценява и филтрира. Лицензът NVIDIA Open Model License изрично разрешава използването на изходните данни на модела за обучение на други модели. Според данни на ServiceNow, 15 % от предобучителните данни на техния модел Apriel 1.6 са получени от набори с данни на Nemotron.

Агентни системи

Моделите от семейството Nemotron 3 (Nano, Super, Ultra) са предназначени за многоагентни натоварвания: планиране, retrieval, извикване на инструменти (tool use). Nemotron 3 Nano демонстрира резултат от 38,76 % на SWE‑Bench (с OpenHands) и 49,04 % (avg) на TauBench V2.

Корпоративни внедрявания

Сред заявените партньори: ServiceNow (съвместен модел Apriel Nemotron 15B за автоматизация на работни процеси), CrowdStrike (платформа Charlotte AI), Perplexity (маршрутизиране на заявки), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. Моделите са достъпни на AWS Amazon Bedrock; планирана е поддръжка за Google Cloud, CoreWeave, Nebius.

Ограничения и открити проблеми

Независими оценки и разминавания с данните на NVIDIA

Независимите оценки разкриват разминавания с резултатите, посочвани от NVIDIA. Според данни на Artificial Analysis (февруари 2026), Llama‑Nemotron‑Ultra 253B (reasoning) е получил оценка Intelligence Index 15 при медиана 26 за модели от сравним размер. На платформата Chatbot Arena (LMArena) моделите Nemotron заемат позиции в средата на класирането: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147‑а позиция), Nemotron 3 Nano — 1317 ±6 (~164‑а позиция).

Многословност

Моделите Nemotron демонстрират повишена многословност: при оценка от Artificial Analysis моделът Nemotron 3 Nano е генерирал 140 млн токена (при медиана 12 млн за другите модели), което увеличава разходите за инференс. Анализ на DEV Community установи, че Llama‑3.1‑Nemotron‑70B‑Instruct при формално лидерство на автоматичните benchmark-ове е демонстрирал недостатъчна точност в редица практически задачи, а високите оценки на Arena‑подобни benchmark-ове може да се обяснят с предпочитание към многословни и уверени, но не непременно точни отговори.

Халюцинации и пристрастия

NVIDIA в карточките на моделите посочва, че моделите могат „да усилват пристрастия и да генерират токсични отговори, особено при токсични prompt-ове", а също и „да произвеждат неточна информация, да пропускат ключови детайли". Откритостта на теглата и данните позволява външен одит.

Изчислителни изисквания

Плътните модели (Nemotron‑4 340B) изискват клъстер от 768 възела DGX H100 за пълно обучение, което ограничава възпроизводимостта за академични групи без достъп до подобна инфраструктура. Дългият контекст (1M) при инференс изисква значителен обем VRAM.

Деградация при разширяване на контекста

При разширяване на контекста до свръхдълги последователности е наблюдавана деградация на резултатите на benchmark-овете с кратък контекст.

Квантизация на хибридни архитектури

Използването на свръхниска разрядност (FP8/NVFP4) в архитектурите Mamba‑Transformer води до незначително намаляване на точността (~1 % на редица benchmark-ове). Този проблем се решава чрез прилагане на selective quantization, което усложнява архитектурата на компилаторите и инференс‑сървърите.

Други открити проблеми

• Зависимост от benchmark-ове с възможна контаминация на обучителните данни.
• Липса на стандартизирани протоколи за сравнение на хибридни SSM‑Transformer архитектури с чисти Transformer‑модели.
• Въпросът за мащабируемостта на MoE‑подхода при задачи, изискващи дълбоко разсъждаване с малък брой активни експерта на токен.
• Данните за Super/Ultra към декември 2025 г. са предварителни; пълните benchmark-ове се очакват след публикуването им.

Етични и регулаторни аспекти

Безопасност на етапа на разработка

На етапа на разработка се прилагат: оценка по рамката AEGIS (13 категории за безопасност на съдържанието), скенер за уязвимости garak, ръчно „червено тестване" (red‑teaming).

Безопасност на етапа на извод

NeMo Guardrails — отворен набор от инструменти (лиценз Apache 2.0), добавящ програмируеми бариери към LLM‑системи. Микросервисът прехваща входовете и изходите, прилагайки конфигурируеми проверки: контрол на темата, разкриване на PII, верификация на „заземяването" на RAG, разкриване на jailbreak‑атаки (включително защита от инжектиране на код на базата на YARA), многоезична многомодална класификация на безопасността.

За Nemotron 3 е публикуван набор от ~11 000 маркирани трасировки OpenTelemetry от реалистични сценарии с използване на инструменти, предназначени за оценка на агентната безопасност.

Лицензиране

Модели	Лиценз
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (наследен от Meta)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License разрешава търговско използване, създаване и разпространение на производни творби, не изисква атрибуция (при запазване на файла NOTICE), не налага ограничения върху броя на потребителите и изрично разрешава използването на изходните данни на модела за обучение на други модели. Моделите на базата на Llama наследяват ограниченията на Meta, включително прага от 700 млн месечно активни потребители.

За Nemotron 3 Nano NVIDIA е публикувала: теглата на модела, над 10 трлн токена от обучителни данни, рецепти за обучение, кодови бази (NeMo, Megatron‑LM, NeMo‑Aligner), над 10 среди за обучение с подкрепление с 900 000+ задачи.

Перспективи и изследователски направления

Най-близките релизи включват Nemotron 3 Super (~100 млрд параметъра, ~10 млрд активни) и Nemotron 3 Ultra (~500 млрд, ~50 млрд активни), очаквани в първата половина на 2026 г. И двата модела ще използват LatentMoE, MTP и обучение в NVFP4 на архитектурата Blackwell.

Стратегическото направление на NVIDIA е позиционирането на Nemotron не като единичен модел, а като инфраструктурен слой за многоагентни системи, в които различни модели от семейството се използват за различни задачи с маршрутизиране по сложност.

Основни изследователски направления:

• Развитие на хибридни архитектури — по-нататъшна интеграция на SSM‑слоеве с механизма на внимание за мащабируем дълъг контекст.
• Многостепенни методи за компресиране — развитие на Minitron, Puzzle, MiniPuzzle и Nemotron Elastic.
• Многодоменно обучение с подкрепление — Nemotron‑CrossThink за разширяване на RL извън математическите задачи.
• Разширяване на контекста — Nemotron‑UltraLong до 4 млн токена.
• Многомодалност — разширяване в областта на vision‑language (Nemotron VL), реч (Nemotron Speech), визуално търсене в документи (Nemotron ColEmbed V2).
• Компактни хибридни модели — Jet‑Nemotron (NAS за модели 2B/4B).
• Отворени рецепти — публикуване на пълни рецепти за обучение и данни за възпроизвеждане и персонализиране от общността.

Вижте също

• Архитектура Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (семейство модели на Meta)

Препратки

• NVIDIA Research — страница на Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — документация на Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Литература

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, февруари 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, юни 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, юни 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, юли 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, ноември 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, януари 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, април 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, май 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, август 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, август 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, ноември 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, декември 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, декември 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290