Nemotron (NVIDIA)

Nemotron — семейство больших языковых моделей (Large Language Model, LLM) с открытыми весами, разработанное подразделением Applied Deep Learning Research (ADLR) корпорации NVIDIA. Модели относятся к области машинного обучения и обработки естественного языка (Natural Language Processing, NLP) и предназначены для широкого круга задач: синтетической генерации данных, логического вывода (reasoning), агентных приложений (agentic AI) и развёртывания на промышленном оборудовании NVIDIA. Семейство объединяет модели различных архитектур и масштабов: от 4 млрд до ~500 млрд параметров, включая плотные (dense) decoder‑only Transformer‑модели серии Nemotron‑4 (2024), гибридные Mamba‑Transformer (Nemotron‑H, 2025) и гибридные Mamba‑Transformer с Mixture-of-Experts (MoE) в серии Nemotron 3 (2025). По состоянию на март 2026 года семейство насчитывает более 20 моделей, охватывающих задачи генерации текста, рассуждений, визуального понимания документов, извлечения информации и оценки качества ответов. Модели выпускаются преимущественно с открытыми весами под лицензиями NVIDIA Open Model License и Llama Community License.

История и предпосылки

Разработка семейства Nemotron ведётся в контексте стратегии NVIDIA по созданию полного стека инструментов для генеративного ИИ: от обучающей инфраструктуры (DGX, суперкомпьютеры на базе GPU H100/B200) до платформ обучения (NeMo Framework), выравнивания (NeMo‑Aligner), развёртывания (NIM — NVIDIA Inference Microservices) и обеспечения безопасности (NeMo Guardrails).

Nemotron‑3 8B (2023)

Первая публично доступная модель серии — декодерный Transformer с 8 млрд параметров и контекстом 4096 токенов, обученная на 3,8 трлн токенов на 53 естественных и 37 языках программирования. Обучение проведено на 1024 GPU A100 за 19 дней. Формального технического отчёта на arXiv опубликовано не было. Модель распространялась через NeMo Framework и Hugging Face, существовали варианты Chat (SFT и SteerLM). Лицензия — NVIDIA AI Foundation Models Community License.

Примечание о названиях: «Nemotron‑3» 2023 года и «Nemotron 3» декабря 2025 года — разные модели. Первая была ранним прототипом, вторая — актуальное поколение с архитектурой MoE.

Nemotron‑4 15B (февраль 2024)

Первый публично задокументированный выпуск серии Nemotron‑4 — модель с 15 миллиардами параметров, обученная на 8 триллионах токенов за ~13 календарных дней на 384 узлах DGX H100 (до 3072 GPU). Использовался 8‑кратный тензорный параллелизм и параллелизм по данным от 96 до 288. Пиковая MFU (Model FLOPs Utilization) составила 34,3 % при batch size 384. Архитектура — decoder‑only Transformer с Grouped‑Query Attention (GQA) и Rotary Position Embeddings (RoPE). По результатам бенчмарков на момент публикации модель превосходила все сопоставимые по размеру открытые модели в многоязычных задачах, включая ряд моделей, превышающих её по размеру в четыре раза.

Nemotron‑4 340B (июнь 2024)

В июне 2024 года выпущена наиболее крупная модель серии Nemotron‑4 — 340 миллиардов параметров (331,6 млрд не‑эмбеддинговых), предобученная на 9 триллионах токенов (8 трлн предобучение + 1 трлн продолженное обучение с перевзвешиванием высококачественных источников). Обучение проводилось на 768 узлах DGX H100 (до 6144 GPU) с пиковой MFU 42,4 %, с декабря 2023 по май 2024 года. Семейство включает три варианта: Base, Instruct и Reward. Размер модели выбран таким образом, чтобы она помещалась на одном узле DGX H100 (8 GPU) при развёртывании в формате точности FP8. Более 98 % данных, использованных при выравнивании (alignment), сгенерированы синтетически самими моделями серии в итеративном процессе; пайплайн синтетической генерации данных открыт для воспроизведения.

Llama‑3.1‑Nemotron‑70B (октябрь 2024)

В октябре 2024 года выпущены модели, дообученные из Meta Llama‑3.1‑70B‑Instruct: Llama‑3.1‑Nemotron‑70B‑Instruct и Llama‑3.1‑Nemotron‑70B‑Reward. По состоянию на 1 октября 2024 года модель Instruct занимала 1‑е место одновременно на трёх автоматических бенчмарках: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 %, MT‑Bench (GPT‑4‑Turbo) — 8,98. Reward‑модель достигла 94,1 % на RewardBench.

Переход к гибридным архитектурам (2025)

В 2025 году серия расширилась гибридными архитектурами, сочетающими слои Mamba‑2 (State Space Model, SSM — модель пространства состояний) и Transformer. В марте–мае 2025 года выпущено семейство рассуждающих моделей Llama‑Nemotron (Nano 8B, Super 49B, Ultra 253B) с переключаемым режимом рассуждений. В апреле 2025 года опубликован Nemotron‑H (arXiv:2504.03624) — семейство гибридных Mamba‑Transformer моделей размером 8B, 56B и 47B параметров. В августе 2025 года представлен Nemotron Nano 2 (9B‑v2, arXiv:2508.14444).

Nemotron 3 (декабрь 2025)

15 декабря 2025 года анонсировано третье поколение — семейство Nemotron 3 с моделями Nano, Super и Ultra, объединяющее архитектуры Mamba‑2, Transformer и MoE с контекстным окном до 1 млн токенов. Nano выпущена с техническим отчётом; Super и Ultra запланированы на первую половину 2026 года.

Теоретические основы

Архитектура Transformer в Nemotron‑4

Модели серии Nemotron‑4 построены на стандартной архитектуре декодерного Transformer с каузальным вниманием. Вероятность последовательности токенов $x_1,x_2,\dots ,x_T$ факторизуется как:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

где $\theta$ — параметры модели.

Механизм внимания реализован в варианте Grouped‑Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

где $Q,K,V$ — матрицы запросов, ключей и значений; $d_k$ — размерность головы внимания.

Для кодирования позиций применяются Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

где $x_m$ — вектор в позиции $m$, ${\theta }_i=10000^{-2i/d}$, $d$ — размерность вектора.

В MLP‑слоях используется активация Squared ReLU: $f(x)=(max(0,x){)}^2$, обеспечивающая разреженность активаций. Модели не содержат смещений (bias), не используют dropout, а матрицы вложений входа и выхода не связаны между собой (untied embeddings). Токенизатор — SentencePiece BPE с сохранением пробелов, посимвольной разбивкой цифр и побайтовым fallback, размер словаря — 256 000.

Архитектурные параметры Nemotron‑4

Параметр	Nemotron‑4 15B	Nemotron‑4 340B
Число параметров	15 млрд (3,2 млрд embed.)	340 млрд (9,4 млрд embed.)
Число слоёв	32	96
Скрытая размерность	6144	18 432
Головы внимания	48	96
KV‑головы (GQA)	8	8
Длина контекста	4096	4096
Размер словаря	256 000	256 000

Источники: arXiv:2402.16819, arXiv:2406.11704.

Гибридная архитектура Mamba‑Transformer (Nemotron‑H)

В моделях Nemotron‑H стандартные блоки самовнимания частично заменены блоками Mamba‑2 — моделями пространства состояний (State Space Models, SSM). При авторегрессивной генерации каждый слой самовнимания требует $O(n)$ операций и памяти на шаг (из‑за KV‑кэша), тогда как Mamba‑слои обеспечивают постоянные затраты памяти и вычислений на каждый генерируемый токен.

Mamba‑2 описывается рекуррентным соотношением:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

где $h_t\in {ℝ}^N$ — скрытое состояние, $A\in {ℝ}^{N\times N}$ — диагональная матрица перехода состояний, $B\in {ℝ}^{N\times 1}$ и $C\in {ℝ}^{1\times N}$ — матрицы проекции, $x_t$ — входной токен, $y_t$ — выходной сигнал. В Mamba‑2 матрицы $A$, $B$, $C$ зависят от входа (input‑dependent), что отличает модель от классических линейных SSM.

В Nemotron‑H‑56B используются 54 слоя Mamba‑2 + 54 MLP‑слоя + 10 слоёв самовнимания, причём слои внимания размещены равномерно среди Mamba‑слоёв. Модель обучена на 20 трлн токенов в формате FP8 (per‑tensor scaling) на 6144 GPU H100. Версия Nemotron‑H‑8B содержит 24 слоя Mamba‑2, 24 MLP‑слоя и 4 слоя самовнимания; обучение проведено на 15 трлн токенов.

MoE‑архитектура Nemotron 3

Модели Nemotron 3 (декабрь 2025) объединяют три архитектурных компонента: Mamba‑2, Transformer и Mixture‑of‑Experts. Nemotron 3 Nano (30B‑A3B) содержит 52 слоя: 23 слоя Mamba‑2 + MoE, 23 слоя MoE и 6 слоёв GQA‑внимания. Каждый MoE‑слой включает 128 маршрутизируемых (routed) экспертов + 1 общий (shared) эксперт, из которых 6 экспертов активируются на каждый токен. Маршрутизация выполняется обучаемым MLP‑роутером с sigmoid gating. Балансировка нагрузки реализована без вспомогательной функции потерь (aux‑loss‑free). Общее число параметров составляет 31,6 млрд, но активных на каждый токен — лишь 3,2 млрд.

Нормализация — RMSNorm. Позиционные эмбеддинги в Mamba‑частях отсутствуют (позиционная информация имплицитна в состоянии SSM). Используются несвязанные эмбеддинги, отсутствие dropout и bias в линейных слоях.

Расширения в Super/Ultra: LatentMoE и Multi‑Token Prediction

Модели Super и Ultra из семейства Nemotron 3 применяют две дополнительные архитектурные инновации:

• Latent MoE (LatentMoE) — проекция входного представления в латентное пространство меньшей размерности перед маршрутизацией, что позволяет увеличить число экспертов при сопоставимых вычислительных затратах и повысить точность без снижения пропускной способности.
• Multi‑Token Prediction (MTP) — предсказание нескольких следующих токенов одновременно, используемое для улучшения качества длинных текстов и спекулятивного декодирования при инференсе.

Обучение Super и Ultra ведётся в формате NVFP4 — 4‑битном числовом формате NVIDIA на архитектуре Blackwell.

Методы сжатия моделей: Minitron, Puzzle, MiniPuzzle

Для создания компактных моделей NVIDIA применяет несколько подходов:

• Minitron — метод структурированного прореживания (pruning) и дистилляции знаний (knowledge distillation). Исследуются два вида прунинга: по глубине (удаление слоёв) и по ширине (совместное уменьшение размерностей скрытых слоёв, голов внимания и MLP‑проекций). Применение Minitron к Nemotron‑4 15B позволяет получить модели 8B и 4B с сокращением затрат на обучение до 40 раз по сравнению с обучением с нуля.
• Puzzle — алгоритм Neural Architecture Search (NAS), который подбирает оптимальную конфигурацию каждого блока (число KV‑голов, размер FFN, наличие/отсутствие внимания) с поблочной дистилляцией. Именно так Llama 3.1 405B был сжат до 253B (Llama‑Nemotron Ultra), а Llama 3.3 70B — до 49B (Llama‑Nemotron Super).
• MiniPuzzle — расширение Puzzle для гибридных архитектур, сжавшее Nemotron‑H‑56B до 47B с затратой лишь 63 млрд токенов дистилляции. При схожей точности сжатая модель выводит на 20 % быстрее.

Методы выравнивания

HelpSteer и HelpSteer2

HelpSteer — набор из 37 120 примеров (лицензия CC‑BY‑4.0), созданный совместно со Scale AI, в котором каждый ответ аннотирован по пяти атрибутам: полезность (helpfulness), корректность (correctness), связность (coherence), сложность (complexity) и многословность (verbosity) по шкале Ликерта 0–4.

HelpSteer2 — обновлённый набор из 21 362 примеров (10 681 промпт × 2 ответа), где более 95 % промптов взяты из ShareGPT (реальные пользовательские запросы). Около 50 % аннотаций были отфильтрованы как недостаточно качественные. Расширение HelpSteer2‑Preference добавляет парные предпочтения аннотаторов, позволяя обучать как регрессионные, так и попарные модели вознаграждения на одних и тех же данных.

SteerLM

SteerLM — метод SFT (Supervised Fine‑Tuning — обучение с учителем) с обусловливанием на атрибуты (helpfulness, correctness, coherence, complexity, verbosity), позволяющий пользователю управлять стилем ответа при инференсе. Конвейер включает: (1) обучение модели предсказания атрибутов (APM) на HelpSteer, (2) разметку данных с помощью APM, (3) SFT с обусловливанием на целевые значения атрибутов, (4) бутстрэппинг.

DPO и RPO

DPO (Direct Preference Optimization) — метод прямой оптимизации предпочтений без явной модели вознаграждения, используемый в конвейерах Nemotron‑4 340B Instruct и Nemotron Nano 2.

RPO (Reward‑aware Preference Optimization) — унифицированный математический фреймворк NVIDIA, обобщающий DPO, IPO, SimPO, REINFORCE и SteerLM 2.0 как частные случаи. RPO минимизирует расстояние между предсказаниями неявной модели вознаграждения и целевой явной модели:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

где $r_{\varphi }$ — явная модель вознаграждения, ${\pi }_{\theta }$ — обучаемая политика, ${\pi }_{\text{ref}}$ — референсная политика, $d(\cdot ,\cdot )$ — функция расстояния, $y_w$/$y_l$ — предпочтённый/отвергнутый ответ. RPO применяется при обучении Nemotron‑4 340B Instruct и моделей Llama‑Nemotron.

Мультисредовое обучение с подкреплением (RLVR)

В Nemotron 3 применяется Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) — одновременное обучение на нескольких средах в рамках NeMo Gym: соревновательная математика, программирование, QA, tool‑use, instruction‑following, long‑context. Алгоритм — GRPO (Group Relative Policy Optimization) с masked importance sampling.

Nemotron 3 поддерживает гранулярное управление бюджетом рассуждения (reasoning budget control): пользователь может задать лимит токенов для thinking trace через флаг в chat template (переключение «detailed thinking on/off» или ограничение длины).

Линейка моделей

Сводная таблица

Модель	Год	Всего / Активных параметров	Контекст	Архитектура	Ключевые особенности
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3,8T токенов; 1024 GPU A100; 19 дней
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8T токенов; MFU 34,3 %
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9T токенов; Base/Instruct/Reward; >98 % синт. данных alignment
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1 %
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	NAS‑сжатие из Llama 3.1 8B
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Из Llama 3.3 70B
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Из Llama 3.1 405B; GPQA 76,0 %
Nemotron‑H 8B	2025	8B / 8B	—	Гибрид Mamba‑Transformer	15T токенов; 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	Гибрид Mamba‑Transformer	20T токенов FP8; 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	Гибрид Mamba‑Transformer	MiniPuzzle из 56B; +20 % скорость
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Гибрид Mamba‑Transformer	20T токенов; Minitron‑дистилляция
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Гибрид Mamba‑Transformer MoE	25T токенов; 128 экспертов, 6 активных
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Гибрид LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Гибрид LatentMoE	MTP; NVFP4

Nemotron‑4 15B

Архитектура: 32 слоя, hidden dimension 6144, 48 голов внимания, 8 KV‑голов (GQA). Общее число параметров — 15 млрд (3,2 млрд embedding + 12,5 млрд non‑embedding). Результаты: MMLU — 64,2 % (5‑shot), BBH — 58,7 % (3‑shot), GSM8K — 46,0 % (8‑shot, maj@1), HumanEval — 31,6 % (0‑shot, pass@1). На мультиязычных бенчмарках (XCOPA, TyDiQA‑GoldP, MGSM) модель превосходила модели в 4 раза крупнее.

Nemotron‑4 340B

Архитектура: 96 слоёв, hidden dimension 18 432, 96 голов внимания, 8 KV‑голов.

Nemotron‑4 340B Base показала: MMLU — 81,1 % (5‑shot), BBH — 85,4 % (3‑shot), HumanEval — 57,3 % (0‑shot), ARC‑Challenge — 94,3 % (25‑shot).

Nemotron‑4 340B Instruct прошла многоэтапное выравнивание: Code SFT → General SFT → DPO → RPO (3 раунда). Результаты: MT‑Bench — 8,22 (GPT‑4‑Turbo judge), MMLU — 78,7 % (0‑shot), GSM8K — 92,3 % (0‑shot), HumanEval — 73,2 % (0‑shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5 %.

Nemotron‑4 340B Reward заменяет финальный слой softmax на линейную проекцию скрытого состояния последнего слоя в вектор из 5 атрибутов HelpSteer2. Итоговое вознаграждение — взвешенная сумма пяти атрибутов. Обучение проведено за 2 эпохи на данных HelpSteer2 (batch size 128). На RewardBench модель достигла 92,0 %, превзойдя GPT‑4o (84,7 %), Gemini 1.5 Pro (88,1 %) и Claude‑3‑Opus (80,7 %) на момент публикации.

Модель	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54,2	41,5 %	8,22
Llama‑3‑70B‑Instruct	41,1	34,4 %	8,16
Mixtral‑8x22B‑Instruct	36,4	30,9 %	7,63
Qwen‑2‑72B‑Instruct	48,1	38,8 %	8,26

Источник: arXiv:2406.11704, таблица 5.

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward обучена гибридным методом, объединяющим Bradley‑Terry (попарные предпочтения) и SteerLM‑регрессию (многоатрибутная оценка по шкале Ликерта). Обучение проведено исключительно на данных HelpSteer2 (CC‑BY‑4.0). На RewardBench модель достигла 94,1 %, заняв 1‑е место на момент публикации.

Llama‑3.1‑Nemotron‑70B‑Instruct выравнена методом RLHF с алгоритмом REINFORCE (не PPO) и моделью вознаграждения Nemotron‑70B‑Reward. Инфраструктура — NeMo‑Aligner с ускорением TRT‑LLM.

Llama‑Nemotron: Nano, Super, Ultra (2025)

Семейство рассуждающих моделей, полученных из Llama 3.x методами NAS, дистилляции и расширенного постобучения.

Модель	Параметры	Базовая модель	Контекст
Llama‑Nemotron‑Nano 8B	8 млрд	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 млрд	Minitron 4B (из Llama 3.1 8B)	128K
Llama‑Nemotron‑Super 49B	49 млрд	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 млрд	Llama‑3.1‑405B → NAS (Puzzle)	128K

Пятиэтапный конвейер обучения: (1) NAS + FFN Fusion, (2) дистилляция + продолженное предобучение, (3) SFT (включая трассы рассуждений DeepSeek‑R1), (4) масштабное RL (GRPO для Ultra, REINFORCE/RLOO + Online RPO для Nano), (5) выравнивание для диалога.

Модели первыми среди открытых LLM поддерживают переключаемый режим рассуждений (reasoning toggle): при включении («detailed thinking on» в системном промпте) модель генерирует цепочку рассуждений в тегах <think>...</think> перед ответом; при выключении — отвечает напрямую.

Результаты Llama‑Nemotron‑Ultra 253B (reasoning ON): GPQA Diamond — 76,0 %, AIME 2024 — 80,8 %, MATH 500 — ~97 %. Для сравнения: DeepSeek‑R1 (671B total / 37B active) — GPQA Diamond 71,5 %, AIME 2024 ~79,8 %. Ultra размещается на одном узле 8×H100.

Nemotron‑H (апрель 2025)

Семейство плотных гибридных моделей, обученных с нуля и спроектированных для задач с длинными генерациями. Nemotron‑H‑56B обучен на 20 трлн токенов в FP8 — один из крупнейших публичных экспериментов по FP8‑предобучению. Nemotron‑H‑47B получен сжатием 56B методом MiniPuzzle (63 млрд токенов дистилляции) и помещается в память одной RTX 5090 (FP4) при контексте ~1M токенов.

Бенчмарк	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60,5	61,8	58,8	51,3
MMLU (5‑shot)	84,2	83,6	86,1	78,8
GSM8K (8‑shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0‑shot)	60,4	61,0	56,7	57,3

Источник: arXiv:2504.03624.

При генерации с 65 536 входными и 1024 выходными токенами на H100 модель Nemotron‑H‑47B работала в 2,9 раза быстрее, чем Qwen‑2.5‑72B и Llama‑3.1‑70B.

Nemotron Nano 2 (август 2025)

Гибридная Mamba‑Transformer модель для рассуждений. Nemotron‑Nano‑12B‑v2‑Base — родительская модель с 62 слоями (преимущественно Mamba‑2 + MLP + 4 слоя внимания), обученная на 20 трлн токенов в FP8 с нуля. Из неё методом расширенного Minitron получена Nemotron‑Nano‑9B‑v2, способная работать в контексте 128K токенов на одном GPU NVIDIA A10G (22 ГБ, BF16). Постобучение: SFT (80 млрд токенов, включая трассы DeepSeek‑R1‑0528) → GRPO → DPO → RLHF. На бенчмарках рассуждений модель сопоставима с Qwen3‑8B по точности, но достигает 3–6‑кратного ускорения генерации при длинных выходных последовательностях.

Nemotron 3 Nano 30B‑A3B

Выпущена в декабре 2025 года. Параметры: 31,6 млрд всего, 3,2 млрд активных. Архитектура: 52 слоя, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128. MoE: 128 маршрутизируемых экспертов + 1 общий, 6 активных на токен. Контекст — до 1 048 576 токенов. Обучение на 25 трлн токенов (WSD‑расписание, batch size 3072, cutoff данных — июнь 2025) в две фазы: Phase 1 — 23,5 трлн (разнообразные данные), Phase 2 — 1,5 трлн (высококачественные данные) + 121 млрд токенов long‑context CPT.

Бенчмарк	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78,30	80,9	75,0
AIME25 (no tools)	89,06	85,0	91,7
AIME25 (with tools)	99,17	—	98,7
GPQA (no tools)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE‑Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena‑Hard‑V2 Avg	67,65	57,8	48,55
RULER‑100 @ 1M	86,34	77,5	—

* — значения из вторичных источников; условия воспроизведения — NeMo Evaluator SDK. Источник: arXiv:2512.20848.

Пропускная способность (8K вход / 16K выход, single H200): в 3,3 раза выше Qwen3‑30B‑A3B‑Thinking и в 2,2 раза выше GPT‑OSS‑20B.

Дополнительные модели и направления

• OpenReasoning‑Nemotron (июль 2025) — серия моделей 1,5B–32B параметров, основанных на Qwen 2.5 и дообученных на данных DeepSeek‑R1‑0528. Вариант 32B с GenSelect@64 превосходит o3 (high) на ряде математических бенчмарков.
• Nemotron Elastic (arXiv:2511.16664) — фреймворк вложенных подмоделей (6B, 9B, 12B) в рамках одной родительской модели, снижающий стоимость обучения в 360 раз по сравнению с обучением с нуля.
• Nemotron‑CrossThink — фреймворк мультидоменного обучения с подкреплением за пределами математических задач, обеспечивший +30,1 % на MATH‑500 и +12,8 % на MMLU‑PRO.
• Nemotron‑UltraLong — расширение контекста до 4 млн токенов.
• Jet‑Nemotron — постобучающий NAS для компактных гибридных моделей 2B/4B.

Специализированные модели

В экосистеме Nemotron также присутствуют модели для специализированных задач:

• Nemotron Nano V2 VL — vision‑language модель для OCR, обработки таблиц и видео.
• Nemotron Parse 1.1 — модель для OCR и извлечения структуры документов.
• Nemotron ColEmbed V2 — модель эмбеддингов для визуального поиска документов (late interaction).
• Nemotron Speech — модели для автоматического распознавания речи (ASR), синтеза речи (TTS) и машинного перевода (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — модель классификации небезопасного контента по 23 категориям на 9 языках с точностью 84,2 %.

Данные для предобучения

Состав данных Nemotron‑4

Предобучающий корпус Nemotron‑4 15B и 340B состоит из трёх основных категорий: английские тексты (70 %), многоязычные тексты на 53 языках (15 %) и исходный код на 43 языках программирования (15 %). Применялась дедупликация на уровне документов (exact и near‑duplicate), а также фильтрация с помощью языковых моделей и эвристик. Модель 15B обучена на 8 трлн токенов, модель 340B — на 9 трлн (8 трлн предобучение + 1 трлн продолженное обучение с перевзвешиванием высококачественных источников).

Nemotron‑CC

Набор данных Nemotron‑CC сформирован из Common Crawl с использованием ансамбля классификаторов качества и синтетического перефразирования текстов. Общий объём — 6,3 трлн токенов (4,4 трлн дедуплицированных + 1,9 трлн синтетических переформулировок). Пайплайн интегрирован в инструмент NeMo Curator. Работа принята как Long Paper на конференции ACL 2025.

Nemotron‑CC‑Math

Математически‑ориентированный поднабор объёмом 133 млрд токенов, извлечённый из Common Crawl с помощью пайплайна Lynx + LLM с сохранением структуры математических формул и кода в LaTeX.

Данные Nemotron 3 Nano

Предобучение Nemotron 3 Nano выполнено на 25 трлн токенов. Набор включает: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 и специализированные STEM‑датасеты. Для long‑context обучения использованы дополнительные 121 млрд токенов CPT.

Nemotron Pretraining Dataset v1

Синтетически сгенерированный набор, охватывающий STEM, академические тексты, задачи рассуждения и многоязычные домены; содержит более 10 трлн языковых токенов и 18 млн образцов для SFT. Все наборы данных распространяются по открытым разрешительным лицензиям.

Конвейер синтетической генерации данных (SDG)

Конвейер, описанный в отчёте о Nemotron‑4 340B, включает следующие этапы:

• Генерация промптов: синтетические одно‑ и двухоборотные запросы, сгенерированные при помощи Mixtral‑8x7B‑Instruct‑v0.1 (лицензия Apache 2.0) по шаблонам Open QA, Writing, Closed QA, Math & Coding.
• Генерация ответов: множественные ответы от промежуточных версий моделей для обеспечения разнообразия.
• Оценка качества: три подхода — Ground‑Truth‑as‑a‑Judge (для задач с проверяемым ответом), LLM‑as‑Judge (сравнение пар ответов языковой моделью), Reward‑Model‑as‑Judge (использование Nemotron‑4‑340B‑Reward).
• Итеративное выравнивание от слабых к сильным моделям (weak‑to‑strong).

Из ~20 000 аннотированных человеком примеров (10 000 для SFT, 10 000 HelpSteer2 для модели вознаграждения) был синтезирован весь остальной объём данных выравнивания.

Квантизация и оптимизация инференса

Модели Nemotron 3 Nano поддерживают Post‑Training Quantization (PTQ) в FP8 с использованием ModelOpt и Megatron‑LM. Применяется selective quantization — слои attention и часть Mamba сохраняются в BF16 для сохранения качества; остальные квантизуются в FP8. Согласно техническому отчёту, это обеспечивает ~99 % retention точности. Nano также поддерживает инференс в формате NVFP4.

Сводная таблица бенчмарков по поколениям

Модель	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	Условия
Nemotron‑4 15B	64,2 %	46,0 %	31,6 %	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81,1 %	—	57,3 %	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78,7 %	92,3 %	73,2 %	54,2	8,22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85,0	8,98	окт. 2024
LN‑Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0 %, AIME 80,8 %
Nemotron‑H‑47B	83,6 %	93,3 %	61,0 %	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1 %, LCB 68,3 %

Сравнение следует интерпретировать с осторожностью: условия оценки, версии бенчмарков и даты проведения тестов различаются между поколениями. Результаты взяты из технических отчётов NVIDIA; независимые оценки могут отличаться (см. раздел «Ограничения»).

Применение

Развёртывание через NVIDIA NIM

NVIDIA NIM — набор оптимизированных контейнерных микросервисов для инференса с OpenAI‑совместимым API. Модели Nemotron доступны как NIM‑микросервисы на платформе build.nvidia.com. NIM поддерживает форматы FP8, BF16, NVFP4 и развёртывание через Helm‑чарты на Kubernetes. Модели также совместимы с независимыми фреймворками: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM.

Синтетическая генерация данных

Nemotron‑4 340B спроектирован для использования в качестве генератора синтетических данных: модель Instruct генерирует ответы, модель Reward оценивает и фильтрует их. Лицензия NVIDIA Open Model License явно разрешает использование выходов модели для обучения других моделей. По данным ServiceNow, 15 % предобучающих данных их модели Apriel 1.6 получены из наборов данных Nemotron.

Агентные системы

Модели семейства Nemotron 3 (Nano, Super, Ultra) предназначены для многоагентных рабочих нагрузок: планирование, retrieval, вызов инструментов (tool use). Nemotron 3 Nano демонстрирует результат 38,76 % на SWE‑Bench (с OpenHands) и 49,04 % (avg) на TauBench V2.

Корпоративные внедрения

Среди заявленных партнёров: ServiceNow (совместная модель Apriel Nemotron 15B для автоматизации рабочих процессов), CrowdStrike (платформа Charlotte AI), Perplexity (маршрутизация запросов), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. Модели доступны на AWS Amazon Bedrock; планируется поддержка Google Cloud, CoreWeave, Nebius.

Ограничения и открытые проблемы

Независимые оценки и расхождения с данными NVIDIA

Независимые оценки выявляют расхождения с результатами, приводимыми NVIDIA. По данным Artificial Analysis (февраль 2026), Llama‑Nemotron‑Ultra 253B (reasoning) получила оценку Intelligence Index 15 при медиане 26 для моделей сопоставимого размера. На платформе Chatbot Arena (LMArena) модели Nemotron занимают позиции в середине рейтинга: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147‑я позиция), Nemotron 3 Nano — 1317 ±6 (~164‑я позиция).

Многословность

Модели Nemotron демонстрируют повышенную многословность: при оценке Artificial Analysis модель Nemotron 3 Nano сгенерировала 140 млн токенов (при медиане 12 млн для других моделей), что увеличивает стоимость инференса. Анализ DEV Community выявил, что Llama‑3.1‑Nemotron‑70B‑Instruct при формальном лидерстве на автоматических бенчмарках демонстрировала недостаточную точность в ряде практических задач, а высокие оценки на Arena‑подобных бенчмарках могли объясняться предпочтением многословных и уверенных, но не обязательно точных ответов.

Галлюцинации и bias

NVIDIA в модельных карточках указывает, что модели могут «усиливать предвзятости и генерировать токсичные ответы, особенно при токсичных промптах», а также «производить неточную информацию, опускать ключевые детали». Открытость весов и данных позволяет внешний аудит.

Вычислительные требования

Плотные модели (Nemotron‑4 340B) требуют кластера из 768 узлов DGX H100 для полного обучения, что ограничивает воспроизводимость для академических групп без доступа к аналогичной инфраструктуре. Длинный контекст (1M) при инференсе требует значительного объёма VRAM.

Деградация при расширении контекста

При расширении контекста до сверхдлинных последовательностей наблюдалась деградация результатов на бенчмарках с коротким контекстом.

Квантизация гибридных архитектур

Использование сверхнизкой разрядности (FP8/NVFP4) в архитектурах Mamba‑Transformer приводит к небольшому падению точности (~1 % на ряде бенчмарков). Данная проблема решается применением selective quantization, что усложняет архитектуру компиляторов и инференс‑серверов.

Прочие открытые проблемы

• Зависимость от бенчмарков с возможной контаминацией обучающих данных.
• Отсутствие стандартизированных протоколов сравнения гибридных SSM‑Transformer архитектур с чистыми Transformer‑моделями.
• Вопрос масштабируемости MoE‑подхода на задачах, требующих глубокого рассуждения с малым числом экспертов на токен.
• Данные о Super/Ultra на момент декабря 2025 года предварительны; полные бенчмарки ожидаются после релиза.

Этические и регуляторные аспекты

Безопасность на этапе разработки

На этапе разработки применяются: оценка по фреймворку AEGIS (13 категорий контентной безопасности), сканер уязвимостей garak, ручное «красное тестирование» (red‑teaming).

Безопасность на этапе вывода

NeMo Guardrails — открытый инструментарий (лицензия Apache 2.0), добавляющий программируемые барьеры к LLM‑системам. Микросервис перехватывает входы и выходы, применяя конфигурируемые проверки: контроль темы, обнаружение PII, верификация «заземления» RAG, обнаружение jailbreak‑атак (включая защиту от инъекций кода на основе YARA), мультиязычную мультимодальную классификацию безопасности.

Для Nemotron 3 опубликован набор из ~11 000 размеченных трасс OpenTelemetry из реалистичных сценариев с использованием инструментов, предназначенных для оценки агентной безопасности.

Лицензирование

Модели	Лицензия
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (наследуется от Meta)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License разрешает коммерческое использование, создание и распространение производных работ, не требует атрибуции (при сохранении файла NOTICE), не предъявляет ограничений на число пользователей и явно разрешает использование выходов модели для обучения других моделей. Модели на базе Llama наследуют ограничения Meta, включая порог в 700 млн ежемесячных активных пользователей.

Для Nemotron 3 Nano NVIDIA опубликовала: веса модели, более 10 трлн токенов обучающих данных, рецепты обучения, кодовые базы (NeMo, Megatron‑LM, NeMo‑Aligner), более 10 сред обучения с подкреплением с 900 000+ задач.

Перспективы и направления исследований

Ближайшие релизы включают Nemotron 3 Super (~100 млрд параметров, ~10 млрд активных) и Nemotron 3 Ultra (~500 млрд, ~50 млрд активных), ожидаемые в первой половине 2026 года. Обе модели будут использовать LatentMoE, MTP и обучение в формате NVFP4 на архитектуре Blackwell.

Стратегическое направление NVIDIA — позиционирование Nemotron не как единичной модели, а как инфраструктурного слоя для мультиагентных систем, где различные модели семейства используются для разных задач с маршрутизацией по сложности.

Основные исследовательские направления:

• Развитие гибридных архитектур — дальнейшая интеграция SSM‑слоёв с механизмом внимания для масштабируемого длинного контекста.
• Многоуровневые методы сжатия — развитие Minitron, Puzzle, MiniPuzzle и Nemotron Elastic.
• Мультидоменное обучение с подкреплением — Nemotron‑CrossThink для расширения RL за пределы математических задач.
• Расширение контекста — Nemotron‑UltraLong до 4 млн токенов.
• Мультимодальность — расширение в область vision‑language (Nemotron VL), речи (Nemotron Speech), визуального поиска документов (Nemotron ColEmbed V2).
• Компактные гибридные модели — Jet‑Nemotron (NAS для моделей 2B/4B).
• Открытые рецепты — публикация полных рецептов обучения и данных для воспроизведения и кастомизации сообществом.

См. также

• Архитектура Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (семейство моделей Meta)

Ссылки

• NVIDIA Research — страница Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — документация Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Литература

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, февраль 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, июнь 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, июнь 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, июль 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, ноябрь 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, январь 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, апрель 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, май 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, август 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, август 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, ноябрь 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, декабрь 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, декабрь 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290