Nemotron (NVIDIA) (VI)

Nemotron — họ mô hình ngôn ngữ lớn (Large Language Model, LLM) với trọng số mở, được phát triển bởi bộ phận Applied Deep Learning Research (ADLR) của tập đoàn NVIDIA. Các mô hình thuộc lĩnh vực Machine Learning và Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing, NLP), được thiết kế cho nhiều loại tác vụ: tổng hợp dữ liệu, suy luận (reasoning), ứng dụng tác nhân (agentic AI) và triển khai trên phần cứng công nghiệp của NVIDIA. Họ mô hình bao gồm các kiến trúc và quy mô khác nhau: từ 4 tỷ đến khoảng 500 tỷ tham số, bao gồm các mô hình Transformer decoder-only dày đặc (dense) thuộc dòng Nemotron‑4 (2024), mô hình lai Mamba‑Transformer (Nemotron‑H, 2025) và mô hình lai Mamba‑Transformer với Mixture-of-Experts (MoE) trong dòng Nemotron 3 (2025). Tính đến tháng 3 năm 2026, họ mô hình có hơn 20 mô hình, bao gồm các tác vụ tạo văn bản, lập luận, hiểu tài liệu trực quan, trích xuất thông tin và đánh giá chất lượng câu trả lời. Các mô hình được phát hành chủ yếu với trọng số mở theo giấy phép NVIDIA Open Model License và Llama Community License.

Lịch sử và bối cảnh

Việc phát triển họ Nemotron diễn ra trong khuôn khổ chiến lược của NVIDIA nhằm tạo ra một bộ công cụ toàn diện cho AI tổng quát: từ hạ tầng huấn luyện (DGX, siêu máy tính dựa trên GPU H100/B200) đến các nền tảng huấn luyện (NeMo Framework), căn chỉnh (NeMo‑Aligner), triển khai (NIM — NVIDIA Inference Microservices) và đảm bảo an toàn (NeMo Guardrails).

Nemotron‑3 8B (2023)

Mô hình đầu tiên được công bố công khai trong dòng này — Transformer decoder với 8 tỷ tham số và ngữ cảnh 4096 token, được huấn luyện trên 3,8 nghìn tỷ token gồm 53 ngôn ngữ tự nhiên và 37 ngôn ngữ lập trình. Quá trình huấn luyện được thực hiện trên 1024 GPU A100 trong 19 ngày. Không có báo cáo kỹ thuật chính thức nào được công bố trên arXiv. Mô hình được phân phối qua NeMo Framework và Hugging Face, với các biến thể Chat (SFT và SteerLM). Giấy phép — NVIDIA AI Foundation Models Community License.

Lưu ý về tên gọi: «Nemotron‑3» năm 2023 và «Nemotron 3» tháng 12 năm 2025 là hai mô hình khác nhau. Mô hình đầu là nguyên mẫu ban đầu, mô hình sau là thế hệ hiện tại với kiến trúc MoE.

Nemotron‑4 15B (tháng 2 năm 2024)

Phiên bản được ghi chép công khai đầu tiên của dòng Nemotron‑4 — mô hình với 15 tỷ tham số, được huấn luyện trên 8 nghìn tỷ token trong khoảng 13 ngày lịch trên 384 nút DGX H100 (tối đa 3072 GPU). Sử dụng song song tensor 8 chiều và song song dữ liệu từ 96 đến 288. MFU (Model FLOPs Utilization) đỉnh đạt 34,3% với batch size 384. Kiến trúc — Transformer decoder-only với Grouped‑Query Attention (GQA) và Rotary Position Embeddings (RoPE). Theo kết quả benchmark tại thời điểm công bố, mô hình vượt trội hơn tất cả các mô hình mở có kích thước tương đương trong các tác vụ đa ngôn ngữ, kể cả một số mô hình có kích thước gấp bốn lần.

Nemotron‑4 340B (tháng 6 năm 2024)

Vào tháng 6 năm 2024, mô hình lớn nhất trong dòng Nemotron‑4 được phát hành — 340 tỷ tham số (331,6 tỷ không tính embedding), được tiền huấn luyện trên 9 nghìn tỷ token (8 nghìn tỷ tiền huấn luyện + 1 nghìn tỷ huấn luyện liên tục với trọng số lại các nguồn chất lượng cao). Quá trình huấn luyện được thực hiện trên 768 nút DGX H100 (tối đa 6144 GPU) với MFU đỉnh 42,4%, từ tháng 12 năm 2023 đến tháng 5 năm 2024. Họ mô hình bao gồm ba biến thể: Base, Instruct và Reward. Kích thước mô hình được chọn sao cho nó vừa trên một nút DGX H100 đơn (8 GPU) khi triển khai ở định dạng độ chính xác FP8. Hơn 98% dữ liệu sử dụng trong quá trình căn chỉnh (alignment) được tổng hợp bởi chính các mô hình trong dòng theo quy trình lặp; quy trình tạo dữ liệu tổng hợp được công bố để tái tạo.

Llama‑3.1‑Nemotron‑70B (tháng 10 năm 2024)

Vào tháng 10 năm 2024, các mô hình được tinh chỉnh từ Meta Llama‑3.1‑70B‑Instruct được phát hành: Llama‑3.1‑Nemotron‑70B‑Instruct và Llama‑3.1‑Nemotron‑70B‑Reward. Tính đến ngày 1 tháng 10 năm 2024, mô hình Instruct đứng đầu đồng thời trên ba benchmark tự động: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6%, MT‑Bench (GPT‑4‑Turbo) — 8,98. Mô hình Reward đạt 94,1% trên RewardBench.

Chuyển sang kiến trúc lai (2025)

Năm 2025, dòng mô hình được mở rộng với các kiến trúc lai kết hợp các lớp Mamba‑2 (State Space Model, SSM — mô hình không gian trạng thái) và Transformer. Trong giai đoạn tháng 3–5 năm 2025, họ mô hình lập luận Llama‑Nemotron (Nano 8B, Super 49B, Ultra 253B) với chế độ lập luận có thể chuyển đổi được phát hành. Tháng 4 năm 2025, Nemotron‑H (arXiv:2504.03624) được công bố — họ mô hình lai Mamba‑Transformer với kích thước 8B, 56B và 47B tham số. Tháng 8 năm 2025, Nemotron Nano 2 (9B‑v2, arXiv:2508.14444) được giới thiệu.

Nemotron 3 (tháng 12 năm 2025)

Ngày 15 tháng 12 năm 2025, thế hệ thứ ba được công bố — họ Nemotron 3 với các mô hình Nano, Super và Ultra, kết hợp kiến trúc Mamba‑2, Transformer và MoE với cửa sổ ngữ cảnh lên đến 1 triệu token. Nano được phát hành kèm báo cáo kỹ thuật; Super và Ultra được lên kế hoạch cho nửa đầu năm 2026.

Cơ sở lý thuyết

Kiến trúc Transformer trong Nemotron‑4

Các mô hình dòng Nemotron‑4 được xây dựng trên kiến trúc Transformer decoder chuẩn với attention nhân quả. Xác suất của chuỗi token $x_1,x_2,\dots ,x_T$ được phân tích như:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

trong đó $\theta$ — các tham số mô hình.

Cơ chế attention được triển khai theo biến thể Grouped‑Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

trong đó $Q,K,V$ — ma trận truy vấn, khóa và giá trị; $d_k$ — số chiều của đầu attention.

Để mã hóa vị trí, Rotary Position Embeddings (RoPE) được sử dụng:

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

trong đó $x_m$ — vector tại vị trí $m$, ${\theta }_i=10000^{-2i/d}$, $d$ — số chiều của vector.

Trong các lớp MLP, hàm kích hoạt Squared ReLU được sử dụng: $f(x)=(max(0,x){)}^2$, đảm bảo tính thưa của các kích hoạt. Các mô hình không chứa độ lệch (bias), không sử dụng dropout, và ma trận embedding đầu vào và đầu ra không được gắn kết với nhau (untied embeddings). Tokenizer — SentencePiece BPE với bảo toàn khoảng trắng, phân tách ký tự số và fallback theo byte, kích thước từ điển — 256 000.

Các tham số kiến trúc của Nemotron‑4

Tham số	Nemotron‑4 15B	Nemotron‑4 340B
Số tham số	15 tỷ (3,2 tỷ embed.)	340 tỷ (9,4 tỷ embed.)
Số lớp	32	96
Số chiều ẩn	6144	18 432
Đầu attention	48	96
Đầu KV‑(GQA)	8	8
Độ dài ngữ cảnh	4096	4096
Kích thước từ điển	256 000	256 000

Nguồn: arXiv:2402.16819, arXiv:2406.11704.

Kiến trúc lai Mamba‑Transformer (Nemotron‑H)

Trong các mô hình Nemotron‑H, các khối self-attention tiêu chuẩn được thay thế một phần bằng các khối Mamba‑2 — mô hình không gian trạng thái (State Space Models, SSM). Trong quá trình sinh tự hồi quy, mỗi lớp self-attention yêu cầu $O(n)$ phép toán và bộ nhớ trên mỗi bước (do KV‑cache), trong khi các lớp Mamba đảm bảo chi phí bộ nhớ và tính toán không đổi cho mỗi token được tạo ra.

Mamba‑2 được mô tả bằng quan hệ hồi quy:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

trong đó $h_t\in {ℝ}^N$ — trạng thái ẩn, $A\in {ℝ}^{N\times N}$ — ma trận chuyển tiếp trạng thái đường chéo, $B\in {ℝ}^{N\times 1}$ và $C\in {ℝ}^{1\times N}$ — ma trận chiếu, $x_t$ — token đầu vào, $y_t$ — tín hiệu đầu ra. Trong Mamba‑2, các ma trận $A$, $B$, $C$ phụ thuộc vào đầu vào (input‑dependent), điều này phân biệt mô hình với SSM tuyến tính cổ điển.

Trong Nemotron‑H‑56B sử dụng 54 lớp Mamba‑2 + 54 lớp MLP + 10 lớp self-attention, trong đó các lớp attention được phân bố đều giữa các lớp Mamba. Mô hình được huấn luyện trên 20 nghìn tỷ token ở định dạng FP8 (per‑tensor scaling) trên 6144 GPU H100. Phiên bản Nemotron‑H‑8B chứa 24 lớp Mamba‑2, 24 lớp MLP và 4 lớp self-attention; quá trình huấn luyện được thực hiện trên 15 nghìn tỷ token.

Kiến trúc MoE của Nemotron 3

Các mô hình Nemotron 3 (tháng 12 năm 2025) kết hợp ba thành phần kiến trúc: Mamba‑2, Transformer và Mixture‑of‑Experts. Nemotron 3 Nano (30B‑A3B) chứa 52 lớp: 23 lớp Mamba‑2 + MoE, 23 lớp MoE và 6 lớp GQA‑attention. Mỗi lớp MoE bao gồm 128 chuyên gia được định tuyến (routed) + 1 chuyên gia dùng chung (shared), trong đó 6 chuyên gia được kích hoạt cho mỗi token. Định tuyến được thực hiện bởi bộ định tuyến MLP có thể huấn luyện với sigmoid gating. Cân bằng tải được triển khai không cần hàm mất mát phụ trợ (aux‑loss‑free). Tổng số tham số là 31,6 tỷ, nhưng số tham số hoạt động trên mỗi token chỉ là 3,2 tỷ.

Chuẩn hóa — RMSNorm. Embedding vị trí trong các phần Mamba không có (thông tin vị trí là ẩn trong trạng thái SSM). Sử dụng embedding không gắn kết, không có dropout và bias trong các lớp tuyến tính.

Các mở rộng trong Super/Ultra: LatentMoE và Multi‑Token Prediction

Các mô hình Super và Ultra từ họ Nemotron 3 áp dụng hai cải tiến kiến trúc bổ sung:

• Latent MoE (LatentMoE) — chiếu biểu diễn đầu vào vào không gian tiềm ẩn có số chiều nhỏ hơn trước khi định tuyến, cho phép tăng số lượng chuyên gia với chi phí tính toán tương đương và cải thiện độ chính xác mà không giảm thông lượng.
• Multi‑Token Prediction (MTP) — dự đoán đồng thời nhiều token tiếp theo, được sử dụng để cải thiện chất lượng văn bản dài và giải mã suy đoán trong quá trình suy luận.

Việc huấn luyện Super và Ultra được thực hiện ở định dạng NVFP4 — định dạng số 4-bit của NVIDIA trên kiến trúc Blackwell.

Các phương pháp nén mô hình: Minitron, Puzzle, MiniPuzzle

Để tạo ra các mô hình nhỏ gọn, NVIDIA áp dụng một số phương pháp:

• Minitron — phương pháp cắt tỉa có cấu trúc (pruning) và chưng cất tri thức (knowledge distillation). Hai loại pruning được nghiên cứu: theo chiều sâu (loại bỏ lớp) và theo chiều rộng (giảm đồng thời số chiều của các lớp ẩn, đầu attention và chiếu MLP). Áp dụng Minitron cho Nemotron‑4 15B cho phép thu được các mô hình 8B và 4B với chi phí huấn luyện giảm tới 40 lần so với huấn luyện từ đầu.
• Puzzle — thuật toán Neural Architecture Search (NAS), tìm kiếm cấu hình tối ưu cho từng khối (số đầu KV, kích thước FFN, có/không có attention) với chưng cất theo từng khối. Đây chính là cách Llama 3.1 405B được nén xuống 253B (Llama‑Nemotron Ultra), và Llama 3.3 70B xuống 49B (Llama‑Nemotron Super).
• MiniPuzzle — mở rộng của Puzzle cho các kiến trúc lai, đã nén Nemotron‑H‑56B xuống 47B chỉ với 63 tỷ token chưng cất. Với độ chính xác tương đương, mô hình được nén chạy nhanh hơn 20%.

Các phương pháp căn chỉnh

HelpSteer và HelpSteer2

HelpSteer — tập dữ liệu gồm 37 120 mẫu (giấy phép CC‑BY‑4.0), được tạo ra cùng với Scale AI, trong đó mỗi câu trả lời được chú thích theo năm thuộc tính: tính hữu ích (helpfulness), độ chính xác (correctness), tính mạch lạc (coherence), độ phức tạp (complexity) và độ dài (verbosity) theo thang Likert 0–4.

HelpSteer2 — tập dữ liệu cập nhật gồm 21 362 mẫu (10 681 prompt × 2 câu trả lời), trong đó hơn 95% prompt được lấy từ ShareGPT (yêu cầu thực tế của người dùng). Khoảng 50% chú thích đã bị lọc do chất lượng không đủ. Mở rộng HelpSteer2‑Preference bổ sung các sở thích ghép đôi của người chú thích, cho phép huấn luyện cả mô hình phần thưởng hồi quy và ghép đôi trên cùng một dữ liệu.

SteerLM

SteerLM — phương pháp SFT (Supervised Fine‑Tuning — huấn luyện có giám sát) với điều kiện hóa theo các thuộc tính (helpfulness, correctness, coherence, complexity, verbosity), cho phép người dùng kiểm soát phong cách câu trả lời trong quá trình suy luận. Quy trình bao gồm: (1) huấn luyện mô hình dự đoán thuộc tính (APM) trên HelpSteer, (2) gán nhãn dữ liệu bằng APM, (3) SFT với điều kiện hóa theo giá trị thuộc tính mục tiêu, (4) bootstrapping.

DPO và RPO

DPO (Direct Preference Optimization) — phương pháp tối ưu hóa sở thích trực tiếp không có mô hình phần thưởng tường minh, được sử dụng trong các quy trình Nemotron‑4 340B Instruct và Nemotron Nano 2.

RPO (Reward‑aware Preference Optimization) — khung toán học thống nhất của NVIDIA, tổng quát hóa DPO, IPO, SimPO, REINFORCE và SteerLM 2.0 như các trường hợp đặc biệt. RPO tối thiểu hóa khoảng cách giữa dự đoán của mô hình phần thưởng ẩn và mô hình phần thưởng tường minh mục tiêu:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

trong đó $r_{\varphi }$ — mô hình phần thưởng tường minh, ${\pi }_{\theta }$ — chính sách được huấn luyện, ${\pi }_{\text{ref}}$ — chính sách tham chiếu, $d(\cdot ,\cdot )$ — hàm khoảng cách, $y_w$/$y_l$ — câu trả lời được ưu tiên/bị từ chối. RPO được áp dụng khi huấn luyện Nemotron‑4 340B Instruct và các mô hình Llama‑Nemotron.

Học tăng cường đa môi trường (RLVR)

Trong Nemotron 3, Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) được áp dụng — huấn luyện đồng thời trên nhiều môi trường trong khuôn khổ NeMo Gym: toán học cạnh tranh, lập trình, QA, tool‑use, instruction‑following, long‑context. Thuật toán — GRPO (Group Relative Policy Optimization) với masked importance sampling.

Nemotron 3 hỗ trợ kiểm soát ngân sách lập luận (reasoning budget control) chi tiết: người dùng có thể đặt giới hạn token cho thinking trace thông qua cờ trong chat template (chuyển đổi «detailed thinking on/off» hoặc giới hạn độ dài).

Dòng sản phẩm mô hình

Bảng tổng hợp

Mô hình	Năm	Tổng / Tham số hoạt động	Ngữ cảnh	Kiến trúc	Đặc điểm chính
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3,8T token; 1024 GPU A100; 19 ngày
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8T token; MFU 34,3%
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9T token; Base/Instruct/Reward; >98% dữ liệu căn chỉnh tổng hợp
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94,1%
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	Nén NAS từ Llama 3.1 8B
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Từ Llama 3.3 70B
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Từ Llama 3.1 405B; GPQA 76,0%
Nemotron‑H 8B	2025	8B / 8B	—	Lai Mamba‑Transformer	15T token; 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	Lai Mamba‑Transformer	20T token FP8; 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	Lai Mamba‑Transformer	MiniPuzzle từ 56B; tăng tốc +20%
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	Lai Mamba‑Transformer	20T token; chưng cất Minitron
Nemotron 3 Nano	2025	31,6B / 3,2B	1M	Lai Mamba‑Transformer MoE	25T token; 128 chuyên gia, 6 hoạt động
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	Lai LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	Lai LatentMoE	MTP; NVFP4

Nemotron‑4 15B

Kiến trúc: 32 lớp, số chiều ẩn 6144, 48 đầu attention, 8 đầu KV (GQA). Tổng số tham số — 15 tỷ (3,2 tỷ embedding + 12,5 tỷ non‑embedding). Kết quả: MMLU — 64,2% (5‑shot), BBH — 58,7% (3‑shot), GSM8K — 46,0% (8‑shot, maj@1), HumanEval — 31,6% (0‑shot, pass@1). Trên các benchmark đa ngôn ngữ (XCOPA, TyDiQA‑GoldP, MGSM), mô hình vượt trội hơn các mô hình có kích thước lớn gấp 4 lần.

Nemotron‑4 340B

Kiến trúc: 96 lớp, số chiều ẩn 18 432, 96 đầu attention, 8 đầu KV.

Nemotron‑4 340B Base đạt được: MMLU — 81,1% (5‑shot), BBH — 85,4% (3‑shot), HumanEval — 57,3% (0‑shot), ARC‑Challenge — 94,3% (25‑shot).

Nemotron‑4 340B Instruct trải qua căn chỉnh đa giai đoạn: Code SFT → General SFT → DPO → RPO (3 vòng). Kết quả: MT‑Bench — 8,22 (đánh giá GPT‑4‑Turbo), MMLU — 78,7% (0‑shot), GSM8K — 92,3% (0‑shot), HumanEval — 73,2% (0‑shot), Arena Hard — 54,2, AlpacaEval 2.0 LC — 41,5%.

Nemotron‑4 340B Reward thay thế lớp softmax cuối bằng phép chiếu tuyến tính trạng thái ẩn của lớp cuối cùng thành vector 5 thuộc tính HelpSteer2. Phần thưởng cuối cùng là tổng có trọng số của năm thuộc tính. Quá trình huấn luyện được thực hiện trong 2 epoch trên dữ liệu HelpSteer2 (batch size 128). Trên RewardBench, mô hình đạt 92,0%, vượt qua GPT‑4o (84,7%), Gemini 1.5 Pro (88,1%) và Claude‑3‑Opus (80,7%) tại thời điểm công bố.

Mô hình	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54,2	41,5%	8,22
Llama‑3‑70B‑Instruct	41,1	34,4%	8,16
Mixtral‑8x22B‑Instruct	36,4	30,9%	7,63
Qwen‑2‑72B‑Instruct	48,1	38,8%	8,26

Nguồn: arXiv:2406.11704, bảng 5.

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward được huấn luyện bằng phương pháp lai kết hợp Bradley‑Terry (sở thích ghép đôi) và hồi quy SteerLM (đánh giá đa thuộc tính theo thang Likert). Quá trình huấn luyện được thực hiện hoàn toàn trên dữ liệu HelpSteer2 (CC‑BY‑4.0). Trên RewardBench, mô hình đạt 94,1%, đứng đầu tại thời điểm công bố.

Llama‑3.1‑Nemotron‑70B‑Instruct được căn chỉnh bằng phương pháp RLHF với thuật toán REINFORCE (không phải PPO) và mô hình phần thưởng Nemotron‑70B‑Reward. Hạ tầng — NeMo‑Aligner với tăng tốc TRT‑LLM.

Llama‑Nemotron: Nano, Super, Ultra (2025)

Họ mô hình lập luận được tạo ra từ Llama 3.x bằng các phương pháp NAS, chưng cất và hậu huấn luyện nâng cao.

Mô hình	Tham số	Mô hình cơ sở	Ngữ cảnh
Llama‑Nemotron‑Nano 8B	8 tỷ	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 tỷ	Minitron 4B (từ Llama 3.1 8B)	128K
Llama‑Nemotron‑Super 49B	49 tỷ	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 tỷ	Llama‑3.1‑405B → NAS (Puzzle)	128K

Quy trình huấn luyện năm giai đoạn: (1) NAS + FFN Fusion, (2) chưng cất + tiền huấn luyện liên tục, (3) SFT (bao gồm các vết lập luận DeepSeek‑R1), (4) RL quy mô lớn (GRPO cho Ultra, REINFORCE/RLOO + Online RPO cho Nano), (5) căn chỉnh cho hội thoại.

Các mô hình này là những LLM mở đầu tiên hỗ trợ chế độ lập luận có thể chuyển đổi (reasoning toggle): khi bật («detailed thinking on» trong system prompt), mô hình tạo ra chuỗi lập luận trong các thẻ <think>...</think> trước câu trả lời; khi tắt — trả lời trực tiếp.

Kết quả của Llama‑Nemotron‑Ultra 253B (reasoning ON): GPQA Diamond — 76,0%, AIME 2024 — 80,8%, MATH 500 — ~97%. Để so sánh: DeepSeek‑R1 (671B tổng / 37B hoạt động) — GPQA Diamond 71,5%, AIME 2024 ~79,8%. Ultra được đặt trên một nút 8×H100 đơn.

Nemotron‑H (tháng 4 năm 2025)

Họ mô hình lai dày đặc được huấn luyện từ đầu và được thiết kế cho các tác vụ tạo văn bản dài. Nemotron‑H‑56B được huấn luyện trên 20 nghìn tỷ token ở định dạng FP8 — một trong những thí nghiệm tiền huấn luyện FP8 công khai lớn nhất. Nemotron‑H‑47B được tạo ra bằng cách nén 56B theo phương pháp MiniPuzzle (63 tỷ token chưng cất) và vừa trong bộ nhớ của một RTX 5090 đơn (FP4) với ngữ cảnh ~1M token.

Benchmark	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60,5	61,8	58,8	51,3
MMLU (5‑shot)	84,2	83,6	86,1	78,8
GSM8K (8‑shot CoT)	93,7	93,3	90,9	83,9
HumanEval (0‑shot)	60,4	61,0	56,7	57,3

Nguồn: arXiv:2504.03624.

Khi tạo với 65 536 token đầu vào và 1024 token đầu ra trên H100, mô hình Nemotron‑H‑47B hoạt động nhanh hơn 2,9 lần so với Qwen‑2.5‑72B và Llama‑3.1‑70B.

Nemotron Nano 2 (tháng 8 năm 2025)

Mô hình lai Mamba‑Transformer dành cho lập luận. Nemotron‑Nano‑12B‑v2‑Base — mô hình gốc với 62 lớp (chủ yếu Mamba‑2 + MLP + 4 lớp attention), được huấn luyện trên 20 nghìn tỷ token ở định dạng FP8 từ đầu. Từ đó, bằng phương pháp Minitron nâng cao, Nemotron‑Nano‑9B‑v2 được tạo ra, có khả năng hoạt động trong ngữ cảnh 128K token trên một GPU NVIDIA A10G đơn (22 GB, BF16). Hậu huấn luyện: SFT (80 tỷ token, bao gồm các vết DeepSeek‑R1‑0528) → GRPO → DPO → RLHF. Trên các benchmark lập luận, mô hình tương đương với Qwen3‑8B về độ chính xác, nhưng đạt tốc độ tạo văn bản nhanh hơn 3–6 lần với các chuỗi đầu ra dài.

Nemotron 3 Nano 30B‑A3B

Được phát hành vào tháng 12 năm 2025. Tham số: 31,6 tỷ tổng, 3,2 tỷ hoạt động. Kiến trúc: 52 lớp, số chiều ẩn 2688, số chiều chuyên gia 1856, số chiều trạng thái Mamba 128. MoE: 128 chuyên gia được định tuyến + 1 chuyên gia dùng chung, 6 hoạt động trên mỗi token. Ngữ cảnh — tới 1 048 576 token. Huấn luyện trên 25 nghìn tỷ token (lịch trình WSD, batch size 3072, ngày cắt dữ liệu — tháng 6 năm 2025) theo hai giai đoạn: Giai đoạn 1 — 23,5 nghìn tỷ (dữ liệu đa dạng), Giai đoạn 2 — 1,5 nghìn tỷ (dữ liệu chất lượng cao) + 121 tỷ token long‑context CPT.

Benchmark	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78,30	80,9	75,0
AIME25 (không có công cụ)	89,06	85,0	91,7
AIME25 (có công cụ)	99,17	—	98,7
GPQA (không có công cụ)	73,04	73,4	71,5
LiveCodeBench v6	68,25	66,0	61,0
SWE‑Bench (OpenHands)	38,76	22,0*	34,0
TauBench V2 Avg	49,04	47,7	47,5
Arena‑Hard‑V2 Avg	67,65	57,8	48,55
RULER‑100 @ 1M	86,34	77,5	—

* — giá trị từ các nguồn thứ cấp; điều kiện tái tạo — NeMo Evaluator SDK. Nguồn: arXiv:2512.20848.

Thông lượng (đầu vào 8K / đầu ra 16K, single H200): cao hơn 3,3 lần so với Qwen3‑30B‑A3B‑Thinking và 2,2 lần so với GPT‑OSS‑20B.

Các mô hình và hướng nghiên cứu bổ sung

• OpenReasoning‑Nemotron (tháng 7 năm 2025) — dòng mô hình 1,5B–32B tham số, dựa trên Qwen 2.5 và được tinh chỉnh trên dữ liệu DeepSeek‑R1‑0528. Biến thể 32B với GenSelect@64 vượt trội hơn o3 (high) trên một số benchmark toán học.
• Nemotron Elastic (arXiv:2511.16664) — framework mô hình con lồng nhau (6B, 9B, 12B) trong một mô hình gốc duy nhất, giảm chi phí huấn luyện 360 lần so với huấn luyện từ đầu.
• Nemotron‑CrossThink — framework học tăng cường đa miền vượt ra ngoài các bài toán toán học, cải thiện +30,1% trên MATH‑500 và +12,8% trên MMLU‑PRO.
• Nemotron‑UltraLong — mở rộng ngữ cảnh lên 4 triệu token.
• Jet‑Nemotron — NAS hậu huấn luyện cho các mô hình lai nhỏ gọn 2B/4B.

Các mô hình chuyên biệt

Trong hệ sinh thái Nemotron cũng có các mô hình cho các tác vụ chuyên biệt:

• Nemotron Nano V2 VL — mô hình ngôn ngữ thị giác (vision‑language) cho OCR, xử lý bảng biểu và video.
• Nemotron Parse 1.1 — mô hình cho OCR và trích xuất cấu trúc tài liệu.
• Nemotron ColEmbed V2 — mô hình embedding cho tìm kiếm tài liệu trực quan (late interaction).
• Nemotron Speech — các mô hình nhận dạng giọng nói tự động (ASR), tổng hợp giọng nói (TTS) và dịch máy (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — mô hình phân loại nội dung không an toàn theo 23 danh mục trên 9 ngôn ngữ với độ chính xác 84,2%.

Dữ liệu tiền huấn luyện

Thành phần dữ liệu của Nemotron‑4

Kho dữ liệu tiền huấn luyện của Nemotron‑4 15B và 340B gồm ba danh mục chính: văn bản tiếng Anh (70%), văn bản đa ngôn ngữ trên 53 ngôn ngữ (15%) và mã nguồn trên 43 ngôn ngữ lập trình (15%). Áp dụng khử trùng lặp ở cấp độ tài liệu (exact và near‑duplicate), cũng như lọc bằng mô hình ngôn ngữ và heuristics. Mô hình 15B được huấn luyện trên 8 nghìn tỷ token, mô hình 340B — trên 9 nghìn tỷ (8 nghìn tỷ tiền huấn luyện + 1 nghìn tỷ huấn luyện liên tục với trọng số lại các nguồn chất lượng cao).

Nemotron‑CC

Tập dữ liệu Nemotron‑CC được hình thành từ Common Crawl sử dụng tập hợp các bộ phân loại chất lượng và diễn đạt lại văn bản tổng hợp. Tổng khối lượng — 6,3 nghìn tỷ token (4,4 nghìn tỷ đã khử trùng lặp + 1,9 nghìn tỷ diễn đạt lại tổng hợp). Quy trình được tích hợp vào công cụ NeMo Curator. Công trình được chấp nhận như Long Paper tại hội nghị ACL 2025.

Nemotron‑CC‑Math

Tập con định hướng toán học với khối lượng 133 tỷ token, được trích xuất từ Common Crawl bằng quy trình Lynx + LLM với bảo toàn cấu trúc các công thức toán học và mã trong LaTeX.

Dữ liệu Nemotron 3 Nano

Tiền huấn luyện Nemotron 3 Nano được thực hiện trên 25 nghìn tỷ token. Tập dữ liệu bao gồm: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 và các dataset STEM chuyên biệt. Đối với huấn luyện ngữ cảnh dài, 121 tỷ token CPT bổ sung được sử dụng.

Nemotron Pretraining Dataset v1

Tập dữ liệu được tạo tổng hợp, bao gồm STEM, văn bản học thuật, bài toán lập luận và các miền đa ngôn ngữ; chứa hơn 10 nghìn tỷ token ngôn ngữ và 18 triệu mẫu SFT. Tất cả các tập dữ liệu được phân phối theo các giấy phép mở cho phép.

Quy trình tạo dữ liệu tổng hợp (SDG)

Quy trình được mô tả trong báo cáo về Nemotron‑4 340B bao gồm các bước sau:

• Tạo prompt: các yêu cầu tổng hợp một và hai lượt được tạo ra bằng Mixtral‑8x7B‑Instruct‑v0.1 (giấy phép Apache 2.0) theo các mẫu Open QA, Writing, Closed QA, Math & Coding.
• Tạo câu trả lời: nhiều câu trả lời từ các phiên bản trung gian của mô hình để đảm bảo sự đa dạng.
• Đánh giá chất lượng: ba phương pháp — Ground‑Truth‑as‑a‑Judge (cho các tác vụ có câu trả lời có thể xác minh), LLM‑as‑Judge (so sánh cặp câu trả lời bằng mô hình ngôn ngữ), Reward‑Model‑as‑Judge (sử dụng Nemotron‑4‑340B‑Reward).
• Căn chỉnh lặp từ mô hình yếu đến mạnh (weak‑to‑strong).

Từ khoảng 20 000 mẫu do con người chú thích (10 000 cho SFT, 10 000 HelpSteer2 cho mô hình phần thưởng), toàn bộ dữ liệu căn chỉnh còn lại được tổng hợp.

Lượng tử hóa và tối ưu hóa suy luận

Các mô hình Nemotron 3 Nano hỗ trợ Post‑Training Quantization (PTQ) ở định dạng FP8 sử dụng ModelOpt và Megatron‑LM. Áp dụng lượng tử hóa có chọn lọc — các lớp attention và một phần Mamba được giữ ở định dạng BF16 để bảo toàn chất lượng; các lớp còn lại được lượng tử hóa sang FP8. Theo báo cáo kỹ thuật, điều này đảm bảo độ giữ lại độ chính xác ~99%. Nano cũng hỗ trợ suy luận ở định dạng NVFP4.

Bảng tổng hợp benchmark theo thế hệ

Mô hình	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	Điều kiện
Nemotron‑4 15B	64,2%	46,0%	31,6%	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81,1%	—	57,3%	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78,7%	92,3%	73,2%	54,2	8,22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85,0	8,98	tháng 10 năm 2024
LN‑Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76,0%, AIME 80,8%
Nemotron‑H‑47B	83,6%	93,3%	61,0%	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67,7 (v2)	—	AIME25 89,1%, LCB 68,3%

Việc so sánh cần được diễn giải thận trọng: điều kiện đánh giá, phiên bản benchmark và ngày thực hiện kiểm tra khác nhau giữa các thế hệ. Kết quả được lấy từ các báo cáo kỹ thuật của NVIDIA; các đánh giá độc lập có thể khác (xem phần «Hạn chế»).

Ứng dụng

Triển khai qua NVIDIA NIM

NVIDIA NIM — tập hợp các microservice container được tối ưu hóa cho suy luận với API tương thích OpenAI. Các mô hình Nemotron có sẵn dưới dạng NIM microservice trên nền tảng build.nvidia.com. NIM hỗ trợ các định dạng FP8, BF16, NVFP4 và triển khai qua Helm chart trên Kubernetes. Các mô hình cũng tương thích với các framework độc lập: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM.

Tạo dữ liệu tổng hợp

Nemotron‑4 340B được thiết kế để sử dụng như một bộ tạo dữ liệu tổng hợp: mô hình Instruct tạo ra câu trả lời, mô hình Reward đánh giá và lọc chúng. Giấy phép NVIDIA Open Model License cho phép rõ ràng việc sử dụng đầu ra của mô hình để huấn luyện các mô hình khác. Theo dữ liệu của ServiceNow, 15% dữ liệu tiền huấn luyện của mô hình Apriel 1.6 của họ được lấy từ các tập dữ liệu Nemotron.

Hệ thống tác nhân

Các mô hình họ Nemotron 3 (Nano, Super, Ultra) được thiết kế cho các khối lượng công việc đa tác nhân: lập kế hoạch, truy xuất thông tin, gọi công cụ (tool use). Nemotron 3 Nano đạt kết quả 38,76% trên SWE‑Bench (với OpenHands) và 49,04% (trung bình) trên TauBench V2.

Triển khai doanh nghiệp

Trong số các đối tác đã công bố: ServiceNow (mô hình chung Apriel Nemotron 15B cho tự động hóa quy trình làm việc), CrowdStrike (nền tảng Charlotte AI), Perplexity (định tuyến truy vấn), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. Các mô hình có sẵn trên AWS Amazon Bedrock; hỗ trợ Google Cloud, CoreWeave, Nebius đang được lên kế hoạch.

Hạn chế và các vấn đề mở

Đánh giá độc lập và sự khác biệt với dữ liệu NVIDIA

Các đánh giá độc lập cho thấy sự khác biệt so với kết quả do NVIDIA công bố. Theo dữ liệu của Artificial Analysis (tháng 2 năm 2026), Llama‑Nemotron‑Ultra 253B (reasoning) nhận điểm Intelligence Index là 15 so với mức trung vị 26 cho các mô hình có kích thước tương đương. Trên nền tảng Chatbot Arena (LMArena), các mô hình Nemotron xếp ở giữa bảng xếp hạng: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (vị trí ~147), Nemotron 3 Nano — 1317 ±6 (vị trí ~164).

Độ dài câu trả lời quá mức

Các mô hình Nemotron thể hiện xu hướng tạo ra câu trả lời quá dài: trong đánh giá của Artificial Analysis, mô hình Nemotron 3 Nano tạo ra 140 triệu token (so với mức trung vị 12 triệu cho các mô hình khác), làm tăng chi phí suy luận. Phân tích của DEV Community cho thấy Llama‑3.1‑Nemotron‑70B‑Instruct, dù dẫn đầu chính thức trên các benchmark tự động, thể hiện độ chính xác không đủ trong một số tác vụ thực tế, và điểm cao trên các benchmark kiểu Arena có thể được giải thích bởi sự ưu tiên các câu trả lời dài dòng và tự tin nhưng không nhất thiết chính xác.

Ảo giác và thiên kiến

NVIDIA trong các thẻ mô hình chỉ ra rằng các mô hình có thể «khuếch đại thiên kiến và tạo ra các câu trả lời độc hại, đặc biệt với các prompt độc hại», cũng như «tạo ra thông tin không chính xác, bỏ qua các chi tiết quan trọng». Sự cởi mở về trọng số và dữ liệu cho phép kiểm toán bên ngoài.

Yêu cầu tính toán

Các mô hình dày đặc (Nemotron‑4 340B) yêu cầu cụm 768 nút DGX H100 để huấn luyện đầy đủ, điều này hạn chế khả năng tái tạo đối với các nhóm học thuật không có quyền truy cập vào hạ tầng tương đương. Ngữ cảnh dài (1M) trong quá trình suy luận đòi hỏi dung lượng VRAM đáng kể.

Suy giảm khi mở rộng ngữ cảnh

Khi mở rộng ngữ cảnh sang các chuỗi siêu dài, người ta quan sát thấy sự suy giảm kết quả trên các benchmark ngữ cảnh ngắn.

Lượng tử hóa kiến trúc lai

Việc sử dụng độ chính xác cực thấp (FP8/NVFP4) trong các kiến trúc Mamba‑Transformer dẫn đến sự sụt giảm độ chính xác nhỏ (~1% trên một số benchmark). Vấn đề này được giải quyết bằng cách áp dụng lượng tử hóa có chọn lọc, làm phức tạp kiến trúc trình biên dịch và máy chủ suy luận.

Các vấn đề mở khác

• Sự phụ thuộc vào các benchmark với khả năng nhiễm dữ liệu huấn luyện.
• Thiếu các giao thức chuẩn hóa để so sánh các kiến trúc lai SSM‑Transformer với các mô hình Transformer thuần túy.
• Câu hỏi về khả năng mở rộng của phương pháp MoE trong các tác vụ yêu cầu lập luận sâu với số lượng chuyên gia ít trên mỗi token.
• Dữ liệu về Super/Ultra tính đến tháng 12 năm 2025 là sơ bộ; benchmark đầy đủ được kỳ vọng sau khi phát hành.

Các khía cạnh đạo đức và quản lý

An toàn trong giai đoạn phát triển

Trong giai đoạn phát triển, các phương pháp sau được áp dụng: đánh giá theo framework AEGIS (13 danh mục an toàn nội dung), trình quét lỗ hổng garak, «kiểm tra xâm nhập» thủ công (red‑teaming).

An toàn trong giai đoạn suy luận

NeMo Guardrails — bộ công cụ mã nguồn mở (giấy phép Apache 2.0), bổ sung các rào cản có thể lập trình vào các hệ thống LLM. Microservice chặn đầu vào và đầu ra, áp dụng các kiểm tra có thể cấu hình: kiểm soát chủ đề, phát hiện PII, xác minh «căn cứ» RAG, phát hiện tấn công jailbreak (bao gồm bảo vệ chống chèn mã dựa trên YARA), phân loại an toàn đa ngôn ngữ đa phương thức.

Cho Nemotron 3, một tập hợp gồm ~11 000 vết OpenTelemetry được gán nhãn từ các tình huống thực tế sử dụng công cụ đã được công bố, nhằm đánh giá an toàn tác nhân.

Cấp phép

Các mô hình	Giấy phép
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (kế thừa từ Meta)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License cho phép sử dụng thương mại, tạo và phân phối các sản phẩm phái sinh, không yêu cầu ghi nhận nguồn (khi giữ nguyên tệp NOTICE), không đặt giới hạn về số lượng người dùng và cho phép rõ ràng việc sử dụng đầu ra mô hình để huấn luyện các mô hình khác. Các mô hình dựa trên Llama kế thừa các hạn chế của Meta, bao gồm ngưỡng 700 triệu người dùng hoạt động hàng tháng.

Đối với Nemotron 3 Nano, NVIDIA đã công bố: trọng số mô hình, hơn 10 nghìn tỷ token dữ liệu huấn luyện, công thức huấn luyện, cơ sở mã (NeMo, Megatron‑LM, NeMo‑Aligner), hơn 10 môi trường học tăng cường với hơn 900 000 bài toán.

Triển vọng và hướng nghiên cứu

Các bản phát hành sắp tới bao gồm Nemotron 3 Super (~100 tỷ tham số, ~10 tỷ hoạt động) và Nemotron 3 Ultra (~500 tỷ, ~50 tỷ hoạt động), dự kiến trong nửa đầu năm 2026. Cả hai mô hình sẽ sử dụng LatentMoE, MTP và huấn luyện ở định dạng NVFP4 trên kiến trúc Blackwell.

Định hướng chiến lược của NVIDIA — định vị Nemotron không phải là một mô hình đơn lẻ, mà là lớp hạ tầng cho các hệ thống đa tác nhân, nơi các mô hình khác nhau trong họ được sử dụng cho các tác vụ khác nhau với định tuyến theo độ phức tạp.

Các hướng nghiên cứu chính:

• Phát triển kiến trúc lai — tích hợp thêm các lớp SSM với cơ chế attention để đảm bảo ngữ cảnh dài có thể mở rộng.
• Các phương pháp nén đa cấp — phát triển Minitron, Puzzle, MiniPuzzle và Nemotron Elastic.
• Học tăng cường đa miền — Nemotron‑CrossThink để mở rộng RL vượt ra ngoài các bài toán toán học.
• Mở rộng ngữ cảnh — Nemotron‑UltraLong lên tới 4 triệu token.
• Đa phương thức — mở rộng sang lĩnh vực vision‑language (Nemotron VL), giọng nói (Nemotron Speech), tìm kiếm tài liệu trực quan (Nemotron ColEmbed V2).
• Các mô hình lai nhỏ gọn — Jet‑Nemotron (NAS cho các mô hình 2B/4B).
• Công thức mở — công bố đầy đủ công thức huấn luyện và dữ liệu để cộng đồng tái tạo và tùy chỉnh.

Xem thêm

• Kiến trúc Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (họ mô hình của Meta)

Tài liệu tham khảo

• NVIDIA Research — trang Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — tài liệu Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

Tài liệu

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, tháng 2 năm 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, tháng 6 năm 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, tháng 6 năm 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, tháng 7 năm 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, tháng 11 năm 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, tháng 1 năm 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, tháng 4 năm 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, tháng 5 năm 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, tháng 8 năm 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, tháng 8 năm 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, tháng 11 năm 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, tháng 12 năm 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, tháng 12 năm 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290