Nemotron (NVIDIA) (TH)

Nemotron — ตระกูลโมเดลภาษาขนาดใหญ่ (Large Language Model, LLM) แบบเปิดน้ำหนัก พัฒนาโดยแผนก Applied Deep Learning Research (ADLR) ของบริษัท NVIDIA โมเดลเหล่านี้อยู่ในขอบเขตของ Machine Learning และการประมวลผลภาษาธรรมชาติ (Natural Language Processing, NLP) และออกแบบมาสำหรับงานหลากหลาย ได้แก่ การสร้างข้อมูลสังเคราะห์ การอนุมานเชิงตรรกะ (reasoning) แอปพลิเคชันเอเจนต์ (agentic AI) และการนำไปใช้งานบนฮาร์ดแวร์ระดับอุตสาหกรรมของ NVIDIA ตระกูลนี้รวมโมเดลที่มีสถาปัตยกรรมและขนาดต่างกัน ตั้งแต่ 4 พันล้านถึงประมาณ 5 แสนล้านพารามิเตอร์ ครอบคลุม dense decoder-only Transformer ซีรีส์ Nemotron-4 (2024) โมเดลไฮบริด Mamba-Transformer (Nemotron-H, 2025) และโมเดลไฮบริด Mamba-Transformer พร้อม Mixture-of-Experts (MoE) ในซีรีส์ Nemotron 3 (2025) ณ เดือนมีนาคม พ.ศ. 2569 ตระกูลนี้มีโมเดลมากกว่า 20 รุ่น ครอบคลุมงานสร้างข้อความ การให้เหตุผล การทำความเข้าใจเอกสารด้วยภาพ การดึงข้อมูล และการประเมินคุณภาพคำตอบ โมเดลส่วนใหญ่เผยแพร่แบบเปิดน้ำหนักภายใต้สิทธิ์การใช้งาน NVIDIA Open Model License และ Llama Community License

ประวัติและบริบท

การพัฒนาตระกูล Nemotron ดำเนินไปในบริบทของกลยุทธ์ NVIDIA ในการสร้าง stack เครื่องมือที่ครบวงจรสำหรับ AI เชิงสร้างสรรค์ ตั้งแต่โครงสร้างพื้นฐานการฝึก (DGX, ซูเปอร์คอมพิวเตอร์บน GPU H100/B200) ไปจนถึงแพลตฟอร์มการฝึก (NeMo Framework) การปรับแนว (NeMo-Aligner) การนำไปใช้งาน (NIM — NVIDIA Inference Microservices) และความปลอดภัย (NeMo Guardrails)

Nemotron-3 8B (2023)

โมเดลแรกที่เปิดให้สาธารณะใช้งานในซีรีส์นี้ — decoder Transformer ที่มีพารามิเตอร์ 8 พันล้านตัวและ context ขนาด 4096 token ฝึกบน 3.8 ล้านล้าน token ใน 53 ภาษาธรรมชาติและ 37 ภาษาโปรแกรม การฝึกดำเนินการบน GPU A100 จำนวน 1,024 ตัวเป็นเวลา 19 วัน ไม่มีการเผยแพร่รายงานทางเทคนิคอย่างเป็นทางการบน arXiv โมเดลเผยแพร่ผ่าน NeMo Framework และ Hugging Face มีตัวแปร Chat (SFT และ SteerLM) ใช้สิทธิ์ NVIDIA AI Foundation Models Community License

หมายเหตุเกี่ยวกับชื่อ: «Nemotron-3» ปี 2023 และ «Nemotron 3» เดือนธันวาคม 2025 เป็นโมเดลคนละรุ่น รุ่นแรกเป็นต้นแบบในช่วงต้น รุ่นหลังคือรุ่นปัจจุบันที่ใช้สถาปัตยกรรม MoE

Nemotron-4 15B (กุมภาพันธ์ 2024)

การเผยแพร่ครั้งแรกที่มีเอกสารอย่างเป็นทางการของซีรีส์ Nemotron-4 — โมเดลที่มีพารามิเตอร์ 15 พันล้านตัว ฝึกบน 8 ล้านล้าน token เป็นเวลาประมาณ 13 วันตามปฏิทินบนโหนด DGX H100 จำนวน 384 โหนด (สูงสุด 3,072 GPU) ใช้ tensor parallelism 8 เท่าและ data parallelism ตั้งแต่ 96 ถึง 288 ค่า MFU (Model FLOPs Utilization) สูงสุดอยู่ที่ 34.3% ที่ batch size 384 สถาปัตยกรรมเป็น decoder-only Transformer พร้อม Grouped-Query Attention (GQA) และ Rotary Position Embeddings (RoPE) จากผลการทดสอบ benchmark ในขณะที่เผยแพร่ โมเดลนี้เหนือกว่าโมเดลโอเพนซอร์สทุกรุ่นที่มีขนาดใกล้เคียงในงานหลายภาษา รวมถึงโมเดลบางรุ่นที่ใหญ่กว่าถึงสี่เท่า

Nemotron-4 340B (มิถุนายน 2024)

ในเดือนมิถุนายน 2024 มีการเผยแพร่โมเดลที่ใหญ่ที่สุดของซีรีส์ Nemotron-4 — 340 พันล้านพารามิเตอร์ (331.6 พันล้านพารามิเตอร์ที่ไม่ใช่ embedding) ผ่านการ pre-train บน 9 ล้านล้าน token (8 ล้านล้าน pre-training + 1 ล้านล้าน continued training พร้อมการถ่วงน้ำหนักแหล่งข้อมูลคุณภาพสูง) การฝึกดำเนินการบนโหนด DGX H100 จำนวน 768 โหนด (สูงสุด 6,144 GPU) ด้วย MFU สูงสุด 42.4% ตั้งแต่เดือนธันวาคม 2023 ถึงพฤษภาคม 2024 ตระกูลนี้มีสามรูปแบบ ได้แก่ Base, Instruct และ Reward ขนาดโมเดลถูกเลือกให้สามารถใส่ในโหนด DGX H100 เดียว (GPU 8 ตัว) เมื่อนำไปใช้ในรูปแบบความแม่นยำ FP8 มากกว่า 98% ของข้อมูลที่ใช้ในการปรับแนว (alignment) ถูกสร้างขึ้นแบบสังเคราะห์โดยโมเดลในซีรีส์เองในกระบวนการวนซ้ำ และ pipeline การสร้างข้อมูลสังเคราะห์ได้รับการเปิดเผยเพื่อให้ทำซ้ำได้

Llama-3.1-Nemotron-70B (ตุลาคม 2024)

ในเดือนตุลาคม 2024 มีการเผยแพร่โมเดลที่ fine-tune จาก Meta Llama-3.1-70B-Instruct ได้แก่ Llama-3.1-Nemotron-70B-Instruct และ Llama-3.1-Nemotron-70B-Reward ณ วันที่ 1 ตุลาคม 2024 โมเดล Instruct ติดอันดับที่ 1 พร้อมกันในสาม benchmark อัตโนมัติ ได้แก่ Arena Hard — 85.0, AlpacaEval 2 LC — 57.6% และ MT-Bench (GPT-4-Turbo) — 8.98 โมเดล Reward บรรลุ 94.1% บน RewardBench

การเปลี่ยนผ่านสู่สถาปัตยกรรมไฮบริด (2025)

ในปี 2025 ซีรีส์ได้ขยายด้วยสถาปัตยกรรมไฮบริดที่ผสมเลเยอร์ Mamba-2 (State Space Model, SSM — โมเดลปริภูมิสถานะ) และ Transformer ในช่วงมีนาคม–พฤษภาคม 2025 มีการเผยแพร่ตระกูลโมเดลสำหรับการให้เหตุผล Llama-Nemotron (Nano 8B, Super 49B, Ultra 253B) พร้อมโหมดการให้เหตุผลแบบสลับได้ ในเดือนเมษายน 2025 มีการเผยแพร่ Nemotron-H (arXiv:2504.03624) — ตระกูลโมเดลไฮบริด Mamba-Transformer ขนาด 8B, 56B และ 47B พารามิเตอร์ ในเดือนสิงหาคม 2025 มีการนำเสนอ Nemotron Nano 2 (9B-v2, arXiv:2508.14444)

Nemotron 3 (ธันวาคม 2025)

เมื่อวันที่ 15 ธันวาคม 2025 มีการประกาศรุ่นที่สาม — ตระกูล Nemotron 3 ที่มีโมเดล Nano, Super และ Ultra รวมสถาปัตยกรรม Mamba-2, Transformer และ MoE พร้อม context window สูงสุด 1 ล้าน token Nano ได้รับการเผยแพร่พร้อมรายงานทางเทคนิค ส่วน Super และ Ultra มีกำหนดในช่วงครึ่งแรกของปี 2026

พื้นฐานทางทฤษฎี

สถาปัตยกรรม Transformer ใน Nemotron-4

โมเดลซีรีส์ Nemotron-4 สร้างบนสถาปัตยกรรม decoder Transformer มาตรฐานพร้อม causal attention ความน่าจะเป็นของลำดับ token $x_1,x_2,\dots ,x_T$ ถูก factorize ดังนี้:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

โดยที่ $\theta$ คือพารามิเตอร์ของโมเดล

กลไก attention ถูกใช้งานในรูปแบบ Grouped-Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

โดยที่ $Q,K,V$ คือเมทริกซ์ query, key และ value; $d_k$ คือมิติของ attention head

สำหรับการ encode ตำแหน่ง ใช้ Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

โดยที่ $x_m$ คือเวกเตอร์ที่ตำแหน่ง $m$, ${\theta }_i=10000^{-2i/d}$, $d$ คือมิติของเวกเตอร์

ในเลเยอร์ MLP ใช้ activation แบบ Squared ReLU: $f(x)=(max(0,x){)}^2$ ซึ่งให้ความเบาบางของ activation โมเดลไม่มี bias ไม่ใช้ dropout และเมทริกซ์ embedding ของ input และ output ไม่ถูกผูกร่วมกัน (untied embeddings) tokenizer เป็น SentencePiece BPE พร้อมการรักษาช่องว่าง การแบ่งตัวเลขทีละตัวอักษร และ byte-level fallback ขนาด vocabulary คือ 256,000

พารามิเตอร์สถาปัตยกรรมของ Nemotron-4

พารามิเตอร์	Nemotron-4 15B	Nemotron-4 340B
จำนวนพารามิเตอร์	15 พันล้าน (3.2 พันล้าน embed.)	340 พันล้าน (9.4 พันล้าน embed.)
จำนวนเลเยอร์	32	96
มิติซ่อน	6144	18,432
Attention head	48	96
KV head (GQA)	8	8
ความยาว context	4096	4096
ขนาด vocabulary	256,000	256,000

แหล่งที่มา: arXiv:2402.16819, arXiv:2406.11704

สถาปัตยกรรมไฮบริด Mamba-Transformer (Nemotron-H)

ในโมเดล Nemotron-H บล็อก self-attention มาตรฐานบางส่วนถูกแทนที่ด้วยบล็อก Mamba-2 — State Space Models (SSM) ในการสร้างแบบ autoregressive แต่ละเลเยอร์ self-attention ต้องการ $O(n)$ การดำเนินการและหน่วยความจำต่อขั้นตอน (เนื่องจาก KV cache) ในขณะที่เลเยอร์ Mamba มีต้นทุนหน่วยความจำและการคำนวณคงที่สำหรับแต่ละ token ที่สร้าง

Mamba-2 อธิบายด้วยความสัมพันธ์เชิงเรียกซ้ำ:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

โดยที่ $h_t\in {ℝ}^N$ คือ hidden state, $A\in {ℝ}^{N\times N}$ คือเมทริกซ์ทแยงมุมของการเปลี่ยนสถานะ, $B\in {ℝ}^{N\times 1}$ และ $C\in {ℝ}^{1\times N}$ คือเมทริกซ์ projection, $x_t$ คือ input token, $y_t$ คือสัญญาณ output ใน Mamba-2 เมทริกซ์ $A$, $B$, $C$ ขึ้นอยู่กับ input (input-dependent) ซึ่งแตกต่างจาก linear SSM แบบคลาสสิก

ใน Nemotron-H-56B ใช้ 54 เลเยอร์ Mamba-2 + 54 เลเยอร์ MLP + 10 เลเยอร์ self-attention โดยเลเยอร์ attention ถูกจัดวางอย่างสม่ำเสมอท่ามกลางเลเยอร์ Mamba โมเดลนี้ฝึกบน 20 ล้านล้าน token ในรูปแบบ FP8 (per-tensor scaling) บน GPU H100 จำนวน 6,144 ตัว รุ่น Nemotron-H-8B มี 24 เลเยอร์ Mamba-2, 24 เลเยอร์ MLP และ 4 เลเยอร์ self-attention ฝึกบน 15 ล้านล้าน token

สถาปัตยกรรม MoE ของ Nemotron 3

โมเดล Nemotron 3 (ธันวาคม 2025) รวมองค์ประกอบสถาปัตยกรรมสามส่วน ได้แก่ Mamba-2, Transformer และ Mixture-of-Experts Nemotron 3 Nano (30B-A3B) มี 52 เลเยอร์ ได้แก่ 23 เลเยอร์ Mamba-2 + MoE, 23 เลเยอร์ MoE และ 6 เลเยอร์ GQA attention แต่ละเลเยอร์ MoE ประกอบด้วย expert แบบ routed จำนวน 128 ตัว + 1 expert แบบ shared โดยมี 6 expert ที่ถูกเปิดใช้งานสำหรับแต่ละ token การกำหนดเส้นทางทำโดย MLP router ที่เรียนรู้ได้พร้อม sigmoid gating การปรับสมดุลโหลดทำโดยไม่ใช้ auxiliary loss function (aux-loss-free) จำนวนพารามิเตอร์ทั้งหมดคือ 31.6 พันล้าน แต่มีเพียง 3.2 พันล้านที่ active สำหรับแต่ละ token

การ normalize ใช้ RMSNorm ใน Mamba ไม่มี positional embedding (ข้อมูลตำแหน่งถูกแสดงโดยนัยใน SSM state) ใช้ untied embedding ไม่มี dropout และไม่มี bias ในเลเยอร์ linear

ส่วนขยายใน Super/Ultra: LatentMoE และ Multi-Token Prediction

โมเดล Super และ Ultra จากตระกูล Nemotron 3 ใช้นวัตกรรมสถาปัตยกรรมเพิ่มเติมสองรายการ:

• Latent MoE (LatentMoE) — การฉาย input representation ลงในพื้นที่ latent ที่มีมิติน้อยกว่าก่อนการกำหนดเส้นทาง ซึ่งช่วยให้เพิ่มจำนวน expert ได้โดยมีต้นทุนการคำนวณใกล้เคียงเดิม และเพิ่มความแม่นยำโดยไม่ลด throughput
• Multi-Token Prediction (MTP) — การทำนายหลาย token ถัดไปพร้อมกัน ใช้เพื่อปรับปรุงคุณภาพข้อความยาวและการ speculative decoding ในขณะ inference

การฝึก Super และ Ultra ดำเนินการในรูปแบบ NVFP4 — รูปแบบตัวเลข 4 บิตของ NVIDIA บนสถาปัตยกรรม Blackwell

วิธีการบีบอัดโมเดล: Minitron, Puzzle, MiniPuzzle

สำหรับการสร้างโมเดลขนาดกะทัดรัด NVIDIA ใช้วิธีการหลายแบบ:

• Minitron — วิธีการ pruning แบบมีโครงสร้าง (structured pruning) และ knowledge distillation มีการศึกษา pruning สองประเภท ได้แก่ แบบความลึก (การลบเลเยอร์) และแบบความกว้าง (การลดมิติของ hidden layer, attention head และ MLP projection ร่วมกัน) การใช้ Minitron กับ Nemotron-4 15B ช่วยให้ได้โมเดล 8B และ 4B โดยลดต้นทุนการฝึกได้ถึง 40 เท่าเมื่อเทียบกับการฝึกตั้งแต่เริ่มต้น
• Puzzle — อัลกอริทึม Neural Architecture Search (NAS) ที่เลือกการกำหนดค่าที่เหมาะสมสำหรับแต่ละบล็อก (จำนวน KV head, ขนาด FFN, การมี/ไม่มี attention) พร้อม block-wise distillation นี่คือวิธีที่ Llama 3.1 405B ถูกบีบอัดเป็น 253B (Llama-Nemotron Ultra) และ Llama 3.3 70B เป็น 49B (Llama-Nemotron Super)
• MiniPuzzle — ส่วนขยายของ Puzzle สำหรับสถาปัตยกรรมไฮบริด ที่บีบอัด Nemotron-H-56B เป็น 47B โดยใช้เพียง 63 พันล้าน token ของ distillation เมื่อมีความแม่นยำใกล้เคียงกัน โมเดลที่บีบอัดแล้วทำงานเร็วขึ้น 20%

วิธีการปรับแนว

HelpSteer และ HelpSteer2

HelpSteer — ชุดข้อมูลจำนวน 37,120 ตัวอย่าง (ใช้สิทธิ์ CC-BY-4.0) สร้างร่วมกับ Scale AI โดยแต่ละคำตอบมีคำอธิบายตาม 5 คุณลักษณะ ได้แก่ ความเป็นประโยชน์ (helpfulness), ความถูกต้อง (correctness), ความสอดคล้อง (coherence), ความซับซ้อน (complexity) และความยืดยาว (verbosity) ตามมาตรา Likert 0–4

HelpSteer2 — ชุดข้อมูลที่ปรับปรุงแล้วจำนวน 21,362 ตัวอย่าง (10,681 prompt × 2 คำตอบ) โดยมากกว่า 95% ของ prompt มาจาก ShareGPT (คำขอผู้ใช้จริง) ประมาณ 50% ของคำอธิบายถูกกรองออกว่ามีคุณภาพไม่เพียงพอ ส่วนขยาย HelpSteer2-Preference เพิ่มการเปรียบเทียบความชอบของผู้อธิบายเป็นคู่ ทำให้สามารถฝึกทั้งโมเดล reward แบบ regression และแบบ pairwise บนข้อมูลชุดเดียวกัน

SteerLM

SteerLM — วิธีการ SFT (Supervised Fine-Tuning — การ fine-tune แบบมีผู้สอน) พร้อมการปรับตามคุณลักษณะ (helpfulness, correctness, coherence, complexity, verbosity) ซึ่งช่วยให้ผู้ใช้ควบคุมสไตล์ของคำตอบในขณะ inference กระบวนการนี้ประกอบด้วย: (1) การฝึกโมเดลทำนายคุณลักษณะ (APM) บน HelpSteer, (2) การระบุข้อมูลด้วย APM, (3) SFT พร้อมการปรับตามค่าคุณลักษณะเป้าหมาย, (4) bootstrapping

DPO และ RPO

DPO (Direct Preference Optimization) — วิธีการ optimize preference โดยตรงโดยไม่มีโมเดล reward ที่ชัดเจน ใช้ใน pipeline ของ Nemotron-4 340B Instruct และ Nemotron Nano 2

RPO (Reward-aware Preference Optimization) — framework คณิตศาสตร์แบบรวมของ NVIDIA ที่สรุป DPO, IPO, SimPO, REINFORCE และ SteerLM 2.0 เป็นกรณีพิเศษ RPO ลดระยะห่างระหว่างการทำนายของโมเดล reward โดยนัยและโมเดล reward ที่ชัดเจนเป้าหมาย:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

โดยที่ $r_{\varphi }$ คือโมเดล reward ที่ชัดเจน, ${\pi }_{\theta }$ คือ policy ที่กำลังฝึก, ${\pi }_{\text{ref}}$ คือ reference policy, $d(\cdot ,\cdot )$ คือฟังก์ชันระยะห่าง, $y_w$/$y_l$ คือคำตอบที่ถูกชอบ/ถูกปฏิเสธ RPO ใช้ในการฝึก Nemotron-4 340B Instruct และโมเดล Llama-Nemotron

Reinforcement Learning แบบหลายสภาพแวดล้อม (RLVR)

ใน Nemotron 3 ใช้ Multi-environment RLVR (Reinforcement Learning from Verifiable Rewards) — การฝึกพร้อมกันในหลายสภาพแวดล้อมภายใต้ NeMo Gym ได้แก่ คณิตศาสตร์แข่งขัน การเขียนโปรแกรม QA, tool-use, instruction-following และ long-context อัลกอริทึมที่ใช้คือ GRPO (Group Relative Policy Optimization) พร้อม masked importance sampling

Nemotron 3 รองรับ การควบคุมงบประมาณการให้เหตุผล (reasoning budget control) แบบละเอียด: ผู้ใช้สามารถกำหนดขีดจำกัด token สำหรับ thinking trace ผ่าน flag ใน chat template (สลับ «detailed thinking on/off» หรือจำกัดความยาว)

รายการโมเดล

ตารางสรุป

โมเดล	ปี	พารามิเตอร์ทั้งหมด / ที่ active	Context	สถาปัตยกรรม	คุณสมบัติหลัก
Nemotron-3 8B	2023	8B / 8B	4K	Dense Transformer	3.8T token; GPU A100 จำนวน 1,024 ตัว; 19 วัน
Nemotron-4 15B	2024	15B / 15B	4K	Dense Transformer	8T token; MFU 34.3%
Nemotron-4 340B	2024	340B / 340B	4K	Dense Transformer	9T token; Base/Instruct/Reward; ข้อมูลสังเคราะห์ alignment >98%
Llama-3.1-Nemotron-70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94.1%
Llama-Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama-Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	NAS compression จาก Llama 3.1 8B
Llama-Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	จาก Llama 3.3 70B
Llama-Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	จาก Llama 3.1 405B; GPQA 76.0%
Nemotron-H 8B	2025	8B / 8B	—	ไฮบริด Mamba-Transformer	15T token; 24 Mamba-2 + 24 MLP + 4 Attn
Nemotron-H 56B	2025	56B / 56B	—	ไฮบริด Mamba-Transformer	20T token FP8; 54 Mamba-2 + 54 MLP + 10 Attn
Nemotron-H 47B	2025	47B / 47B	~1M (FP4)	ไฮบริด Mamba-Transformer	MiniPuzzle จาก 56B; เร็วขึ้น 20%
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	ไฮบริด Mamba-Transformer	20T token; Minitron distillation
Nemotron 3 Nano	2025	31.6B / 3.2B	1M	ไฮบริด Mamba-Transformer MoE	25T token; 128 expert, 6 active
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	ไฮบริด LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	ไฮบริด LatentMoE	MTP; NVFP4

Nemotron-4 15B

สถาปัตยกรรม: 32 เลเยอร์, hidden dimension 6144, attention head 48 ตัว, KV head 8 ตัว (GQA) จำนวนพารามิเตอร์ทั้งหมดคือ 15 พันล้าน (embedding 3.2 พันล้าน + non-embedding 12.5 พันล้าน) ผลลัพธ์: MMLU — 64.2% (5-shot), BBH — 58.7% (3-shot), GSM8K — 46.0% (8-shot, maj@1), HumanEval — 31.6% (0-shot, pass@1) บน benchmark หลายภาษา (XCOPA, TyDiQA-GoldP, MGSM) โมเดลนี้เหนือกว่าโมเดลที่ใหญ่กว่าถึง 4 เท่า

Nemotron-4 340B

สถาปัตยกรรม: 96 เลเยอร์, hidden dimension 18,432, attention head 96 ตัว, KV head 8 ตัว

Nemotron-4 340B Base แสดงผล: MMLU — 81.1% (5-shot), BBH — 85.4% (3-shot), HumanEval — 57.3% (0-shot), ARC-Challenge — 94.3% (25-shot)

Nemotron-4 340B Instruct ผ่านการปรับแนวหลายขั้นตอน: Code SFT → General SFT → DPO → RPO (3 รอบ) ผลลัพธ์: MT-Bench — 8.22 (GPT-4-Turbo judge), MMLU — 78.7% (0-shot), GSM8K — 92.3% (0-shot), HumanEval — 73.2% (0-shot), Arena Hard — 54.2, AlpacaEval 2.0 LC — 41.5%

Nemotron-4 340B Reward แทนที่เลเยอร์ softmax สุดท้ายด้วยการฉายเชิงเส้นของ hidden state ของเลเยอร์สุดท้ายไปยังเวกเตอร์ 5 คุณลักษณะของ HelpSteer2 รางวัลสุดท้ายคือผลรวมถ่วงน้ำหนักของคุณลักษณะทั้งห้า การฝึกดำเนินการ 2 epoch บนข้อมูล HelpSteer2 (batch size 128) บน RewardBench โมเดลนี้ได้ 92.0% เหนือกว่า GPT-4o (84.7%), Gemini 1.5 Pro (88.1%) และ Claude-3-Opus (80.7%) ณ เวลาที่เผยแพร่

โมเดล	Arena Hard	AlpacaEval 2.0 LC	MT-Bench
Nemotron-4-340B-Instruct	54.2	41.5%	8.22
Llama-3-70B-Instruct	41.1	34.4%	8.16
Mixtral-8x22B-Instruct	36.4	30.9%	7.63
Qwen-2-72B-Instruct	48.1	38.8%	8.26

แหล่งที่มา: arXiv:2406.11704, ตาราง 5

Llama-3.1-Nemotron-70B

Llama-3.1-Nemotron-70B-Reward ฝึกด้วยวิธีไฮบริดที่รวม Bradley-Terry (การเปรียบเทียบความชอบแบบคู่) และ SteerLM regression (การประเมินหลายคุณลักษณะตามมาตรา Likert) การฝึกดำเนินการบนข้อมูล HelpSteer2 เท่านั้น (CC-BY-4.0) บน RewardBench โมเดลนี้ได้ 94.1% ครองอันดับ 1 ณ เวลาที่เผยแพร่

Llama-3.1-Nemotron-70B-Instruct ปรับแนวด้วย RLHF โดยใช้อัลกอริทึม REINFORCE (ไม่ใช่ PPO) และโมเดล reward Nemotron-70B-Reward โดยใช้โครงสร้างพื้นฐาน NeMo-Aligner พร้อมการเร่งด้วย TRT-LLM

Llama-Nemotron: Nano, Super, Ultra (2025)

ตระกูลโมเดลสำหรับการให้เหตุผลที่ได้มาจาก Llama 3.x ด้วยวิธี NAS, distillation และ post-training ขั้นสูง

โมเดล	พารามิเตอร์	โมเดลฐาน	Context
Llama-Nemotron-Nano 8B	8 พันล้าน	Llama-3.1-8B-Instruct	128K
Llama-Nemotron-Nano 4B	4 พันล้าน	Minitron 4B (จาก Llama 3.1 8B)	128K
Llama-Nemotron-Super 49B	49 พันล้าน	Llama-3.3-70B → NAS (Puzzle)	128K
Llama-Nemotron-Ultra 253B	253 พันล้าน	Llama-3.1-405B → NAS (Puzzle)	128K

กระบวนการฝึกห้าขั้นตอน: (1) NAS + FFN Fusion, (2) distillation + continued pre-training, (3) SFT (รวม reasoning trace จาก DeepSeek-R1), (4) RL ขนาดใหญ่ (GRPO สำหรับ Ultra, REINFORCE/RLOO + Online RPO สำหรับ Nano), (5) การปรับแนวสำหรับบทสนทนา

โมเดลเหล่านี้เป็นกลุ่มแรกในบรรดา LLM โอเพนซอร์สที่รองรับ โหมดการให้เหตุผลแบบสลับได้ (reasoning toggle): เมื่อเปิดใช้ («detailed thinking on» ใน system prompt) โมเดลจะสร้าง chain of thought ในแท็ก <think>...</think> ก่อนตอบ เมื่อปิด จะตอบโดยตรง

ผลลัพธ์ของ Llama-Nemotron-Ultra 253B (reasoning ON): GPQA Diamond — 76.0%, AIME 2024 — 80.8%, MATH 500 — ~97% เพื่อเปรียบเทียบ: DeepSeek-R1 (671B total / 37B active) — GPQA Diamond 71.5%, AIME 2024 ~79.8% Ultra สามารถใช้งานบนโหนด 8×H100 เดียว

Nemotron-H (เมษายน 2025)

ตระกูลโมเดลไฮบริด dense ที่ฝึกตั้งแต่เริ่มต้นและออกแบบสำหรับงานที่มีการสร้างข้อความยาว Nemotron-H-56B ฝึกบน 20 ล้านล้าน token ในรูปแบบ FP8 — เป็นหนึ่งในการทดลอง FP8 pre-training สาธารณะที่ใหญ่ที่สุด Nemotron-H-47B ได้จากการบีบอัด 56B ด้วยวิธี MiniPuzzle (63 พันล้าน token ของ distillation) และสามารถใส่ในหน่วยความจำของ RTX 5090 เดียว (FP4) ที่ context ~1M token

Benchmark	Nemotron-H-56B	Nemotron-H-47B	Qwen-2.5-72B	Llama-3.1-70B
MMLU-Pro (5-shot CoT)	60.5	61.8	58.8	51.3
MMLU (5-shot)	84.2	83.6	86.1	78.8
GSM8K (8-shot CoT)	93.7	93.3	90.9	83.9
HumanEval (0-shot)	60.4	61.0	56.7	57.3

แหล่งที่มา: arXiv:2504.03624

เมื่อสร้างด้วย input 65,536 token และ output 1,024 token บน H100 โมเดล Nemotron-H-47B ทำงานเร็วกว่า Qwen-2.5-72B และ Llama-3.1-70B ถึง 2.9 เท่า

Nemotron Nano 2 (สิงหาคม 2025)

โมเดลไฮบริด Mamba-Transformer สำหรับการให้เหตุผล Nemotron-Nano-12B-v2-Base — โมเดลต้นกำเนิดที่มี 62 เลเยอร์ (ส่วนใหญ่เป็น Mamba-2 + MLP + 4 เลเยอร์ attention) ฝึกบน 20 ล้านล้าน token ในรูปแบบ FP8 ตั้งแต่เริ่มต้น จากโมเดลนี้ได้ Nemotron-Nano-9B-v2 ด้วยวิธี Minitron แบบขยาย สามารถทำงานที่ context 128K token บน GPU NVIDIA A10G เดียว (22 GB, BF16) Post-training: SFT (80 พันล้าน token รวม trace จาก DeepSeek-R1-0528) → GRPO → DPO → RLHF บน benchmark การให้เหตุผล โมเดลนี้มีความแม่นยำใกล้เคียง Qwen3-8B แต่สร้างข้อความเร็วกว่า 3–6 เท่าสำหรับลำดับ output ที่ยาว

Nemotron 3 Nano 30B-A3B

เผยแพร่ในเดือนธันวาคม 2025 พารามิเตอร์: 31.6 พันล้านทั้งหมด, 3.2 พันล้าน active สถาปัตยกรรม: 52 เลเยอร์, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128 MoE: expert แบบ routed จำนวน 128 ตัว + 1 shared, 6 active ต่อ token Context สูงสุด 1,048,576 token ฝึกบน 25 ล้านล้าน token (WSD schedule, batch size 3072, ข้อมูล cutoff เดือนมิถุนายน 2025) สองเฟส: Phase 1 — 23.5 ล้านล้าน (ข้อมูลหลากหลาย), Phase 2 — 1.5 ล้านล้าน (ข้อมูลคุณภาพสูง) + 121 พันล้าน token long-context CPT

Benchmark	Nemotron 3 Nano 30B-A3B	Qwen3-30B-A3B-Thinking	GPT-OSS-20B
MMLU-Pro	78.30	80.9	75.0
AIME25 (no tools)	89.06	85.0	91.7
AIME25 (with tools)	99.17	—	98.7
GPQA (no tools)	73.04	73.4	71.5
LiveCodeBench v6	68.25	66.0	61.0
SWE-Bench (OpenHands)	38.76	22.0*	34.0
TauBench V2 Avg	49.04	47.7	47.5
Arena-Hard-V2 Avg	67.65	57.8	48.55
RULER-100 @ 1M	86.34	77.5	—

* — ค่าจากแหล่งข้อมูลรอง เงื่อนไขการทำซ้ำ — NeMo Evaluator SDK แหล่งที่มา: arXiv:2512.20848

ปริมาณงาน (input 8K / output 16K, single H200): สูงกว่า Qwen3-30B-A3B-Thinking 3.3 เท่าและสูงกว่า GPT-OSS-20B 2.2 เท่า

โมเดลและทิศทางเพิ่มเติม

• OpenReasoning-Nemotron (กรกฎาคม 2025) — ซีรีส์โมเดล 1.5B–32B พารามิเตอร์ที่อิงจาก Qwen 2.5 และ fine-tune บนข้อมูลจาก DeepSeek-R1-0528 รุ่น 32B พร้อม GenSelect@64 เหนือกว่า o3 (high) บน benchmark คณิตศาสตร์บางรายการ
• Nemotron Elastic (arXiv:2511.16664) — framework ของโมเดลย่อยแบบซ้อน (6B, 9B, 12B) ภายในโมเดลต้นกำเนิดเดียว ลดต้นทุนการฝึก 360 เท่าเมื่อเทียบกับการฝึกตั้งแต่เริ่มต้น
• Nemotron-CrossThink — framework การเรียนรู้ด้วยการเสริมแรงแบบหลายโดเมนนอกเหนือจากงานคณิตศาสตร์ ให้ผลดีขึ้น +30.1% บน MATH-500 และ +12.8% บน MMLU-PRO
• Nemotron-UltraLong — ขยาย context เป็น 4 ล้าน token
• Jet-Nemotron — NAS หลัง post-training สำหรับโมเดลไฮบริดขนาดกะทัดรัด 2B/4B

โมเดลเฉพาะทาง

ในระบบนิเวศ Nemotron ยังมีโมเดลสำหรับงานเฉพาะทาง:

• Nemotron Nano V2 VL — โมเดล vision-language สำหรับ OCR, การประมวลผลตาราง และวิดีโอ
• Nemotron Parse 1.1 — โมเดลสำหรับ OCR และการดึงโครงสร้างเอกสาร
• Nemotron ColEmbed V2 — โมเดล embedding สำหรับการค้นหาเอกสารด้วยภาพ (late interaction)
• Nemotron Speech — โมเดลสำหรับการรู้จำเสียงพูดอัตโนมัติ (ASR) การสังเคราะห์เสียงพูด (TTS) และการแปลภาษาด้วยเครื่อง (NMT)
• Llama 3.1 Nemotron Safety Guard 8B V3 — โมเดลจำแนกเนื้อหาที่ไม่ปลอดภัยใน 23 หมวดหมู่ใน 9 ภาษา ด้วยความแม่นยำ 84.2%

ข้อมูลสำหรับ Pre-training

องค์ประกอบข้อมูลของ Nemotron-4

คลังข้อมูล pre-training ของ Nemotron-4 15B และ 340B ประกอบด้วยสามหมวดหลัก ได้แก่ ข้อความภาษาอังกฤษ (70%) ข้อความหลายภาษาใน 53 ภาษา (15%) และซอร์สโค้ดใน 43 ภาษาโปรแกรม (15%) ใช้การลบข้อมูลซ้ำระดับเอกสาร (exact และ near-duplicate) รวมถึงการกรองด้วยโมเดลภาษาและ heuristic โมเดล 15B ฝึกบน 8 ล้านล้าน token โมเดล 340B บน 9 ล้านล้าน (8 ล้านล้าน pre-training + 1 ล้านล้าน continued training พร้อมการถ่วงน้ำหนักแหล่งคุณภาพสูง)

Nemotron-CC

ชุดข้อมูล Nemotron-CC สร้างจาก Common Crawl โดยใช้ ensemble classifier คุณภาพและการถอดความข้อความสังเคราะห์ ปริมาณรวม — 6.3 ล้านล้าน token (4.4 ล้านล้านที่ลบซ้ำแล้ว + 1.9 ล้านล้านการถอดความสังเคราะห์) Pipeline ถูกรวมไว้ในเครื่องมือ NeMo Curator งานวิจัยนี้ได้รับการยอมรับเป็น Long Paper ในการประชุม ACL 2025

Nemotron-CC-Math

ชุดย่อยที่เน้นคณิตศาสตร์ขนาด 133 พันล้าน token ดึงจาก Common Crawl ด้วย pipeline Lynx + LLM พร้อมการรักษาโครงสร้างสูตรคณิตศาสตร์และโค้ดใน LaTeX

ข้อมูล Nemotron 3 Nano

การ pre-train ของ Nemotron 3 Nano ดำเนินการบน 25 ล้านล้าน token ชุดข้อมูลประกอบด้วย: Nemotron-CC-v2.1, Nemotron-CC-Code-v1, Nemotron-CC-Math-v1 และ dataset STEM เฉพาะทาง สำหรับการฝึก long-context ใช้ CPT เพิ่มเติม 121 พันล้าน token

Nemotron Pretraining Dataset v1

ชุดข้อมูลที่สร้างสังเคราะห์ ครอบคลุม STEM ข้อความวิชาการ งานให้เหตุผล และโดเมนหลายภาษา มีโทเค็นภาษามากกว่า 10 ล้านล้านและตัวอย่าง SFT จำนวน 18 ล้านรายการ ชุดข้อมูลทั้งหมดเผยแพร่ภายใต้สิทธิ์การใช้งานแบบเปิดที่อนุญาต

Pipeline การสร้างข้อมูลสังเคราะห์ (SDG)

Pipeline ที่อธิบายในรายงานเกี่ยวกับ Nemotron-4 340B ประกอบด้วยขั้นตอนต่อไปนี้:

• การสร้าง prompt: คำขอแบบ one-turn และ two-turn สังเคราะห์ ที่สร้างด้วย Mixtral-8x7B-Instruct-v0.1 (สิทธิ์ Apache 2.0) ตามแม่แบบ Open QA, Writing, Closed QA, Math & Coding
• การสร้างคำตอบ: คำตอบหลายรูปแบบจากโมเดลรุ่นกลางเพื่อให้มีความหลากหลาย
• การประเมินคุณภาพ: สามแนวทาง — Ground-Truth-as-a-Judge (สำหรับงานที่มีคำตอบตรวจสอบได้), LLM-as-Judge (การเปรียบเทียบคู่คำตอบด้วยโมเดลภาษา), Reward-Model-as-Judge (ใช้ Nemotron-4-340B-Reward)
• การปรับแนวแบบวนซ้ำ จากโมเดลอ่อนแอสู่โมเดลแข็งแกร่ง (weak-to-strong)

จากตัวอย่างที่มีคำอธิบายโดยมนุษย์ประมาณ 20,000 รายการ (10,000 สำหรับ SFT, 10,000 HelpSteer2 สำหรับโมเดล reward) ถูกสังเคราะห์เป็นข้อมูลการปรับแนวทั้งหมดที่เหลือ

การบีบอัดเชิงตัวเลขและการ optimize การ inference

โมเดล Nemotron 3 Nano รองรับ Post-Training Quantization (PTQ) เป็น FP8 โดยใช้ ModelOpt และ Megatron-LM ใช้ selective quantization — เลเยอร์ attention และ Mamba บางส่วนถูกเก็บใน BF16 เพื่อรักษาคุณภาพ ส่วนที่เหลือถูกบีบอัดเป็น FP8 ตามรายงานทางเทคนิค วิธีนี้ให้ความแม่นยำ ~99% retention Nano ยังรองรับการ inference ในรูปแบบ NVFP4

ตารางสรุป benchmark ตามรุ่น

โมเดล	MMLU	GSM8K	HumanEval	Arena Hard	MT-Bench	เงื่อนไข
Nemotron-4 15B	64.2%	46.0%	31.6%	—	—	base; 5-/8-/0-shot
Nemotron-4 340B Base	81.1%	—	57.3%	—	—	5-/—/0-shot
Nemotron-4 340B Instruct	78.7%	92.3%	73.2%	54.2	8.22	0-shot
Llama-3.1-Nemotron-70B-Instruct	—	—	—	85.0	8.98	ต.ค. 2024
LN-Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76.0%, AIME 80.8%
Nemotron-H-47B	83.6%	93.3%	61.0%	—	—	5-/8-CoT/0-shot
Nemotron 3 Nano (30B-A3B)	—	—	—	67.7 (v2)	—	AIME25 89.1%, LCB 68.3%

ควรตีความการเปรียบเทียบด้วยความระมัดระวัง เนื่องจากเงื่อนไขการประเมิน รุ่นของ benchmark และวันที่ทดสอบแตกต่างกันระหว่างรุ่น ผลลัพธ์มาจากรายงานทางเทคนิคของ NVIDIA การประเมินอิสระอาจแตกต่างออกไป (ดูส่วน «ข้อจำกัด»)

การนำไปใช้งาน

การนำไปใช้ผ่าน NVIDIA NIM

NVIDIA NIM — ชุด microservice แบบ container ที่ optimize สำหรับการ inference พร้อม API ที่เข้ากันได้กับ OpenAI โมเดล Nemotron พร้อมใช้งานเป็น NIM microservice บนแพลตฟอร์ม build.nvidia.com NIM รองรับรูปแบบ FP8, BF16, NVFP4 และการนำไปใช้ผ่าน Helm chart บน Kubernetes โมเดลยังเข้ากันได้กับ framework อิสระ ได้แก่ vLLM, SGLang, Ollama, llama.cpp, TensorRT-LLM

การสร้างข้อมูลสังเคราะห์

Nemotron-4 340B ออกแบบมาเพื่อใช้เป็น generator ข้อมูลสังเคราะห์: โมเดล Instruct สร้างคำตอบ โมเดล Reward ประเมินและกรอง สิทธิ์ NVIDIA Open Model License อนุญาตอย่างชัดเจนให้ใช้ output ของโมเดลสำหรับการฝึกโมเดลอื่น ตามข้อมูลของ ServiceNow 15% ของข้อมูล pre-training ของโมเดล Apriel 1.6 มาจากชุดข้อมูล Nemotron

ระบบเอเจนต์

โมเดลในตระกูล Nemotron 3 (Nano, Super, Ultra) ออกแบบสำหรับ workload แบบ multi-agent ได้แก่ การวางแผน, retrieval, การเรียกใช้เครื่องมือ (tool use) Nemotron 3 Nano แสดงผล 38.76% บน SWE-Bench (พร้อม OpenHands) และ 49.04% (เฉลี่ย) บน TauBench V2

การนำไปใช้ในองค์กร

พันธมิตรที่ประกาศไว้ ได้แก่ ServiceNow (โมเดลร่วม Apriel Nemotron 15B สำหรับระบบอัตโนมัติของ workflow), CrowdStrike (แพลตฟอร์ม Charlotte AI), Perplexity (การกำหนดเส้นทางคำขอ), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom โมเดลพร้อมใช้งานบน AWS Amazon Bedrock และมีแผนรองรับ Google Cloud, CoreWeave, Nebius

ข้อจำกัดและปัญหาที่ยังเปิดอยู่

การประเมินอิสระและความแตกต่างจากข้อมูลของ NVIDIA

การประเมินอิสระพบความแตกต่างจากผลลัพธ์ที่ NVIDIA รายงาน ตามข้อมูลของ Artificial Analysis (กุมภาพันธ์ 2026) Llama-Nemotron-Ultra 253B (reasoning) ได้คะแนน Intelligence Index 15 ในขณะที่ค่ามัธยฐานอยู่ที่ 26 สำหรับโมเดลขนาดใกล้เคียงกัน บนแพลตฟอร์ม Chatbot Arena (LMArena) โมเดล Nemotron อยู่ในระดับกลางของการจัดอันดับ: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~อันดับที่ 147), Nemotron 3 Nano — 1317 ±6 (~อันดับที่ 164)

ความยืดยาว

โมเดล Nemotron แสดงความยืดยาวสูง: ในการประเมินของ Artificial Analysis โมเดล Nemotron 3 Nano สร้าง 140 ล้าน token (ในขณะที่ค่ามัธยฐานของโมเดลอื่นอยู่ที่ 12 ล้าน) ซึ่งเพิ่มต้นทุน inference การวิเคราะห์ของ DEV Community พบว่า Llama-3.1-Nemotron-70B-Instruct แม้จะนำในเชิงทางการบน benchmark อัตโนมัติ แต่แสดงความแม่นยำไม่เพียงพอในงานเชิงปฏิบัติบางอย่าง และคะแนนสูงบน benchmark แบบ Arena อาจอธิบายได้จากการชอบคำตอบที่ยืดยาวและมั่นใจ แต่ไม่จำเป็นต้องแม่นยำ

การสร้างภาพลวงตาและ bias

NVIDIA ระบุในการ์ดโมเดลว่าโมเดลอาจ «เสริมความลำเอียงและสร้างคำตอบที่เป็นพิษ โดยเฉพาะกับ prompt ที่เป็นพิษ» รวมถึง «สร้างข้อมูลที่ไม่ถูกต้อง ละเว้นรายละเอียดสำคัญ» ความเปิดกว้างของน้ำหนักและข้อมูลช่วยให้ตรวจสอบจากภายนอกได้

ความต้องการในการคำนวณ

โมเดล dense (Nemotron-4 340B) ต้องการคลัสเตอร์ 768 โหนด DGX H100 สำหรับการฝึกเต็มรูปแบบ ซึ่งจำกัดการทำซ้ำสำหรับกลุ่มวิจัยที่ไม่มีโครงสร้างพื้นฐานที่เทียบเท่า Context ยาว (1M) ในขณะ inference ต้องการ VRAM จำนวนมาก

การเสื่อมลงเมื่อขยาย context

เมื่อขยาย context เป็นลำดับที่ยาวมาก พบการเสื่อมลงของผลลัพธ์บน benchmark ที่ใช้ context สั้น

การบีบอัดเชิงตัวเลขในสถาปัตยกรรมไฮบริด

การใช้ความละเอียดบิตต่ำมาก (FP8/NVFP4) ในสถาปัตยกรรม Mamba-Transformer นำไปสู่การลดลงเล็กน้อยของความแม่นยำ (~1% บน benchmark บางรายการ) ปัญหานี้แก้ไขด้วย selective quantization ซึ่งทำให้สถาปัตยกรรม compiler และ inference server ซับซ้อนขึ้น

ปัญหาที่ยังเปิดอยู่อื่นๆ

• การพึ่งพา benchmark ที่อาจมีการปนเปื้อนข้อมูลการฝึก
• การขาดโปรโตคอลมาตรฐานสำหรับการเปรียบเทียบสถาปัตยกรรมไฮบริด SSM-Transformer กับโมเดล Transformer ล้วน
• คำถามเกี่ยวกับความสามารถในการ scale ของแนวทาง MoE สำหรับงานที่ต้องการการให้เหตุผลเชิงลึกพร้อม expert ต่อ token น้อย
• ข้อมูลเกี่ยวกับ Super/Ultra ณ เดือนธันวาคม 2025 ยังเป็นเบื้องต้น benchmark ครบถ้วนคาดว่าจะมีหลังการเผยแพร่

ด้านจริยธรรมและกฎระเบียบ

ความปลอดภัยในขั้นตอนการพัฒนา

ในขั้นตอนการพัฒนาใช้: การประเมินตาม framework AEGIS (13 หมวดหมู่ความปลอดภัยเนื้อหา), เครื่องสแกนช่องโหว่ garak, การทดสอบด้วยมือ («red-teaming»)

ความปลอดภัยในขั้นตอน inference

NeMo Guardrails — ชุดเครื่องมือโอเพนซอร์ส (สิทธิ์ Apache 2.0) ที่เพิ่ม barrier แบบโปรแกรมได้ให้กับระบบ LLM microservice ดักจับ input และ output โดยใช้การตรวจสอบที่กำหนดค่าได้ ได้แก่ การควบคุมหัวข้อ การตรวจจับ PII การตรวจสอบ «การยึดโยง» ของ RAG การตรวจจับการโจมตี jailbreak (รวมถึงการป้องกันการ inject โค้ดบนพื้นฐาน YARA) การจำแนกความปลอดภัยแบบหลายภาษาและหลายโมดัล

สำหรับ Nemotron 3 มีการเผยแพร่ชุด trace OpenTelemetry ประมาณ 11,000 รายการที่ระบุ label จากสถานการณ์จริงที่ใช้เครื่องมือ เพื่อใช้ประเมินความปลอดภัยของระบบเอเจนต์

การอนุญาตสิทธิ์

โมเดล	สิทธิ์การใช้งาน
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron-4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama-Nemotron (Nano/Super/Ultra)	Llama Community License (สืบทอดจาก Meta)
Nemotron-3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License อนุญาตการใช้งานเชิงพาณิชย์ การสร้างและเผยแพร่งานดัดแปลง ไม่ต้องการการอ้างอิง (เมื่อเก็บไฟล์ NOTICE ไว้) ไม่มีข้อจำกัดจำนวนผู้ใช้ และอนุญาตอย่างชัดเจนให้ใช้ output ของโมเดลสำหรับการฝึกโมเดลอื่น โมเดลที่อิงจาก Llama สืบทอดข้อจำกัดของ Meta รวมถึงเกณฑ์ผู้ใช้งานที่ active รายเดือน 700 ล้านคน

สำหรับ Nemotron 3 Nano NVIDIA เผยแพร่: น้ำหนักโมเดล, ข้อมูลการฝึกมากกว่า 10 ล้านล้าน token, สูตรการฝึก, codebase (NeMo, Megatron-LM, NeMo-Aligner), สภาพแวดล้อมการเรียนรู้ด้วยการเสริมแรงมากกว่า 10 รายการพร้อมงานมากกว่า 900,000 รายการ

แนวโน้มและทิศทางการวิจัย

การเผยแพร่ที่ใกล้จะมาถึงได้แก่ Nemotron 3 Super (~100 พันล้านพารามิเตอร์, ~10 พันล้าน active) และ Nemotron 3 Ultra (~500 พันล้าน, ~50 พันล้าน active) ที่คาดว่าจะมีในช่วงครึ่งแรกของปี 2026 ทั้งสองโมเดลจะใช้ LatentMoE, MTP และการฝึกในรูปแบบ NVFP4 บนสถาปัตยกรรม Blackwell

ทิศทางเชิงกลยุทธ์ของ NVIDIA — การวาง Nemotron ไว้ไม่ใช่เป็นโมเดลเดี่ยว แต่เป็นชั้นโครงสร้างพื้นฐานสำหรับระบบ multi-agent ที่โมเดลต่างๆ ในตระกูลใช้สำหรับงานต่างกันโดยกำหนดเส้นทางตามความซับซ้อน

ทิศทางการวิจัยหลัก:

• การพัฒนาสถาปัตยกรรมไฮบริด — การรวม SSM layer กับกลไก attention เพิ่มเติมเพื่อ context ยาวที่ scale ได้
• วิธีการบีบอัดหลายระดับ — การพัฒนา Minitron, Puzzle, MiniPuzzle และ Nemotron Elastic
• การเรียนรู้ด้วยการเสริมแรงแบบหลายโดเมน — Nemotron-CrossThink เพื่อขยาย RL นอกเหนือจากงานคณิตศาสตร์
• การขยาย context — Nemotron-UltraLong ถึง 4 ล้าน token
• ความหลายโมดัล — การขยายสู่ vision-language (Nemotron VL), เสียงพูด (Nemotron Speech), การค้นหาเอกสารด้วยภาพ (Nemotron ColEmbed V2)
• โมเดลไฮบริดขนาดกะทัดรัด — Jet-Nemotron (NAS สำหรับโมเดล 2B/4B)
• สูตรเปิด — การเผยแพร่สูตรการฝึกและข้อมูลครบถ้วนเพื่อให้ชุมชนทำซ้ำและปรับแต่งได้

ดูเพิ่มเติม

• สถาปัตยกรรม Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (ตระกูลโมเดลของ Meta)

อ้างอิง

• NVIDIA Research — หน้า Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — เอกสาร Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

บรรณานุกรม

• NVIDIA. Nemotron-3-8B-Base-4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron-4 15B Technical Report. arXiv:2402.16819, กุมภาพันธ์ 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron-4 340B Technical Report. arXiv:2406.11704, มิถุนายน 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open-source Dataset for Training Top-Performing Reward Models. arXiv:2406.08673, มิถุนายน 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, กรกฎาคม 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation-Based NAS for Inference-Optimized LLMs. arXiv:2411.19146, พฤศจิกายน 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron-CC: Transforming Common Crawl into a Refined Long-Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward-aware Preference Optimization. arXiv:2502.00203, มกราคม 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. arXiv:2504.03624, เมษายน 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama-Nemotron: Efficient Reasoning Models. arXiv:2505.00949, พฤษภาคม 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, สิงหาคม 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron-CC-Math. arXiv:2508.15096, สิงหาคม 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, พฤศจิกายน 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, ธันวาคม 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, ธันวาคม 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290