Nemotron (NVIDIA) (UR)

Nemotron — کھلے وزن (open weights) والے بڑے لسانی ماڈلوں (Large Language Model, LLM) کا ایک خاندان ہے جسے NVIDIA کارپوریشن کے Applied Deep Learning Research (ADLR) ڈویژن نے تیار کیا ہے۔ یہ ماڈل Machine Learning اور قدرتی زبان کی پروسیسنگ (Natural Language Processing, NLP) کے شعبے سے تعلق رکھتے ہیں اور وسیع پیمانے پر کاموں کے لیے مناسب ہیں: مصنوعی ڈیٹا کی تخلیق، منطقی استنتاج (reasoning)، ایجنٹ پر مبنی ایپلیکیشنز (agentic AI) اور NVIDIA کے صنعتی ہارڈ ویئر پر تعیناتی۔ اس خاندان میں مختلف آرکیٹیکچر اور پیمانے کے ماڈل شامل ہیں: 4 ارب سے لے کر تقریباً 500 ارب پیرامیٹرز تک، جن میں Nemotron‑4 سیریز (2024) کے گھنے (dense) decoder‑only Transformer ماڈل، ہائبرڈ Mamba‑Transformer (Nemotron‑H، 2025) اور Nemotron 3 سیریز (2025) کے Mixture-of-Experts (MoE) کے ساتھ ہائبرڈ Mamba‑Transformer ماڈل شامل ہیں۔ مارچ 2026 تک اس خاندان میں 20 سے زائد ماڈل شامل ہو چکے ہیں جو متن کی تخلیق، استدلال، دستاویزات کی بصری فہم، معلومات کے استخراج اور جوابات کے معیار کی تشخیص کے کاموں کا احاطہ کرتے ہیں۔ ماڈل بنیادی طور پر NVIDIA Open Model License اور Llama Community License کے تحت کھلے وزن کے ساتھ جاری کیے جاتے ہیں۔

تاریخ اور پس منظر

Nemotron خاندان کی ترقی NVIDIA کی اس حکمت عملی کے تناظر میں جاری ہے جس کا مقصد تخلیقی AI کے لیے ٹولز کا مکمل اسٹیک بنانا ہے: تربیتی بنیادی ڈھانچے (DGX، GPU H100/B200 پر مبنی سپر کمپیوٹرز) سے لے کر تربیتی پلیٹ فارمز (NeMo Framework)، صف بندی (NeMo‑Aligner)، تعیناتی (NIM — NVIDIA Inference Microservices) اور حفاظت (NeMo Guardrails) تک۔

Nemotron‑3 8B (2023)

سیریز کا پہلا عوامی طور پر دستیاب ماڈل — 8 ارب پیرامیٹرز اور 4096 ٹوکنز کے context کے ساتھ ایک decoder Transformer ہے جسے 53 قدرتی اور 37 پروگرامنگ زبانوں میں 3.8 ٹریلین ٹوکنز پر تربیت دی گئی۔ تربیت 1024 GPU A100 پر 19 دنوں میں مکمل کی گئی۔ arXiv پر کوئی باقاعدہ تکنیکی رپورٹ شائع نہیں کی گئی۔ ماڈل NeMo Framework اور Hugging Face کے ذریعے تقسیم کیا گیا تھا، Chat (SFT اور SteerLM) کے ورژن موجود تھے۔ لائسنس — NVIDIA AI Foundation Models Community License۔

ناموں کے بارے میں نوٹ: 2023 کا «Nemotron‑3» اور دسمبر 2025 کا «Nemotron 3» — دو مختلف ماڈل ہیں۔ پہلا ابتدائی پروٹو ٹائپ تھا، دوسرا MoE آرکیٹیکچر کے ساتھ موجودہ نسل ہے۔

Nemotron‑4 15B (فروری 2024)

Nemotron‑4 سیریز کا پہلا عوامی طور پر دستاویزی اجراء — 15 ارب پیرامیٹرز کا ماڈل جسے 384 DGX H100 نوڈز (3072 GPU تک) پر ~13 کیلنڈر دنوں میں 8 ٹریلین ٹوکنز پر تربیت دی گئی۔ 8 گنا tensor parallelism اور 96 سے 288 تک data parallelism استعمال کیا گیا۔ batch size 384 پر زیادہ سے زیادہ MFU (Model FLOPs Utilization) 34.3% رہی۔ آرکیٹیکچر — Grouped‑Query Attention (GQA) اور Rotary Position Embeddings (RoPE) کے ساتھ decoder‑only Transformer۔ اشاعت کے وقت بینچ مارک نتائج کے مطابق ماڈل نے کثیر لسانی کاموں میں اپنے ہم پیمانہ تمام کھلے ماڈلوں کو پیچھے چھوڑ دیا، جن میں ایسے کچھ ماڈل بھی شامل تھے جو اس سے چار گنا بڑے تھے۔

Nemotron‑4 340B (جون 2024)

جون 2024 میں Nemotron‑4 سیریز کا سب سے بڑا ماڈل جاری کیا گیا — 340 ارب پیرامیٹرز (331.6 ارب non‑embedding)، جسے 9 ٹریلین ٹوکنز پر پری ٹرین کیا گیا (8 ٹریلین pre-training + 1 ٹریلین اعلیٰ معیاری ذرائع کو دوبارہ وزن دے کر جاری تربیت)۔ تربیت دسمبر 2023 سے مئی 2024 تک 768 DGX H100 نوڈز (6144 GPU تک) پر 42.4% کی زیادہ سے زیادہ MFU کے ساتھ کی گئی۔ خاندان میں تین ورژن شامل ہیں: Base، Instruct اور Reward۔ ماڈل کا سائز اس طرح منتخب کیا گیا کہ یہ FP8 درستگی کی شکل میں تعیناتی کے وقت ایک DGX H100 نوڈ (8 GPU) میں سما سکے۔ صف بندی (alignment) میں استعمال کیے گئے 98% سے زیادہ ڈیٹا کو سیریز کے ماڈلوں نے خود ایک تکراری عمل میں مصنوعی طور پر تیار کیا؛ مصنوعی ڈیٹا تخلیق کا پائپ لائن دوبارہ پیداوار کے لیے کھلا ہے۔

Llama‑3.1‑Nemotron‑70B (اکتوبر 2024)

اکتوبر 2024 میں Meta Llama‑3.1‑70B‑Instruct سے fine-tune کیے گئے ماڈل جاری کیے گئے: Llama‑3.1‑Nemotron‑70B‑Instruct اور Llama‑3.1‑Nemotron‑70B‑Reward۔ 1 اکتوبر 2024 تک Instruct ماڈل تین خودکار بینچ مارکس پر بیک وقت پہلے مقام پر تھا: Arena Hard — 85.0، AlpacaEval 2 LC — 57.6%، MT‑Bench (GPT‑4‑Turbo) — 8.98۔ Reward ماڈل نے RewardBench پر 94.1% حاصل کیا۔

ہائبرڈ آرکیٹیکچرز کی طرف منتقلی (2025)

2025 میں سیریز میں ہائبرڈ آرکیٹیکچرز شامل ہوئے جو Mamba‑2 (State Space Model, SSM — حالتِ فضا کا ماڈل) اور Transformer پرتوں کو یکجا کرتے ہیں۔ مارچ تا مئی 2025 میں قابلِ تبادل reasoning موڈ کے ساتھ استدلال کرنے والے ماڈلوں کا خاندان Llama‑Nemotron (Nano 8B، Super 49B، Ultra 253B) جاری کیا گیا۔ اپریل 2025 میں Nemotron‑H (arXiv:2504.03624) شائع کیا گیا — 8B، 56B اور 47B پیرامیٹرز کے سائز کے ہائبرڈ Mamba‑Transformer ماڈلوں کا خاندان۔ اگست 2025 میں Nemotron Nano 2 (9B‑v2، arXiv:2508.14444) پیش کیا گیا۔

Nemotron 3 (دسمبر 2025)

15 دسمبر 2025 کو تیسری نسل کا اعلان کیا گیا — Nano، Super اور Ultra ماڈلوں کے ساتھ Nemotron 3 خاندان جو Mamba‑2، Transformer اور MoE آرکیٹیکچرز کو 1 ملین ٹوکنز تک کی context window کے ساتھ یکجا کرتا ہے۔ Nano تکنیکی رپورٹ کے ساتھ جاری کیا گیا؛ Super اور Ultra 2026 کی پہلی ششماہی کے لیے منصوبہ بند ہیں۔

نظری بنیادیں

Nemotron‑4 میں Transformer آرکیٹیکچر

Nemotron‑4 سیریز کے ماڈل causال attention کے ساتھ معیاری decoder Transformer آرکیٹیکچر پر بنائے گئے ہیں۔ ٹوکنز کی ترتیب کا امکان $x_1,x_2,\dots ,x_T$ اس طرح factorize کیا جاتا ہے:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

جہاں $\theta$ — ماڈل کے پیرامیٹرز ہیں۔

attention کا طریقہ کار Grouped‑Query Attention (GQA) کی شکل میں نافذ کیا گیا ہے:

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

جہاں $Q,K,V$ — queries، keys اور values کی میٹرکسز ہیں؛ $d_k$ — attention head کی جہت ہے۔

پوزیشنز کو encode کرنے کے لیے Rotary Position Embeddings (RoPE) استعمال کیے جاتے ہیں:

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

جہاں $x_m$ — پوزیشن $m$ پر ویکٹر ہے، ${\theta }_i=10000^{-2i/d}$، $d$ — ویکٹر کی جہت ہے۔

MLP پرتوں میں Squared ReLU activation استعمال ہوتی ہے: $f(x)=(max(0,x){)}^2$، جو activations میں بکھراؤ (sparsity) فراہم کرتی ہے۔ ماڈلوں میں biases نہیں ہیں، dropout استعمال نہیں کیا جاتا، اور input و output embedding میٹرکسز ایک دوسرے سے منسلک نہیں ہیں (untied embeddings)۔ Tokenizer — SentencePiece BPE ہے جس میں spaces محفوظ رہتے ہیں، اعداد حرف بہ حرف تقسیم ہوتے ہیں اور byte-level fallback ہے، vocabulary کا سائز — 256,000 ہے۔

Nemotron‑4 کے آرکیٹیکچرل پیرامیٹرز

پیرامیٹر	Nemotron‑4 15B	Nemotron‑4 340B
پیرامیٹرز کی تعداد	15 ارب (3.2 ارب embed.)	340 ارب (9.4 ارب embed.)
پرتوں کی تعداد	32	96
پوشیدہ جہت	6144	18,432
attention heads	48	96
KV‑heads (GQA)	8	8
context کی لمبائی	4096	4096
vocabulary کا سائز	256,000	256,000

ماخذ: arXiv:2402.16819, arXiv:2406.11704۔

ہائبرڈ Mamba‑Transformer آرکیٹیکچر (Nemotron‑H)

Nemotron‑H ماڈلوں میں معیاری self-attention بلاکس کو جزوی طور پر Mamba‑2 بلاکس — State Space Models (SSM) سے تبدیل کر دیا گیا ہے۔ خودکار ترتیب (autoregressive) کے ساتھ تخلیق میں، ہر self-attention پرت کو فی قدم $O(n)$ آپریشنز اور میموری درکار ہوتی ہے (KV‑cache کی وجہ سے)، جبکہ Mamba پرتیں ہر تیار کیے جانے والے ٹوکن پر مستقل میموری اور حسابی اخراجات فراہم کرتی ہیں۔

Mamba‑2 کو اس تکراری تعلق سے بیان کیا جاتا ہے:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

جہاں $h_t\in {ℝ}^N$ — پوشیدہ حالت ہے، $A\in {ℝ}^{N\times N}$ — حالت کی منتقلی کی قطری میٹرکس ہے، $B\in {ℝ}^{N\times 1}$ اور $C\in {ℝ}^{1\times N}$ — projection میٹرکسز ہیں، $x_t$ — input ٹوکن ہے، $y_t$ — output سگنل ہے۔ Mamba‑2 میں میٹرکسز $A$، $B$، $C$ input پر منحصر (input‑dependent) ہیں، جو اس ماڈل کو کلاسیکی linear SSM سے ممتاز کرتا ہے۔

Nemotron‑H‑56B میں 54 Mamba‑2 پرتیں + 54 MLP پرتیں + 10 self-attention پرتیں استعمال ہوتی ہیں، جہاں attention پرتیں Mamba پرتوں کے درمیان یکساں طور پر رکھی گئی ہیں۔ ماڈل کو 6144 GPU H100 پر FP8 (per‑tensor scaling) شکل میں 20 ٹریلین ٹوکنز پر تربیت دی گئی۔ Nemotron‑H‑8B ورژن میں 24 Mamba‑2 پرتیں، 24 MLP پرتیں اور 4 self-attention پرتیں ہیں؛ تربیت 15 ٹریلین ٹوکنز پر کی گئی۔

Nemotron 3 کا MoE آرکیٹیکچر

Nemotron 3 ماڈل (دسمبر 2025) تین آرکیٹیکچرل اجزاء کو یکجا کرتے ہیں: Mamba‑2، Transformer اور Mixture‑of‑Experts۔ Nemotron 3 Nano (30B‑A3B) میں 52 پرتیں ہیں: 23 Mamba‑2 + MoE پرتیں، 23 MoE پرتیں اور 6 GQA‑attention پرتیں۔ ہر MoE پرت میں 128 routed ماہرین + 1 مشترک (shared) ماہر شامل ہیں، جن میں سے 6 ماہرین فی ٹوکن فعال ہوتے ہیں۔ routing ایک قابلِ تربیت MLP router کے ذریعے sigmoid gating کے ساتھ انجام دی جاتی ہے۔ بوجھ کا توازن بغیر معاون loss function (aux‑loss‑free) کے نافذ کیا گیا ہے۔ پیرامیٹرز کی کل تعداد 31.6 ارب ہے، لیکن ہر ٹوکن پر صرف 3.2 ارب فعال ہوتے ہیں۔

نارمل سازی — RMSNorm۔ Mamba حصوں میں positional embeddings موجود نہیں ہیں (پوزیشن کی معلومات SSM حالت میں ضمنی طور پر موجود ہے)۔ untied embeddings استعمال کی جاتی ہیں، linear پرتوں میں dropout اور bias موجود نہیں ہیں۔

Super/Ultra میں توسیعات: LatentMoE اور Multi‑Token Prediction

Nemotron 3 خاندان کے Super اور Ultra ماڈل دو اضافی آرکیٹیکچرل اختراعات استعمال کرتے ہیں:

• Latent MoE (LatentMoE) — routing سے پہلے input representation کو چھوٹی جہت کے latent space میں project کرنا، جس سے موازنہ حسابی اخراجات پر ماہرین کی تعداد بڑھانے اور throughput کو کم کیے بغیر درستگی میں اضافے کا موقع ملتا ہے۔
• Multi‑Token Prediction (MTP) — ایک ساتھ متعدد اگلے ٹوکنز کی پیشین گوئی، جو لمبے متون کے معیار کو بہتر بنانے اور inference کے دوران speculative decoding کے لیے استعمال ہوتی ہے۔

Super اور Ultra کی تربیت NVFP4 شکل میں کی جاتی ہے — Blackwell آرکیٹیکچر پر NVIDIA کا 4-bit عددی فارمیٹ۔

ماڈلوں کو مختصر کرنے کے طریقے: Minitron، Puzzle، MiniPuzzle

مختصر ماڈل بنانے کے لیے NVIDIA کئی طریقے استعمال کرتا ہے:

• Minitron — ساختی pruning اور knowledge distillation کا طریقہ۔ pruning کی دو اقسام زیر تحقیق ہیں: گہرائی سے (پرتوں کو ہٹانا) اور چوڑائی سے (پوشیدہ پرتوں کی جہتوں، attention heads اور MLP projections کا مشترک کم کرنا)۔ Nemotron‑4 15B پر Minitron کا اطلاق 8B اور 4B ماڈل حاصل کرنے کی اجازت دیتا ہے جس میں از سرِ نو تربیت کے مقابلے میں تربیتی اخراجات 40 گنا تک کم ہوتے ہیں۔
• Puzzle — Neural Architecture Search (NAS) الگورتھم جو ہر بلاک کی بہترین configuration (KV‑heads کی تعداد، FFN کا سائز، attention کی موجودگی یا غیر موجودگی) بلاک وار distillation کے ساتھ منتخب کرتا ہے۔ اسی طرح Llama 3.1 405B کو 253B (Llama‑Nemotron Ultra) تک اور Llama 3.3 70B کو 49B (Llama‑Nemotron Super) تک مختصر کیا گیا۔
• MiniPuzzle — ہائبرڈ آرکیٹیکچرز کے لیے Puzzle کی توسیع جس نے صرف 63 ارب distillation ٹوکنز کی لاگت پر Nemotron‑H‑56B کو 47B تک مختصر کر دیا۔ ملتی جلتی درستگی کے ساتھ مختصر کردہ ماڈل 20% تیز چلتا ہے۔

صف بندی کے طریقے

HelpSteer اور HelpSteer2

HelpSteer — 37,120 مثالوں کا ایک مجموعہ (لائسنس CC‑BY‑4.0) جو Scale AI کے تعاون سے بنایا گیا، جس میں ہر جواب کو پانچ خصوصیات کے مطابق annotate کیا گیا ہے: مفیدیت (helpfulness)، درستگی (correctness)، ربط (coherence)، پیچیدگی (complexity) اور بیان کی طوالت (verbosity) لیکرٹ اسکیل 0–4 پر۔

HelpSteer2 — 21,362 مثالوں کا اپ ڈیٹ شدہ مجموعہ (10,681 prompts × 2 جوابات)، جہاں 95% سے زیادہ prompts ShareGPT (حقیقی صارف کی درخواستیں) سے لیے گئے ہیں۔ تقریباً 50% annotations کو ناکافی معیار کی وجہ سے فلٹر کیا گیا۔ HelpSteer2‑Preference توسیع annotators کی جوڑا ترجیحات شامل کرتی ہے، جو ایک ہی ڈیٹا پر regression اور pairwise reward ماڈلوں دونوں کو تربیت دینے کی اجازت دیتی ہے۔

SteerLM

SteerLM — خصوصیات (helpfulness، correctness، coherence، complexity، verbosity) پر conditioning کے ساتھ SFT (Supervised Fine‑Tuning) کا طریقہ، جو صارف کو inference کے دوران جواب کے انداز کو کنٹرول کرنے دیتا ہے۔ pipeline میں شامل ہیں: (1) HelpSteer پر attribute prediction model (APM) کی تربیت، (2) APM کے ذریعے ڈیٹا کا annotation، (3) مطلوبہ attribute اقدار پر conditioning کے ساتھ SFT، (4) bootstrapping۔

DPO اور RPO

DPO (Direct Preference Optimization) — بغیر کسی صریح reward ماڈل کے ترجیحات کی براہِ راست optimization کا طریقہ، جو Nemotron‑4 340B Instruct اور Nemotron Nano 2 کے pipelines میں استعمال ہوتا ہے۔

RPO (Reward‑aware Preference Optimization) — NVIDIA کا ایک یکجا ریاضیاتی framework جو DPO، IPO، SimPO، REINFORCE اور SteerLM 2.0 کو خاص صورتوں کے طور پر عام کرتا ہے۔ RPO implicit reward ماڈل کی پیشین گوئیوں اور مطلوبہ صریح ماڈل کے درمیان فاصلے کو کم کرتا ہے:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

جہاں $r_{\varphi }$ — صریح reward ماڈل ہے، ${\pi }_{\theta }$ — قابلِ تربیت policy ہے، ${\pi }_{\text{ref}}$ — reference policy ہے، $d(\cdot ,\cdot )$ — فاصلے کا function ہے، $y_w$/$y_l$ — ترجیحی/مسترد جواب ہے۔ RPO کو Nemotron‑4 340B Instruct اور Llama‑Nemotron ماڈلوں کی تربیت میں استعمال کیا جاتا ہے۔

کثیر ماحولی تقویتی سیکھنا (RLVR)

Nemotron 3 میں Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) استعمال ہوتا ہے — NeMo Gym کے اندر متعدد ماحولوں پر بیک وقت تربیت: مسابقتی ریاضی، پروگرامنگ، QA، tool‑use، instruction‑following، long‑context۔ الگورتھم — masked importance sampling کے ساتھ GRPO (Group Relative Policy Optimization)۔

Nemotron 3 دانے دار استدلال کے بجٹ کا کنٹرول (reasoning budget control) کو سپورٹ کرتا ہے: صارف chat template میں ایک flag کے ذریعے thinking trace کے لیے ٹوکن کی حد مقرر کر سکتا ہے («detailed thinking on/off» سوئچ یا لمبائی کی حد)۔

ماڈلوں کی فہرست

خلاصہ جدول

ماڈل	سال	کل / فعال پیرامیٹرز	Context	آرکیٹیکچر	اہم خصوصیات
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3.8T ٹوکنز؛ 1024 GPU A100؛ 19 دن
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8T ٹوکنز؛ MFU 34.3%
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9T ٹوکنز؛ Base/Instruct/Reward؛ >98% مصنوعی alignment ڈیٹا
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE)؛ RewardBench 94.1%
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	Llama 3.1 8B سے NAS سمپریشن
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Llama 3.3 70B سے
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Llama 3.1 405B سے؛ GPQA 76.0%
Nemotron‑H 8B	2025	8B / 8B	—	ہائبرڈ Mamba‑Transformer	15T ٹوکنز؛ 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	ہائبرڈ Mamba‑Transformer	20T ٹوکنز FP8؛ 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	ہائبرڈ Mamba‑Transformer	56B سے MiniPuzzle؛ +20% رفتار
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	ہائبرڈ Mamba‑Transformer	20T ٹوکنز؛ Minitron distillation
Nemotron 3 Nano	2025	31.6B / 3.2B	1M	ہائبرڈ Mamba‑Transformer MoE	25T ٹوکنز؛ 128 ماہرین، 6 فعال
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	ہائبرڈ LatentMoE	MTP؛ NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	ہائبرڈ LatentMoE	MTP؛ NVFP4

Nemotron‑4 15B

آرکیٹیکچر: 32 پرتیں، hidden dimension 6144، 48 attention heads، 8 KV‑heads (GQA)۔ پیرامیٹرز کی کل تعداد — 15 ارب (3.2 ارب embedding + 12.5 ارب non‑embedding)۔ نتائج: MMLU — 64.2% (5‑shot)، BBH — 58.7% (3‑shot)، GSM8K — 46.0% (8‑shot، maj@1)، HumanEval — 31.6% (0‑shot، pass@1)۔ کثیر لسانی بینچ مارکس (XCOPA، TyDiQA‑GoldP، MGSM) پر ماڈل نے چار گنا بڑے ماڈلوں کو پیچھے چھوڑا۔

Nemotron‑4 340B

آرکیٹیکچر: 96 پرتیں، hidden dimension 18,432، 96 attention heads، 8 KV‑heads۔

Nemotron‑4 340B Base نے دکھایا: MMLU — 81.1% (5‑shot)، BBH — 85.4% (3‑shot)، HumanEval — 57.3% (0‑shot)، ARC‑Challenge — 94.3% (25‑shot)۔

Nemotron‑4 340B Instruct نے کثیر مرحلی صف بندی سے گزرا: Code SFT → General SFT → DPO → RPO (3 دور)۔ نتائج: MT‑Bench — 8.22 (GPT‑4‑Turbo judge)، MMLU — 78.7% (0‑shot)، GSM8K — 92.3% (0‑shot)، HumanEval — 73.2% (0‑shot)، Arena Hard — 54.2، AlpacaEval 2.0 LC — 41.5%۔

Nemotron‑4 340B Reward نے آخری softmax پرت کو آخری پرت کی پوشیدہ حالت کو HelpSteer2 کے 5 attributes کے ویکٹر میں linear projection سے تبدیل کر دیا۔ حتمی reward — پانچ attributes کا وزنی مجموع ہے۔ تربیت HelpSteer2 ڈیٹا پر 2 epochs میں (batch size 128) کی گئی۔ RewardBench پر ماڈل نے 92.0% حاصل کیا، اشاعت کے وقت GPT‑4o (84.7%)، Gemini 1.5 Pro (88.1%) اور Claude‑3‑Opus (80.7%) سے آگے رہا۔

ماڈل	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54.2	41.5%	8.22
Llama‑3‑70B‑Instruct	41.1	34.4%	8.16
Mixtral‑8x22B‑Instruct	36.4	30.9%	7.63
Qwen‑2‑72B‑Instruct	48.1	38.8%	8.26

ماخذ: arXiv:2406.11704، جدول 5۔

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward کو ایک ہائبرڈ طریقے سے تربیت دی گئی جو Bradley‑Terry (جوڑا ترجیحات) اور SteerLM regression (لیکرٹ اسکیل پر کثیر خصوصیت تشخیص) کو یکجا کرتا ہے۔ تربیت خصوصی طور پر HelpSteer2 ڈیٹا (CC‑BY‑4.0) پر کی گئی۔ RewardBench پر ماڈل نے 94.1% حاصل کیا، اشاعت کے وقت پہلا مقام حاصل کیا۔

Llama‑3.1‑Nemotron‑70B‑Instruct کو REINFORCE الگورتھم (PPO نہیں) اور Nemotron‑70B‑Reward ماڈل کے ساتھ RLHF طریقے سے صف بند کیا گیا۔ بنیادی ڈھانچہ — TRT‑LLM ایکسلریشن کے ساتھ NeMo‑Aligner۔

Llama‑Nemotron: Nano، Super، Ultra (2025)

NAS، distillation اور جامع post-training طریقوں سے Llama 3.x سے حاصل کیے گئے استدلال کرنے والے ماڈلوں کا خاندان۔

ماڈل	پیرامیٹرز	بنیادی ماڈل	Context
Llama‑Nemotron‑Nano 8B	8 ارب	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 ارب	Minitron 4B (Llama 3.1 8B سے)	128K
Llama‑Nemotron‑Super 49B	49 ارب	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 ارب	Llama‑3.1‑405B → NAS (Puzzle)	128K

پانچ مرحلی تربیتی pipeline: (1) NAS + FFN Fusion، (2) distillation + جاری pre-training، (3) SFT (DeepSeek‑R1 کی reasoning traces سمیت)، (4) بڑے پیمانے پر RL (Ultra کے لیے GRPO، Nano کے لیے REINFORCE/RLOO + Online RPO)، (5) مکالمے کے لیے صف بندی۔

یہ ماڈل کھلے LLMs میں پہلی بار قابلِ تبادل reasoning موڈ (reasoning toggle) کو سپورٹ کرتے ہیں: فعال ہونے پر («detailed thinking on» system prompt میں) ماڈل جواب سے پہلے <think>...</think> tags میں استدلال کی زنجیر تیار کرتا ہے؛ بند ہونے پر — براہ راست جواب دیتا ہے۔

Llama‑Nemotron‑Ultra 253B کے نتائج (reasoning ON): GPQA Diamond — 76.0%، AIME 2024 — 80.8%، MATH 500 — ~97%۔ موازنے کے لیے: DeepSeek‑R1 (671B total / 37B active) — GPQA Diamond 71.5%، AIME 2024 ~79.8%۔ Ultra ایک واحد 8×H100 نوڈ پر چلتا ہے۔

Nemotron‑H (اپریل 2025)

طویل تخلیقات والے کاموں کے لیے ڈیزائن کیے گئے گھنے ہائبرڈ ماڈلوں کا خاندان جنہیں از سرِ نو تربیت دی گئی۔ Nemotron‑H‑56B کو FP8 میں 20 ٹریلین ٹوکنز پر تربیت دی گئی — یہ FP8 pre-training کے سب سے بڑے عوامی تجربات میں سے ایک ہے۔ Nemotron‑H‑47B کو MiniPuzzle طریقے سے 56B کو مختصر کر کے حاصل کیا گیا (63 ارب distillation ٹوکنز) اور ~1M ٹوکنز کے context پر ایک RTX 5090 (FP4) کی میموری میں سما جاتا ہے۔

بینچ مارک	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60.5	61.8	58.8	51.3
MMLU (5‑shot)	84.2	83.6	86.1	78.8
GSM8K (8‑shot CoT)	93.7	93.3	90.9	83.9
HumanEval (0‑shot)	60.4	61.0	56.7	57.3

ماخذ: arXiv:2504.03624۔

H100 پر 65,536 input اور 1024 output ٹوکنز کے ساتھ تخلیق میں Nemotron‑H‑47B ماڈل Qwen‑2.5‑72B اور Llama‑3.1‑70B سے 2.9 گنا تیز کام کرتا تھا۔

Nemotron Nano 2 (اگست 2025)

استدلال کے لیے ہائبرڈ Mamba‑Transformer ماڈل۔ Nemotron‑Nano‑12B‑v2‑Base — 62 پرتوں (بنیادی طور پر Mamba‑2 + MLP + 4 attention پرتیں) کا parent ماڈل ہے جسے FP8 میں 20 ٹریلین ٹوکنز پر از سرِ نو تربیت دی گئی۔ اس سے توسیع شدہ Minitron طریقے سے Nemotron‑Nano‑9B‑v2 حاصل کی گئی جو ایک GPU NVIDIA A10G (22 GB، BF16) پر 128K ٹوکنز کے context میں کام کر سکتا ہے۔ Post-training: SFT (80 ارب ٹوکنز، DeepSeek‑R1‑0528 traces سمیت) → GRPO → DPO → RLHF۔ استدلال کے بینچ مارکس پر ماڈل Qwen3‑8B سے درستگی میں موازنہ رکھتا ہے، لیکن طویل output sequences میں تخلیق کی رفتار 3–6 گنا زیادہ حاصل کرتا ہے۔

Nemotron 3 Nano 30B‑A3B

دسمبر 2025 میں جاری کیا گیا۔ پیرامیٹرز: 31.6 ارب کل، 3.2 ارب فعال۔ آرکیٹیکچر: 52 پرتیں، hidden dimension 2688، expert dimension 1856، Mamba state dimension 128۔ MoE: 128 routed ماہرین + 1 مشترک، فی ٹوکن 6 فعال۔ Context — 1,048,576 ٹوکنز تک۔ 25 ٹریلین ٹوکنز پر تربیت (WSD شیڈول، batch size 3072، ڈیٹا کا cutoff — جون 2025) دو مراحل میں: Phase 1 — 23.5 ٹریلین (متنوع ڈیٹا)، Phase 2 — 1.5 ٹریلین (اعلیٰ معیاری ڈیٹا) + 121 ارب long‑context CPT ٹوکنز۔

بینچ مارک	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78.30	80.9	75.0
AIME25 (no tools)	89.06	85.0	91.7
AIME25 (with tools)	99.17	—	98.7
GPQA (no tools)	73.04	73.4	71.5
LiveCodeBench v6	68.25	66.0	61.0
SWE‑Bench (OpenHands)	38.76	22.0*	34.0
TauBench V2 Avg	49.04	47.7	47.5
Arena‑Hard‑V2 Avg	67.65	57.8	48.55
RULER‑100 @ 1M	86.34	77.5	—

* — ثانوی ذرائع کی قدریں؛ دوبارہ پیداوار کے حالات — NeMo Evaluator SDK۔ ماخذ: arXiv:2512.20848۔

تھروپٹ (8K input / 16K output، single H200): Qwen3‑30B‑A3B‑Thinking سے 3.3 گنا اور GPT‑OSS‑20B سے 2.2 گنا زیادہ۔

اضافی ماڈل اور سمتیں

• OpenReasoning‑Nemotron (جولائی 2025) — Qwen 2.5 پر مبنی اور DeepSeek‑R1‑0528 ڈیٹا پر fine-tune کیے گئے 1.5B–32B پیرامیٹرز کے ماڈلوں کی سیریز۔ GenSelect@64 کے ساتھ 32B ورژن کچھ ریاضی بینچ مارکس پر o3 (high) سے آگے ہے۔
• Nemotron Elastic (arXiv:2511.16664) — ایک parent ماڈل کے اندر nested sub-ماڈلوں (6B، 9B، 12B) کا framework جو از سرِ نو تربیت کے مقابلے میں تربیتی لاگت 360 گنا کم کرتا ہے۔
• Nemotron‑CrossThink — ریاضی کے مسائل سے آگے کثیر شعبہ جاتی تقویتی سیکھنے کا framework جس نے MATH‑500 پر +30.1% اور MMLU‑PRO پر +12.8% کا اضافہ کیا۔
• Nemotron‑UltraLong — 4 ملین ٹوکنز تک context کی توسیع۔
• Jet‑Nemotron — مختصر ہائبرڈ 2B/4B ماڈلوں کے لیے post-training NAS۔

خصوصی ماڈل

Nemotron ماحولیاتی نظام میں خصوصی کاموں کے ماڈل بھی موجود ہیں:

• Nemotron Nano V2 VL — OCR، ٹیبلز کی پروسیسنگ اور ویڈیو کے لیے vision‑language ماڈل۔
• Nemotron Parse 1.1 — OCR اور دستاویزات کی ساخت نکالنے کا ماڈل۔
• Nemotron ColEmbed V2 — بصری دستاویز تلاش کے لیے embedding ماڈل (late interaction)۔
• Nemotron Speech — خودکار تقریر کی شناخت (ASR)، تقریر کی ترکیب (TTS) اور مشینی ترجمے (NMT) کے ماڈل۔
• Llama 3.1 Nemotron Safety Guard 8B V3 — 9 زبانوں میں 23 اقسام پر 84.2% درستگی کے ساتھ غیر محفوظ مواد کی درجہ بندی کا ماڈل۔

پری ٹریننگ کا ڈیٹا

Nemotron‑4 کے ڈیٹا کی ساخت

Nemotron‑4 15B اور 340B کا pre-training corpus تین بنیادی اقسام پر مشتمل ہے: انگریزی متون (70%)، 53 زبانوں میں کثیر لسانی متون (15%) اور 43 پروگرامنگ زبانوں میں سورس کوڈ (15%)۔ دستاویز سطح پر deduplication (exact اور near‑duplicate) اور language models اور heuristics کے ساتھ فلٹرنگ استعمال کی گئی۔ 15B ماڈل کو 8 ٹریلین ٹوکنز پر، 340B ماڈل کو 9 ٹریلین ٹوکنز پر (8 ٹریلین pre-training + 1 ٹریلین اعلیٰ معیاری ذرائع کو دوبارہ وزن دے کر جاری تربیت) تربیت دی گئی۔

Nemotron‑CC

Nemotron‑CC ڈیٹاسیٹ Common Crawl سے معیاری classifiers کے ensemble اور متون کی مصنوعی paraphrasing کے ذریعے بنایا گیا۔ کل حجم — 6.3 ٹریلین ٹوکنز (4.4 ٹریلین deduplicated + 1.9 ٹریلین مصنوعی reformulations)۔ pipeline NeMo Curator ٹول میں ضم ہے۔ یہ کام ACL 2025 کانفرنس میں Long Paper کے طور پر قبول کیا گیا۔

Nemotron‑CC‑Math

ریاضی پر مرکوز ذیلی مجموعہ جس کا حجم 133 ارب ٹوکنز ہے، Common Crawl سے Lynx + LLM pipeline کے ذریعے LaTeX میں ریاضی فارمولوں اور کوڈ کی ساخت کو محفوظ رکھتے ہوئے نکالا گیا۔

Nemotron 3 Nano کا ڈیٹا

Nemotron 3 Nano کی pre-training 25 ٹریلین ٹوکنز پر کی گئی۔ مجموعے میں شامل ہیں: Nemotron‑CC‑v2.1، Nemotron‑CC‑Code‑v1، Nemotron‑CC‑Math‑v1 اور خصوصی STEM datasets۔ long‑context تربیت کے لیے اضافی 121 ارب CPT ٹوکنز استعمال کیے گئے۔

Nemotron Pretraining Dataset v1

مصنوعی طور پر تیار کردہ مجموعہ جو STEM، علمی متون، استدلال کے کاموں اور کثیر لسانی شعبوں کا احاطہ کرتا ہے؛ اس میں 10 ٹریلین سے زیادہ لسانی ٹوکنز اور SFT کے لیے 18 ملین نمونے شامل ہیں۔ تمام datasets کھلے اجازت ناموں کے تحت تقسیم کیے جاتے ہیں۔

مصنوعی ڈیٹا تخلیق کا pipeline (SDG)

Nemotron‑4 340B کی رپورٹ میں بیان کردہ pipeline میں مندرجہ ذیل مراحل شامل ہیں:

• Prompts کی تخلیق: Open QA، Writing، Closed QA، Math & Coding کے templates پر Mixtral‑8x7B‑Instruct‑v0.1 (Apache 2.0 لائسنس) کے ذریعے تیار کردہ مصنوعی ایک اور دو چکری سوالات۔
• جوابات کی تخلیق: تنوع کو یقینی بنانے کے لیے ماڈلوں کے درمیانی ورژنز سے متعدد جوابات۔
• معیار کی تشخیص: تین طریقے — Ground‑Truth‑as‑a‑Judge (قابلِ تصدیق جواب والے کاموں کے لیے)، LLM‑as‑Judge (زبانی ماڈل کے ذریعے جواب جوڑوں کا موازنہ)، Reward‑Model‑as‑Judge (Nemotron‑4‑340B‑Reward کا استعمال)۔
• کمزور سے مضبوط (weak‑to‑strong) ماڈلوں تک تکراری صف بندی۔

انسانی طور پر annotate کیے گئے ~20,000 نمونوں (SFT کے لیے 10,000، reward ماڈل کے لیے 10,000 HelpSteer2) سے صف بندی کے ڈیٹا کا باقی تمام حجم مصنوعی طور پر تیار کیا گیا۔

مقداری کمی اور inference کی اصلاح

Nemotron 3 Nano ماڈل ModelOpt اور Megatron‑LM استعمال کرتے ہوئے FP8 میں Post‑Training Quantization (PTQ) کو سپورٹ کرتے ہیں۔ selective quantization استعمال کیا جاتا ہے — attention پرتیں اور Mamba کا کچھ حصہ معیار برقرار رکھنے کے لیے BF16 میں رکھے جاتے ہیں؛ باقی FP8 میں quantize کیے جاتے ہیں۔ تکنیکی رپورٹ کے مطابق یہ درستگی کا ~99% برقرار رکھتا ہے۔ Nano NVFP4 فارمیٹ میں inference کو بھی سپورٹ کرتا ہے۔

نسلوں کے مطابق بینچ مارکس کا خلاصہ جدول

ماڈل	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	حالات
Nemotron‑4 15B	64.2%	46.0%	31.6%	—	—	base؛ 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81.1%	—	57.3%	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78.7%	92.3%	73.2%	54.2	8.22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85.0	8.98	اکتوبر 2024
LN‑Ultra 253B (reasoning ON)	—	—	—	—	—	GPQA 76.0%، AIME 80.8%
Nemotron‑H‑47B	83.6%	93.3%	61.0%	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67.7 (v2)	—	AIME25 89.1%، LCB 68.3%

موازنے کی تشریح احتیاط سے کی جانی چاہیے: تشخیص کے حالات، بینچ مارکس کے ورژن اور ٹیسٹنگ کی تاریخیں نسلوں کے درمیان مختلف ہیں۔ نتائج NVIDIA کی تکنیکی رپورٹس سے لیے گئے ہیں؛ آزاد تشخیص مختلف ہو سکتی ہے (دیکھیں «محدودیات» سیکشن)۔

استعمال

NVIDIA NIM کے ذریعے تعیناتی

NVIDIA NIM — OpenAI سے مطابقت رکھنے والے API کے ساتھ inference کے لیے optimized containerized microservices کا مجموعہ۔ Nemotron ماڈل build.nvidia.com پلیٹ فارم پر NIM microservices کے طور پر دستیاب ہیں۔ NIM FP8، BF16، NVFP4 فارمیٹس اور Kubernetes پر Helm charts کے ذریعے تعیناتی کو سپورٹ کرتا ہے۔ ماڈل آزاد frameworks کے ساتھ بھی مطابقت رکھتے ہیں: vLLM، SGLang، Ollama، llama.cpp، TensorRT‑LLM۔

مصنوعی ڈیٹا تخلیق

Nemotron‑4 340B کو مصنوعی ڈیٹا generator کے طور پر استعمال کے لیے ڈیزائن کیا گیا ہے: Instruct ماڈل جوابات تیار کرتا ہے، Reward ماڈل انہیں جانچتا اور فلٹر کرتا ہے۔ NVIDIA Open Model License واضح طور پر ماڈل کی outputs کو دیگر ماڈلوں کی تربیت کے لیے استعمال کرنے کی اجازت دیتا ہے۔ ServiceNow کے مطابق ان کے Apriel 1.6 ماڈل کے 15% pre-training ڈیٹا Nemotron datasets سے حاصل کیے گئے۔

ایجنٹ سسٹمز

Nemotron 3 خاندان کے ماڈل (Nano، Super، Ultra) کثیر ایجنٹ workloads کے لیے بنائے گئے ہیں: منصوبہ بندی، retrieval، ٹول کا استعمال (tool use)۔ Nemotron 3 Nano SWE‑Bench (OpenHands کے ساتھ) پر 38.76% اور TauBench V2 پر 49.04% (avg) کا نتیجہ دکھاتا ہے۔

کارپوریٹ نفاذ

اعلان کردہ شراکت داروں میں: ServiceNow (کام کی خودکاری کے لیے مشترکہ Apriel Nemotron 15B ماڈل)، CrowdStrike (Charlotte AI پلیٹ فارم)، Perplexity (درخواستوں کی routing)، Accenture، Cadence، Deloitte، Oracle، Palantir، Siemens، Synopsys، Zoom شامل ہیں۔ ماڈل AWS Amazon Bedrock پر دستیاب ہیں؛ Google Cloud، CoreWeave، Nebius کے لیے سپورٹ کا منصوبہ ہے۔

محدودیات اور کھلے مسائل

آزاد تشخیص اور NVIDIA کے ڈیٹا سے اختلاف

آزاد تشخیصات NVIDIA کی پیش کردہ نتائج سے اختلاف ظاہر کرتی ہیں۔ Artificial Analysis (فروری 2026) کے مطابق Llama‑Nemotron‑Ultra 253B (reasoning) کو Intelligence Index 15 ملا جبکہ ہم پیمانہ سائز کے ماڈلوں کی اوسط 26 ہے۔ Chatbot Arena (LMArena) پلیٹ فارم پر Nemotron ماڈل درمیانی رینکنگ میں ہیں: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (~147واں مقام)، Nemotron 3 Nano — 1317 ±6 (~164واں مقام)۔

بیان کی طوالت

Nemotron ماڈل بڑھی ہوئی verbosity ظاہر کرتے ہیں: Artificial Analysis کی تشخیص میں Nemotron 3 Nano نے 140 ملین ٹوکنز تیار کیے (دیگر ماڈلوں کے لیے اوسط 12 ملین)، جو inference کی لاگت بڑھاتا ہے۔ DEV Community کے تجزیے سے پتہ چلا کہ Llama‑3.1‑Nemotron‑70B‑Instruct خودکار بینچ مارکس پر باضابطہ برتری کے باوجود کچھ عملی کاموں میں ناکافی درستگی دکھاتا تھا، اور Arena جیسے بینچ مارکس پر اعلیٰ اسکور لمبے اور پراعتماد، لیکن ضروری نہیں کہ درست جوابات کی ترجیح سے تعبیر ہو سکتے تھے۔

فریب اور تعصب

NVIDIA ماڈل کارڈز میں بتاتا ہے کہ ماڈل «تعصبات کو تقویت دے سکتے ہیں اور زہریلے جوابات تیار کر سکتے ہیں، خاص طور پر زہریلے prompts پر»، اور «غلط معلومات تیار کر سکتے ہیں، اہم تفصیلات چھوڑ سکتے ہیں»۔ وزن اور ڈیٹا کا کھلا پن بیرونی آڈٹ کی اجازت دیتا ہے۔

حسابی تقاضے

گھنے ماڈل (Nemotron‑4 340B) مکمل تربیت کے لیے 768 DGX H100 نوڈز کے cluster کی ضرورت رکھتے ہیں، جو اسی طرح کی بنیادی ڈھانچے تک رسائی کے بغیر تعلیمی گروپوں کے لیے دوبارہ پیداوار کو محدود کرتا ہے۔ inference کے دوران لمبا context (1M) کافی VRAM درکار کرتا ہے۔

context کی توسیع پر کمزوری

سپر لمبی sequences تک context کی توسیع میں مختصر context بینچ مارکس پر نتائج کی کمزوری دیکھی گئی۔

ہائبرڈ آرکیٹیکچرز میں quantization

Mamba‑Transformer آرکیٹیکچرز میں انتہائی کم bit depth (FP8/NVFP4) کا استعمال کچھ بینچ مارکس پر درستگی میں معمولی کمی (~1%) کا باعث بنتا ہے۔ یہ مسئلہ selective quantization کے استعمال سے حل کیا جاتا ہے، جو compiler اور inference server کی آرکیٹیکچر کو پیچیدہ بناتا ہے۔

دیگر کھلے مسائل

• بینچ مارکس پر انحصار جہاں training ڈیٹا آلودگی ممکن ہے۔
• 순pure Transformer ماڈلوں کے ساتھ ہائبرڈ SSM‑Transformer آرکیٹیکچرز کے موازنے کے لیے معیاری پروٹوکول کا فقدان۔
• ایسے کاموں میں MoE طریقے کی scalability کا سوال جن میں فی ٹوکن ماہرین کی کم تعداد کے ساتھ گہرے استدلال کی ضرورت ہے۔
• دسمبر 2025 تک Super/Ultra کا ڈیٹا ابتدائی ہے؛ مکمل بینچ مارکس ریلیز کے بعد متوقع ہیں۔

اخلاقی اور ریگولیٹری پہلو

ترقی کے مرحلے پر حفاظت

ترقی کے مرحلے پر درج ذیل استعمال کیے جاتے ہیں: AEGIS framework (13 مواد حفاظت اقسام) کے مطابق تشخیص، garak کمزوریوں کا اسکینر، دستی «red‑teaming»۔

inference کے مرحلے پر حفاظت

NeMo Guardrails — ایک کھلا ٹول (Apache 2.0 لائسنس) جو LLM سسٹمز میں قابلِ پروگرام رکاوٹیں شامل کرتا ہے۔ microservice inputs اور outputs کو روکتا ہے، قابلِ ترتیب جانچیں لاگو کرتا ہے: موضوع کا کنٹرول، PII کی شناخت، RAG «grounding» کی تصدیق، jailbreak حملوں کا پتہ لگانا (YARA پر مبنی code injection سے تحفظ سمیت)، کثیر لسانی کثیر modal حفاظتی درجہ بندی۔

Nemotron 3 کے لیے ٹول استعمال کے حقیقت پسندانہ منظرناموں سے ~11,000 labeled OpenTelemetry traces کا مجموعہ شائع کیا گیا جو agent حفاظت کی تشخیص کے لیے بنایا گیا ہے۔

لائسنسنگ

ماڈل	لائسنس
Nemotron 3 (Nano، Super، Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (Meta سے منتقل)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License تجارتی استعمال، مشتق کاموں کی تخلیق اور تقسیم کی اجازت دیتا ہے، attribution درکار نہیں (NOTICE فائل کو برقرار رکھنے کے ساتھ)، صارفین کی تعداد پر کوئی پابندی نہیں اور صراحت کے ساتھ دیگر ماڈلوں کی تربیت کے لیے ماڈل کی outputs کے استعمال کی اجازت دیتا ہے۔ Llama پر مبنی ماڈل Meta کی پابندیاں وراثت میں لیتے ہیں، جن میں 700 ملین ماہانہ فعال صارفین کی حد شامل ہے۔

Nemotron 3 Nano کے لیے NVIDIA نے شائع کیا: ماڈل کے وزن، 10 ٹریلین سے زیادہ training ڈیٹا ٹوکنز، training کی ترکیبیں، code bases (NeMo، Megatron‑LM، NeMo‑Aligner)، 900,000+ tasks کے ساتھ 10 سے زیادہ تقویتی سیکھنے کے ماحول۔

امکانات اور تحقیقی سمتیں

قریبی ریلیزز میں Nemotron 3 Super (~100 ارب پیرامیٹرز، ~10 ارب فعال) اور Nemotron 3 Ultra (~500 ارب، ~50 ارب فعال) شامل ہیں جو 2026 کی پہلی ششماہی میں متوقع ہیں۔ دونوں ماڈل Blackwell آرکیٹیکچر پر LatentMoE، MTP اور NVFP4 فارمیٹ میں تربیت استعمال کریں گے۔

NVIDIA کی اسٹریٹجک سمت — Nemotron کو ایک واحد ماڈل کے طور پر نہیں بلکہ کثیر ایجنٹ سسٹمز کے لیے ایک infrastructure پرت کے طور پر پیش کرنا ہے، جہاں خاندان کے مختلف ماڈل پیچیدگی کے مطابق routing کے ساتھ مختلف کاموں کے لیے استعمال ہوتے ہیں۔

بنیادی تحقیقی سمتیں:

• ہائبرڈ آرکیٹیکچرز کی ترقی — قابلِ توسیع لمبے context کے لیے attention طریقہ کار کے ساتھ SSM پرتوں کا مزید انضمام۔
• کثیر سطحی compression طریقے — Minitron، Puzzle، MiniPuzzle اور Nemotron Elastic کی ترقی۔
• کثیر شعبہ جاتی تقویتی سیکھنا — ریاضی کے مسائل سے آگے RL کو وسعت دینے کے لیے Nemotron‑CrossThink۔
• Context کی توسیع — Nemotron‑UltraLong 4 ملین ٹوکنز تک۔
• کثیر modal — vision‑language (Nemotron VL)، تقریر (Nemotron Speech)، بصری دستاویز تلاش (Nemotron ColEmbed V2) کے شعبوں میں توسیع۔
• مختصر ہائبرڈ ماڈل — Jet‑Nemotron (2B/4B ماڈلوں کے لیے NAS)۔
• کھلی ترکیبیں — برادری کی طرف سے دوبارہ پیداوار اور تخصیص کے لیے مکمل training ترکیبوں اور ڈیٹا کی اشاعت۔

یہ بھی دیکھیں

• Transformer آرکیٹیکچر
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (Meta کے ماڈلوں کا خاندان)

حوالہ جات

• NVIDIA Research — Nemotron 3 صفحہ: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — Nemotron دستاویزات: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

کتابیات

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, فروری 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, جون 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, جون 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, جولائی 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, نومبر 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, جنوری 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, اپریل 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, مئی 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, اگست 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, اگست 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, نومبر 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, دسمبر 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, دسمبر 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290