Nemotron (NVIDIA) (BN)

Nemotron — উন্মুক্ত ওজনবিশিষ্ট বৃহৎ ভাষা মডেলের (Large Language Model, LLM) একটি পরিবার, যা NVIDIA কর্পোরেশনের Applied Deep Learning Research (ADLR) বিভাগ কর্তৃক তৈরি। মডেলগুলো Machine Learning ও প্রাকৃতিক ভাষা প্রক্রিয়াকরণের (Natural Language Processing, NLP) ক্ষেত্রের অন্তর্গত এবং বিস্তৃত কাজের জন্য ডিজাইন করা হয়েছে: কৃত্রিম ডেটা উৎপাদন, যুক্তিনির্ণয় (reasoning), এজেন্ট অ্যাপ্লিকেশন (agentic AI) এবং NVIDIA-র শিল্প হার্ডওয়্যারে স্থাপনা। পরিবারটিতে বিভিন্ন আর্কিটেকচার ও মাপের মডেল রয়েছে: ৪ বিলিয়ন থেকে ~৫০০ বিলিয়ন পর্যন্ত প্যারামিটার, যার মধ্যে রয়েছে Nemotron‑4 সিরিজের (২০২৪) ঘন (dense) decoder‑only Transformer মডেল, হাইব্রিড Mamba‑Transformer (Nemotron‑H, ২০২৫) এবং Nemotron 3 সিরিজের (২০২৫) Mixture-of-Experts (MoE) সহ হাইব্রিড Mamba‑Transformer। মার্চ ২০২৬ পর্যন্ত পরিবারটিতে ২০টিরও বেশি মডেল রয়েছে, যা টেক্সট উৎপাদন, যুক্তিনির্ণয়, ভিজ্যুয়াল ডকুমেন্ট বোঝা, তথ্য নিষ্কাশন ও উত্তরের মান মূল্যায়নের কাজ করে। মডেলগুলো প্রধানত NVIDIA Open Model License এবং Llama Community License-এর অধীনে উন্মুক্ত ওজনসহ প্রকাশিত হয়।

ইতিহাস ও পটভূমি

Nemotron পরিবারের উন্নয়ন NVIDIA-র জেনারেটিভ AI-এর জন্য সম্পূর্ণ টুল স্ট্যাক তৈরির কৌশলের প্রেক্ষাপটে পরিচালিত হয়: প্রশিক্ষণ পরিকাঠামো (DGX, GPU H100/B200-ভিত্তিক সুপারকম্পিউটার) থেকে শুরু করে প্রশিক্ষণ প্ল্যাটফর্ম (NeMo Framework), সমন্বয় (NeMo‑Aligner), স্থাপনা (NIM — NVIDIA Inference Microservices) এবং নিরাপত্তা নিশ্চিতকরণ (NeMo Guardrails) পর্যন্ত।

Nemotron‑3 8B (২০২৩)

সিরিজের প্রথম সর্বজনলভ্য মডেলটি একটি decoder Transformer যেখানে ৮ বিলিয়ন প্যারামিটার এবং ৪০৯৬ token-এর প্রসঙ্গ রয়েছে। এটি ৫৩টি প্রাকৃতিক ভাষা ও ৩৭টি প্রোগ্রামিং ভাষায় ৩.৮ ট্রিলিয়ন token-এ প্রশিক্ষিত। প্রশিক্ষণ ১৯ দিনে ১০২৪টি A100 GPU-তে পরিচালিত হয়েছিল। arXiv-এ কোনো আনুষ্ঠানিক প্রযুক্তিগত প্রতিবেদন প্রকাশিত হয়নি। মডেলটি NeMo Framework ও Hugging Face-এর মাধ্যমে বিতরণ করা হয়েছিল; Chat (SFT ও SteerLM) সংস্করণ বিদ্যমান ছিল। লাইসেন্স — NVIDIA AI Foundation Models Community License।

নামকরণ সম্পর্কে নোট: ২০২৩ সালের «Nemotron‑3» এবং ডিসেম্বর ২০২৫ সালের «Nemotron 3» ভিন্ন মডেল। প্রথমটি ছিল একটি প্রাথমিক প্রোটোটাইপ, দ্বিতীয়টি MoE আর্কিটেকচার সহ একটি বর্তমান প্রজন্মের মডেল।

Nemotron‑4 15B (ফেব্রুয়ারি ২০২৪)

Nemotron‑4 সিরিজের প্রথম প্রকাশ্যে নথিভুক্ত সংস্করণ — ১৫ বিলিয়ন প্যারামিটারের মডেল, যা ৩৮৪টি DGX H100 নোডে (৩০৭২টি পর্যন্ত GPU) ~১৩ ক্যালেন্ডার দিনে ৮ ট্রিলিয়ন token-এ প্রশিক্ষিত। ৮-গুণ tensor parallelism এবং ৯৬ থেকে ২৮৮ পর্যন্ত data parallelism ব্যবহার করা হয়েছিল। batch size ৩৮৪-এ সর্বোচ্চ MFU (Model FLOPs Utilization) ছিল ৩৪.৩%। আর্কিটেকচার — Grouped‑Query Attention (GQA) ও Rotary Position Embeddings (RoPE) সহ decoder‑only Transformer। প্রকাশের সময় benchmark-এর ফলাফল অনুযায়ী, মডেলটি বহুভাষিক কাজে সমতুল্য আকারের সব উন্মুক্ত মডেলকে ছাড়িয়ে গেছে, এমনকি আকারে চারগুণ বড় কিছু মডেলকেও।

Nemotron‑4 340B (জুন ২০২৪)

জুন ২০২৪ সালে Nemotron‑4 সিরিজের সবচেয়ে বড় মডেলটি প্রকাশিত হয় — ৩৪০ বিলিয়ন প্যারামিটার (৩৩১.৬ বিলিয়ন non-embedding), যা ৯ ট্রিলিয়ন token-এ পূর্ব-প্রশিক্ষিত (৮ ট্রিলিয়ন পূর্ব-প্রশিক্ষণ + উচ্চমানের উৎস পুনর্ভারাঙ্কনসহ ১ ট্রিলিয়ন অবিচ্ছিন্ন প্রশিক্ষণ)। ডিসেম্বর ২০২৩ থেকে মে ২০২৪ পর্যন্ত ৭৬৮টি DGX H100 নোডে (৬১৪৪টি পর্যন্ত GPU) ৪২.৪% সর্বোচ্চ MFU-সহ প্রশিক্ষণ পরিচালিত হয়েছিল। পরিবারে তিনটি সংস্করণ রয়েছে: Base, Instruct এবং Reward। মডেলের আকার এমনভাবে নির্বাচন করা হয়েছে যাতে এটি FP8 নির্ভুলতা ফর্ম্যাটে স্থাপনার সময় একটি DGX H100 নোডে (৮টি GPU) সংকুলান হয়। সমন্বয়ে (alignment) ব্যবহৃত ৯৮%-এরও বেশি ডেটা পুনরাবৃত্তিমূলক প্রক্রিয়ায় সিরিজের মডেলগুলো নিজেই কৃত্রিমভাবে তৈরি করেছে; কৃত্রিম ডেটা উৎপাদনের পাইপলাইন পুনরুৎপাদনের জন্য উন্মুক্ত।

Llama‑3.1‑Nemotron‑70B (অক্টোবর ২০২৪)

অক্টোবর ২০২৪ সালে Meta Llama‑3.1‑70B‑Instruct থেকে fine-tuning করা মডেলগুলো প্রকাশিত হয়: Llama‑3.1‑Nemotron‑70B‑Instruct এবং Llama‑3.1‑Nemotron‑70B‑Reward। ১ অক্টোবর ২০২৪ পর্যন্ত Instruct মডেলটি একই সাথে তিনটি স্বয়ংক্রিয় benchmark-এ প্রথম স্থানে ছিল: Arena Hard — ৮৫.০, AlpacaEval 2 LC — ৫৭.৬%, MT‑Bench (GPT‑4‑Turbo) — ৮.৯৮। Reward মডেলটি RewardBench-এ ৯৪.১% অর্জন করেছিল।

হাইব্রিড আর্কিটেকচারে রূপান্তর (২০২৫)

২০২৫ সালে সিরিজটি Mamba‑2 (State Space Model, SSM — অবস্থান স্থান মডেল) এবং Transformer স্তর সমন্বিত হাইব্রিড আর্কিটেকচার দিয়ে সম্প্রসারিত হয়েছে। মার্চ–মে ২০২৫ সালে স্যুইচযোগ্য reasoning মোড সহ যুক্তিনির্ণয়কারী মডেলের Llama‑Nemotron পরিবার (Nano 8B, Super 49B, Ultra 253B) প্রকাশিত হয়। এপ্রিল ২০২৫ সালে Nemotron‑H (arXiv:2504.03624) প্রকাশিত হয় — ৮B, ৫৬B এবং ৪৭B প্যারামিটারের হাইব্রিড Mamba‑Transformer মডেলের পরিবার। আগস্ট ২০২৫ সালে Nemotron Nano 2 (9B‑v2, arXiv:2508.14444) উপস্থাপন করা হয়।

Nemotron 3 (ডিসেম্বর ২০২৫)

১৫ ডিসেম্বর ২০২৫ সালে তৃতীয় প্রজন্ম ঘোষণা করা হয় — Nano, Super এবং Ultra মডেলসহ Nemotron 3 পরিবার, যা ১ মিলিয়ন token পর্যন্ত প্রসঙ্গ উইন্ডোসহ Mamba‑2, Transformer এবং MoE আর্কিটেকচার একত্রিত করে। Nano প্রযুক্তিগত প্রতিবেদনসহ প্রকাশিত হয়েছে; Super এবং Ultra ২০২৬ সালের প্রথমার্ধে পরিকল্পিত।

তাত্ত্বিক ভিত্তি

Nemotron‑4-এ Transformer আর্কিটেকচার

Nemotron‑4 সিরিজের মডেলগুলো causal attention সহ স্ট্যান্ডার্ড decoder Transformer আর্কিটেকচারের উপর নির্মিত। token ক্রমের সম্ভাবনা $x_1,x_2,\dots ,x_T$ নিম্নরূপে ফ্যাক্টরাইজ করা হয়:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

যেখানে $\theta$ — মডেলের প্যারামিটার।

মনোযোগ প্রক্রিয়াটি Grouped‑Query Attention (GQA) সংস্করণে বাস্তবায়িত:

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

যেখানে $Q,K,V$ — query, key এবং value ম্যাট্রিক্স; $d_k$ — মনোযোগ head-এর মাত্রা।

অবস্থান এনকোডিংয়ের জন্য Rotary Position Embeddings (RoPE) ব্যবহার করা হয়:

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

যেখানে $x_m$ — $m$ অবস্থানে ভেক্টর, ${\theta }_i=10000^{-2i/d}$, $d$ — ভেক্টরের মাত্রা।

MLP স্তরে Squared ReLU সক্রিয়করণ ব্যবহার করা হয়: $f(x)=(max(0,x){)}^2$, যা activation-এর বিরলতা নিশ্চিত করে। মডেলগুলোতে bias নেই, dropout ব্যবহার করা হয় না, এবং ইনপুট ও আউটপুট embedding ম্যাট্রিক্স পরস্পর সংযুক্ত নয় (untied embeddings)। Tokenizer — SentencePiece BPE যেখানে স্পেস সংরক্ষণ, সংখ্যার অক্ষরভিত্তিক বিভাজন এবং বাইটভিত্তিক fallback রয়েছে, শব্দভাণ্ডারের আকার — ২৫৬,০০০।

Nemotron‑4-এর আর্কিটেকচারাল প্যারামিটার

প্যারামিটার	Nemotron‑4 15B	Nemotron‑4 340B
প্যারামিটার সংখ্যা	১৫ বিলিয়ন (৩.২ বিলিয়ন embed.)	৩৪০ বিলিয়ন (৯.৪ বিলিয়ন embed.)
স্তর সংখ্যা	৩২	৯৬
গুপ্ত মাত্রা	৬১৪৪	১৮ ৪৩২
মনোযোগ head	৪৮	৯৬
KV‑head (GQA)	৮	৮
প্রসঙ্গ দৈর্ঘ্য	৪০৯৬	৪০৯৬
শব্দভাণ্ডারের আকার	২৫৬,০০০	২৫৬,০০০

উৎস: arXiv:2402.16819, arXiv:2406.11704।

হাইব্রিড Mamba‑Transformer আর্কিটেকচার (Nemotron‑H)

Nemotron‑H মডেলগুলোতে স্ট্যান্ডার্ড self-attention ব্লকগুলো আংশিকভাবে Mamba‑2 ব্লক দ্বারা প্রতিস্থাপিত হয়েছে — অবস্থান স্থান মডেল (State Space Models, SSM)। autoregressive উৎপাদনে প্রতিটি self-attention স্তরে প্রতি পদক্ষেপে $O(n)$ অপারেশন ও মেমোরি প্রয়োজন (KV-ক্যাশের কারণে), যেখানে Mamba স্তরগুলো প্রতিটি উৎপাদিত token-এর জন্য স্থির মেমোরি ও গণনার খরচ নিশ্চিত করে।

Mamba‑2 রিকারেন্ট সম্পর্ক দ্বারা বর্ণনা করা হয়:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

যেখানে $h_t\in {ℝ}^N$ — গুপ্ত অবস্থা, $A\in {ℝ}^{N\times N}$ — অবস্থান রূপান্তরের কর্ণ ম্যাট্রিক্স, $B\in {ℝ}^{N\times 1}$ ও $C\in {ℝ}^{1\times N}$ — প্রজেকশন ম্যাট্রিক্স, $x_t$ — ইনপুট token, $y_t$ — আউটপুট সংকেত। Mamba‑2-তে $A$, $B$, $C$ ম্যাট্রিক্সগুলো ইনপুট-নির্ভর (input‑dependent), যা মডেলটিকে ক্লাসিক্যাল লিনিয়ার SSM থেকে আলাদা করে।

Nemotron‑H‑56B-তে ৫৪টি Mamba‑2 স্তর + ৫৪টি MLP স্তর + ১০টি self-attention স্তর ব্যবহার করা হয়, যেখানে attention স্তরগুলো Mamba স্তরগুলোর মধ্যে সমানভাবে বিতরণ করা হয়েছে। মডেলটি FP8 ফরম্যাটে (per‑tensor scaling) ৬১৪৪টি H100 GPU-তে ২০ ট্রিলিয়ন token-এ প্রশিক্ষিত। Nemotron‑H‑8B সংস্করণে ২৪টি Mamba‑2 স্তর, ২৪টি MLP স্তর এবং ৪টি self-attention স্তর রয়েছে; প্রশিক্ষণ ১৫ ট্রিলিয়ন token-এ পরিচালিত হয়েছিল।

Nemotron 3-এর MoE আর্কিটেকচার

Nemotron 3 মডেলগুলো (ডিসেম্বর ২০২৫) তিনটি আর্কিটেকচারাল উপাদান একত্রিত করে: Mamba‑2, Transformer এবং Mixture‑of‑Experts। Nemotron 3 Nano (30B‑A3B)-তে ৫২টি স্তর রয়েছে: ২৩টি Mamba‑2 + MoE স্তর, ২৩টি MoE স্তর এবং ৬টি GQA-attention স্তর। প্রতিটি MoE স্তরে ১২৮টি routed expert + ১টি shared expert রয়েছে, যার মধ্যে প্রতিটি token-এর জন্য ৬টি expert সক্রিয় হয়। রাউটিং sigmoid gating সহ প্রশিক্ষণযোগ্য MLP রাউটার দ্বারা সম্পাদিত হয়। লোড ব্যালেন্সিং সহায়ক loss function ছাড়াই (aux‑loss‑free) বাস্তবায়িত। মোট প্যারামিটার সংখ্যা ৩১.৬ বিলিয়ন, কিন্তু প্রতিটি token-এর জন্য সক্রিয় মাত্র ৩.২ বিলিয়ন।

নর্মালাইজেশন — RMSNorm। Mamba অংশে positional embedding নেই (অবস্থান তথ্য SSM অবস্থায় অন্তর্নিহিত)। untied embedding ব্যবহার করা হয়, লিনিয়ার স্তরে dropout ও bias নেই।

Super/Ultra-তে সম্প্রসারণ: LatentMoE এবং Multi‑Token Prediction

Nemotron 3 পরিবারের Super এবং Ultra মডেলগুলো দুটি অতিরিক্ত আর্কিটেকচারাল উদ্ভাবন প্রয়োগ করে:

• Latent MoE (LatentMoE) — রাউটিংয়ের আগে ইনপুট প্রতিনিধিত্বকে ছোট মাত্রার latent স্থানে প্রজেক্ট করা, যা সমতুল্য গণনার খরচে expert সংখ্যা বাড়াতে এবং throughput না কমিয়ে নির্ভুলতা উন্নত করতে সহায়তা করে।
• Multi‑Token Prediction (MTP) — একই সাথে পরবর্তী একাধিক token পূর্বাভাস, যা দীর্ঘ টেক্সটের মান উন্নয়ন ও inference-এ speculative decoding-এর জন্য ব্যবহৃত হয়।

Super এবং Ultra-এর প্রশিক্ষণ NVFP4 ফরম্যাটে পরিচালিত হয় — Blackwell আর্কিটেকচারে NVIDIA-র ৪-বিট সংখ্যা ফরম্যাট।

মডেল সংকোচনের পদ্ধতি: Minitron, Puzzle, MiniPuzzle

কম্প্যাক্ট মডেল তৈরির জন্য NVIDIA বেশ কয়েকটি পদ্ধতি প্রয়োগ করে:

• Minitron — কাঠামোগত pruning ও knowledge distillation পদ্ধতি। দুই ধরনের pruning অন্বেষণ করা হয়: গভীরতা অনুযায়ী (স্তর অপসারণ) এবং প্রস্থ অনুযায়ী (গুপ্ত স্তরের মাত্রা, attention head ও MLP প্রজেকশন যৌথভাবে হ্রাস)। Nemotron‑4 15B-তে Minitron প্রয়োগ করে ৮B ও ৪B মডেল পাওয়া যায়, যা শুরু থেকে প্রশিক্ষণের তুলনায় ৪০ গুণ পর্যন্ত প্রশিক্ষণ খরচ কমায়।
• Puzzle — Neural Architecture Search (NAS) অ্যালগরিদম, যা প্রতিটি ব্লকের সর্বোত্তম কনফিগারেশন (KV-head সংখ্যা, FFN আকার, attention-এর উপস্থিতি/অনুপস্থিতি) ব্লকভিত্তিক distillation সহ নির্ধারণ করে। এইভাবেই Llama 3.1 405B কে ২৫৩B (Llama‑Nemotron Ultra) এবং Llama 3.3 70B কে ৪৯B (Llama‑Nemotron Super)-এ সংকুচিত করা হয়েছে।
• MiniPuzzle — হাইব্রিড আর্কিটেকচারের জন্য Puzzle-এর সম্প্রসারণ, যা মাত্র ৬৩ বিলিয়ন token distillation ব্যয়ে Nemotron‑H‑56B কে ৪৭B-তে সংকুচিত করেছে। একই নির্ভুলতায় সংকুচিত মডেলটি ২০% দ্রুত আউটপুট দেয়।

সমন্বয়ের পদ্ধতি

HelpSteer এবং HelpSteer2

HelpSteer — Scale AI-এর সাথে যৌথভাবে তৈরি ৩৭,১২০ উদাহরণের একটি সংগ্রহ (লাইসেন্স CC‑BY‑4.0), যেখানে প্রতিটি উত্তর পাঁচটি বৈশিষ্ট্য অনুযায়ী টীকাযুক্ত: সহায়কতা (helpfulness), সঠিকতা (correctness), সংহতি (coherence), জটিলতা (complexity) এবং বাচালতা (verbosity) ০–৪ Likert স্কেলে।

HelpSteer2 — ২১,৩৬২ উদাহরণের একটি আপডেট করা সংগ্রহ (১০,৬৮১ prompt × ২ উত্তর), যেখানে ৯৫%-এরও বেশি prompt ShareGPT (বাস্তব ব্যবহারকারী অনুরোধ) থেকে নেওয়া। প্রায় ৫০% টীকা অপর্যাপ্ত মান হিসেবে ফিল্টার করা হয়েছে। HelpSteer2‑Preference সম্প্রসারণটি annotator-দের যুগল পছন্দ যোগ করে, যা একই ডেটায় regression ও pairwise reward মডেল উভয়কেই প্রশিক্ষণ দিতে সক্ষম করে।

SteerLM

SteerLM — বৈশিষ্ট্য-শর্তযুক্ত SFT (Supervised Fine‑Tuning — তত্ত্বাবধানযুক্ত fine-tuning) পদ্ধতি (helpfulness, correctness, coherence, complexity, verbosity), যা ব্যবহারকারীকে inference-এর সময় উত্তরের শৈলী নিয়ন্ত্রণ করতে দেয়। পাইপলাইনে অন্তর্ভুক্ত: (১) HelpSteer-এ attribute prediction মডেল (APM) প্রশিক্ষণ, (২) APM দিয়ে ডেটা লেবেলিং, (৩) লক্ষ্য বৈশিষ্ট্য মানের উপর শর্তযুক্ত SFT, (৪) bootstrapping।

DPO এবং RPO

DPO (Direct Preference Optimization) — স্পষ্ট reward মডেল ছাড়াই সরাসরি পছন্দ অপ্টিমাইজেশন পদ্ধতি, যা Nemotron‑4 340B Instruct এবং Nemotron Nano 2 পাইপলাইনে ব্যবহৃত হয়।

RPO (Reward‑aware Preference Optimization) — NVIDIA-র একটি ঐক্যবদ্ধ গাণিতিক কাঠামো, যা DPO, IPO, SimPO, REINFORCE ও SteerLM 2.0 কে বিশেষ ক্ষেত্র হিসেবে সাধারণীকরণ করে। RPO অন্তর্নিহিত reward মডেলের পূর্বাভাস এবং লক্ষ্য স্পষ্ট মডেলের মধ্যে দূরত্ব ন্যূনতম করে:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

যেখানে $r_{\varphi }$ — স্পষ্ট reward মডেল, ${\pi }_{\theta }$ — প্রশিক্ষণযোগ্য নীতি, ${\pi }_{\text{ref}}$ — রেফারেন্স নীতি, $d(\cdot ,\cdot )$ — দূরত্ব ফাংশন, $y_w$/$y_l$ — পছন্দকৃত/প্রত্যাখ্যাত উত্তর। RPO Nemotron‑4 340B Instruct এবং Llama‑Nemotron মডেলগুলোর প্রশিক্ষণে প্রয়োগ করা হয়।

বহু-পরিবেশ reinforcement learning (RLVR)

Nemotron 3-এ Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) প্রয়োগ করা হয় — NeMo Gym কাঠামোর মধ্যে একই সাথে একাধিক পরিবেশে প্রশিক্ষণ: প্রতিযোগিতামূলক গণিত, প্রোগ্রামিং, QA, tool‑use, instruction‑following, long‑context। অ্যালগরিদম — GRPO (Group Relative Policy Optimization) masked importance sampling সহ।

Nemotron 3 দানাদার reasoning বাজেট নিয়ন্ত্রণ সমর্থন করে: ব্যবহারকারী chat template-এর ফ্ল্যাগের মাধ্যমে thinking trace-এর token সীমা নির্ধারণ করতে পারেন ("detailed thinking on/off" স্যুইচিং বা দৈর্ঘ্য সীমাবদ্ধতা)।

মডেলের পরিসর

সারসংক্ষেপ তালিকা

মডেল	বছর	মোট / সক্রিয় প্যারামিটার	প্রসঙ্গ	আর্কিটেকচার	মূল বৈশিষ্ট্য
Nemotron‑3 8B	২০২৩	8B / 8B	4K	Dense Transformer	৩.৮T token; ১০২৪টি GPU A100; ১৯ দিন
Nemotron‑4 15B	২০২৪	15B / 15B	4K	Dense Transformer	৮T token; MFU ৩৪.৩%
Nemotron‑4 340B	২০২৪	340B / 340B	4K	Dense Transformer	৯T token; Base/Instruct/Reward; >৯৮% কৃত্রিম alignment ডেটা
Llama‑3.1‑Nemotron‑70B	২০২৪	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench ৯৪.১%
Llama‑Nemotron Nano 8B	২০২৫	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	২০২৫	4B / 4B	128K	Dense Transformer (Minitron)	Llama 3.1 8B থেকে NAS-সংকোচন
Llama‑Nemotron Super 49B	২০২৫	49B / 49B	128K	Dense Transformer (Puzzle NAS)	Llama 3.3 70B থেকে
Llama‑Nemotron Ultra 253B	২০২৫	253B / 253B	128K	Dense Transformer (Puzzle NAS)	Llama 3.1 405B থেকে; GPQA ৭৬.০%
Nemotron‑H 8B	২০২৫	8B / 8B	—	হাইব্রিড Mamba‑Transformer	১৫T token; ২৪ Mamba‑2 + ২৪ MLP + ৪ Attn
Nemotron‑H 56B	২০২৫	56B / 56B	—	হাইব্রিড Mamba‑Transformer	২০T token FP8; ৫৪ Mamba‑2 + ৫৪ MLP + ১০ Attn
Nemotron‑H 47B	২০২৫	47B / 47B	~1M (FP4)	হাইব্রিড Mamba‑Transformer	56B থেকে MiniPuzzle; +২০% গতি
Nemotron Nano 2 (9B)	২০২৫	12B → 9B / 9B	128K	হাইব্রিড Mamba‑Transformer	২০T token; Minitron-distillation
Nemotron 3 Nano	২০২৫	31.6B / 3.2B	1M	হাইব্রিড Mamba‑Transformer MoE	২৫T token; ১২৮ expert, ৬টি সক্রিয়
Nemotron 3 Super	২০২৫–২০২৬	~100B / ~10B	1M	হাইব্রিড LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	২০২৫–২০২৬	~500B / ~50B	1M	হাইব্রিড LatentMoE	MTP; NVFP4

Nemotron‑4 15B

আর্কিটেকচার: ৩২ স্তর, hidden dimension ৬১৪৪, ৪৮টি attention head, ৮টি KV‑head (GQA)। মোট প্যারামিটার — ১৫ বিলিয়ন (৩.২ বিলিয়ন embedding + ১২.৫ বিলিয়ন non-embedding)। ফলাফল: MMLU — ৬৪.২% (5‑shot), BBH — ৫৮.৭% (3‑shot), GSM8K — ৪৬.০% (8‑shot, maj@1), HumanEval — ৩১.৬% (0‑shot, pass@1)। বহুভাষিক benchmark-এ (XCOPA, TyDiQA‑GoldP, MGSM) মডেলটি চারগুণ বড় মডেলগুলোকে ছাড়িয়ে গেছে।

Nemotron‑4 340B

আর্কিটেকচার: ৯৬ স্তর, hidden dimension ১৮,৪৩২, ৯৬টি attention head, ৮টি KV‑head।

Nemotron‑4 340B Base দেখিয়েছে: MMLU — ৮১.১% (5‑shot), BBH — ৮৫.৪% (3‑shot), HumanEval — ৫৭.৩% (0‑shot), ARC‑Challenge — ৯৪.৩% (25‑shot)।

Nemotron‑4 340B Instruct বহু-পদক্ষেপ সমন্বয়ের মধ্য দিয়ে গেছে: Code SFT → General SFT → DPO → RPO (৩ রাউন্ড)। ফলাফল: MT‑Bench — ৮.২২ (GPT‑4‑Turbo judge), MMLU — ৭৮.৭% (0‑shot), GSM8K — ৯২.৩% (0‑shot), HumanEval — ৭৩.২% (0‑shot), Arena Hard — ৫৪.২, AlpacaEval 2.0 LC — ৪১.৫%।

Nemotron‑4 340B Reward চূড়ান্ত softmax স্তরটিকে HelpSteer2-এর ৫টি বৈশিষ্ট্যের ভেক্টরে শেষ স্তরের গুপ্ত অবস্থার লিনিয়ার প্রজেকশন দিয়ে প্রতিস্থাপন করে। চূড়ান্ত পুরস্কার — পাঁচটি বৈশিষ্ট্যের ভারযুক্ত যোগফল। HelpSteer2 ডেটায় ২ epoch-এ (batch size ১২৮) প্রশিক্ষণ দেওয়া হয়েছে। RewardBench-এ মডেলটি ৯২.০% অর্জন করেছে, প্রকাশের সময় GPT‑4o (৮৪.৭%), Gemini 1.5 Pro (৮৮.১%) ও Claude‑3‑Opus (৮০.৭%) কে ছাড়িয়ে গেছে।

মডেল	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54.2	41.5%	8.22
Llama‑3‑70B‑Instruct	41.1	34.4%	8.16
Mixtral‑8x22B‑Instruct	36.4	30.9%	7.63
Qwen‑2‑72B‑Instruct	48.1	38.8%	8.26

উৎস: arXiv:2406.11704, তালিকা ৫।

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward Bradley‑Terry (যুগল পছন্দ) এবং SteerLM-রিগ্রেশন (Likert স্কেলে বহু-বৈশিষ্ট্য মূল্যায়ন) একত্রিত করে হাইব্রিড পদ্ধতিতে প্রশিক্ষিত। প্রশিক্ষণ শুধুমাত্র HelpSteer2 ডেটায় (CC‑BY‑4.0) পরিচালিত হয়েছিল। RewardBench-এ মডেলটি ৯৪.১% অর্জন করেছে, প্রকাশের সময় প্রথম স্থানে ছিল।

Llama‑3.1‑Nemotron‑70B‑Instruct REINFORCE অ্যালগরিদম (PPO নয়) এবং Nemotron‑70B‑Reward মডেল দিয়ে RLHF পদ্ধতিতে সমন্বিত। পরিকাঠামো — TRT‑LLM ত্বরণ সহ NeMo‑Aligner।

Llama‑Nemotron: Nano, Super, Ultra (২০২৫)

NAS, distillation এবং উন্নত post-training পদ্ধতিতে Llama 3.x থেকে প্রাপ্ত reasoning মডেলের পরিবার।

মডেল	প্যারামিটার	বেস মডেল	প্রসঙ্গ
Llama‑Nemotron‑Nano 8B	৮ বিলিয়ন	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	৪ বিলিয়ন	Minitron 4B (Llama 3.1 8B থেকে)	128K
Llama‑Nemotron‑Super 49B	৪৯ বিলিয়ন	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	২৫৩ বিলিয়ন	Llama‑3.1‑405B → NAS (Puzzle)	128K

পাঁচ-পদক্ষেপ প্রশিক্ষণ পাইপলাইন: (১) NAS + FFN Fusion, (২) distillation + অবিচ্ছিন্ন পূর্ব-প্রশিক্ষণ, (৩) SFT (DeepSeek‑R1 reasoning trace সহ), (৪) বৃহৎ-মাপের RL (Ultra-র জন্য GRPO, Nano-র জন্য REINFORCE/RLOO + Online RPO), (৫) সংলাপের জন্য সমন্বয়।

মডেলগুলো উন্মুক্ত LLM-গুলোর মধ্যে প্রথমবারের মতো স্যুইচযোগ্য reasoning মোড সমর্থন করে: চালু থাকলে (সিস্টেম prompt-এ "detailed thinking on") মডেলটি উত্তরের আগে <think>...</think> ট্যাগে reasoning chain তৈরি করে; বন্ধ থাকলে সরাসরি উত্তর দেয়।

Llama‑Nemotron‑Ultra 253B-এর ফলাফল (reasoning চালু): GPQA Diamond — ৭৬.০%, AIME 2024 — ৮০.৮%, MATH 500 — ~৯৭%। তুলনার জন্য: DeepSeek‑R1 (৬৭১B মোট / ৩৭B সক্রিয়) — GPQA Diamond ৭১.৫%, AIME 2024 ~৭৯.৮%। Ultra একটি ৮×H100 নোডে স্থাপন করা যায়।

Nemotron‑H (এপ্রিল ২০২৫)

দীর্ঘ উৎপাদনের কাজের জন্য শুরু থেকে প্রশিক্ষিত ও ডিজাইন করা ঘন হাইব্রিড মডেলের পরিবার। Nemotron‑H‑56B FP8-এ ২০ ট্রিলিয়ন token-এ প্রশিক্ষিত — FP8 পূর্ব-প্রশিক্ষণের অন্যতম বৃহত্তম প্রকাশ্য পরীক্ষা। Nemotron‑H‑47B, MiniPuzzle পদ্ধতিতে (৬৩ বিলিয়ন token distillation) 56B সংকোচন করে পাওয়া, ~১M token প্রসঙ্গে একটি RTX 5090 (FP4)-এর মেমোরিতে সংকুলান হয়।

Benchmark	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60.5	61.8	58.8	51.3
MMLU (5‑shot)	84.2	83.6	86.1	78.8
GSM8K (8‑shot CoT)	93.7	93.3	90.9	83.9
HumanEval (0‑shot)	60.4	61.0	56.7	57.3

উৎস: arXiv:2504.03624।

H100-এ ৬৫,৫৩৬টি ইনপুট ও ১,০২৪টি আউটপুট token দিয়ে উৎপাদনের সময়, Nemotron‑H‑47B মডেলটি Qwen‑2.5‑72B ও Llama‑3.1‑70B-এর চেয়ে ২.৯ গুণ দ্রুত কাজ করেছিল।

Nemotron Nano 2 (আগস্ট ২০২৫)

যুক্তিনির্ণয়ের জন্য হাইব্রিড Mamba‑Transformer মডেল। Nemotron‑Nano‑12B‑v2‑Base — ৬২ স্তরের (প্রধানত Mamba‑2 + MLP + ৪টি attention স্তর) মূল মডেল, যা FP8-এ শুরু থেকে ২০ ট্রিলিয়ন token-এ প্রশিক্ষিত। এটি থেকে উন্নত Minitron পদ্ধতিতে Nemotron‑Nano‑9B‑v2 প্রাপ্ত, যা একটি NVIDIA A10G GPU (২২ GB, BF16)-এ ১২৮K token প্রসঙ্গে কাজ করতে পারে। Post-training: SFT (৮০ বিলিয়ন token, DeepSeek‑R1‑0528 trace সহ) → GRPO → DPO → RLHF। reasoning benchmark-এ মডেলটি নির্ভুলতায় Qwen3‑8B-এর সাথে তুলনীয়, কিন্তু দীর্ঘ আউটপুট ক্রমে ৩–৬ গুণ দ্রুত উৎপাদন অর্জন করে।

Nemotron 3 Nano 30B‑A3B

ডিসেম্বর ২০২৫ সালে প্রকাশিত। প্যারামিটার: ৩১.৬ বিলিয়ন মোট, ৩.২ বিলিয়ন সক্রিয়। আর্কিটেকচার: ৫২ স্তর, hidden dimension ২৬৮৮, expert dimension ১৮৫৬, Mamba state dimension ১২৮। MoE: ১২৮টি routed expert + ১টি shared, প্রতিটি token-এ ৬টি সক্রিয়। প্রসঙ্গ — ১,০৪৮,৫৭৬ token পর্যন্ত। ২৫ ট্রিলিয়ন token-এ দুই পর্যায়ে প্রশিক্ষণ (WSD-সূচি, batch size ৩০৭২, ডেটা cutoff — জুন ২০২৫): Phase 1 — ২৩.৫ ট্রিলিয়ন (বৈচিত্র্যময় ডেটা), Phase 2 — ১.৫ ট্রিলিয়ন (উচ্চমানের ডেটা) + ১২১ বিলিয়ন token long‑context CPT।

Benchmark	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78.30	80.9	75.0
AIME25 (no tools)	89.06	85.0	91.7
AIME25 (with tools)	99.17	—	98.7
GPQA (no tools)	73.04	73.4	71.5
LiveCodeBench v6	68.25	66.0	61.0
SWE‑Bench (OpenHands)	38.76	22.0*	34.0
TauBench V2 Avg	49.04	47.7	47.5
Arena‑Hard‑V2 Avg	67.65	57.8	48.55
RULER‑100 @ 1M	86.34	77.5	—

* — দ্বিতীয় উৎস থেকে মান; পুনরুৎপাদন শর্ত — NeMo Evaluator SDK। উৎস: arXiv:2512.20848।

থ্রুপুট (8K ইনপুট / 16K আউটপুট, single H200): Qwen3‑30B‑A3B‑Thinking-এর চেয়ে ৩.৩ গুণ এবং GPT‑OSS‑20B-এর চেয়ে ২.২ গুণ বেশি।

অতিরিক্ত মডেল ও দিকনির্দেশনা

• OpenReasoning‑Nemotron (জুলাই ২০২৫) — Qwen 2.5 ভিত্তিক এবং DeepSeek‑R1‑0528 ডেটায় fine-tuned ১.৫B–৩২B প্যারামিটারের মডেলের সিরিজ। GenSelect@64 সহ ৩২B সংস্করণটি বেশ কয়েকটি গাণিতিক benchmark-এ o3 (high)-কে ছাড়িয়ে যায়।
• Nemotron Elastic (arXiv:2511.16664) — একটি মূল মডেলের মধ্যে নেস্টেড সাব-মডেলের (6B, 9B, 12B) কাঠামো, যা শুরু থেকে প্রশিক্ষণের তুলনায় প্রশিক্ষণ খরচ ৩৬০ গুণ কমায়।
• Nemotron‑CrossThink — গাণিতিক কাজের বাইরে multi-domain reinforcement learning কাঠামো, যা MATH‑500-এ +৩০.১% এবং MMLU‑PRO-তে +১২.৮% নিশ্চিত করেছে।
• Nemotron‑UltraLong — ৪ মিলিয়ন token পর্যন্ত প্রসঙ্গ সম্প্রসারণ।
• Jet‑Nemotron — কম্প্যাক্ট হাইব্রিড ২B/৪B মডেলের জন্য post-training NAS।

বিশেষায়িত মডেল

Nemotron ইকোসিস্টেমে বিশেষায়িত কাজের জন্য মডেলও রয়েছে:

• Nemotron Nano V2 VL — OCR, টেবিল প্রক্রিয়াকরণ ও ভিডিওর জন্য vision‑language মডেল।
• Nemotron Parse 1.1 — OCR ও নথির কাঠামো নিষ্কাশনের মডেল।
• Nemotron ColEmbed V2 — ভিজ্যুয়াল নথি অনুসন্ধানের জন্য embedding মডেল (late interaction)।
• Nemotron Speech — স্বয়ংক্রিয় বাক্য শনাক্তকরণ (ASR), বাক্য সংশ্লেষণ (TTS) ও মেশিন অনুবাদের (NMT) মডেল।
• Llama 3.1 Nemotron Safety Guard 8B V3 — ৯টি ভাষায় ২৩টি বিভাগে অনিরাপদ বিষয়বস্তু শ্রেণীবদ্ধকরণের মডেল, ৮৪.২% নির্ভুলতাসহ।

পূর্ব-প্রশিক্ষণের ডেটা

Nemotron‑4-এর ডেটার গঠন

Nemotron‑4 15B ও 340B-এর পূর্ব-প্রশিক্ষণ কর্পাস তিনটি প্রধান বিভাগে গঠিত: ইংরেজি টেক্সট (৭০%), ৫৩টি ভাষায় বহুভাষিক টেক্সট (১৫%) এবং ৪৩টি প্রোগ্রামিং ভাষায় সোর্স কোড (১৫%)। নথি স্তরে de-duplication (exact ও near-duplicate) এবং ভাষা মডেল ও heuristics দিয়ে ফিল্টারিং প্রয়োগ করা হয়েছিল। 15B মডেল ৮ ট্রিলিয়ন token-এ প্রশিক্ষিত, 340B মডেল — ৯ ট্রিলিয়নে (৮ ট্রিলিয়ন পূর্ব-প্রশিক্ষণ + উচ্চমানের উৎস পুনর্ভারাঙ্কনসহ ১ ট্রিলিয়ন অবিচ্ছিন্ন প্রশিক্ষণ)।

Nemotron‑CC

Nemotron‑CC dataset গুণমান classifier-এর ensemble ও টেক্সটের কৃত্রিম paraphrasing ব্যবহার করে Common Crawl থেকে গঠিত। মোট আয়তন — ৬.৩ ট্রিলিয়ন token (৪.৪ ট্রিলিয়ন de-duplicated + ১.৯ ট্রিলিয়ন কৃত্রিম পুনর্প্রণয়ন)। পাইপলাইনটি NeMo Curator টুলে সংযুক্ত। কাজটি ACL 2025 সম্মেলনে Long Paper হিসেবে গৃহীত হয়েছে।

Nemotron‑CC‑Math

LaTeX-এ গণিতের সূত্র ও কোডের কাঠামো সংরক্ষণ করে Lynx + LLM পাইপলাইন ব্যবহার করে Common Crawl থেকে নিষ্কাশিত গণিত-ভিত্তিক উপসংগ্রহ, ১৩৩ বিলিয়ন token আয়তনের।

Nemotron 3 Nano-র ডেটা

Nemotron 3 Nano-র পূর্ব-প্রশিক্ষণ ২৫ ট্রিলিয়ন token-এ সম্পন্ন হয়েছে। সংগ্রহে রয়েছে: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 এবং বিশেষায়িত STEM dataset। long-context প্রশিক্ষণের জন্য অতিরিক্ত ১২১ বিলিয়ন token CPT ব্যবহার করা হয়েছে।

Nemotron Pretraining Dataset v1

কৃত্রিমভাবে তৈরি সংগ্রহ, যা STEM, একাডেমিক টেক্সট, reasoning কাজ এবং বহুভাষিক ডোমেন অন্তর্ভুক্ত করে; ১০ ট্রিলিয়নেরও বেশি ভাষা token এবং SFT-এর জন্য ১৮ মিলিয়ন নমুনা রয়েছে। সমস্ত dataset উন্মুক্ত অনুমোদনমূলক লাইসেন্সের অধীনে বিতরণ করা হয়।

কৃত্রিম ডেটা উৎপাদন পাইপলাইন (SDG)

Nemotron‑4 340B প্রতিবেদনে বর্ণিত পাইপলাইনে নিম্নলিখিত পদক্ষেপ রয়েছে:

• Prompt উৎপাদন: Open QA, Writing, Closed QA, Math & Coding টেমপ্লেট অনুসারে Mixtral‑8x7B‑Instruct‑v0.1 (Apache 2.0 লাইসেন্স) দিয়ে তৈরি কৃত্রিম এক- ও দুই-পালা অনুরোধ।
• উত্তর উৎপাদন: বৈচিত্র্য নিশ্চিত করতে মডেলের মধ্যবর্তী সংস্করণ থেকে একাধিক উত্তর।
• মান মূল্যায়ন: তিনটি পদ্ধতি — Ground‑Truth‑as‑a‑Judge (যাচাইযোগ্য উত্তর সহ কাজের জন্য), LLM‑as‑Judge (ভাষা মডেল দিয়ে উত্তরের যুগল তুলনা), Reward‑Model‑as‑Judge (Nemotron‑4‑340B‑Reward ব্যবহার)।
• দুর্বল থেকে শক্তিশালী (weak‑to‑strong) পর্যন্ত পুনরাবৃত্তিমূলক সমন্বয়।

~২০,০০০ মানব-টীকাকৃত উদাহরণ (SFT-এর জন্য ১০,০০০, reward মডেলের জন্য ১০,০০০ HelpSteer2) থেকে সমন্বয় ডেটার বাকি সব আয়তন কৃত্রিমভাবে সংশ্লেষিত করা হয়েছে।

কোয়ান্টাইজেশন ও inference অপ্টিমাইজেশন

Nemotron 3 Nano মডেলগুলো ModelOpt ও Megatron‑LM ব্যবহার করে FP8-এ Post‑Training Quantization (PTQ) সমর্থন করে। selective quantization প্রয়োগ করা হয় — মান সংরক্ষণের জন্য attention স্তর ও Mamba-র একটি অংশ BF16-এ রাখা হয়; বাকিগুলো FP8-এ কোয়ান্টাইজ করা হয়। প্রযুক্তিগত প্রতিবেদন অনুযায়ী, এটি নির্ভুলতার ~৯৯% ধরে রাখে। Nano NVFP4 ফরম্যাটে inference-ও সমর্থন করে।

প্রজন্ম অনুযায়ী benchmark-এর সারসংক্ষেপ তালিকা

মডেল	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	শর্ত
Nemotron‑4 15B	৬৪.২%	৪৬.০%	৩১.৬%	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	৮১.১%	—	৫৭.৩%	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	৭৮.৭%	৯২.৩%	৭৩.২%	54.2	8.22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85.0	8.98	অক্টো. ২০২৪
LN‑Ultra 253B (reasoning চালু)	—	—	—	—	—	GPQA ৭৬.০%, AIME ৮০.৮%
Nemotron‑H‑47B	৮৩.৬%	৯৩.৩%	৬১.০%	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	৬৭.৭ (v2)	—	AIME25 ৮৯.১%, LCB ৬৮.৩%

তুলনাটি সতর্কতার সাথে ব্যাখ্যা করা উচিত: প্রজন্মের মধ্যে মূল্যায়নের শর্ত, benchmark সংস্করণ ও পরীক্ষার তারিখ ভিন্ন। ফলাফলগুলো NVIDIA-র প্রযুক্তিগত প্রতিবেদন থেকে নেওয়া; স্বাধীন মূল্যায়ন ভিন্ন হতে পারে (দেখুন «সীমাবদ্ধতা» অনুচ্ছেদ)।

প্রয়োগ

NVIDIA NIM-এর মাধ্যমে স্থাপনা

NVIDIA NIM — OpenAI-সামঞ্জস্যপূর্ণ API সহ অপ্টিমাইজড কন্টেইনারাইজড inference মাইক্রোসার্ভিসের সংগ্রহ। Nemotron মডেলগুলো build.nvidia.com প্ল্যাটফর্মে NIM মাইক্রোসার্ভিস হিসেবে পাওয়া যায়। NIM FP8, BF16, NVFP4 ফরম্যাট এবং Kubernetes-এ Helm chart-এর মাধ্যমে স্থাপনা সমর্থন করে। মডেলগুলো স্বাধীন framework-এর সাথেও সামঞ্জস্যপূর্ণ: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM।

কৃত্রিম ডেটা উৎপাদন

Nemotron‑4 340B কৃত্রিম ডেটার জেনারেটর হিসেবে ব্যবহারের জন্য ডিজাইন করা হয়েছে: Instruct মডেল উত্তর তৈরি করে, Reward মডেল সেগুলো মূল্যায়ন ও ফিল্টার করে। NVIDIA Open Model License স্পষ্টভাবে অন্যান্য মডেল প্রশিক্ষণের জন্য মডেলের আউটপুট ব্যবহারের অনুমতি দেয়। ServiceNow-এর তথ্য অনুযায়ী, তাদের Apriel 1.6 মডেলের ১৫% পূর্ব-প্রশিক্ষণ ডেটা Nemotron dataset থেকে প্রাপ্ত।

এজেন্ট সিস্টেম

Nemotron 3 পরিবারের (Nano, Super, Ultra) মডেলগুলো বহু-এজেন্ট কাজের জন্য উদ্দিষ্ট: পরিকল্পনা, retrieval, tool use। Nemotron 3 Nano SWE‑Bench-এ (OpenHands সহ) ৩৮.৭৬% এবং TauBench V2-তে ৪৯.০৪% (গড়) ফলাফল দেখায়।

কর্পোরেট বাস্তবায়ন

ঘোষিত অংশীদারদের মধ্যে রয়েছে: ServiceNow (কর্মপ্রবাহ স্বয়ংক্রিয়করণের জন্য যৌথ মডেল Apriel Nemotron 15B), CrowdStrike (Charlotte AI প্ল্যাটফর্ম), Perplexity (অনুরোধ রাউটিং), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom। মডেলগুলো AWS Amazon Bedrock-এ পাওয়া যায়; Google Cloud, CoreWeave, Nebius সমর্থনের পরিকল্পনা রয়েছে।

সীমাবদ্ধতা ও উন্মুক্ত সমস্যা

স্বাধীন মূল্যায়ন ও NVIDIA-র ডেটার সাথে পার্থক্য

স্বাধীন মূল্যায়ন NVIDIA-র উপস্থাপিত ফলাফলের সাথে পার্থক্য প্রকাশ করে। Artificial Analysis (ফেব্রুয়ারি ২০২৬)-এর তথ্য অনুযায়ী, Llama‑Nemotron‑Ultra 253B (reasoning) সমতুল্য আকারের মডেলের মধ্যক ২৬-এর বিপরীতে Intelligence Index ১৫ পেয়েছে। Chatbot Arena (LMArena) প্ল্যাটফর্মে Nemotron মডেলগুলো রেটিংয়ের মাঝামাঝি অবস্থানে রয়েছে: Llama 3.3 Nemotron Super 49B — Elo ১৩২৭ ±১২ (~১৪৭তম স্থান), Nemotron 3 Nano — ১৩১৭ ±৬ (~১৬৪তম স্থান)।

বাচালতা

Nemotron মডেলগুলো উচ্চ বাচালতা প্রদর্শন করে: Artificial Analysis-এর মূল্যায়নে Nemotron 3 Nano মডেলটি ১৪০ মিলিয়ন token তৈরি করেছিল (অন্যান্য মডেলের মধ্যক ১২ মিলিয়নের বিপরীতে), যা inference খরচ বাড়ায়। DEV Community-র বিশ্লেষণে দেখা গেছে, Llama‑3.1‑Nemotron‑70B‑Instruct স্বয়ংক্রিয় benchmark-এ আনুষ্ঠানিকভাবে এগিয়ে থাকলেও বেশ কয়েকটি ব্যবহারিক কাজে অপর্যাপ্ত নির্ভুলতা দেখিয়েছে, এবং Arena-সদৃশ benchmark-এ উচ্চ স্কোর বহুভাষী ও আত্মবিশ্বাসী — কিন্তু অগত্যা নির্ভুল নয় — উত্তরের পছন্দ দ্বারা ব্যাখ্যা করা যেতে পারে।

হ্যালুসিনেশন ও bias

NVIDIA মডেল কার্ডে উল্লেখ করেছে যে মডেলগুলো «পক্ষপাত শক্তিশালী করতে এবং বিষাক্ত উত্তর তৈরি করতে পারে, বিশেষত বিষাক্ত prompt-এর সময়», এবং এছাড়াও «অনির্ভুল তথ্য উৎপাদন করতে, গুরুত্বপূর্ণ বিবরণ বাদ দিতে পারে»। ওজন ও ডেটার উন্মুক্ততা বাহ্যিক নিরীক্ষার সুযোগ দেয়।

গণনার প্রয়োজনীয়তা

ঘন মডেলগুলো (Nemotron‑4 340B) সম্পূর্ণ প্রশিক্ষণের জন্য ৭৬৮টি DGX H100 নোডের একটি ক্লাস্টার প্রয়োজন, যা একই পরিকাঠামো ছাড়া একাডেমিক দলগুলোর জন্য পুনরুৎপাদনযোগ্যতা সীমিত করে। inference-এ দীর্ঘ প্রসঙ্গ (১M) উল্লেখযোগ্য পরিমাণ VRAM প্রয়োজন।

প্রসঙ্গ সম্প্রসারণে অবনতি

অতি-দীর্ঘ ক্রমে প্রসঙ্গ সম্প্রসারণের সময় সংক্ষিপ্ত প্রসঙ্গের benchmark-এ ফলাফলের অবনতি লক্ষ্য করা গেছে।

হাইব্রিড আর্কিটেকচারের কোয়ান্টাইজেশন

Mamba‑Transformer আর্কিটেকচারে অতি-কম নির্ভুলতা (FP8/NVFP4) ব্যবহার কিছু benchmark-এ সামান্য নির্ভুলতা হ্রাস (~১%) ঘটায়। এই সমস্যাটি selective quantization প্রয়োগ করে সমাধান করা হয়, যা compiler ও inference-সার্ভারের আর্কিটেকচার জটিল করে।

অন্যান্য উন্মুক্ত সমস্যা

• প্রশিক্ষণ ডেটার সম্ভাব্য দূষণ সহ benchmark-এর উপর নির্ভরশীলতা।
• হাইব্রিড SSM‑Transformer আর্কিটেকচার ও বিশুদ্ধ Transformer মডেলের তুলনার জন্য মানসম্পন্ন প্রোটোকলের অভাব।
• প্রতিটি token-এ কম সংখ্যক expert সহ গভীর reasoning প্রয়োজনীয় কাজে MoE পদ্ধতির মাপযোগ্যতার প্রশ্ন।
• ডিসেম্বর ২০২৫ পর্যন্ত Super/Ultra-র ডেটা প্রাথমিক; প্রকাশের পর সম্পূর্ণ benchmark প্রত্যাশিত।

নৈতিক ও নিয়ন্ত্রণমূলক দিক

উন্নয়ন পর্যায়ে নিরাপত্তা

উন্নয়ন পর্যায়ে প্রয়োগ করা হয়: AEGIS কাঠামো অনুযায়ী মূল্যায়ন (বিষয়বস্তু নিরাপত্তার ১৩টি বিভাগ), garak দুর্বলতা স্ক্যানার, ম্যানুয়াল «রেড-টিমিং»।

inference পর্যায়ে নিরাপত্তা

NeMo Guardrails — উন্মুক্ত টুলকিট (Apache 2.0 লাইসেন্স), যা LLM সিস্টেমে প্রোগ্রামযোগ্য বাধা যোগ করে। মাইক্রোসার্ভিসটি ইনপুট ও আউটপুট বাধা দেয়, কনফিগারযোগ্য পরীক্ষা প্রয়োগ করে: বিষয় নিয়ন্ত্রণ, PII শনাক্তকরণ, RAG «ভিত্তি» যাচাইকরণ, jailbreak আক্রমণ শনাক্তকরণ (YARA-ভিত্তিক কোড ইনজেকশন সুরক্ষা সহ), বহুভাষিক বহু-মডালিটি নিরাপত্তা শ্রেণীবিভাগ।

Nemotron 3-এর জন্য টুল ব্যবহার সহ বাস্তবসম্মত পরিস্থিতি থেকে ~১১,০০০ লেবেলকৃত OpenTelemetry trace-এর একটি সংগ্রহ প্রকাশিত হয়েছে, যা এজেন্ট নিরাপত্তা মূল্যায়নের জন্য উদ্দিষ্ট।

লাইসেন্সিং

মডেলগুলো	লাইসেন্স
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (Meta থেকে উত্তরাধিকারসূত্রে প্রাপ্ত)
Nemotron‑3 8B (২০২৩)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License বাণিজ্যিক ব্যবহার, ডেরিভেটিভ কাজ তৈরি ও বিতরণের অনুমতি দেয়, attribution প্রয়োজন নেই (NOTICE ফাইল সংরক্ষণ সাপেক্ষে), ব্যবহারকারীর সংখ্যায় কোনো বাধা নেই এবং অন্যান্য মডেল প্রশিক্ষণের জন্য মডেলের আউটপুট ব্যবহারের স্পষ্ট অনুমতি দেয়। Llama-ভিত্তিক মডেলগুলো মাসিক সক্রিয় ব্যবহারকারীর ৭০০ মিলিয়ন সীমা সহ Meta-র বাধাগুলো উত্তরাধিকারসূত্রে পায়।

Nemotron 3 Nano-র জন্য NVIDIA প্রকাশ করেছে: মডেলের ওজন, ১০ ট্রিলিয়নেরও বেশি token প্রশিক্ষণ ডেটা, প্রশিক্ষণের রেসিপি, কোডবেস (NeMo, Megatron‑LM, NeMo‑Aligner), ৯,০০,০০০+ কাজ সহ ১০টিরও বেশি reinforcement learning পরিবেশ।

সম্ভাবনা ও গবেষণার দিকনির্দেশনা

নিকটবর্তী রিলিজের মধ্যে রয়েছে Nemotron 3 Super (~১০০ বিলিয়ন প্যারামিটার, ~১০ বিলিয়ন সক্রিয়) এবং Nemotron 3 Ultra (~৫০০ বিলিয়ন, ~৫০ বিলিয়ন সক্রিয়), যা ২০২৬ সালের প্রথমার্ধে প্রত্যাশিত। উভয় মডেলই LatentMoE, MTP এবং Blackwell আর্কিটেকচারে NVFP4 ফরম্যাটে প্রশিক্ষণ ব্যবহার করবে।

NVIDIA-র কৌশলগত দিকনির্দেশনা — Nemotron-কে একক মডেল হিসেবে নয়, বরং বহু-এজেন্ট সিস্টেমের পরিকাঠামোগত স্তর হিসেবে অবস্থান করানো, যেখানে পরিবারের বিভিন্ন মডেল জটিলতা অনুযায়ী রাউটিং সহ বিভিন্ন কাজের জন্য ব্যবহৃত হয়।

মূল গবেষণার দিকনির্দেশনা:

• হাইব্রিড আর্কিটেকচারের উন্নয়ন — মাপযোগ্য দীর্ঘ প্রসঙ্গের জন্য attention প্রক্রিয়ার সাথে SSM স্তরের আরও একীভূতকরণ।
• বহু-স্তরীয় সংকোচন পদ্ধতি — Minitron, Puzzle, MiniPuzzle ও Nemotron Elastic-এর উন্নয়ন।
• বহু-ডোমেন reinforcement learning — গাণিতিক কাজের বাইরে RL সম্প্রসারণের জন্য Nemotron‑CrossThink।
• প্রসঙ্গ সম্প্রসারণ — Nemotron‑UltraLong ৪ মিলিয়ন token পর্যন্ত।
• মাল্টিমোডালিটি — vision‑language (Nemotron VL), বাক্য (Nemotron Speech), ভিজ্যুয়াল নথি অনুসন্ধান (Nemotron ColEmbed V2) এলাকায় সম্প্রসারণ।
• কম্প্যাক্ট হাইব্রিড মডেল — Jet‑Nemotron (২B/৪B মডেলের জন্য NAS)।
• উন্মুক্ত রেসিপি — সম্প্রদায়ের দ্বারা পুনরুৎপাদন ও কাস্টমাইজেশনের জন্য সম্পূর্ণ প্রশিক্ষণ রেসিপি ও ডেটা প্রকাশ।

আরও দেখুন

• Transformer আর্কিটেকচার
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (Meta-র মডেল পরিবার)

তথ্যসূত্র

• NVIDIA Research — Nemotron 3 পৃষ্ঠা: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — Nemotron ডকুমেন্টেশন: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

সাহিত্য

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, ফেব্রুয়ারি ২০২৪। https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, জুন ২০২৪। https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, জুন ২০২৪। https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, জুলাই ২০২৪। https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, নভেম্বর ২০২৪। https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, জানুয়ারি ২০২৫। https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, এপ্রিল ২০২৫। https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, মে ২০২৫। https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, আগস্ট ২০২৫। https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, আগস্ট ২০২৫। https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, নভেম্বর ২০২৫। https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, ডিসেম্বর ২০২৫। https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, ডিসেম্বর ২০২৫। https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290