Nemotron (NVIDIA) (HE)

Nemotron — משפחת מודלים לשוניים גדולים (Large Language Model, LLM) עם משקלים פתוחים, שפותחה על ידי חטיבת Applied Deep Learning Research (ADLR) של תאגיד NVIDIA. המודלים שייכים לתחום Machine Learning ועיבוד שפה טבעית (Natural Language Processing, NLP) ומיועדים למגוון רחב של משימות: יצירת נתונים סינתטיים, הסקה לוגית (reasoning), יישומים אגנטיים (agentic AI) ופריסה על ציוד תעשייתי של NVIDIA. המשפחה כוללת מודלים בארכיטקטורות וסקאלות שונות: בין 4 מיליארד לכ-500 מיליארד פרמטרים, לרבות מודלי Transformer מסוג decoder‑only צפופים (dense) מסדרת Nemotron‑4 (2024), היברידיים Mamba‑Transformer (Nemotron‑H, 2025) והיברידיים Mamba‑Transformer עם Mixture-of-Experts (MoE) בסדרת Nemotron 3 (2025). נכון למרץ 2026, המשפחה כוללת יותר מ-20 מודלים המכסים משימות של יצירת טקסט, הסקה, הבנה חזותית של מסמכים, חילוץ מידע והערכת איכות תשובות. המודלים מופצים בעיקר עם משקלים פתוחים תחת רישיונות NVIDIA Open Model License ו-Llama Community License.

היסטוריה ורקע

פיתוח משפחת Nemotron מתנהל בהקשר האסטרטגיה של NVIDIA ליצירת מחסנית כלים מלאה לבינה מלאכותית גנרטיבית: מתשתית אימון (DGX, מחשבי-על מבוססי GPU H100/B200) ועד פלטפורמות אימון (NeMo Framework), יישור (NeMo‑Aligner), פריסה (NIM — NVIDIA Inference Microservices) ואבטחה (NeMo Guardrails).

Nemotron‑3 8B (2023)

המודל הראשון הזמין לציבור בסדרה — Transformer מסוג מפענח עם 8 מיליארד פרמטרים והקשר של 4096 token, שאומן על 3.8 טריליון token ב-53 שפות טבעיות ו-37 שפות תכנות. האימון בוצע על 1024 GPU מסוג A100 במשך 19 ימים. לא פורסם דוח טכני רשמי ב-arXiv. המודל הופץ דרך NeMo Framework ו-Hugging Face, וקיימו גרסאות Chat (SFT ו-SteerLM). הרישיון — NVIDIA AI Foundation Models Community License.

הערה על שמות: "Nemotron‑3" משנת 2023 ו"Nemotron 3" מדצמבר 2025 הם מודלים שונים. הראשון היה אב-טיפוס מוקדם, השני — הדור העדכני עם ארכיטקטורת MoE.

Nemotron‑4 15B (פברואר 2024)

המהדורה המתועדת ציבורית הראשונה של סדרת Nemotron‑4 — מודל עם 15 מיליארד פרמטרים, שאומן על 8 טריליון token במשך כ-13 ימים קלנדריים על 384 צמתי DGX H100 (עד 3072 GPU). נעשה שימוש בפרלליזם טנסורי פי-8 ופרלליזם נתונים בין 96 ל-288. ה-MFU (Model FLOPs Utilization) השיאית הייתה 34.3% עם batch size של 384. הארכיטקטורה — Transformer מסוג decoder‑only עם Grouped‑Query Attention (GQA) ו-Rotary Position Embeddings (RoPE). על פי תוצאות ה-benchmark בעת הפרסום, המודל עלה על כל המודלים הפתוחים בגודל דומה במשימות רב-לשוניות, כולל מספר מודלים גדולים ממנו פי ארבעה.

Nemotron‑4 340B (יוני 2024)

ביוני 2024 שוחרר המודל הגדול ביותר של סדרת Nemotron‑4 — 340 מיליארד פרמטרים (331.6 מיליארד שאינם embedding), שעבר אימון מקדים על 9 טריליון token (8 טריליון אימון מקדים + 1 טריליון אימון המשך עם שקלול-מחדש של מקורות באיכות גבוהה). האימון בוצע על 768 צמתי DGX H100 (עד 6144 GPU) עם MFU שיאית של 42.4%, בין דצמבר 2023 למאי 2024. המשפחה כוללת שלושה גרסאות: Base, Instruct ו-Reward. גודל המודל נבחר כך שייכנס לצומת DGX H100 בודד (8 GPU) בעת פריסה בפורמט דיוק FP8. יותר מ-98% מהנתונים שנעשה בהם שימוש ביישור (alignment) נוצרו סינתטית על ידי מודלי הסדרה עצמם בתהליך איטרטיבי; צינור יצירת הנתונים הסינתטיים פתוח לשחזור.

Llama‑3.1‑Nemotron‑70B (אוקטובר 2024)

באוקטובר 2024 שוחררו מודלים שעברו כוונון עדין מתוך Meta Llama‑3.1‑70B‑Instruct: Llama‑3.1‑Nemotron‑70B‑Instruct ו-Llama‑3.1‑Nemotron‑70B‑Reward. נכון ל-1 באוקטובר 2024, מודל ה-Instruct תפס את המקום הראשון בו-זמנית בשלושה benchmark אוטומטיים: Arena Hard — 85.0, AlpacaEval 2 LC — 57.6%, MT‑Bench (GPT‑4‑Turbo) — 8.98. מודל ה-Reward השיג 94.1% על RewardBench.

המעבר לארכיטקטורות היברידיות (2025)

ב-2025 הורחבה הסדרה בארכיטקטורות היברידיות המשלבות שכבות Mamba‑2 (State Space Model, SSM — מודל מרחב מצבים) ו-Transformer. בין מרץ למאי 2025 שוחררה משפחת מודלי ההסקה Llama‑Nemotron (Nano 8B, Super 49B, Ultra 253B) עם מצב הסקה הניתן לשינוי. באפריל 2025 פורסם Nemotron‑H (arXiv:2504.03624) — משפחת מודלים היברידיים Mamba‑Transformer בגדלים של 8B, 56B ו-47B פרמטרים. באוגוסט 2025 הוצג Nemotron Nano 2 (9B‑v2, arXiv:2508.14444).

Nemotron 3 (דצמבר 2025)

ב-15 בדצמבר 2025 הוכרז הדור השלישי — משפחת Nemotron 3 עם מודלי Nano, Super ו-Ultra, המאחדת ארכיטקטורות Mamba‑2, Transformer ו-MoE עם חלון הקשר של עד 1 מיליון token. Nano שוחרר עם דוח טכני; Super ו-Ultra מתוכננים לחצי הראשון של 2026.

יסודות תיאורטיים

ארכיטקטורת Transformer ב-Nemotron‑4

מודלי סדרת Nemotron‑4 בנויים על ארכיטקטורת Transformer מפענח סטנדרטית עם attention סיבתי. ההסתברות של רצף ה-token $x_1,x_2,\dots ,x_T$ מתפרקת כ:

$p(x_1,\dots ,x_T)=\prod _{t=1}^{T}p(x_t\mid x_1,\dots ,x_{t-1};\theta ),$

כאשר $\theta$ — פרמטרי המודל.

מנגנון ה-attention מממש בגרסת Grouped‑Query Attention (GQA):

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V,$

כאשר $Q,K,V$ — מטריצות השאילתות, המפתחות והערכים; $d_k$ — מימד ראש ה-attention.

לקידוד מיקומים נעשה שימוש ב-Rotary Position Embeddings (RoPE):

$\mathrm{RoPE}(x_m,m)=\left(\begin{array}{c}{x}_m^{(1)}\cos m{\theta }_1-x_m^{(2)}\sin m{\theta }_1\\ x_m^{(1)}\sin m{\theta }_1+x_m^{(2)}\cos m{\theta }_1\\ ⋮\end{array}\right),$

כאשר $x_m$ — וקטור במיקום $m$, ${\theta }_i=10000^{-2i/d}$, $d$ — מימד הוקטור.

בשכבות ה-MLP נעשה שימוש באקטיבציה Squared ReLU: $f(x)=(max(0,x){)}^2$, המבטיחה דלילות אקטיבציות. המודלים אינם מכילים הטיות (bias), אינם משתמשים ב-dropout, ומטריצות ה-embedding של הכניסה והיציאה אינן קשורות זו לזו (untied embeddings). מנתח ה-token — SentencePiece BPE עם שמירת רווחים, פירוק ספרות לתווים ו-fallback בייתי, גודל אוצר המילים — 256,000.

פרמטרים ארכיטקטוניים של Nemotron‑4

פרמטר	Nemotron‑4 15B	Nemotron‑4 340B
מספר פרמטרים	15 מיליארד (3.2 מיליארד embed.)	340 מיליארד (9.4 מיליארד embed.)
מספר שכבות	32	96
מימד נסתר	6144	18,432
ראשי attention	48	96
ראשי KV (GQA)	8	8
אורך הקשר	4096	4096
גודל אוצר מילים	256,000	256,000

מקורות: arXiv:2402.16819, arXiv:2406.11704.

ארכיטקטורה היברידית Mamba‑Transformer (Nemotron‑H)

במודלי Nemotron‑H, בלוקי self-attention סטנדרטיים מוחלפים בחלקם בבלוקי Mamba‑2 — מודלי מרחב מצבים (State Space Models, SSM). ביצירת autoregressive, כל שכבת self-attention דורשת $O(n)$ פעולות וזיכרון לכל צעד (בשל KV‑cache), בעוד שכבות Mamba מספקות עלויות זיכרון וחישוב קבועות לכל token שנוצר.

Mamba‑2 מתואר ביחס רקורסיבי:

$h_t=A{h}_{t-1}+B{x}_t,y_t=C{h}_t,$

כאשר $h_t\in {ℝ}^N$ — המצב הנסתר, $A\in {ℝ}^{N\times N}$ — מטריצת מעבר מצבים אלכסונית, $B\in {ℝ}^{N\times 1}$ ו-$C\in {ℝ}^{1\times N}$ — מטריצות הקרנה, $x_t$ — token הכניסה, $y_t$ — אות הפלט. ב-Mamba‑2, המטריצות $A$, $B$, $C$ תלויות בכניסה (input‑dependent), מה שמבדיל את המודל מ-SSM לינאריים קלאסיים.

ב-Nemotron‑H‑56B נעשה שימוש ב-54 שכבות Mamba‑2 + 54 שכבות MLP + 10 שכבות self-attention, כאשר שכבות ה-attention פרוסות באופן שווה בין שכבות ה-Mamba. המודל אומן על 20 טריליון token בפורמט FP8 (per‑tensor scaling) על 6144 GPU מסוג H100. גרסת Nemotron‑H‑8B מכילה 24 שכבות Mamba‑2, 24 שכבות MLP ו-4 שכבות self-attention; האימון בוצע על 15 טריליון token.

ארכיטקטורת MoE של Nemotron 3

מודלי Nemotron 3 (דצמבר 2025) משלבים שלושה רכיבים ארכיטקטוניים: Mamba‑2, Transformer ו-Mixture‑of‑Experts. Nemotron 3 Nano (30B‑A3B) מכיל 52 שכבות: 23 שכבות Mamba‑2 + MoE, 23 שכבות MoE ו-6 שכבות GQA‑attention. כל שכבת MoE כוללת 128 מומחים מנותבים (routed) + מומחה משותף (shared) אחד, מתוכם 6 מומחים מופעלים עבור כל token. הניתוב מבוצע על ידי MLP router מאומן עם sigmoid gating. איזון עומסים מיושם ללא פונקציית הפסד עזר (aux‑loss‑free). סך הפרמטרים הוא 31.6 מיליארד, אך הפעילים לכל token — רק 3.2 מיליארד.

הנרמול — RMSNorm. embedding מיקומיים בחלקי Mamba נעדרים (המידע המיקומי משתמע ממצב ה-SSM). נעשה שימוש ב-embedding בלתי-קשורים, ללא dropout וללא bias בשכבות הלינאריות.

הרחבות ב-Super/Ultra: LatentMoE ו-Multi‑Token Prediction

מודלי Super ו-Ultra ממשפחת Nemotron 3 משתמשים בשתי חידושים ארכיטקטוניים נוספים:

• Latent MoE (LatentMoE) — הקרנת ייצוג הכניסה למרחב סמוי בממד קטן יותר לפני הניתוב, מה שמאפשר הגדלת מספר המומחים בעלויות חישוביות דומות ושיפור הדיוק ללא ירידה בתפוקה.
• Multi‑Token Prediction (MTP) — חיזוי מספר token עתידיים בו-זמנית, המשמש לשיפור איכות טקסטים ארוכים ולפענוח ספקולטיבי (speculative decoding) בעת inference.

אימון Super ו-Ultra מתבצע בפורמט NVFP4 — פורמט מספרי 4-סיביות של NVIDIA על ארכיטקטורת Blackwell.

שיטות דחיסת מודלים: Minitron, Puzzle, MiniPuzzle

ליצירת מודלים קומפקטיים, NVIDIA מיישמת מספר גישות:

• Minitron — שיטת גיזום מובנה (pruning) ודיסטילציית ידע (knowledge distillation). נחקרים שני סוגי גיזום: לפי עומק (הסרת שכבות) ולפי רוחב (הקטנה משותפת של מימדי שכבות נסתרות, ראשי attention ו-MLP). הפעלת Minitron על Nemotron‑4 15B מאפשרת קבלת מודלי 8B ו-4B עם הפחתת עלויות אימון עד פי 40 בהשוואה לאימון מאפס.
• Puzzle — אלגוריתם Neural Architecture Search (NAS) המוצא את התצורה האופטימלית של כל בלוק (מספר ראשי KV, גודל FFN, נוכחות/היעדר attention) עם דיסטילציה לפי בלוקים. כך דוחס Llama 3.1 405B ל-253B (Llama‑Nemotron Ultra), ו-Llama 3.3 70B ל-49B (Llama‑Nemotron Super).
• MiniPuzzle — הרחבה של Puzzle לארכיטקטורות היברידיות, שדחסה את Nemotron‑H‑56B ל-47B בעלות של 63 מיליארד token בלבד של דיסטילציה. בדיוק דומה, המודל הדחוס מהיר ב-20%.

שיטות יישור

HelpSteer ו-HelpSteer2

HelpSteer — מאגר של 37,120 דוגמאות (רישיון CC‑BY‑4.0), שנוצר בשיתוף Scale AI, שבו כל תשובה מוערכת לפי חמישה תכונות: שימושיות (helpfulness), נכונות (correctness), קוהרנטיות (coherence), מורכבות (complexity) ורהיטות (verbosity) בסולם ליקרט 0–4.

HelpSteer2 — מאגר מעודכן של 21,362 דוגמאות (10,681 prompt × 2 תשובות), שבו יותר מ-95% מה-prompt נלקחו מ-ShareGPT (בקשות משתמשים אמיתיות). כ-50% מהסיווגים סוננו כבלתי-איכותיים מספיק. ההרחבה HelpSteer2‑Preference מוסיפה העדפות זוגיות של מסווגים, המאפשרת אימון מודלי תגמול רגרסיוניים וזוגיים כאחד על אותם נתונים.

SteerLM

SteerLM — שיטת SFT (Supervised Fine‑Tuning — אימון מפוקח) עם התניה על תכונות (helpfulness, correctness, coherence, complexity, verbosity), המאפשרת למשתמש לשלוט בסגנון התשובה בזמן inference. הצינור כולל: (1) אימון מודל חיזוי תכונות (APM) על HelpSteer, (2) תיוג נתונים בעזרת APM, (3) SFT עם התניה על ערכי תכונות יעד, (4) bootstrapping.

DPO ו-RPO

DPO (Direct Preference Optimization) — שיטה לאופטימיזציה ישירה של העדפות ללא מודל תגמול מפורש, המשמשת בצינורי Nemotron‑4 340B Instruct ו-Nemotron Nano 2.

RPO (Reward‑aware Preference Optimization) — מסגרת מתמטית מאוחדת של NVIDIA המכלילה DPO, IPO, SimPO, REINFORCE ו-SteerLM 2.0 כמקרים פרטיים. RPO ממזער את המרחק בין תחזיות מודל התגמול המשתמע למודל התגמול המפורש היעד:

${ℒ}_{\text{RPO}}(\theta )={𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[d(r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l),\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)})\right],$

כאשר $r_{\varphi }$ — מודל תגמול מפורש, ${\pi }_{\theta }$ — מדיניות מאומנת, ${\pi }_{\text{ref}}$ — מדיניות ייחוס, $d(\cdot ,\cdot )$ — פונקציית מרחק, $y_w$/$y_l$ — תשובה מועדפת/דחויה. RPO מיושם באימון Nemotron‑4 340B Instruct ומודלי Llama‑Nemotron.

למידה מחיזוקים רב-סביבתית (RLVR)

ב-Nemotron 3 מיושם Multi‑environment RLVR (Reinforcement Learning from Verifiable Rewards) — אימון בו-זמני במספר סביבות במסגרת NeMo Gym: מתמטיקה תחרותית, תכנות, QA, שימוש בכלים (tool‑use), instruction‑following, הקשר ארוך. האלגוריתם — GRPO (Group Relative Policy Optimization) עם masked importance sampling.

Nemotron 3 תומך בשליטה גרנולרית בתקציב ההסקה (reasoning budget control): המשתמש יכול להגדיר מגבלת token לעקבת ה-thinking דרך דגל ב-chat template (החלפה בין "detailed thinking on/off" או הגבלת אורך).

סדרת המודלים

טבלת סיכום

מודל	שנה	סה"כ / פרמטרים פעילים	הקשר	ארכיטקטורה	תכונות מרכזיות
Nemotron‑3 8B	2023	8B / 8B	4K	Dense Transformer	3.8T token; 1024 GPU A100; 19 ימים
Nemotron‑4 15B	2024	15B / 15B	4K	Dense Transformer	8T token; MFU 34.3%
Nemotron‑4 340B	2024	340B / 340B	4K	Dense Transformer	9T token; Base/Instruct/Reward; >98% נתונים סינתטיים ל-alignment
Llama‑3.1‑Nemotron‑70B	2024	70B / 70B	128K	Dense Transformer (Llama 3.1)	RLHF (REINFORCE); RewardBench 94.1%
Llama‑Nemotron Nano 8B	2025	8B / 8B	128K	Dense Transformer (Llama 3.1)	Reasoning toggle
Llama‑Nemotron Nano 4B	2025	4B / 4B	128K	Dense Transformer (Minitron)	דחיסת NAS מ-Llama 3.1 8B
Llama‑Nemotron Super 49B	2025	49B / 49B	128K	Dense Transformer (Puzzle NAS)	מ-Llama 3.3 70B
Llama‑Nemotron Ultra 253B	2025	253B / 253B	128K	Dense Transformer (Puzzle NAS)	מ-Llama 3.1 405B; GPQA 76.0%
Nemotron‑H 8B	2025	8B / 8B	—	היברידי Mamba‑Transformer	15T token; 24 Mamba‑2 + 24 MLP + 4 Attn
Nemotron‑H 56B	2025	56B / 56B	—	היברידי Mamba‑Transformer	20T token FP8; 54 Mamba‑2 + 54 MLP + 10 Attn
Nemotron‑H 47B	2025	47B / 47B	~1M (FP4)	היברידי Mamba‑Transformer	MiniPuzzle מ-56B; +20% מהירות
Nemotron Nano 2 (9B)	2025	12B → 9B / 9B	128K	היברידי Mamba‑Transformer	20T token; דיסטילציית Minitron
Nemotron 3 Nano	2025	31.6B / 3.2B	1M	היברידי Mamba‑Transformer MoE	25T token; 128 מומחים, 6 פעילים
Nemotron 3 Super	2025–2026	~100B / ~10B	1M	היברידי LatentMoE	MTP; NVFP4
Nemotron 3 Ultra	2025–2026	~500B / ~50B	1M	היברידי LatentMoE	MTP; NVFP4

Nemotron‑4 15B

ארכיטקטורה: 32 שכבות, hidden dimension 6144, 48 ראשי attention, 8 ראשי KV (GQA). סך הפרמטרים — 15 מיליארד (3.2 מיליארד embedding + 12.5 מיליארד non‑embedding). תוצאות: MMLU — 64.2% (5‑shot), BBH — 58.7% (3‑shot), GSM8K — 46.0% (8‑shot, maj@1), HumanEval — 31.6% (0‑shot, pass@1). ב-benchmark רב-לשוניים (XCOPA, TyDiQA‑GoldP, MGSM) המודל עלה על מודלים גדולים ממנו פי ארבעה.

Nemotron‑4 340B

ארכיטקטורה: 96 שכבות, hidden dimension 18,432, 96 ראשי attention, 8 ראשי KV.

Nemotron‑4 340B Base הציג: MMLU — 81.1% (5‑shot), BBH — 85.4% (3‑shot), HumanEval — 57.3% (0‑shot), ARC‑Challenge — 94.3% (25‑shot).

Nemotron‑4 340B Instruct עבר יישור רב-שלבי: Code SFT → General SFT → DPO → RPO (3 סבבים). תוצאות: MT‑Bench — 8.22 (שופט GPT‑4‑Turbo), MMLU — 78.7% (0‑shot), GSM8K — 92.3% (0‑shot), HumanEval — 73.2% (0‑shot), Arena Hard — 54.2, AlpacaEval 2.0 LC — 41.5%.

Nemotron‑4 340B Reward מחליף את שכבת ה-softmax הסופית בהקרנה לינארית של המצב הנסתר של השכבה האחרונה לוקטור של 5 תכונות HelpSteer2. התגמול הסופי — סכום משוקלל של חמשת התכונות. האימון בוצע בשתי אפוכים על נתוני HelpSteer2 (batch size 128). על RewardBench המודל השיג 92.0%, עולה על GPT‑4o (84.7%), Gemini 1.5 Pro (88.1%) ו-Claude‑3‑Opus (80.7%) בעת הפרסום.

מודל	Arena Hard	AlpacaEval 2.0 LC	MT‑Bench
Nemotron‑4‑340B‑Instruct	54.2	41.5%	8.22
Llama‑3‑70B‑Instruct	41.1	34.4%	8.16
Mixtral‑8x22B‑Instruct	36.4	30.9%	7.63
Qwen‑2‑72B‑Instruct	48.1	38.8%	8.26

מקור: arXiv:2406.11704, טבלה 5.

Llama‑3.1‑Nemotron‑70B

Llama‑3.1‑Nemotron‑70B‑Reward אומן בשיטה היברידית המשלבת Bradley‑Terry (העדפות זוגיות) ורגרסיית SteerLM (הערכה רב-תכונתית בסולם ליקרט). האימון בוצע אך ורק על נתוני HelpSteer2 (CC‑BY‑4.0). על RewardBench המודל השיג 94.1%, ותפס את המקום הראשון בעת הפרסום.

Llama‑3.1‑Nemotron‑70B‑Instruct יושר בשיטת RLHF עם אלגוריתם REINFORCE (לא PPO) ומודל תגמול Nemotron‑70B‑Reward. התשתית — NeMo‑Aligner עם האצת TRT‑LLM.

Llama‑Nemotron: Nano, Super, Ultra (2025)

משפחת מודלי הסקה שהתקבלה מ-Llama 3.x בשיטות NAS, דיסטילציה ואחר-אימון מורחב.

מודל	פרמטרים	מודל בסיס	הקשר
Llama‑Nemotron‑Nano 8B	8 מיליארד	Llama‑3.1‑8B‑Instruct	128K
Llama‑Nemotron‑Nano 4B	4 מיליארד	Minitron 4B (מ-Llama 3.1 8B)	128K
Llama‑Nemotron‑Super 49B	49 מיליארד	Llama‑3.3‑70B → NAS (Puzzle)	128K
Llama‑Nemotron‑Ultra 253B	253 מיליארד	Llama‑3.1‑405B → NAS (Puzzle)	128K

צינור אימון בחמישה שלבים: (1) NAS + FFN Fusion, (2) דיסטילציה + אימון מקדים המשכי, (3) SFT (כולל עקבות הסקה של DeepSeek‑R1), (4) RL בקנה-מידה גדול (GRPO עבור Ultra, REINFORCE/RLOO + Online RPO עבור Nano), (5) יישור לדיאלוג.

המודלים הם ראשוני ה-LLM הפתוחים התומכים במצב הסקה הניתן לשינוי (reasoning toggle): כאשר מופעל ("detailed thinking on" בהנחיית המערכת), המודל מייצר שרשרת הסקה בתגיות <think>...</think> לפני התשובה; כאשר כבוי — עונה ישירות.

תוצאות Llama‑Nemotron‑Ultra 253B (reasoning מופעל): GPQA Diamond — 76.0%, AIME 2024 — 80.8%, MATH 500 — ~97%. לשם השוואה: DeepSeek‑R1 (671B סה"כ / 37B פעיל) — GPQA Diamond 71.5%, AIME 2024 ~79.8%. Ultra ממוקם בצומת בודד של 8×H100.

Nemotron‑H (אפריל 2025)

משפחת מודלים היברידיים צפופים, שאומנו מאפס ותוכננו למשימות עם יצירות ארוכות. Nemotron‑H‑56B אומן על 20 טריליון token בפורמט FP8 — אחד הניסויים הציבוריים הגדולים ביותר של אימון מקדים FP8. Nemotron‑H‑47B התקבל בדחיסת 56B בשיטת MiniPuzzle (63 מיליארד token של דיסטילציה) ומתאים לזיכרון של RTX 5090 בודד (FP4) עם הקשר של ~1M token.

Benchmark	Nemotron‑H‑56B	Nemotron‑H‑47B	Qwen‑2.5‑72B	Llama‑3.1‑70B
MMLU‑Pro (5‑shot CoT)	60.5	61.8	58.8	51.3
MMLU (5‑shot)	84.2	83.6	86.1	78.8
GSM8K (8‑shot CoT)	93.7	93.3	90.9	83.9
HumanEval (0‑shot)	60.4	61.0	56.7	57.3

מקור: arXiv:2504.03624.

ביצירה עם 65,536 token קלט ו-1024 token פלט על H100, מודל Nemotron‑H‑47B עבד מהר פי 2.9 מ-Qwen‑2.5‑72B ו-Llama‑3.1‑70B.

Nemotron Nano 2 (אוגוסט 2025)

מודל היברידי Mamba‑Transformer להסקה. Nemotron‑Nano‑12B‑v2‑Base — מודל האב עם 62 שכבות (בעיקר Mamba‑2 + MLP + 4 שכבות attention), שאומן על 20 טריליון token בפורמט FP8 מאפס. ממנו התקבל בשיטת Minitron מורחב Nemotron‑Nano‑9B‑v2, המסוגל לעבוד בהקשר של 128K token על GPU בודד NVIDIA A10G (22 ג"ב, BF16). אחר-אימון: SFT (80 מיליארד token, כולל עקבות DeepSeek‑R1‑0528) → GRPO → DPO → RLHF. על benchmark של הסקה, המודל דומה ל-Qwen3‑8B בדיוק, אך מגיע לתאוצה פי 3–6 ביצירה ברצפי פלט ארוכים.

Nemotron 3 Nano 30B‑A3B

שוחרר בדצמבר 2025. פרמטרים: 31.6 מיליארד סה"כ, 3.2 מיליארד פעילים. ארכיטקטורה: 52 שכבות, hidden dimension 2688, expert dimension 1856, Mamba state dimension 128. MoE: 128 מומחים מנותבים + 1 משותף, 6 פעילים לכל token. הקשר — עד 1,048,576 token. אימון על 25 טריליון token (לוח זמנים WSD, batch size 3072, תאריך חיתוך נתונים — יוני 2025) בשתי פאזות: פאזה 1 — 23.5 טריליון (נתונים מגוונים), פאזה 2 — 1.5 טריליון (נתונים איכותיים) + 121 מיליארד token של CPT להקשר ארוך.

Benchmark	Nemotron 3 Nano 30B‑A3B	Qwen3‑30B‑A3B‑Thinking	GPT‑OSS‑20B
MMLU‑Pro	78.30	80.9	75.0
AIME25 (ללא כלים)	89.06	85.0	91.7
AIME25 (עם כלים)	99.17	—	98.7
GPQA (ללא כלים)	73.04	73.4	71.5
LiveCodeBench v6	68.25	66.0	61.0
SWE‑Bench (OpenHands)	38.76	22.0*	34.0
TauBench V2 Avg	49.04	47.7	47.5
Arena‑Hard‑V2 Avg	67.65	57.8	48.55
RULER‑100 @ 1M	86.34	77.5	—

* — ערכים ממקורות משניים; תנאי שחזור — NeMo Evaluator SDK. מקור: arXiv:2512.20848.

תפוקה (8K קלט / 16K פלט, H200 בודד): גבוהה פי 3.3 מ-Qwen3‑30B‑A3B‑Thinking ופי 2.2 מ-GPT‑OSS‑20B.

מודלים וכיוונים נוספים

• OpenReasoning‑Nemotron (יולי 2025) — סדרת מודלים בגדלים 1.5B–32B פרמטרים, המבוססים על Qwen 2.5 וכוונונם העדין על נתוני DeepSeek‑R1‑0528. גרסת 32B עם GenSelect@64 עולה על o3 (high) במספר benchmark מתמטיים.
• Nemotron Elastic (arXiv:2511.16664) — מסגרת תת-מודלים מקוננים (6B, 9B, 12B) במסגרת מודל-אב אחד, המפחיתה עלות אימון פי 360 בהשוואה לאימון מאפס.
• Nemotron‑CrossThink — מסגרת למידה מחיזוקים רב-תחומית מעבר למשימות מתמטיות, שהניבה +30.1% על MATH‑500 ו-+12.8% על MMLU‑PRO.
• Nemotron‑UltraLong — הרחבת הקשר עד 4 מיליון token.
• Jet‑Nemotron — NAS לאחר-אימון למודלים היברידיים קומפקטיים 2B/4B.

מודלים מתמחים

באקוסיסטם Nemotron קיימים גם מודלים למשימות מתמחות:

• Nemotron Nano V2 VL — מודל vision‑language ל-OCR, עיבוד טבלאות ווידאו.
• Nemotron Parse 1.1 — מודל ל-OCR וחילוץ מבנה מסמכים.
• Nemotron ColEmbed V2 — מודל embedding לחיפוש חזותי של מסמכים (late interaction).
• Nemotron Speech — מודלים לזיהוי דיבור אוטומטי (ASR), סינתזת דיבור (TTS) ותרגום מכונה (NMT).
• Llama 3.1 Nemotron Safety Guard 8B V3 — מודל סיווג תוכן לא-בטוח ב-23 קטגוריות ב-9 שפות עם דיוק 84.2%.

נתוני אימון מקדים

הרכב נתוני Nemotron‑4

אוסף האימון המקדים של Nemotron‑4 15B ו-340B מורכב משלוש קטגוריות עיקריות: טקסטים אנגליים (70%), טקסטים רב-לשוניים ב-53 שפות (15%) וקוד מקור ב-43 שפות תכנות (15%). הוחל כפילות-ביטול ברמת המסמך (exact ו-near‑duplicate), כמו גם סינון באמצעות מודלים לשוניים והיוריסטיקות. מודל 15B אומן על 8 טריליון token, מודל 340B — על 9 טריליון (8 טריליון אימון מקדים + 1 טריליון אימון המשכי עם שקלול-מחדש של מקורות איכותיים).

Nemotron‑CC

מאגר הנתונים Nemotron‑CC נוצר מ-Common Crawl תוך שימוש במכלול מסווגי איכות וניסוח מחדש סינתטי של טקסטים. הנפח הכולל — 6.3 טריליון token (4.4 טריליון לאחר כפילות-ביטול + 1.9 טריליון ניסוחים מחדש סינתטיים). הצינור משולב בכלי NeMo Curator. העבודה התקבלה כ-Long Paper בכנס ACL 2025.

Nemotron‑CC‑Math

תת-קבוצה מוטת-מתמטיקה בנפח של 133 מיליארד token, שחולצה מ-Common Crawl באמצעות צינור Lynx + LLM תוך שמירה על מבנה נוסחאות מתמטיות וקוד ב-LaTeX.

נתוני Nemotron 3 Nano

האימון המקדים של Nemotron 3 Nano בוצע על 25 טריליון token. המאגר כולל: Nemotron‑CC‑v2.1, Nemotron‑CC‑Code‑v1, Nemotron‑CC‑Math‑v1 ו-dataset מתמחים בתחום STEM. לאימון הקשר ארוך נעשה שימוש בנוסף ב-121 מיליארד token של CPT.

Nemotron Pretraining Dataset v1

מאגר שנוצר סינתטית המכסה STEM, טקסטים אקדמיים, משימות הסקה ותחומים רב-לשוניים; מכיל יותר מ-10 טריליון token לשוניים ו-18 מיליון דוגמאות ל-SFT. כל מאגרי הנתונים מופצים ברישיונות פתוחים ומתירניים.

צינור יצירת נתונים סינתטיים (SDG)

הצינור המתואר בדוח על Nemotron‑4 340B כולל את השלבים הבאים:

• יצירת prompt: בקשות סינתטיות חד- ודו-סבביות שנוצרו באמצעות Mixtral‑8x7B‑Instruct‑v0.1 (רישיון Apache 2.0) לפי תבניות Open QA, Writing, Closed QA, Math & Coding.
• יצירת תשובות: תשובות מרובות מגרסאות ביניים של מודלים להבטחת מגוון.
• הערכת איכות: שלוש גישות — Ground‑Truth‑as‑a‑Judge (למשימות עם תשובה ניתנת לאימות), LLM‑as‑Judge (השוואת זוגות תשובות על ידי מודל לשוני), Reward‑Model‑as‑Judge (שימוש ב-Nemotron‑4‑340B‑Reward).
• יישור איטרטיבי מהחלש לחזק (weak‑to‑strong).

מכ-~20,000 דוגמאות מוערכות על ידי בני-אדם (10,000 ל-SFT, 10,000 HelpSteer2 למודל התגמול) סוּנתז כל שאר נפח נתוני היישור.

כימות ואופטימיזציית inference

מודלי Nemotron 3 Nano תומכים ב-Post‑Training Quantization (PTQ) בפורמט FP8 תוך שימוש ב-ModelOpt ו-Megatron‑LM. מיושם כימות סלקטיבי — שכבות attention וחלק משכבות Mamba נשמרות ב-BF16 לשמירת האיכות; השאר מכומתות ל-FP8. על פי הדוח הטכני, הדבר מבטיח ~99% שמירה על הדיוק. Nano תומך גם ב-inference בפורמט NVFP4.

טבלת benchmark מסכמת לפי דורות

מודל	MMLU	GSM8K	HumanEval	Arena Hard	MT‑Bench	תנאים
Nemotron‑4 15B	64.2%	46.0%	31.6%	—	—	base; 5‑/8‑/0‑shot
Nemotron‑4 340B Base	81.1%	—	57.3%	—	—	5‑/—/0‑shot
Nemotron‑4 340B Instruct	78.7%	92.3%	73.2%	54.2	8.22	0‑shot
Llama‑3.1‑Nemotron‑70B‑Instruct	—	—	—	85.0	8.98	אוק' 2024
LN‑Ultra 253B (reasoning מופעל)	—	—	—	—	—	GPQA 76.0%, AIME 80.8%
Nemotron‑H‑47B	83.6%	93.3%	61.0%	—	—	5‑/8‑CoT/0‑shot
Nemotron 3 Nano (30B‑A3B)	—	—	—	67.7 (v2)	—	AIME25 89.1%, LCB 68.3%

יש לפרש את ההשוואה בזהירות: תנאי ההערכה, גרסאות ה-benchmark ותאריכי הבדיקות שונים בין הדורות. התוצאות לקוחות מדוחות טכניים של NVIDIA; הערכות עצמאיות עשויות להיות שונות (ראו סעיף "מגבלות").

יישומים

פריסה דרך NVIDIA NIM

NVIDIA NIM — אוסף מיקרו-שירותי קונטיינרים מאופטמיים ל-inference עם API תואם OpenAI. מודלי Nemotron זמינים כמיקרו-שירותי NIM בפלטפורמה build.nvidia.com. NIM תומך בפורמטים FP8, BF16, NVFP4 ובפריסה דרך Helm charts על Kubernetes. המודלים תואמים גם לפריימוורקים עצמאיים: vLLM, SGLang, Ollama, llama.cpp, TensorRT‑LLM.

יצירת נתונים סינתטיים

Nemotron‑4 340B תוכנן לשימוש כמחולל נתונים סינתטיים: מודל ה-Instruct מייצר תשובות, ומודל ה-Reward מעריך ומסנן אותן. רישיון NVIDIA Open Model License מתיר במפורש שימוש בפלטי המודל לאימון מודלים אחרים. על פי נתוני ServiceNow, 15% מנתוני האימון המקדים של המודל שלהם Apriel 1.6 הגיעו ממאגרי נתונים של Nemotron.

מערכות אגנטיות

מודלי משפחת Nemotron 3 (Nano, Super, Ultra) מיועדים לעומסי עבודה רב-אגנטיים: תכנון, retrieval, קריאה לכלים (tool use). Nemotron 3 Nano מציג תוצאה של 38.76% על SWE‑Bench (עם OpenHands) ו-49.04% (ממוצע) על TauBench V2.

יישומים ארגוניים

בין השותפים המוצהרים: ServiceNow (מודל משותף Apriel Nemotron 15B לאוטומציה של תהליכי עבודה), CrowdStrike (פלטפורמת Charlotte AI), Perplexity (ניתוב בקשות), Accenture, Cadence, Deloitte, Oracle, Palantir, Siemens, Synopsys, Zoom. המודלים זמינים על AWS Amazon Bedrock; מתוכננת תמיכה ב-Google Cloud, CoreWeave, Nebius.

מגבלות ובעיות פתוחות

הערכות עצמאיות וסתירות עם נתוני NVIDIA

הערכות עצמאיות מגלות פערים לעומת התוצאות שמציגה NVIDIA. על פי נתוני Artificial Analysis (פברואר 2026), Llama‑Nemotron‑Ultra 253B (עם הסקה) קיבל Intelligence Index של 15 בעוד החציון עמד על 26 למודלים בגודל דומה. בפלטפורמת Chatbot Arena (LMArena) מודלי Nemotron ממוקמים באמצע הדירוג: Llama 3.3 Nemotron Super 49B — Elo 1327 ±12 (כ-מקום 147), Nemotron 3 Nano — 1317 ±6 (כ-מקום 164).

רהיטות יתר

מודלי Nemotron מציגים רהיטות-יתר: בהערכת Artificial Analysis, מודל Nemotron 3 Nano ייצר 140 מיליון token (בעוד החציון עמד על 12 מיליון למודלים אחרים), מה שמגדיל את עלות ה-inference. ניתוח של קהילת DEV מצא כי Llama‑3.1‑Nemotron‑70B‑Instruct, בעוד שהוביל רשמית ב-benchmark אוטומטיים, הפגין דיוק לא מספק במספר משימות מעשיות, וציוני גבוה ב-benchmark מסוג Arena עשויים לשקף העדפה לתשובות רהוטות ובטוחות אך לא בהכרח מדויקות.

הזיות ו-bias

NVIDIA מציינת בכרטיסי המודל כי המודלים עשויים "לחזק דעות קדומות וליצור תשובות רעילות, במיוחד בתגובה ל-prompt רעילים", וכן "לייצר מידע לא מדויק ולהשמיט פרטים מרכזיים". פתיחות המשקלים והנתונים מאפשרת ביקורת חיצונית.

דרישות חישוביות

מודלים צפופים (Nemotron‑4 340B) דורשים אשכול של 768 צמתי DGX H100 לאימון מלא, מה שמגביל את יכולת השחזור עבור קבוצות אקדמיות ללא גישה לתשתית דומה. הקשר ארוך (1M) בזמן inference דורש נפח VRAM ניכר.

דגרדציה בהרחבת הקשר

עם הרחבת ההקשר לרצפים ארוכים במיוחד, נצפתה דגרדציה בתוצאות ה-benchmark עם הקשר קצר.

כימות ארכיטקטורות היברידיות

שימוש ברזולוציה נמוכה במיוחד (FP8/NVFP4) בארכיטקטורות Mamba‑Transformer גורם לירידה קטנה בדיוק (~1% במספר benchmark). בעיה זו נפתרת על ידי שימוש בכימות סלקטיבי, מה שמסבך את ארכיטקטורת המהדרים ושרתי ה-inference.

בעיות פתוחות נוספות

• תלות ב-benchmark עם זיהום אפשרי של נתוני אימון.
• היעדר פרוטוקולים סטנדרטיים להשוואת ארכיטקטורות היברידיות SSM‑Transformer עם מודלי Transformer טהורים.
• שאלת הסקלאביליות של גישת ה-MoE במשימות הדורשות הסקה עמוקה עם מספר מועט של מומחים לכל token.
• הנתונים על Super/Ultra נכון לדצמבר 2025 הם ראשוניים; benchmark מלאים צפויים לאחר השחרור.

היבטים אתיים ורגולטוריים

בטיחות בשלב הפיתוח

בשלב הפיתוח מיושמים: הערכה לפי מסגרת AEGIS (13 קטגוריות בטיחות תוכן), סורק פגיעויות garak, "בדיקת חדירה" ידנית (red‑teaming).

בטיחות בשלב ה-inference

NeMo Guardrails — ערכת כלים פתוחה (רישיון Apache 2.0), המוסיפה מחסומים הניתנים לתכנות למערכות LLM. המיקרו-שירות מיירט כניסות ויציאות, ומחיל בדיקות הניתנות להגדרה: בקרת נושא, זיהוי PII, אימות "עיגון" RAG, זיהוי מתקפות jailbreak (כולל הגנה מפני הזרקות קוד מבוססות YARA), סיווג בטיחות רב-לשוני רב-מודאלי.

עבור Nemotron 3 פורסמה אוסף של ~11,000 עקבות OpenTelemetry מסומנות מתרחישים ריאליסטיים עם שימוש בכלים, המיועדת להערכת בטיחות אגנטית.

רישוי

מודלים	רישיון
Nemotron 3 (Nano, Super, Ultra)	NVIDIA Nemotron Open Model License
Nemotron‑4 340B (Base/Instruct/Reward)	NVIDIA Open Model License Agreement
Llama‑Nemotron (Nano/Super/Ultra)	Llama Community License (בירושה מ-Meta)
Nemotron‑3 8B (2023)	NVIDIA AI Foundation Models Community License

NVIDIA Nemotron Open Model License מתירה שימוש מסחרי, יצירה והפצה של יצירות נגזרות, אינה דורשת ייחוס (תוך שמירה על קובץ NOTICE), אינה מטילה מגבלות על מספר המשתמשים ומתירה במפורש שימוש בפלטי המודל לאימון מודלים אחרים. מודלים מבוססי Llama יורשים את מגבלות Meta, כולל סף של 700 מיליון משתמשים פעילים חודשיים.

עבור Nemotron 3 Nano, NVIDIA פרסמה: משקלי המודל, יותר מ-10 טריליון token של נתוני אימון, מתכוני אימון, בסיסי קוד (NeMo, Megatron‑LM, NeMo‑Aligner), יותר מ-10 סביבות למידה מחיזוקים עם 900,000+ משימות.

פרספקטיבות וכיוונים למחקר

המהדורות הקרובות כוללות Nemotron 3 Super (כ-100 מיליארד פרמטרים, כ-10 מיליארד פעילים) ו-Nemotron 3 Ultra (כ-500 מיליארד, כ-50 מיליארד פעילים), הצפויים בחצי הראשון של 2026. שני המודלים ישתמשו ב-LatentMoE, MTP ואימון בפורמט NVFP4 על ארכיטקטורת Blackwell.

הכיוון האסטרטגי של NVIDIA — מיצוב Nemotron לא כמודל בודד אלא כשכבת תשתית למערכות רב-אגנטיות, שבהן מודלים שונים מהמשפחה משמשים למשימות שונות עם ניתוב לפי מורכבות.

כיווני המחקר העיקריים:

• פיתוח ארכיטקטורות היברידיות — שילוב נוסף של שכבות SSM עם מנגנון attention להקשר ארוך ניתן לסקילה.
• שיטות דחיסה רב-שכבתיות — פיתוח Minitron, Puzzle, MiniPuzzle ו-Nemotron Elastic.
• למידה מחיזוקים רב-תחומית — Nemotron‑CrossThink להרחבת RL מעבר למשימות מתמטיות.
• הרחבת הקשר — Nemotron‑UltraLong עד 4 מיליון token.
• רב-מודאליות — הרחבה לתחום vision‑language (Nemotron VL), דיבור (Nemotron Speech), חיפוש חזותי של מסמכים (Nemotron ColEmbed V2).
• מודלים היברידיים קומפקטיים — Jet‑Nemotron (NAS למודלי 2B/4B).
• מתכוני קוד פתוח — פרסום מתכוני אימון ונתונים מלאים לשחזור והתאמה אישית על ידי הקהילה.

ראו גם

• ארכיטקטורת Transformer
• Reinforcement Learning from Human Feedback (RLHF)
• Llama (משפחת מודלים של Meta)

קישורים חיצוניים

• NVIDIA Research — דף Nemotron 3: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• NVIDIA Developer — Nemotron AI Models: https://developer.nvidia.com/nemotron
• Hugging Face — תיעוד Nemotron: https://huggingface.co/docs/transformers/main/en/model_doc/nemotron
• NeMo Framework Documentation: https://docs.nvidia.com/nemo/

ספרות

• NVIDIA. Nemotron‑3‑8B‑Base‑4k — Model Card. Hugging Face, 2023. https://huggingface.co/nvidia/nemotron-3-8b-base-4k
• Parmar, J. et al. (NVIDIA). Nemotron‑4 15B Technical Report. arXiv:2402.16819, פברואר 2024. https://arxiv.org/abs/2402.16819
• Adler, B. et al. (NVIDIA). Nemotron‑4 340B Technical Report. arXiv:2406.11704, יוני 2024. https://arxiv.org/abs/2406.11704
• Wang, Z. et al. (NVIDIA). HelpSteer2: Open‑source Dataset for Training Top‑Performing Reward Models. arXiv:2406.08673, יוני 2024. https://arxiv.org/abs/2406.08673
• Muralidharan, S. et al. (NVIDIA). Compact Language Models via Pruning and Knowledge Distillation. arXiv:2407.14679, יולי 2024. https://arxiv.org/abs/2407.14679
• Bercovich, A. et al. (NVIDIA). Puzzle: Distillation‑Based NAS for Inference‑Optimized LLMs. arXiv:2411.19146, נובמבר 2024. https://arxiv.org/abs/2411.19146
• Su, D. et al. (NVIDIA). Nemotron‑CC: Transforming Common Crawl into a Refined Long‑Horizon Pretraining Dataset. ACL 2025. arXiv:2412.02595. https://arxiv.org/abs/2412.02595
• Sun, S. et al. (NVIDIA). Reward‑aware Preference Optimization. arXiv:2502.00203, ינואר 2025. https://arxiv.org/abs/2502.00203
• Blakeman, A. et al. (NVIDIA). Nemotron‑H: A Family of Accurate and Efficient Hybrid Mamba‑Transformer Models. arXiv:2504.03624, אפריל 2025. https://arxiv.org/abs/2504.03624
• Bercovich, A. et al. (NVIDIA). Llama‑Nemotron: Efficient Reasoning Models. arXiv:2505.00949, מאי 2025. https://arxiv.org/abs/2505.00949
• Basant, A. et al. (NVIDIA). NVIDIA Nemotron Nano 2. arXiv:2508.14444, אוגוסט 2025. https://arxiv.org/abs/2508.14444
• Karimi Mahabadi, R. et al. (NVIDIA). Nemotron‑CC‑Math. arXiv:2508.15096, אוגוסט 2025. https://arxiv.org/abs/2508.15096
• Taghibakhshi, A. et al. (NVIDIA). Nemotron Elastic. arXiv:2511.16664, נובמבר 2025. https://arxiv.org/abs/2511.16664
• Blakeman, A. et al. (NVIDIA). NVIDIA Nemotron 3: Efficient and Open Intelligence. arXiv:2512.20856, דצמבר 2025. https://arxiv.org/abs/2512.20856
• Blakeman, A. et al. (NVIDIA). Nemotron 3 Nano. arXiv:2512.20848, דצמבר 2025. https://arxiv.org/abs/2512.20848
• Dao, T.; Gu, A. Transformers are SSMs. ICML 2024. arXiv:2405.21060. https://arxiv.org/abs/2405.21060
• Ainslie, J. et al. GQA. arXiv:2305.13245, 2023. https://arxiv.org/abs/2305.13245
• Su, J. et al. RoFormer (RoPE). Neurocomputing, 2024. arXiv:2104.09864. https://arxiv.org/abs/2104.09864
• Zhang, B.; Sennrich, R. RMSNorm. arXiv:1910.07467, 2019. https://arxiv.org/abs/1910.07467
• Rafailov, R. et al. Direct Preference Optimization. NeurIPS 2023. arXiv:2305.18290. https://arxiv.org/abs/2305.18290