--- title: "ERNIE (Baidu) (HE)" source: "https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)" wiki: "systems-analysis.info/int" article: "ERNIE_(Baidu)_(HE)" language: "he" categories: - "Category:Hebrew" - "Category:Large language models" - "Category:Machine learning" revision_id: 1804 wiki_created_at: 2026-09-06T22:54:16Z wiki_modified_at: 2026-09-06T22:54:16Z downloaded_at: 2026-09-07T22:47:51Z --- # ERNIE (Baidu) (HE) **ERNIE (Baidu)** — סדרה של מודלי שפה מאומנים מראש (Large Language Model, LLM) ומודלים בסיסיים מולטי-מודאליים, הנמצאים בפיתוח על ידי חברת Baidu משנת 2019 תחת השם הכולל **Enhanced Representation through kNowledge IntEgration** (ייצוג משופר באמצעות אינטגרציה של ידע). הסדרה מכוונת לשיפור איכות ההבנה הסמנטית והיצירה באמצעות אינטגרציה מפורשת של ידע חיצוני מגרפי ידע (Knowledge Graph, KG), אונטולוגיות ואנציקלופדיות לתוך תהליך האימון המקדים.[\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1)[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2) מודלי הסדרה התפתחו מגרסאות מוקדמות מבוססות BERT עם masking של ישויות וביטויים (ERNIE 1.0, 2.0), דרך ארכיטקטורות מאוחדות בקנה מידה גדול (ERNIE 3.0, ERNIE 3.0 Titan), למערכות מולטי-מודאליות מבוססות Mixture-of-Experts (MoE) עם קוד פתוח (ERNIE 4.5) ומודלים אומני-מודאליים נייטיביים (ERNIE 5.0). הסדרה תומכת במשימות של הבנת טקסט (Natural Language Understanding, NLU), יצירת טקסט (Natural Language Generation, NLG), ובגרסאות מאוחרות — במשימות מולטי-מודאליות (טקסט, תמונה, וידאו, אודיו), תוך דגש על השפה הסינית ותמיכה בריבוי שפות.[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2)[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) ## היסטוריה ורקע פיתוח סדרת ERNIE החל בשנת 2019 ביחידת המחקר של Baidu, בתגובה להצלחת מודל BERT (Devlin et al., 2018) ולצורך בהתאמת מודלים מאומנים מראש לשפה הסינית, שבה היעדר רווחים מפורשים בין מילים ושיעור גבוה של תווים רב-משמעיים מסבכים את לכידת היחידות הסמנטיות (ישויות, ביטויים).[\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1) ### ERNIE 1.0 (2019) המודל הראשון בסדרה (Sun et al., arXiv:1904.09223, אפריל 2019) הציג אסטרטגיית masking רב-שכבתית של ידע (knowledge masking) לארכיטקטורה דמוית BERT: במקום masking אקראי של טוקנים בודדים, המודל מסתיר ישויות וביטויים שלמים, המזוהים על בסיס זיהוי ישויות בשם (Named Entity Recognition, NER) ותבניות ביטויים.[\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1) ארכיטקטורת ERNIE 1.0 מבוססת על Transformer-encoder (12 שכבות, ממד נסתר 768, 12 ראשי attention). בנוסף הוכנסה משימת Dialogue Language Model (DLM) לאימון על נתוני דיאלוג. המודל אומן על כ-173 מיליון משפטים סיניים מקורפוסים של Wikipedia, Baidu Baike, חדשות ופורום Baidu Tieba. במועד הפרסום השיג ERNIE 1.0 תוצאות state-of-the-art (SOTA) בחמש משימות NLP סיניות: XNLI (דיוק 78.4% בבדיקה לעומת 77.2% של BERT), MSRA-NER (F1 93.8% לעומת 92.6%).[\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1) ### ERNIE 2.0 (2019) ERNIE 2.0 (Sun et al., arXiv:1907.12412, יולי 2019; התקבל לכנס AAAI 2020) הציג מסגרת של אימון מקדים רב-משימתי מתמשך (continual multi-task pre-training), שבה משימות אימון מקדים חדשות מתווספות באופן עוקב (אינקרמנטלי) ל-transformer המשותף ללא אימון מחדש מלא של המודל.[\[5\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE2-5) משימות האימון המקדים של ERNIE 2.0 מחולקות לשלוש קבוצות: - **Word-aware** — knowledge masking, ניבוי רישיות (capitalization prediction), קשר טוקן-מסמך (token-document relation). - **Structure-aware** — סידור מחדש של משפטים (sentence reordering), קביעת מרחק בין משפטים (sentence distance). - **Semantic-aware** — ניבוי יחסי שיח (discourse relation prediction), רלוונטיות לחיפוש מידע (IR relevance prediction).[\[5\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE2-5) המודל אומן על קורפוסים באנגלית ובסינית (אנציקלופדיות, ספרים, Reddit, לוגים של חיפוש). תוצאות: ציון GLUE ממוצע למודל base עמד על 80.6 (לעומת 78.3 של BERT), ולמודל large — 83.6; ERNIE 2.0 עלה על BERT ו-XLNet ב-16 משימות.[\[5\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE2-5) ### ERNIE 3.0 (2021) מסגרת ERNIE 3.0 (Sun et al., arXiv:2107.02137, יולי 2021) איחדה את פרדיגמות האימון המקדים האוטו-אנקודרית (auto-encoding, AE) והאוטו-רגרסיבית (auto-regressive, AR) בארכיטקטורה אחידה, המחולקת למודול ייצוג אוניברסלי (Universal Representation Module) ולמודולים ספציפיים למשימה (Task-specific Representation Modules) עבור NLU ו-NLG.[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2) המודל עם 10 מיליארד פרמטרים אומן על 4 טרה-בייט של טקסט סיני (11 קטגוריות: Baidu Baike, Wikipedia, לוגים של חיפוש, מערכות שאלות-תשובות, טקסטים תחומיים) וגרף ידע עם יותר מ-50 מיליון עובדות. ERNIE 3.0 השיג SOTA ב-54 משימות NLP סיניות; בבנצ'מארק האנגלי SuperGLUE — 90.6% (נכון ל-3 ביולי 2021, מעל סף הביצועים האנושי של 89.8%).[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2) ### ERNIE 3.0 Titan (2021) בעבודה «ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation» (Wang et al., arXiv:2112.12731, דצמבר 2021) מתוארת הרחבת מסגרת ERNIE 3.0 למודל צפוף (dense) עם 260 מיליארד פרמטרים, שמומש על פלטפורמת PaddlePaddle.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) Titan הכניס מנגנונים נוספים: adversarial loss בפיקוח עצמי להערכת מהימנות הטקסט הנוצר, controllable language modeling loss לשליטה בסגנון, נושא, טון ואורך היצירה, וכן דיסטילציה מקוונת (On-the-Fly Distillation, OFD) לקבלת מודלי סטודנטים קומפקטיים במהלך האימון המקדים. המודל הוערך על 68 מערכי נתונים, ולפי הדיווח של המחברים עלה על כל המודלים הקודמים בכל 68 ה-datasets.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### ERNIE Bot וגרסאות מסחריות (2023–2025) במרץ 2023 השיקה Baidu את הצ'אטבוט **ERNIE Bot** (Wenxin Yiyan, 文心一言) המבוסס על מודלי ERNIE 3.x ו-PLATO (מודל דיאלוג). הגישה הציבורית נפתחה באוגוסט 2023 לאחר אישור הרגולטורים. עדכונים כללו את ERNIE 3.5 (יוני 2023) ו-ERNIE 4.0 (אוקטובר 2023).[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7)[\[8\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-BaiduBlog-8) לפי דוח SuperBench של אוניברסיטת צינגהואה, ERNIE Bot 4.0 דורג ראשון בין ה-LLM הסיניים לפי מדד אינטגרלי, עם תוצאות חזקות בהבנת שפה סינית ובמעקב אחר הוראות.[\[9\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Tsinghua-9)[\[10\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Multiplatform-10) בשנת 2022, במקביל לסדרת השפה הראשית, הוצג הרחבה מולטי-מודאלית **ERNIE-ViLG 2.0** (arXiv:2210.15257) — מודל ליצירת תמונות מטקסט (text-to-image), שהיה אחד הצעדים הראשונים לכיוון מולטי-מודאליות.[\[11\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ViLG-11) בשנת 2024, בכנס WAVE SUMMIT, הציגה Baidu את **ERNIE 4.0 Turbo** — גרסה מותאמת לאפליקציות במהירות גבוהה, המסוגלת לייצר טקסט באורך של יותר מאלף מילים בכ-20 שניות תוך שמירה על איכות.[\[12\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Turbo-12) ### ERNIE 4.5 (2025) ביוני 2025 פרסמה Baidu דוח טכני של ERNIE 4.5, המציג משפחה של 10 מודלים: LLM טקסטואליים ומודלים מולטי-מודאליים (Vision-Language, VL). הארכיטקטורה מבוססת על Mixture-of-Experts (MoE) הטרוגני עם הפרדת מומחים לפי מודאליות. הגרסאות כוללות מודלי MoE עם עד 424 מיליארד פרמטרים כוללים ו-47 מיליארד פרמטרים פעילים, וכן מודל צפוף עם 0.3 מיליארד פרמטרים. המשפחה שוחררה תחת רישיון Apache 2.0 על Hugging Face וב-GitHub (PaddlePaddle/ERNIE).[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) ### ERNIE 5.0 (2026) בפברואר 2026 פורסם דוח טכני של ERNIE 5.0 (arXiv:2602.04705) — מודל אוטו-רגרסיבי אומני-מודאלי נייטיבי עם MoE אולטרה-דליל (ultra-sparse MoE), התומך במידול משותף של טקסט, תמונות, אודיו ווידאו. המודל תפס מיקומים גבוהים בלידרבורד של LMArena.[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4)[\[13\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-LMArena-13) ## יסודות תיאורטיים ועקרונות ארכיטקטוניים ### Knowledge Masking - מסכת ידע העיקרון המרכזי של המודלים המוקדמים בסדרה הוא אינטגרציה של ידע מובנה לתוך תהליך האימון המקדים באמצעות אסטרטגיות masking מותאמות. בניגוד ל-Masked Language Modeling (MLM) הסטנדרטי, שבו מוסתרים טוקנים בודדים, ERNIE 1.0 מסתיר יחידות סמנטיות שלמות: ישויות (המוגדרות באמצעות NER) וביטויים. עבור ישות $E = \{ t_{1},\ldots,t_{k}\}$ כל רצף הטוקנים מוסתר בהסתברות נתונה $p$. גישה זו מאלצת את המודל להסתמך על הקשר רחב יותר וללמוד קשרים בין ישויות.[\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1) ERNIE 2.0 פיתחה גישה זו על ידי הוספת אימון רב-משימתי אינקרמנטלי: משימות ברמה לקסיקלית, מבנית וסמנטית מתווספות באופן עוקב, כאשר הידע שנלמד בעבר נשמר הודות למנגנון האימון המקדים המתמשך (continual pre-training).[\[5\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE2-5) ### מסגרת ERNIE 3.0 המאוחדת מסגרת ERNIE 3.0 מבוססת על חלוקת הארכיטקטורה לשני רמות:[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2)[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) - **Universal Representation Module** — Transformer-XL רב-שכבתי משותף, המאומן על מגוון משימות אימון מקדים וחולץ מאפיינים לקסיקליים ותחביריים כלליים. בגרסת Titan מודול זה מכיל 48 שכבות, ייצוג נסתר בגודל 12288, 192 ראשי attention וגודל feed-forward פנימי של 196608 ($16 \times d_{model}$). - **Task-specific Representation Modules** — מודולים נפרדים עבור NLU (attention דו-כיווני) ו-NLG (attention חד-כיווני עם זיכרון רקורנטי של Transformer-XL), כל אחד עם 12 שכבות, גודל וקטור נסתר 768 ו-12 ראשי attention. אינטגרציה של פרדיגמות האוטו-אנקודר והאוטו-רגרסיה מאפשרת למודל אחד להשיג תוצאות גבוהות הן בבנצ'מארקים של NLU (משימות דמויות BERT) והן בבנצ'מארקים של NLG (משימות דמויות GPT).[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2) ### Universal Knowledge-Text Prediction (UKTP) משימת UKTP היא המנגנון המרכזי לאינטגרציה של ידע ב-ERNIE 3.0/Titan. המודל מקבל זוג (שלישייה מגרף ידע, משפט מאנציקלופדיה) וצריך לנבא את היחס בשלישייה תוך שימוש בטקסט, או לנבא טוקנים מוסתרים בטקסט תוך שימוש במידע מהשלישייה.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) בניבוי היחס $r$ בשלישייה $(h,r,t)$ הקשורה לטקסט $x$, המשימה מנוסחת כסיווג רב-מחלקתי: $$ P_{\theta}(r \mid x,h,t) = {softmax}(W \cdot f_{\theta}(x,h,t) + b) $$ כאשר $f_{\theta}$ הוא פלט ה-transformer בעמדות האזכורים של ישות הראש והזנב, $W,b$ — פרמטרי המסווג, $\theta$ — פרמטרי המודל.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### מנגנוני יצירה מהימנה ומבוקרת (Titan) ERNIE 3.0 Titan הכניס שני סוגים נוספים של פונקציות אובדן.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) **Adversarial loss בפיקוח עצמי.** נבנה dataset $D_{a} = \{ D_{\text{original}},D_{\text{generated}}\}$, כאשר $D_{\text{original}}$ הם פסקאות מקוריות, ו-$D_{\text{generated}}$ הם טקסטים שנוצרו על ידי גרסה קודמת של ERNIE על בסיס קידומת הפסקאות המקוריות. המשימה היא סיווג בינארי (מקור / יצירה) לפי מצב נסתר של הטוקן המיוחד \[CLS\]: $$ L_{a}(D_{a}) = - \sum\limits_{n = 1}^{|D_{a}|}\log P_{\theta}\left( y_{n} = I_{h_{\lbrack{CLS}\rbrack}^{(n)} \in D_{\text{original}}} \mid h_{\lbrack{CLS}\rbrack}^{(n)} \right) $$ כאשר $h_{\lbrack{CLS}\rbrack}^{(n)}$ הוא ייצוג וקטורי של \[CLS\] לדוגמה ה-$n$, $I_{\cdot}$ — אינדיקטור השתייכות לטקסטים המקוריים.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) **Controllable language modeling loss.** כל דוגמה באימון מלווה בקבוצת מאפיינים (prompt) המתארים ז'אנר, נושא, מילות מפתח, טון ואורך. האובדן משלב מידול שפה ללא תנאי ועם תנאי: $$ L_{c}(D_{c}) = \left\{ \begin{matrix} {- \sum\limits_{n = 1}^{|D_{c}|}\log P_{\theta}(x_{t}^{(n)} \mid x_{< t}^{(n)}),} & {\text{если~}p \leq 0,5,} \\ {- \sum\limits_{n = 1}^{|D_{c}|}\log P_{\theta}(x_{t}^{(n)} \mid x_{< t}^{(n)},\text{prompts}_{n}),} & {\text{если~}p > 0,5,} \end{matrix} \right. $$ כאשר $p$ הוא משתנה אקראי לסירוגין בין מצבים, $x_{t}^{(n)}$ — הטוקן ה-$t$ של הדוגמה ה-$n$. הגדרה זו מונעת תלות מופרזת של המודל ב-prompts.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### ארכיטקטורת MoE הטרוגנית (ERNIE 4.5) ERNIE 4.5 מכניס ארכיטקטורת Mixture-of-Experts מולטי-מודאלית הטרוגנית עם הפרדת מומחים לפי מודאליות: מומחי טקסט ומומחים ויזואליים (האחרונים בעלי גודל של כ-1/3 ממומחי הטקסט). ניתוב הטוקנים מתבצע עם בידוד לפי מודאליות (modality-isolated routing) ושימוש בקנס אורתוגונליזציה לנתב (router orthogonalization loss, מקדם מסדר גודל $10^{- 3}$) להבטחת התמחות המומחים. נעשה שימוש ב-3D RoPE (Rotary Position Embeddings) לקידוד מיקום של ממדי הזמן, הגובה והרוחב בנתוני וידאו. מנגנון FlashMask משמש לעבודה יעילה עם הקשר ארוך (עד 131 אלף טוקנים) עם מסכות $O(N)$.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) האימון המקדים של ERNIE 4.5 מתנהל במספר שלבים: תחילה אימון על נתוני טקסט בלבד, לאחר מכן על נתונים ויזואליים, ובשלב הסיום — אימון משותף על נתונים מולטי-מודאליים (text-only → vision-only → joint). לעיבוד תמונות משמש ViT-encoder (Vision Transformer) אדפטיבי עם מנגנון pixel shuffle ליישור ייצוגים של מודאליות שונות. נתמך עיבוד של וידאו ארוך (עד 32 אלף טוקנים) עם דגימת פריימים אדפטיבית (adaptive frame sampling).[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) ### אומני-מודאליות נייטיבית (ERNIE 5.0) ERNIE 5.0 מממש מידול אוטו-רגרסיבי נייטיבי של מספר מודאליות (טקסט, תמונה, אודיו, וידאו) בארכיטקטורה אחידה עם MoE אולטרה-דליל, שבו בכל שלב מופעלים פחות מ-3% מסך המומחים. כמשימת אימון מקדים משמש Next-Group-of-Tokens Prediction — ניבוי קבוצת טוקנים במקום אחד, מה שמגביר את יעילות האימון. עבור מודאליות האודיו משמש קודק היררכי (hierarchical codec). טכנולוגיית elastic training מאפשרת יצירת תת-מודלים בעומק, רוחב ודרגות דילול שונות במסגרת ריצת אימון אחת.[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) ## משימות אימון מקדים ונתונים ### משימות האימון המקדים של ERNIE 3.0 / Titan ב-ERNIE 3.0 וב-Titan משמשות קבוצות משימות האימון המקדים הבאות:[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2)[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) **משימות Word-aware:** - Knowledge Masked Language Modeling — masking של ביטויים וישויות ללמידת תלויות בהקשר מקומי וגלובלי. - Document Language Modeling — מידול אוטו-רגרסיבי של מסמכים באורך של עד 512 טוקנים עם שימוש בזיכרון רקורנטי של Transformer-XL. **משימות Structure-aware:** - Sentence Reordering — עבור פסקה המחולקת באקראי ל-$m$ קטעים ומעורבבת, המודל פותר משימת סיווג $k$-מחלקתי עם $k = \sum\limits_{n = 1}^{m}n!$ לשחזור הסדר המקורי. - Sentence Distance — סיווג 3-מחלקתי: משפטים סמוכים, לא-סמוכים באותו מסמך, משפטים ממסמכים שונים. **משימות Knowledge-aware:** - Universal Knowledge-Text Prediction (UKTP) — מידול משותף של טקסט ושלישייה מגרף ידע. - Credible and Controllable Generations — שילוב של adversarial loss ו-controllable LM loss. ### נתוני האימון המקדים ל-ERNIE 3.0/Titan משמש ERNIE 3.0 Corpus — קורפוס סיני בהיקף של כ-4 טרה-בייט ב-11 קטגוריות, הכולל דפי אינטרנט, לוגים של חיפוש, נתוני שאלות-תשובות, טקסטים ספרותיים, משפטיים, פיננסיים ורפואיים, נובלות ושירה. מעל לקורפוס נבנה גרף ידע עם יותר מ-50 מיליון עובדות.[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2)[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) בנוסף, עבור Titan נבנים: - **Adversarial dataset** — 2 מיליון פסקאות מקוריות ופסקאות «שליליות» מתאימות שנוצרו על ידי ERNIE 3.0 על בסיס קידומת 1–3 המשפטים הראשונים של המקור, באורך של עד 512 טוקנים. - **Controllable dataset** — טקסטים המצוידים במאפייני ז'אנר, נושא (26 נושאים), מילות מפתח, טון (positive/negative/neutral) ואורך. מאפייני הז'אנר מקודדים כ-«prompt רך» הניתן לאימון (מספר ה-prompts לז'אנר נבחר באקראי בין 0 ל-64).[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) גרסאות מאוחרות (ERNIE 4.5, 5.0) משתמשות בקורפוסים מולטי-מודאליים מורחבים (טקסט, תמונות, וידאו, אודיו), לרבות תוכן אינטרנטי מאוצר, פרסומים מדעיים ונתונים סינתטיים.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) ## אימון ואופטימיזציה מבוזרת האימון המקדים של ERNIE 3.0 Titan בוצע עם מייטב Adam (קצב למידה $10^{- 4}$, $\beta_{1} = 0,9$, $\beta_{2} = 0,95$, רגולריזציית L2 של 0.1, חיתוך נורמת גרדיאנט ל-1.0), אורך הקשר מקסימלי של 512 ואורך זיכרון רקורנטי של 128 למשימות גנרטיביות. הוחל תכנית אימון פרוגרסיבית (התכנסות מואצת ב-4000 הצעדים הראשונים) ודעיכה לינארית של קצב הלמידה.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### מקביליות היברידית 4D לאימון מודל צפוף עם 260 מיליארד פרמטרים על אשכולות הטרוגניים (GPU של NVIDIA V100 ו-NPU של Ascend 910), מומשה ב-PaddlePaddle מקביליות היברידית 4D:[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) - **Data parallelism (DP)** — שכפול המודל על מספר מכשירים עם עיבוד נפרד של batches. - **Tensor model parallelism (MP)** — חלוקת פרמטרי ה-transformer ואקטיבציות בתוך שכבות בין מכשירים. - **Pipeline model parallelism (PP)** — חלוקת שכבות המודל לאורך pipeline. - **Group Sharded** — גרסה משופרת של sharded-data-parallel דמוי ZeRO לצמצום כפילות מצבי המייטב. הדוח מציג נתונים על סקיילינג חלש עד לאלפי כרטיסי Ascend 910 עם יעילות של כ-91.7% בתפוקה.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### אימון ERNIE 4.5 אימון ERNIE 4.5 בוצע על אשכול של 2016 GPU של NVIDIA H800, עם השגת Model FLOPs Utilization (MFU) של 47%. הוחלה דיוק מעורב FP8, נקודות ביקורת עמידות לתקלות (Zero Cost Checkpoint, שחזור תוך פחות מ-8 דקות) ואימון פרוגרסיבי עם הגדלת אורך הרצף וגודל ה-batch.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) ### דיסטילציה מקוונת להפחתת הדרישות החישוביות בעת פריסת ERNIE 3.0 Titan, נעשה שימוש בדיסטילציה מקוונת, שבה מודל המורה ומספר מודלי סטודנטים מאומנים בו-זמנית:[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) - **On-the-Fly Distillation (OFD)** — לוגיטים וייצוגים של המורה משמשים לאימון הסטודנטים באותם צעדי אימון. - **Teacher assistants** — מודלים בגודל ביניים, הממתנים את הפער בכושר בין המורה לסטודנטים הסופיים. - **Auxiliary Layer Distillation (ALD)** — שכבה נוספת בסטודנט, המושלכת בעת fine-tuning, להתאמה טובה יותר של ייצוגים פנימיים. ## אימון לאחר אימון מקדים ויישור גרסאות מסחריות של ERNIE (החל מ-ERNIE Bot) עוברות שלבי אימון לאחר האימון המקדים:[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7)[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - **Supervised Fine-Tuning (SFT)** — כוונון עדין על נתוני הוראות מתויגים (ב-ERNIE 4.5 — 2.3 מיליון דוגמאות). - **Reinforcement Learning from Human Feedback (RLHF)** — יישור התנהגות המודל באמצעות משוב אנושי; מוחלים אלגוריתמי PPO (Proximal Policy Optimization) ו-DPO (Direct Preference Optimization). - **Unified Preference Optimization (UPO)** — שיטת אופטימיזציית העדפות מאוחדת שהוכנסה ב-ERNIE 4.5. - **Reinforcement Learning with Verifiers (RLVR)** — למידת חיזוק עם שימוש במאמתים לבדיקת נכונות התשובות; מוחל שיטת GRPO (Group Relative Policy Optimization). - **מצבי היסק** (thinking modes) — מודלי 4.5 תומכים במצבים עם הרהור (reflection, planning) ובלעדיו. ## תוצאות מרכזיות ובנצ'מארקים ### טבלת סיכום התפתחות המודלים | גרסה | שנה | פרמטרים | ארכיטקטורה | בנצ'מארקים מרכזיים | מקור | |-----------------|------|----------------------------------------|---------------------------------------|---------------------------------------------------------|----------------------------------------------------------------------------------------------| | ERNIE 1.0 | 2019 | ~110 מיליון (base) | Transformer-encoder (דמוי BERT) | XNLI 78.4%; MSRA-NER F1 93.8% | [\[1\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE1-1) | | ERNIE 2.0 | 2019 | ~110–340 מיליון | Continual multi-task | GLUE 80.6 (base) / 83.6 (large); 16 משימות SOTA | [\[5\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE2-5) | | ERNIE 3.0 | 2021 | 10 מיליארד | Unified Transformer-XL (AE+AR) | SuperGLUE 90.6% (\> human 89.8%); 54 משימות סיניות SOTA | [\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2) | | ERNIE 3.0 Titan | 2021 | 260 מיליארד (dense) | Dense + controllable generation | 68 datasets SOTA; zero/few-shot | [\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) | | ERNIE 4.5 | 2025 | 0.3–424 מיליארד (MoE, 47 מיליארד פעיל) | Heterogeneous multimodal MoE | C-Eval 90.6%; MMLU 86.5%; MMMU 67.3–70% | [\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) | | ERNIE 5.0 | 2026 | ~2.4 טריליון (ultra-sparse MoE) | Unified autoregressive multimodal MoE | LMArena Elo ~1460 (טופ-10 גלובלי) | [\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) | ### תוצאות ERNIE 3.0 ו-Titan ERNIE 3.0 (10 מיליארד פרמטרים) השיג בבנצ'מארק האנגלי SuperGLUE ציון ממוצע של 90.6, העולה על סף הביצועים האנושי (89.8) ועל תוצאות GPT-3, T5 ו-DeBERTa במועד הפרסום. ERNIE 3.0 Titan (260 מיליארד) הוערך על 68 מערכי נתונים, לרבות משימות של סיווג, NLI, QA ויצירה; המחברים מדווחים על עליונות על פני מודלים קודמים בכל 68 ה-datasets. תוצאות אלה הן נתוני המקורות הראשוניים; שחזור עצמאי מתואר באופן מוגבל.[\[2\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE3-2)[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### תוצאות ERNIE 4.5 לפי הדוח הטכני משנת 2025, ERNIE 4.5 (300B-A47B, לאחר אימון) מציג את התוצאות הבאות בבנצ'מארקים טקסטואליים ומולטי-מודאליים:[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) | בנצ'מארק | ERNIE-4.5-300B-A47B | תנאים | |-----------|---------------------|-------------------------| | C-Eval | 90.6% | 5-shot | | CMMLU | 90.2% | — | | MMLU | 86.5% | סטנדרטי | | IFEval | 88.0% | instruction following | | GSM8K | 91.8% | — | | MMMU | 67.3–70.0% | non-thinking / thinking | | MathVista | 78.8% | thinking mode | | OCRBench | 883 | — | לפי הדוח, ERNIE 4.5 עלה על DeepSeek-V3 ב-22 מתוך 28 בנצ'מארקים; הגרסאות המולטי-מודאליות (ERNIE-4.5-VL-424B-A47B) הציגו תוצאות תחרותיות במשימות של היסק ויזואלי. בחלק ממשימות ההיסק הויזואלי ופרשנות התמונות הטכניות (ניתוח סכמות, דיאגרמות הנדסיות) מדווחות תוצאות גבוהות יותר מאשר אצל מודלי GPT ו-Gemini מסוימים.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[14\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-AINmultimodal-14) **השוואת ERNIE 4.5 עם מתחרים** (בנצ'מארקים נבחרים, לאחר אימון, לפי הדוח הטכני משנת 2025): | בנצ'מארק | ERNIE-4.5-300B-A47B | DeepSeek-V3-671B-A37B | Qwen3-235B-A22B | הערה | |-----------|---------------------|-----------------------|--------------------|-------------------------| | C-Eval | 90.6% | — | — | 5-shot | | MMLU | 86.5% | דומה | — | סטנדרטי | | IFEval | 88.0% | — | 83.2% | instruction following | | MMMU | 67.3–70.0% | — | — | thinking / non-thinking | | MathVista | 78.8% | — | 77.6% (Qwen2.5-VL) | thinking mode | תנאי שחזור: פרוטוקולים סטנדרטיים (5-shot / zero-shot); datasets פתוחים (C-Eval 2023+, MMLU, MMMU). מקף («—») מציין שנתונים דומים באותם התנאים לא מובאים בדוח.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) ### הערכות ERNIE Bot 4.0 דוח SuperBench של אוניברסיטת צינגהואה מדרג LLM מסחריים לפי קבוצת משימות (הבנת שפה, מתמטיקה, תכנות, ריבוי משימות). ERNIE Bot 4.0 דורג ראשון בין המודלים הסיניים, עולה על GLM-4 (Zhipu AI) בכ-0.41 נקודה במדד האינטגרלי; מודלי GPT-4 ו-Anthropic Claude-3 נשארו גבוהים יותר בדירוג הגלובלי. ERNIE Bot 4.0 הציג תוצאות חזקות בהבנת טקסט סיני ובמעקב אחר הוראות, עם תוצאות חלשות יותר בתכנות ובחלק מהמשימות האנגליות.[\[9\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Tsinghua-9)[\[10\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Multiplatform-10) ## יישומים ### מוצרים ושירותים של Baidu מודלי סדרת ERNIE משולבים במערכת האקוסיסטם של מוצרי Baidu:[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7)[\[8\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-BaiduBlog-8)[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - **ERNIE Bot (Wenxin Yiyan)** — צ'אטבוט עם תמיכה ביצירה מולטי-מודאלית (טקסט, תמונות, וידאו, אודיו). לפי נתוני Baidu, מספר המשתמשים הפעילים חודשיים עולה על 200 מיליון (2024–2025). מ-2025 ERNIE Bot זמין בחינם.[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7) - **חיפוש Baidu** — יצירת תשובות ופונקציות AI בתוצאות החיפוש; לפי נתוני Baidu, עד 70% מהתוצאות העליונות מועשרות ברכיבי AI. - **Qianfan (פלטפורמת MaaS)** — API ללקוחות ארגוניים; לפי נתוני Baidu, יותר מ-760 אלף ארגונים משתמשים בפלטפורמה, מספר הקריאות היומיות ל-API עולה על 1.5 מיליארד (2024). בין הלקוחות — Lenovo, Trip.com ואחרים.[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7) - **Comate** — עוזר AI לתכנות. - **Wenxin Yige** — יצירת תמונות על בסיס מודלי ERNIE-ViLG.[\[11\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ViLG-11) - אינטגרציות עם שותפים חיצוניים: Samsung Galaxy (לשוק הסיני), אווטארים דיגיטליים, פלאגינים (חיפוש, ניתוח קבצים).[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7) ### יישומים תעשייתיים המודלים מיושמים בתחומים הבאים:[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7)[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - מערכות שאלות-תשובות בתחומים ספציפיים (משפט, רפואה, פיננסים) עם שימוש באימון מקדים המוגבר בידע. - יצירה ועריכה של טקסטים בסינית (חדשות, טקסטים שיווקיים, תוכן יצירתי). - משימות מולטי-מודאליות: ניתוח תמונות, סכמות הנדסיות, וידאו ונתונים טבלאיים (בגרסאות 4.5 ומעלה). - חינוך (למידה מותאמת אישית), רובוטיקה (תכנון משימות), נהיגה אוטונומית (Apollo). ### קוד פתוח החל מ-ERNIE 4.5, כל 10 גרסאות המשפחה שוחררו תחת רישיון Apache 2.0 עם ערכת כלים ERNIEKit (תמיכה ב-SFT, LoRA, DPO, היסק על PaddlePaddle/FastDeploy). קוד הגרסאות המוקדמות (ERNIE 1.0–3.0) זמין ב-GitHub PaddlePaddle/ERNIE.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[15\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-GH-15) ## מגבלות ובעיות פתוחות ### מגבלות ארכיטקטוניות ומגבלות datasets ERNIE 3.0 Titan עם 260 מיליארד פרמטרים מוגבל באורך הקשר של 512 טוקנים למודול בודד, מה שמגביל את מידול הטקסטים הארוכים ללא מנגנונים נוספים (chunking, זיכרון חיצוני). האימון מתבצע בעיקר על קורפוס סיני, מה שמוביל לאי-אחידות באיכות בין הסינית לשפות אחרות.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) אינטגרציית גרף הידע משפרת את העבודה עם עובדות מובנות, אולם דיוק הידע ושלמותו מוגבלים באיכות הגרף עצמו ובנוהל ההתאמה «שלישייה-טקסט» (entity linking, relation alignment), מה שמוביל במקרים מסוימים לאסוציאציות שגויות או חלקיות.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### הזיות ומהימנות ה-adversarial loss וה-controllable LM loss משפרים את העמידות בפני יצירות לא מהימנות, אולם אינם מצליחים לחסל לחלוטין את בעיית ההזיות (יצירת טענות שגויות מבחינה עובדתית). פרמטרי המסווג adversarial מאומנים על נתונים שבהם הטקסט ה«מיוצר» נוצר על ידי גרסה קודמת של ERNIE, מה שמגביל את מגוון דפוסי השגיאה הניתנים לזיהוי.[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### הטיות חברתיות מחקר שפורסם ב-PeerJ Computer Science (2025) מנתח הטיות חברתיות ב-LLM סיניים (ERNIE ו-Qwen) תוך שימוש ב-240 קבוצות חברתיות ויותר מ-30 אלף תיאורים שנוצרו. התוצאות מראות ש-ERNIE מייצר פחות תוכן שלילי וסטריאוטיפי בהשוואה ל-Baidu Search או ל-Qwen (כ-1/10 ממילות המועמדים עם קונוטציה שלילית אצל ERNIE לעומת כ-1/3 אצל Qwen). יחד עם זאת, שכיחות מסוימת של סטריאוטיפים, לרבות תיאורים שעלולים להיות פוגעניים, נמשכת.[\[16\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias1-16)[\[17\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias2-17) ### שחזוריות חלק ממודלי הסדרה (ERNIE 3.0 Titan, ERNIE Bot 4.0 ו-5.0 המסחריים) אינם זמינים כקוד פתוח מלא ומשקולות, מה שמגביל את שחזוריות הבנצ'מארקים ואת האפשרות להערכה עצמאית. עם שחרור ERNIE 4.5 תחת Apache 2.0 המצב השתפר, אולם ארכיטקטורות והגדרות האימון עשויות להיות שונות מאלה המתוארות בפרסומים המוקדמים.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[6\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Titan-6) ### בטיחות רפואית מחקרים על שימוש ב-ERNIE Bot בתרחישים רפואיים (Si et al., 2025) גילו נטייה לרישומי יתר: 91.9% בדיקות מיותרות ו-57.8% תרופות מיותרות בתרחישי מודל, וכן אי-שוויון גילאי וחברתי-כלכלי בהמלצות.[\[18\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Medical-18) ## היבטים אתיים ורגולטוריים מודלי סדרת ERNIE פועלים במסגרת הרגולציה הסינית של AI גנרטיבי, ובפרט «האמצעים הזמניים לניהול שירותי AI גנרטיבי» (Interim Measures for Generative AI Services, 2023), הקובעים הערכת בטיחות חובה, רישום אלגוריתמים והגבלות על תוכן.[\[7\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Wiki_ErnieBot-7)[\[17\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias2-17) ERNIE Bot מפגין שיעור גבוה של סירוב לבקשות הקשורות לנושאים פוליטיים רגישים, בהתאם לחוק הלאומי. מחקרים (Pan et al., 2026) מנתחים צנזורה פוליטית ב-LLM ממוצא סיני, לרבות מודלים של Baidu.[\[19\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Censorship-19) פרסומי Baidu אינם תמיד מתארים בפירוט את נהלי ביקורת התנהגות המודל, קריטריוני סינון התוכן והאיזון בין דרישות רגולטוריות מקומיות ועקרונות כלליים של אתיקת AI, וזה נותר תחום פתוח למחקר עצמאי.[\[17\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias2-17) ## פרספקטיבות וכיווני מחקר על בסיס דוחות טכניים והצהרות Baidu, ניתן לזהות את כיווני הפיתוח הבאים של סדרת ERNIE: - מולטי-מודאליזציה נוספת (טקסט–תמונה–וידאו–אודיו), לרבות עיבוד נתונים ויזואליים טכניים צפופים (סכמות הנדסיות, תמונות רפואיות).[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) - שילוב ארכיטקטורות צפופות ו-MoE לאיזון בין איכות ויעילות חישובית בגדלי מודלים כוללים גדולים מאוד.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - פיתוח מערכות סוכניות (GenFlow, Famou) וכלים ליצירה מובנית (JSON, קריאות API) לשילוב ב-workflows ייצוריים.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - שיפור יעילות האימון: elastic training, שיפור סקיילינג MoE (MFU), כימות (W4A8, 2-bit לפריסה על GPU יחיד).[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3) - מחקרים להפחתת הטיות ב-LLM סיניים תוך התחשבות בהיבטים תרבותיים-ספציפיים ופיתוח מתודולוגיות בנצ'מארקינג לשפה הסינית ולמשימות מולטי-מודאליות.[\[16\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias1-16)[\[17\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias2-17) - שיפור ההיסק בהקשר ארוך, למידת חיזוק ניתנת לאימות (verifiable RL) והתאמה לתחומים עם נתונים מוגבלים באמצעות קורפוסים סינתטיים.[\[3\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE45-3)[\[4\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-ERNIE50-4) ## השוואה עם LLM סיניים אחרים ERNIE מתחרה עם מספר LLM סיניים גדולים, ובהם Qwen (Alibaba), GLM / ChatGLM (Zhipu AI), DeepSeek (DeepSeek AI) ו-Tongyi Qianwen. ההבדלים העיקריים של סדרת ERNIE הם: דגש על אינטגרציה של גרפי ידע באימון המקדים (knowledge enhancement), אינטגרציה הדוקה עם מערכת האקוסיסטם של Baidu (חיפוש, ענן, API) ואוריינטציה לפלטפורמת PaddlePaddle. לפי דירוגים עצמאיים (SuperBench, LMArena), מודלי סדרת ERNIE תופסים מיקומים גבוהים בין ה-LLM הסיניים, במיוחד במשימות של הבנה ומעקב אחר הוראות בסינית.[\[9\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Tsinghua-9)[\[13\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-LMArena-13)[\[16\]](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_note-Bias1-16) ## ראו גם - BERT - ארכיטקטורת Transformer - RLHF ## ספרות - Sun, Y. et al. (2019). *ERNIE: Enhanced Representation through Knowledge Integration*. arXiv:1904.09223. https://arxiv.org/abs/1904.09223 - Sun, Y. et al. (2019). *ERNIE 2.0: A Continual Pre-training Framework for Language Understanding*. AAAI 2020. arXiv:1907.12412. https://arxiv.org/abs/1907.12412 - Sun, Y. et al. (2021). *ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation*. arXiv:2107.02137. https://arxiv.org/abs/2107.02137 - Wang, S. et al. (2021). *ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation*. arXiv:2112.12731. https://arxiv.org/abs/2112.12731 - Feng, Z. et al. (2022). *ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts*. arXiv:2210.15257. https://arxiv.org/abs/2210.15257 - Baidu ERNIE Team (2025). *ERNIE 4.5 Technical Report*. https://ernie.baidu.com/blog/publication/ERNIE_Technical_Report.pdf - Wang, H. et al. (2026). *ERNIE 5.0 Technical Report*. arXiv:2602.04705. https://arxiv.org/abs/2602.04705 - Song, X. et al. (2024). *Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies*. arXiv:2408.15696. https://arxiv.org/abs/2408.15696 - PeerJ Computer Science (2025). *Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies*. https://peerj.com/articles/cs-2694/ - Pan et al. (2026). *Political censorship in large language models originating from China*. PNAS Nexus. - Si, Y. et al. (2025). *Quality safety and disparity of an AI chatbot*. PMC. - Vaswani, A. et al. (2017). *Attention Is All You Need*. NeurIPS. https://arxiv.org/abs/1706.03762 - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. NAACL. https://arxiv.org/abs/1810.04805 - DaoInsights (2024). *Baidu's ERNIE bot tops the Tsinghua University LLM report ranking*. https://daoinsights.com/news/far-ahead-baidus-ernie-bot-tops-the-tsinghua-university-llm-report-ranking/ - Multiplatform.ai (2024). *ERNIE Bot Leads Tsinghua University's LLM Report Rankings in China*. https://multiplatform.ai/ernie-bot-leads-tsinghua-universitys-llm-report-rankings-in-china/ - ArtificialIntelligence-News (2025). *Baidu ERNIE multimodal AI beats GPT and Gemini in benchmarks*. https://www.artificialintelligence-news.com/news/baidu-ernie-multimodal-ai-gpt-and-gemini-benchmarks/ - ERNIE Official Blog (2025). *ERNIE-5.0-Preview-1022 now ranks \#2 globally on the LMArena Text leaderboard*. https://ernie.baidu.com/blog/posts/ernie-5.0-preview-1022-release-on-lmarena/ - ERNIE Official Blog (2025). *Announcing the Open Source Release of the ERNIE 4.5 Model Family*. https://ernie.baidu.com/blog/posts/ernie4.5/ ## הערות 1. ↑ [1.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-0) [1.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-1) [1.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-2) [1.3](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-3) [1.4](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-4) [1.5](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE1_1-5) Sun, Y. et al. (2019). *ERNIE: Enhanced Representation through Knowledge Integration*. arXiv:1904.09223. https://arxiv.org/abs/1904.09223 2. ↑ [2.00](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-0) [2.01](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-1) [2.02](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-2) [2.03](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-3) [2.04](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-4) [2.05](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-5) [2.06](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-6) [2.07](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-7) [2.08](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-8) [2.09](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE3_2-9) Sun, Y. et al. (2021). *ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation*. arXiv:2107.02137. https://arxiv.org/abs/2107.02137 3. ↑ [3.00](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-0) [3.01](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-1) [3.02](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-2) [3.03](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-3) [3.04](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-4) [3.05](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-5) [3.06](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-6) [3.07](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-7) [3.08](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-8) [3.09](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-9) [3.10](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-10) [3.11](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-11) [3.12](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-12) [3.13](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-13) [3.14](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-14) [3.15](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-15) [3.16](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-16) [3.17](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-17) [3.18](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-18) [3.19](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE45_3-19) Baidu ERNIE Team (2025). *ERNIE 4.5 Technical Report*. https://ernie.baidu.com/blog/publication/ERNIE_Technical_Report.pdf 4. ↑ [4.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-0) [4.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-1) [4.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-2) [4.3](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-3) [4.4](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-4) [4.5](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-5) [4.6](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE50_4-6) Wang, H. et al. (2026). *ERNIE 5.0 Technical Report*. arXiv:2602.04705. https://arxiv.org/abs/2602.04705 5. ↑ [5.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE2_5-0) [5.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE2_5-1) [5.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE2_5-2) [5.3](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE2_5-3) [5.4](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ERNIE2_5-4) Sun, Y. et al. (2019). *ERNIE 2.0: A Continual Pre-training Framework for Language Understanding*. arXiv:1907.12412. AAAI 2020. https://arxiv.org/abs/1907.12412 6. ↑ [6.00](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-0) [6.01](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-1) [6.02](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-2) [6.03](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-3) [6.04](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-4) [6.05](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-5) [6.06](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-6) [6.07](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-7) [6.08](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-8) [6.09](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-9) [6.10](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-10) [6.11](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-11) [6.12](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-12) [6.13](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-13) [6.14](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-14) [6.15](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-15) [6.16](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-16) [6.17](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-17) [6.18](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-18) [6.19](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-19) [6.20](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Titan_6-20) Wang, S. et al. (2021). *ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation*. arXiv:2112.12731. https://arxiv.org/abs/2112.12731 7. ↑ [7.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-0) [7.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-1) [7.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-2) [7.3](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-3) [7.4](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-4) [7.5](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-5) [7.6](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-6) [7.7](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Wiki_ErnieBot_7-7) Wikipedia. *Ernie Bot*. https://en.wikipedia.org/wiki/Ernie_Bot 8. ↑ [8.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-BaiduBlog_8-0) [8.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-BaiduBlog_8-1) Baidu Research Blog (2023). *ERNIE Bot: Baidu's Knowledge-Enhanced Large Language Model*. https://research.baidu.com/Blog/index-view?id=183 9. ↑ [9.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Tsinghua_9-0) [9.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Tsinghua_9-1) [9.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Tsinghua_9-2) DaoInsights (2024). *Baidu's ERNIE bot tops the Tsinghua University LLM report ranking*. https://daoinsights.com/news/far-ahead-baidus-ernie-bot-tops-the-tsinghua-university-llm-report-ranking/ 10. ↑ [10.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Multiplatform_10-0) [10.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Multiplatform_10-1) Multiplatform.ai (2024). *ERNIE Bot Leads Tsinghua University's LLM Report Rankings in China*. https://multiplatform.ai/ernie-bot-leads-tsinghua-universitys-llm-report-rankings-in-china/ 11. ↑ [11.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ViLG_11-0) [11.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-ViLG_11-1) Feng, Z. et al. (2022). *ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts*. arXiv:2210.15257. https://arxiv.org/abs/2210.15257 12. [↑](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Turbo_12-0) AI Base News (2025). *Free Limited-Time Trial! Baidu's ERNIE 4.0 Turbo Launches on the ERNIE Bot Official Website*. https://news.aibase.com/news/9958 13. ↑ [13.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-LMArena_13-0) [13.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-LMArena_13-1) ERNIE Official Blog (2025). *ERNIE-5.0-Preview-1022 now ranks \#2 globally on the LMArena Text leaderboard*. https://ernie.baidu.com/blog/posts/ernie-5.0-preview-1022-release-on-lmarena/ 14. [↑](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-AINmultimodal_14-0) ArtificialIntelligence‑News (2025). *Baidu ERNIE multimodal AI beats GPT and Gemini in benchmarks*. https://www.artificialintelligence-news.com/news/baidu-ernie-multimodal-ai-gpt-and-gemini-benchmarks/ 15. [↑](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-GH_15-0) PaddlePaddle/ERNIE. GitHub. https://github.com/PaddlePaddle/ERNIE 16. ↑ [16.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias1_16-0) [16.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias1_16-1) [16.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias1_16-2) Song, X. et al. (2024). *Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies: a case study on Baidu, Ernie and Qwen*. arXiv:2408.15696. https://arxiv.org/abs/2408.15696 17. ↑ [17.0](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias2_17-0) [17.1](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias2_17-1) [17.2](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias2_17-2) [17.3](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Bias2_17-3) PeerJ Computer Science (2025). *Comparing diversity, negativity, and stereotypes in Chinese-language AI technologies*. https://peerj.com/articles/cs-2694/ 18. [↑](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Medical_18-0) Si, Y. et al. (2025). *Quality safety and disparity of an AI chatbot*. PMC. 19. [↑](https://systems-analysis.info/int/ERNIE_(Baidu)_(HE)#cite_ref-Censorship_19-0) Pan et al. (2026). *Political censorship in large language models originating from China*. PNAS Nexus.