--- title: "Jais (language model) (HE)" source: "https://systems-analysis.info/int/Jais_(language_model)_(HE)" wiki: "systems-analysis.info/int" article: "Jais_(language_model)_(HE)" language: "he" categories: - "Category:Hebrew" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" revision_id: 3317 wiki_created_at: 2026-09-06T23:18:53Z wiki_modified_at: 2026-09-06T23:18:53Z downloaded_at: 2026-09-07T22:56:18Z --- # Jais (language model) (HE) **Jais** (מבוטא «ג'ייס») — היא משפחה של מודלי שפה גדולים (LLM) פתוחים, שפותחה באיחוד האמירויות הערביות ומותאמת במיוחד לשפה הערבית^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. שם המודל ניתן לכבוד הר ג'בל ג'ייס — הפסגה הגבוהה ביותר באיחוד האמירויות^{[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-reuters-launch-2)}. הפרויקט נוצר בשיתוף פעולה בין חברת המחקר **Inception** (חברת בת של קונגלומרט הטכנולוגיה G42), ***אוניברסיטת מוחמד בן זאיד לבינה מלאכותית (MBZUAI)*** וחברת שבבי ה-AI הקליפורנית Cerebras Systems^{[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-reuters-launch-2)}. Jais פורסמה בגלוי תחת רישיון חופשי, במטרה לעודד את פיתוח המערכת האקולוגית של ה-AI לשפה הערבית, תוך שמירה על המורשת התרבותית-לשונית והנגשת טכנולוגיות ה-AI המודרניות לעולם הדובר ערבית^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. ## היסטוריית הפיתוח וגרסאות פרויקט Jais יזום בשנת 2023 על רקע המגבלות של ה-LLM הקיימים עבור שפות בעלות משאבים מועטים. המפתחים ציינו את המחסור במודלים דו-לשוניים איכותיים המסוגלים לעבד באותה מיומנות גם ערבית וגם אנגלית^{[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-reuters-launch-2)}. ### Jais-13B: הגרסה הראשונה הגרסה הראשונה, **Jais-13B**, שוחררה ב-**30 באוגוסט 2023** והכילה **13 מיליארד פרמטרים**^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. המודל אומן על corpus מעורב של טקסטים אנגליים וערביים בהיקף של **395 מיליארד tokens**^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}. בעת פרסומה כונתה «ה-LLM הערבית האיכותית ביותר»^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. ### Jais-30B: הגדלת הקנה מידה ב-**8 בנובמבר 2023**, פחות משלושה חודשים לאחר מכן, הציג הקונסורציום את הגרסה השנייה, המשופרת משמעותית — **Jais-30B** עם **30 מיליארד פרמטרים**^{[\[4\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-computerweekly-30b-4)}. הגדלת הקנה מידה נבעה מהצורך לטפל במשימות יישומיות מורכבות יותר, כגון סיכום ותרגום. המודל אומן על dataset מורחב ומנוקה בהיקף של **1.63 טריליון tokens**^{[\[4\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-computerweekly-30b-4)}. ### Jais-70B ומשפחת המודלים ב-**6 באוגוסט 2024** הכריזה Inception (G42) על השקת מודל הדגל **Jais-70B** (70 מיליארד פרמטרים) ומשפחה שלמה של מודלים קשורים^{[\[5\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-mediaoffice-70b-5)}. Jais-70B הפך ל-LLM הפתוח הגדול ביותר המכוון לשפה הערבית. בפיתוחו יושמה שיטת *continuous training*: במקום אימון מאפס, נלקח כבסיס המודל **Llama 2** 70B של Meta, אשר עבר fine-tuning על **330 מיליארד tokens** בערבית. זה אפשר להעביר ביעילות את הידע באנגלית מ-Llama 2 ולרכז את המשאבים על האימון בערבית^{[\[5\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-mediaoffice-70b-5)}. ## ארכיטקטורה ומאפיינים טכניים Jais שייך למודלי transformer אוטורגרסיביים המבוססים על ארכיטקטורת GPT-3 (*decoder-only*). המאפיין המרכזי של המודל הוא ההתמחות הדו-לשונית שלו בערבית ובאנגלית, בניגוד למודלי LLM רב-לשוניים רבים שבהם שולטת האנגלית. זה מאפשר להשיג עומק הבנה גבוה של השפה הערבית וניביה^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}. במהלך יצירת Jais שולבו פתרונות טכניים מתקדמים^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}: - **מיקום ALiBi**: מערכת מיוחדת של positional embeddings המאפשרת למודל לעבד הקשר ארוך יותר מזה שעליו אומן. - **הפעלת SwiGLU**: פונקציית הפעלה המשפרת את איכות האימון ואת הביטוייות של שכבות הרשת הנוירונית. - **Maximal Update Parametrization (µP)**: שיטת כוונון היפר-פרמטרים המייצבת את האימון בעת הגדלת גודל המודל. - **Tokenizer מיוחד**: פותח תוך התחשבות במאפיינים של השפות הערבית והאנגלית, מה שמפחית את מספר ה-tokens עבור טקסט ערבי פי 3–4 בהשוואה ל-tokenizers אוניברסליים ומשפר את מהירות הביצוע^{[\[6\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-microsoft-azure-blog-6)}. בנוסף למודלי הבסיס (*foundation models*), שוחררה גרסת **Jais-chat**, שעברה fine-tuning נוסף על 9.6 מיליון זוגות שאלות-תשובות לצורך התאמה למשימות של chatbot ועוזר^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}. ## אימון ומערך הנתונים אחת המשימות המרכזיות של הפרויקט הייתה הכנת corpus ערבי איכותי וגדול. מערך האימון הסופי עבור Jais-13B הסתכם ב-**395 מיליארד tokens**, מתוכם: - **116 מיליארד tokens (29%)** — טקסט ערבי. - **279 מיליארד tokens (71%)** — טקסט אנגלי וקוד תוכנה. הרכיב הערבי נעשה בכוונה משמעותי (כ-30%), כדי להבטיח שליטה גבוהה בשפה^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}. הנתונים כללו ספרים, מאמרי חדשות, דפי אינטרנט וקוד מקור. לשם הגדלת היקף הטקסטים הערביים האיכותיים יושם תרגום מכוני של משאבים אנגליים^{[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-jais-paper-3)}. אימון המודלים בוצע על מחשב-העל **Condor Galaxy 1 (CG-1)** באבו דאבי, שפותח במשותף על ידי G42 ו-Cerebras Systems. הודות לתשתית זו, אימון Jais-13B ארך כ-3.5 ימים בלבד של זמן נטו^{[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-reuters-launch-2)}. ## יישום ומשמעות Jais ממוצב כצעד מפתח בפיתוח ה-AI הגנרטיבי לשפה הערבית ולקהילות לשוניות אחרות שאינן מיוצגות דיין ב-LLM המודרניים. הגישה הפתוחה למודל נועדה לעודד את הטמעת טכנולוגיות עיבוד שפה טבעית באזורי המזרח התיכון וצפון אפריקה. מאז השקת הפרויקט הוא משך עניין של גורמים ממשלתיים ומסחריים באיחוד האמירויות. גישה מוקדמת למודל קיבלו משרד החוץ של איחוד האמירויות, חברת הנפט והגז ADNOC, חברת התעופה Etihad Airways והבנק First Abu Dhabi Bank^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. בשנת 2024 הכריזה Microsoft על שילוב Jais בפלטפורמת הענן שלה Microsoft Azure, מה שהפך אותו לנגיש למשתמשים גלובליים^{[\[6\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-microsoft-azure-blog-6)}. יוצרי Jais מדגישים את תפקידו בשמירה על המורשת התרבותית-לשונית הערבית. לדברי המנכ"ל של Inception, אנדרו ג'קסון, הפרויקט נועד «להבטיח שהשפה הערבית, עם מורשתה העשירה, תמצא את קולה בנוף ה-AI»^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. הניסיון שנצבר מתוכנן לשמש ליצירת LLM דומים עבור שפות ותרבויות אחרות^{[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_note-cerebras-launch-1)}. ## ספרות - Shazeer, N.; et al. (2020). *GLU Variants Improve Transformer*. arXiv:2002.05202. - Press, O.; et al. (2021). *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation*. arXiv:2108.12409. - Yang, G.; et al. (2022). *Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer*. arXiv:2203.03466. - Ali, A. R.; et al. (2022). *A Large and Diverse Arabic Corpus for Language Modeling*. arXiv:2201.09227. - Sengupta, N.; et al. (2023). *Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models*. arXiv:2308.16149. - Inception AI (2024). *JAIS 30B Whitepaper*. Online whitepaper. - Koto, F.; et al. (2024). *ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic*. arXiv:2402.12840. - Qian, Z.; et al. (2024). *CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks*. arXiv:2409.12623. - Blake, C.; et al. (2024). *u‑μP: The Unit‑Scaled Maximal Update Parametrization*. arXiv:2407.17465. - Inception AI; MBZUAI; Cerebras Systems (2024). *Jais Family Model Card*. Hugging Face. ## הערות 1. ↑ ^{[1.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-0)} ^{[1.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-1)} ^{[1.2](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-2)} ^{[1.3](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-3)} ^{[1.4](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-4)} ^{[1.5](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-5)} ^{[1.6](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-cerebras-launch_1-6)} «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». *Cerebras Systems*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-reuters-launch_2-0)} ^{[2.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-reuters-launch_2-1)} ^{[2.2](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-reuters-launch_2-2)} ^{[2.3](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-reuters-launch_2-3)} «UAE's G42 launches open source Arabic language AI model». *Reuters*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-0)} ^{[3.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-1)} ^{[3.2](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-2)} ^{[3.3](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-3)} ^{[3.4](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-4)} ^{[3.5](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-jais-paper_3-5)} «\[2308.16149\] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». *arXiv*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-computerweekly-30b_4-0)} ^{[4.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-computerweekly-30b_4-1)} «Upgraded Arabic large language model is twice as big». *Computer Weekly*. [4] 5. ↑ ^{[5.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-mediaoffice-70b_5-0)} ^{[5.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-mediaoffice-70b_5-1)} «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». *Abu Dhabi Media Office*. [5] 6. ↑ ^{[6.0](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-microsoft-azure-blog_6-0)} ^{[6.1](https://systems-analysis.info/int/Jais_(language_model)_(HE)#cite_ref-microsoft-azure-blog_6-1)} «Introducing JAIS: Arabic-centric Large Language Model on Azure». *Microsoft Tech Community*. [6]