---
title: "Jais (language model) (CS)"
source: "https://systems-analysis.info/int/Jais_(language_model)_(CS)"
wiki: "systems-analysis.info/int"
article: "Jais_(language_model)_(CS)"
language: "cs"
categories:
  - "Category:Czech"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 3314
wiki_created_at: 2026-09-06T23:18:51Z
wiki_modified_at: 2026-09-06T23:18:51Z
downloaded_at: 2026-09-07T22:56:17Z
---

# Jais (language model) (CS)

**Jais** (vyslovuje se „Džejs") — je rodina otevřených velkých jazykových modelů (LLM) vyvinutá ve Spojených arabských emirátech a speciálně optimalizovaná pro arabský jazyk<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>. Název modelu byl dán podle hory Džabal Džajs — nejvyššího vrcholu SAE<sup>[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-reuters-launch-2)</sup>.

Projekt byl vytvořen ve spolupráci mezi výzkumnou společností **Inception** (dceřiná společnost technologického konglomerátu G42), ***Univerzitou umělé inteligence Mohameda bin Zajida (MBZUAI)*** a kalifornskou společností vyrábějící AI čipy Cerebras Systems<sup>[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-reuters-launch-2)</sup>. Jais byl otevřeně zveřejněn pod svobodnou licencí, což má podpořit rozvoj AI ekosystému pro arabský jazyk, zachovat kulturně-jazykové dědictví a zpřístupnit moderní AI technologie arabsky mluvícímu světu<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>.

## Historie vývoje a vydání

Projekt Jais byl zahájen v roce 2023 na pozadí omezenosti stávajících LLM pro jazyky s nedostatečnými zdroji. Vývojáři poukazovali na nedostatek kvalitních dvojjazyčných modelů schopných stejně dobře zpracovávat arabský i anglický jazyk<sup>[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-reuters-launch-2)</sup>.

### Jais-13B: První verze

První verze, **Jais-13B**, byla vydána **30. srpna 2023** a obsahovala **13 miliard parametrů**<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>. Model byl natrénován na smíšeném korpusu anglických a arabských textů o objemu **395 miliard tokenů**<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>. V době svého vydání byl označen za „nejvyšší kvalitní arabský LLM\\<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>.

### Jais-30B: Zvýšení rozsahu

**8. listopadu 2023**, méně než tři měsíce poté, konsorcium představilo druhou, výrazně vylepšenou verzi — **Jais-30B** s **30 miliardami parametrů**<sup>[\[4\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-computerweekly-30b-4)</sup>. Zvětšení rozsahu bylo podmíněno potřebou řešit složitější aplikační úlohy, jako je sumarizace a překlad. Model byl natrénován na rozšířeném a vyčištěném datasetu o objemu **1,63 bilionu tokenů**<sup>[\[4\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-computerweekly-30b-4)</sup>.

### Jais-70B a rodina modelů

**6. srpna 2024** Inception (G42) oznámila spuštění vlajkového modelu **Jais-70B** (70 miliard parametrů) a celé rodiny souvisejících modelů<sup>[\[5\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-mediaoffice-70b-5)</sup>. Jais-70B se stal největším otevřeným LLM zaměřeným na arabský jazyk. Při jeho vývoji byla použita metoda *continuous training*: namísto trénování od nuly byl jako základ vzat model **Llama 2** 70B od Meta, který byl dotrénován na **330 miliardách tokenů** v arabském jazyce. To umožnilo efektivně přenést znalosti anglického jazyka z Llama 2 a soustředit zdroje na trénování arabštiny<sup>[\[5\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-mediaoffice-70b-5)</sup>.

## Architektura a technické vlastnosti

Jais patří mezi autoregresivní transformerové modely založené na architektuře GPT-3 (*decoder-only*). Klíčovou vlastností modelu je jeho dvojjazyčná specializace na arabský a anglický jazyk, na rozdíl od mnoha vícejazyčných LLM, kde dominuje angličtina. To umožňuje dosáhnout vysoké hloubky porozumění arabskému jazyku a jeho dialektům<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>.

Při vytváření Jais byla integrována pokročilá technická řešení<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>:

- **ALiBi-pozicování**: Speciální schéma pozičních embeddingů, která umožňuje modelu zpracovávat delší kontext, než na jakém byl natrénován.
- **SwiGLU-aktivace**: Aktivační funkce zvyšující kvalitu trénování a expresivitu neuronových vrstev.
- **Maximal Update Parametrization (µP)**: Metoda nastavení hyperparametrů, která stabilizuje trénování při zvětšování velikosti modelu.
- **Specializovaný tokenizátor**: Vyvinut s ohledem na specifika arabského a anglického jazyka, čímž snižuje počet tokenů pro arabský text 3–4krát ve srovnání s univerzálními tokenizátory a zvyšuje rychlost zpracování<sup>[\[6\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-microsoft-azure-blog-6)</sup>.

Kromě základních modelů (*foundation models*) byla vydána verze **Jais-chat**, dodatečně dotrénovaná na 9,6 milionu párů otázek a odpovědí pro přizpůsobení úlohám chatbotu a asistenta<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>.

## Trénování a datová sada

Jedním z hlavních úkolů projektu byla příprava kvalitního a rozsáhlého korpusu arabských textů. Výsledná trénovací sada pro Jais-13B obsahovala **395 mld. tokenů**, z nichž:

- **116 mld. tokenů (29%)** — arabský text.
- **279 mld. tokenů (71%)** — anglický text a zdrojový kód.

Arabská složka byla záměrně ponechána jako výrazná (přibližně 30 %), aby bylo zajištěno vysoké kvalitní ovládání jazyka<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>. Data zahrnovala knihy, zpravodajské články, webové stránky a zdrojový kód. Pro zvýšení objemu kvalitních arabských textů byl využíván strojový překlad anglicky psaných zdrojů<sup>[\[3\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-jais-paper-3)</sup>.

Trénování modelů probíhalo na superpočítači **Condor Galaxy 1 (CG-1)** v Abú Dhabí, který byl společně vyvinut společnostmi G42 a Cerebras Systems. Díky této infrastruktuře zabralo trénování Jais-13B pouhých přibližně 3,5 dne čistého času<sup>[\[2\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-reuters-launch-2)</sup>.

## Použití a význam

Jais je prezentován jako klíčový krok v rozvoji generativní AI pro arabský jazyk a další jazyková společenství nedostatečně zastoupená v moderních LLM. Otevřený přístup k modelu má podpořit zavádění technologií zpracování přirozeného jazyka v regionech Blízkého východu a severní Afriky.

Od spuštění projektu přitáhl zájem státních i komerčních struktur SAE. Předčasný přístup k modelu získalo Ministerstvo zahraničních věcí SAE, ropná a plynárenská společnost ADNOC, letecká společnost Etihad Airways a banka First Abu Dhabi Bank<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>. V roce 2024 Microsoft oznámil integraci Jais na svou cloudovou platformu Microsoft Azure, čímž jej zpřístupnil globálním uživatelům<sup>[\[6\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-microsoft-azure-blog-6)</sup>.

Tvůrci Jais zdůrazňují jeho roli při zachování arabského kulturně-jazykového dědictví. Podle slov výkonného ředitele Inception Andrewa Jacksona má projekt zajistit, „aby arabský jazyk se svým bohatým dědictvím našel svůj hlas v krajině AI\\<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>. Získané zkušenosti se plánuje využít k vytvoření analogických LLM pro jiné jazyky a kultury<sup>[\[1\]](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_note-cerebras-launch-1)</sup>.

## Literatura

- Shazeer, N.; et al. (2020). *GLU Variants Improve Transformer*. arXiv:2002.05202.
- Press, O.; et al. (2021). *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation*. arXiv:2108.12409.
- Yang, G.; et al. (2022). *Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer*. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). *A Large and Diverse Arabic Corpus for Language Modeling*. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). *Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models*. arXiv:2308.16149.
- Inception AI (2024). *JAIS 30B Whitepaper*. Online whitepaper.
- Koto, F.; et al. (2024). *ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic*. arXiv:2402.12840.
- Qian, Z.; et al. (2024). *CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks*. arXiv:2409.12623.
- Blake, C.; et al. (2024). *u‑μP: The Unit‑Scaled Maximal Update Parametrization*. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). *Jais Family Model Card*. Hugging Face.

## Poznámky

1.  <span id="cite_note-cerebras-launch-1">↑ <sup>[1.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-cerebras-launch_1-6)</sup> «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». *Cerebras Systems*. <a href="https://www.cerebras.ai/press-release/meet-jais-the-worlds-most-advanced-arabic-large-language-model-open-sourced-by-g42s-inception" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-reuters-launch-2">↑ <sup>[2.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-reuters-launch_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-reuters-launch_2-1)</sup> <sup>[2.2](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-reuters-launch_2-2)</sup> <sup>[2.3](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-reuters-launch_2-3)</sup> «UAE's G42 launches open source Arabic language AI model». *Reuters*. <a href="https://www.reuters.com/technology/uaes-g42-launches-open-source-arabic-language-ai-model-2023-08-30/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-jais-paper-3">↑ <sup>[3.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-2)</sup> <sup>[3.3](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-3)</sup> <sup>[3.4](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-4)</sup> <sup>[3.5](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-jais-paper_3-5)</sup> «\[2308.16149\] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». *arXiv*. <a href="https://ar5iv.labs.arxiv.org/html/2308.16149" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-computerweekly-30b-4">↑ <sup>[4.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-computerweekly-30b_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-computerweekly-30b_4-1)</sup> «Upgraded Arabic large language model is twice as big». *Computer Weekly*. <a href="https://www.computerweekly.com/news/366567153/Arabic-LLM-Jais-gets-a-new-version-thats-twice-as-large" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-mediaoffice-70b-5">↑ <sup>[5.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-mediaoffice-70b_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-mediaoffice-70b_5-1)</sup> «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». *Abu Dhabi Media Office*. <a href="https://www.mediaoffice.abudhabi/en/technology/g42-launches-jais-70b-and-20-other-ai-models-to-advance-arabic-natural-language-processing/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-microsoft-azure-blog-6">↑ <sup>[6.0](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-microsoft-azure-blog_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/Jais_(language_model)_(CS)#cite_ref-microsoft-azure-blog_6-1)</sup> «Introducing JAIS: Arabic-centric Large Language Model on Azure». *Microsoft Tech Community*. <a href="https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-jais-arabic-centric-large-language-model-on-azure/4137329" class="external autonumber" rel="nofollow">[6]</a></span>