---
title: "Jais"
source: "https://systems-analysis.info/wiki/Jais"
wiki: "systems-analysis.info/wiki"
article: "Jais"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Семейства LLM"
revision_id: 130
wiki_created_at: 2026-09-06T21:55:29Z
wiki_modified_at: 2026-09-06T21:55:29Z
downloaded_at: 2026-09-07T22:17:40Z
---

# Jais

**Jais** (произносится «Джейс») — это семейство открытых [крупных языковых моделей (LLM)](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели"), разработанное в Объединённых Арабских Эмиратах и специально оптимизированное для арабского языка<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>. Название модели дано в честь горы Джебель Джейс — самой высокой вершины ОАЭ<sup>[\[2\]](https://systems-analysis.info/wiki/Jais#cite_note-reuters-launch-2)</sup>.

Проект создан в сотрудничестве между исследовательской компанией **Inception** (дочернее предприятие технологического конгломерата G42), ***Университетом искусственного интеллекта имени Мохамеда бен Заеда (MBZUAI)*** и калифорнийской компанией по производству ИИ-чипов Cerebras Systems<sup>[\[2\]](https://systems-analysis.info/wiki/Jais#cite_note-reuters-launch-2)</sup>. Jais была открыто опубликована под свободной лицензией, что призвано стимулировать развитие экосистемы ИИ для арабского языка, сохраняя культурно-языковое наследие и делая современные технологии ИИ более доступными для арабоязычного мира<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>.

## История разработки и релизы

Проект Jais был инициирован в 2023 году на фоне ограниченности существующих LLM для нересурсных языков. Разработчики отмечали нехватку качественных двуязычных моделей, способных одинаково хорошо обрабатывать как арабский, так и английский язык<sup>[\[2\]](https://systems-analysis.info/wiki/Jais#cite_note-reuters-launch-2)</sup>.

### Jais-13B: Первая версия

Первая версия, **Jais-13B**, была выпущена **30 августа 2023 года** и содержала **13 миллиардов параметров**<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>. Модель была обучена на смешанном корпусе из английских и арабских текстов объёмом **395 миллиардов токенов**<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>. На момент своего выхода она была названа «самой высококачественной арабской LLM»<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>.

### Jais-30B: Увеличение масштаба

**8 ноября 2023 года**, менее чем через три месяца, консорциум представил вторую, значительно улучшенную версию — **Jais-30B** с **30 миллиардами параметров**<sup>[\[4\]](https://systems-analysis.info/wiki/Jais#cite_note-computerweekly-30b-4)</sup>. Увеличение масштаба было обусловлено необходимостью решать более сложные прикладные задачи, такие как суммирование и перевод. Модель была обучена на расширенном и очищенном датасете объёмом **1,63 триллиона [токенов](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен")**<sup>[\[4\]](https://systems-analysis.info/wiki/Jais#cite_note-computerweekly-30b-4)</sup>.

### Jais-70B и семейство моделей

**6 августа 2024 года** Inception (G42) анонсировала запуск флагманской модели **Jais-70B** (70 миллиардов параметров) и целого семейства связанных моделей<sup>[\[5\]](https://systems-analysis.info/wiki/Jais#cite_note-mediaoffice-70b-5)</sup>. Jais-70B стала крупнейшей открытой LLM, ориентированной на арабский язык. В её разработке был применён метод *continuous training*: вместо обучения с нуля, за основу была взята модель **[Llama](https://systems-analysis.info/wiki/LLaMA "LLaMA") 2** 70B от Meta, которую дообучили на **330 миллиардах токенов** на арабском языке. Это позволило эффективно перенести знания английского языка из Llama 2 и сосредоточить ресурсы на обучении арабскому<sup>[\[5\]](https://systems-analysis.info/wiki/Jais#cite_note-mediaoffice-70b-5)</sup>.

## Архитектура и технические особенности

Jais относится к авторегрессионным трансформерным моделям на основе архитектуры GPT-3 (*decoder-only*). Ключевая особенность модели — её двуязычная специализация на арабском и английском языках, в отличие от многих мультиязычных LLM, где превалирует английский. Это позволяет достичь высокой глубины понимания арабского языка и его диалектов<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>.

При создании Jais были интегрированы передовые технические решения<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>:

- **ALiBi-позиционирование**: Специальная схема позиционных эмбеддингов, которая позволяет модели обрабатывать более длинный контекст, чем тот, на котором она обучалась.
- **SwiGLU-активация**: Функция активации, повышающая качество обучения и экспрессивность нейронных слоёв.
- **Maximal Update Parametrization (µP)**: Методика настройки гиперпараметров, которая стабилизирует обучение при увеличении размеров модели.
- **Специализированный токенизатор**: Разработан с учётом особенностей арабского и английского языков, что сокращает количество токенов для арабского текста в 3–4 раза по сравнению с универсальными токенизаторами и повышает скорость работы<sup>[\[6\]](https://systems-analysis.info/wiki/Jais#cite_note-microsoft-azure-blog-6)</sup>.

Помимо базовых моделей (*foundation models*), была выпущена версия **Jais-chat**, дополнительно дообученная на 9,6 млн пар вопросов-ответов для адаптации под задачи чат-бота и ассистента<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>.

## Обучение и набор данных

Одной из главных задач проекта была подготовка качественного и крупного корпуса арабских текстов. Итоговый обучающий набор для Jais-13B составил **395 млрд токенов**, из которых:

- **116 млрд токенов (29%)** — арабский текст.
- **279 млрд токенов (71%)** — английский текст и программный код.

Арабский компонент был намеренно сделан значительным (около 30%), чтобы обеспечить высокое качество владения языком<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>. Данные включали книги, новостные статьи, веб-страницы и исходный код. Для увеличения объёма качественных арабских текстов применялась машинная трансляция англоязычных ресурсов<sup>[\[3\]](https://systems-analysis.info/wiki/Jais#cite_note-jais-paper-3)</sup>.

Обучение моделей проводилось на суперкомпьютере **Condor Galaxy 1 (CG-1)** в Абу-Даби, который был совместно разработан G42 и Cerebras Systems. Благодаря этой инфраструктуре, обучение Jais-13B заняло всего около 3,5 дней чистого времени<sup>[\[2\]](https://systems-analysis.info/wiki/Jais#cite_note-reuters-launch-2)</sup>.

## Применение и значение

Jais позиционируется как ключевой шаг в развитии генеративного ИИ для арабского языка и других языковых сообществ, недостаточно представленных в современных LLM. Открытый доступ к модели призван стимулировать внедрение технологий обработки естественного языка в регионах Ближнего Востока и Северной Африки.

С момента запуска проект привлёк интерес государственных и коммерческих структур ОАЭ. Ранний доступ к модели получили Министерство иностранных дел ОАЭ, нефтегазовая компания ADNOC, авиакомпания Etihad Airways и банк First Abu Dhabi Bank<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>. В 2024 году Microsoft объявила об интеграции Jais на свою облачную платформу Microsoft Azure, сделав её доступной для глобальных пользователей<sup>[\[6\]](https://systems-analysis.info/wiki/Jais#cite_note-microsoft-azure-blog-6)</sup>.

Создатели Jais подчёркивают её роль в сохранении арабского культурно-языкового наследия. По словам исполнительного директора Inception Эндрю Джексона, проект призван «обеспечить, чтобы арабский язык с его богатым наследием обрёл свой голос в ландшафте ИИ»<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>. Накопленный опыт планируется использовать для создания аналогичных LLM для других языков и культур<sup>[\[1\]](https://systems-analysis.info/wiki/Jais#cite_note-cerebras-launch-1)</sup>.

## См. также

- [Большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели")
- [BERT](https://systems-analysis.info/wiki/BERT "BERT")
- [BLOOM](https://systems-analysis.info/wiki/BLOOM "BLOOM")
- [Chinchilla](https://systems-analysis.info/wiki/Chinchilla "Chinchilla")
- [Claude](https://systems-analysis.info/wiki/Claude "Claude")

## Литература

- Shazeer, N.; et al. (2020). *GLU Variants Improve Transformer*. <a href="https://arxiv.org/abs/2002.05202" class="external text" rel="nofollow">arXiv:2002.05202</a>.
- Press, O.; et al. (2021). *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation*. <a href="https://arxiv.org/abs/2108.12409" class="external text" rel="nofollow">arXiv:2108.12409</a>.
- Yang, G.; et al. (2022). *Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer*. <a href="https://arxiv.org/abs/2203.03466" class="external text" rel="nofollow">arXiv:2203.03466</a>.
- Ali, A. R.; et al. (2022). *A Large and Diverse Arabic Corpus for Language Modeling*. <a href="https://arxiv.org/abs/2201.09227" class="external text" rel="nofollow">arXiv:2201.09227</a>.
- Sengupta, N.; et al. (2023). *Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models*. <a href="https://arxiv.org/abs/2308.16149" class="external text" rel="nofollow">arXiv:2308.16149</a>.
- Inception AI (2024). *JAIS 30B Whitepaper*. <a href="https://inceptionai.ai/2024/05/18/jais-30b-whitepaper/index.html" class="external text" rel="nofollow">Online whitepaper</a>.
- Koto, F.; et al. (2024). *ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic*. <a href="https://arxiv.org/abs/2402.12840" class="external text" rel="nofollow">arXiv:2402.12840</a>.
- Qian, Z.; et al. (2024). *CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks*. <a href="https://arxiv.org/abs/2409.12623" class="external text" rel="nofollow">arXiv:2409.12623</a>.
- Blake, C.; et al. (2024). *u‑μP: The Unit‑Scaled Maximal Update Parametrization*. <a href="https://arxiv.org/abs/2407.17465" class="external text" rel="nofollow">arXiv:2407.17465</a>.
- Inception AI; MBZUAI; Cerebras Systems (2024). *Jais Family Model Card*. <a href="https://huggingface.co/inceptionai/jais-adapted-70b" class="external text" rel="nofollow">Hugging Face</a>.

## Примечания

1.  <span id="cite_note-cerebras-launch-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-3)</sup> <sup>[1,4](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-4)</sup> <sup>[1,5](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-5)</sup> <sup>[1,6](https://systems-analysis.info/wiki/Jais#cite_ref-cerebras-launch_1-6)</sup> «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». *Cerebras Systems*. <a href="https://www.cerebras.ai/press-release/meet-jais-the-worlds-most-advanced-arabic-large-language-model-open-sourced-by-g42s-inception" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-reuters-launch-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/Jais#cite_ref-reuters-launch_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/Jais#cite_ref-reuters-launch_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/Jais#cite_ref-reuters-launch_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/Jais#cite_ref-reuters-launch_2-3)</sup> «UAE's G42 launches open source Arabic language AI model». *Reuters*. <a href="https://www.reuters.com/technology/uaes-g42-launches-open-source-arabic-language-ai-model-2023-08-30/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-jais-paper-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-3)</sup> <sup>[3,4](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-4)</sup> <sup>[3,5](https://systems-analysis.info/wiki/Jais#cite_ref-jais-paper_3-5)</sup> «\[2308.16149\] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». *arXiv*. <a href="https://ar5iv.labs.arxiv.org/html/2308.16149" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-computerweekly-30b-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/Jais#cite_ref-computerweekly-30b_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/Jais#cite_ref-computerweekly-30b_4-1)</sup> «Upgraded Arabic large language model is twice as big». *Computer Weekly*. <a href="https://www.computerweekly.com/news/366567153/Arabic-LLM-Jais-gets-a-new-version-thats-twice-as-large" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-mediaoffice-70b-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/Jais#cite_ref-mediaoffice-70b_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/Jais#cite_ref-mediaoffice-70b_5-1)</sup> «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». *Abu Dhabi Media Office*. <a href="https://www.mediaoffice.abudhabi/en/technology/g42-launches-jais-70b-and-20-other-ai-models-to-advance-arabic-natural-language-processing/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-microsoft-azure-blog-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/Jais#cite_ref-microsoft-azure-blog_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/Jais#cite_ref-microsoft-azure-blog_6-1)</sup> «Introducing JAIS: Arabic-centric Large Language Model on Azure». *Microsoft Tech Community*. <a href="https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-jais-arabic-centric-large-language-model-on-azure/4137329" class="external autonumber" rel="nofollow">[6]</a></span>