Jais
Jais (произносится «Джейс») — это семейство открытых крупных языковых моделей (LLM), разработанное в Объединённых Арабских Эмиратах и специально оптимизированное для арабского языка[1]. Название модели дано в честь горы Джебель Джейс — самой высокой вершины ОАЭ[2].
Проект создан в сотрудничестве между исследовательской компанией Inception (дочернее предприятие технологического конгломерата G42), Университетом искусственного интеллекта имени Мохамеда бен Заеда (MBZUAI) и калифорнийской компанией по производству ИИ-чипов Cerebras Systems[2]. Jais была открыто опубликована под свободной лицензией, что призвано стимулировать развитие экосистемы ИИ для арабского языка, сохраняя культурно-языковое наследие и делая современные технологии ИИ более доступными для арабоязычного мира[1].
История разработки и релизы
Проект Jais был инициирован в 2023 году на фоне ограниченности существующих LLM для нересурсных языков. Разработчики отмечали нехватку качественных двуязычных моделей, способных одинаково хорошо обрабатывать как арабский, так и английский язык[2].
Jais-13B: Первая версия
Первая версия, Jais-13B, была выпущена 30 августа 2023 года и содержала 13 миллиардов параметров[1]. Модель была обучена на смешанном корпусе из английских и арабских текстов объёмом 395 миллиардов токенов[3]. На момент своего выхода она была названа «самой высококачественной арабской LLM»[1].
Jais-30B: Увеличение масштаба
8 ноября 2023 года, менее чем через три месяца, консорциум представил вторую, значительно улучшенную версию — Jais-30B с 30 миллиардами параметров[4]. Увеличение масштаба было обусловлено необходимостью решать более сложные прикладные задачи, такие как суммирование и перевод. Модель была обучена на расширенном и очищенном датасете объёмом 1,63 триллиона токенов[4].
Jais-70B и семейство моделей
6 августа 2024 года Inception (G42) анонсировала запуск флагманской модели Jais-70B (70 миллиардов параметров) и целого семейства связанных моделей[5]. Jais-70B стала крупнейшей открытой LLM, ориентированной на арабский язык. В её разработке был применён метод continuous training: вместо обучения с нуля, за основу была взята модель Llama 2 70B от Meta, которую дообучили на 330 миллиардах токенов на арабском языке. Это позволило эффективно перенести знания английского языка из Llama 2 и сосредоточить ресурсы на обучении арабскому[5].
Архитектура и технические особенности
Jais относится к авторегрессионным трансформерным моделям на основе архитектуры GPT-3 (decoder-only). Ключевая особенность модели — её двуязычная специализация на арабском и английском языках, в отличие от многих мультиязычных LLM, где превалирует английский. Это позволяет достичь высокой глубины понимания арабского языка и его диалектов[3].
При создании Jais были интегрированы передовые технические решения[3]:
- ALiBi-позиционирование: Специальная схема позиционных эмбеддингов, которая позволяет модели обрабатывать более длинный контекст, чем тот, на котором она обучалась.
- SwiGLU-активация: Функция активации, повышающая качество обучения и экспрессивность нейронных слоёв.
- Maximal Update Parametrization (µP): Методика настройки гиперпараметров, которая стабилизирует обучение при увеличении размеров модели.
- Специализированный токенизатор: Разработан с учётом особенностей арабского и английского языков, что сокращает количество токенов для арабского текста в 3–4 раза по сравнению с универсальными токенизаторами и повышает скорость работы[6].
Помимо базовых моделей (foundation models), была выпущена версия Jais-chat, дополнительно дообученная на 9,6 млн пар вопросов-ответов для адаптации под задачи чат-бота и ассистента[3].
Обучение и набор данных
Одной из главных задач проекта была подготовка качественного и крупного корпуса арабских текстов. Итоговый обучающий набор для Jais-13B составил 395 млрд токенов, из которых:
- 116 млрд токенов (29%) — арабский текст.
- 279 млрд токенов (71%) — английский текст и программный код.
Арабский компонент был намеренно сделан значительным (около 30%), чтобы обеспечить высокое качество владения языком[3]. Данные включали книги, новостные статьи, веб-страницы и исходный код. Для увеличения объёма качественных арабских текстов применялась машинная трансляция англоязычных ресурсов[3].
Обучение моделей проводилось на суперкомпьютере Condor Galaxy 1 (CG-1) в Абу-Даби, который был совместно разработан G42 и Cerebras Systems. Благодаря этой инфраструктуре, обучение Jais-13B заняло всего около 3,5 дней чистого времени[2].
Применение и значение
Jais позиционируется как ключевой шаг в развитии генеративного ИИ для арабского языка и других языковых сообществ, недостаточно представленных в современных LLM. Открытый доступ к модели призван стимулировать внедрение технологий обработки естественного языка в регионах Ближнего Востока и Северной Африки.
С момента запуска проект привлёк интерес государственных и коммерческих структур ОАЭ. Ранний доступ к модели получили Министерство иностранных дел ОАЭ, нефтегазовая компания ADNOC, авиакомпания Etihad Airways и банк First Abu Dhabi Bank[1]. В 2024 году Microsoft объявила об интеграции Jais на свою облачную платформу Microsoft Azure, сделав её доступной для глобальных пользователей[6].
Создатели Jais подчёркивают её роль в сохранении арабского культурно-языкового наследия. По словам исполнительного директора Inception Эндрю Джексона, проект призван «обеспечить, чтобы арабский язык с его богатым наследием обрёл свой голос в ландшафте ИИ»[1]. Накопленный опыт планируется использовать для создания аналогичных LLM для других языков и культур[1].
См. также
Литература
- Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
- Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
- Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
- Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
- Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
- Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». Cerebras Systems. [1]
- ↑ 2,0 2,1 2,2 2,3 «UAE's G42 launches open source Arabic language AI model». Reuters. [2]
- ↑ 3,0 3,1 3,2 3,3 3,4 3,5 «[2308.16149] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». arXiv. [3]
- ↑ 4,0 4,1 «Upgraded Arabic large language model is twice as big». Computer Weekly. [4]
- ↑ 5,0 5,1 «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». Abu Dhabi Media Office. [5]
- ↑ 6,0 6,1 «Introducing JAIS: Arabic-centric Large Language Model on Azure». Microsoft Tech Community. [6]