--- title: "Jamba" source: "https://systems-analysis.info/wiki/Jamba" wiki: "systems-analysis.info/wiki" article: "Jamba" language: "ru" categories: - "Категория:Russian" - "Категория:Большие языковые модели" - "Категория:Машинное обучение" - "Категория:Семейства LLM" revision_id: 131 wiki_created_at: 2026-09-06T21:55:30Z wiki_modified_at: 2026-09-06T21:55:30Z downloaded_at: 2026-09-07T22:17:41Z --- # Jamba **Jamba** — это семейство [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM), разработанное израильской исследовательской компанией AI21 Labs. Jamba представляет собой первую в своём роде **гибридную архитектуру**, которая объединяет ключевые элементы двух доминирующих подходов в разработке ИИ: трансформеров и моделей пространства состояний (State Space Models, SSM), в частности, архитектуры Mamba^{[\[1\]](https://systems-analysis.info/wiki/Jamba#cite_note-ai21-announcement-1)}. Основная цель Jamba — решить фундаментальный компромисс современных LLM: высокое качество и производительность (свойственные трансформерам) против эффективности и способности обрабатывать сверхдлинные контексты (свойственные SSM). Объединив эти подходы и добавив к ним разреженность с помощью [Mixture-of-Experts (MoE)](https://systems-analysis.info/wiki/Mixture-of-Experts_(MoE) "Mixture-of-Experts (MoE)"), Jamba предлагает модель, которая одновременно является мощной, эффективной и способной работать с огромными объёмами текста в одном запросе. ## Архитектура Jamba в деталях Jamba не просто чередует слои трансформера и Mamba. Она использует тщательно спроектированную **блочную структуру**, где каждый блок состоит из восьми слоёв. Структура одного блока Jamba: - **Один слой Трансформера:** Этот слой отвечает за "глубокое" понимание и сложные рассуждения. В этот слой встроена архитектура **Mixture-of-Experts (MoE)**. - **Семь слоёв Mamba:** Эти слои следуют за слоем трансформера и отвечают за эффективную обработку последовательности и "протаскивание" информации через длинный контекст^{[\[2\]](https://systems-analysis.info/wiki/Jamba#cite_note-arxiv-jamba-2)}. Такая асимметричная структура позволяет модели эффективно управлять вычислительными ресурсами: тяжёлые, но мощные операции трансформера выполняются реже, в то время как лёгкие и быстрые операции Mamba выполняются чаще. ### Интеграция Mixture-of-Experts (MoE) В Jamba используется архитектура MoE для дальнейшего повышения эффективности. - MoE применяется **только к полносвязным блокам (FFN) внутри слоёв-трансформеров**^{[\[3\]](https://systems-analysis.info/wiki/Jamba#cite_note-transformers-doc-jamba-3)}. Слои Mamba остаются плотными. - В первой модели Jamba было **16 экспертов**. - Для каждого [токена](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен") сеть-маршрутизатор выбирает **2 лучших эксперта** (Top-2 gating). Это означает, что хотя общее число параметров модели велико (52 млрд), на каждом шаге обработки токена в слое-трансформере активны только 2 из 16 экспертов, что делает вычисления очень быстрыми. ## Эволюция моделей Jamba ### Jamba-v0.1 (март 2024) Первая модель, представленная в рамках этого семейства, имеет следующие характеристики: | Характеристика | Значение | |---------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------| | **Общее число параметров** | 52 миллиарда | | **Активные параметры** | ~12 миллиардов | | **Число экспертов (MoE)** | 16 (2 активных) | | **[Контекстное окно](https://systems-analysis.info/wiki/%D0%9A%D0%BE%D0%BD%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BD%D0%BE%D0%B5_%D0%BE%D0%BA%D0%BD%D0%BE "Контекстное окно")** | 256 000 токенов | | **Лицензия** | Apache 2.0^{[\[4\]](https://systems-analysis.info/wiki/Jamba#cite_note-hf-jamba-v0.1-4)} | Технические характеристики Jamba-v0.1 Благодаря своей гибридной архитектуре, Jamba-1 способна обрабатывать контекст длиной 256 000 токенов, что эквивалентно примерно 400-страничному роману, и может быть развёрнута на одной потребительской GPU с 80 ГБ памяти^{[\[5\]](https://systems-analysis.info/wiki/Jamba#cite_note-gradientflow-jamba-5)}. ### Jamba-1.5 (2024) В 2024 году AI21 Labs представила обновлённое семейство моделей Jamba 1.5, включающее две версии: **Jamba 1.5 Mini** (12B активных параметров из 52B общих) и **Jamba 1.5 Large** (94B активных параметров из 398B общих)^{[\[6\]](https://systems-analysis.info/wiki/Jamba#cite_note-jamba-1.5-family-6)}. Эти модели демонстрируют существенные улучшения в производительности: - До 2.5 раз более быстрый вывод на длинных контекстах по сравнению с конкурентами. - Поддержку девяти языков, включая английский, испанский, французский и арабский^{[\[7\]](https://systems-analysis.info/wiki/Jamba#cite_note-hf-jamba-large-1.5-7)}. ## Ключевые преимущества и производительность - **Огромное контекстное окно:** 256 000 токенов — одно из самых больших окон среди всех доступных (в том числе и проприетарных) моделей на момент её выпуска. Это делает Jamba идеальной для задач, требующих анализа больших документов: юридических контрактов, научных работ, целых кодовых баз или длинных диалогов. - **Высокая производительность и эффективность:** В тестах Jamba демонстрирует производительность, сопоставимую или превосходящую ведущие открытые модели аналогичного размера, такие как [Llama](https://systems-analysis.info/wiki/LLaMA "LLaMA") и [Mixtral](https://systems-analysis.info/wiki/Mixtral "Mixtral"), при этом показывая **в 3 раза более высокую пропускную способность** на длинных контекстах^{[\[8\]](https://systems-analysis.info/wiki/Jamba#cite_note-itinai-jamba-8)}. - **Открытость и доступность:** Jamba распространяется под разрешительной лицензией Apache 2.0, что позволяет её свободное использование в коммерческих и исследовательских целях. Веса модели доступны на платформе Hugging Face. ### Результаты на бенчмарках Jamba 1.5 показывает конкурентоспособные результаты на различных бенчмарках^{[\[9\]](https://systems-analysis.info/wiki/Jamba#cite_note-dzen-jamba-9)}: - **Jamba 1.5 Mini** набрала 46.1 балл в Arena Hard, что делает её лидирующей публичной моделью в своей категории^{[\[10\]](https://systems-analysis.info/wiki/Jamba#cite_note-aws-jamba-1.5-bedrock-10)}. - **Jamba 1.5 Large** набрала 65.4 балла в Arena Hard, превосходя Llama 3.1 70B и 405B. ## Применение и доступность Jamba оптимизирована для бизнес-применений и поддерживает такие возможности, как вызов функций, структурированный вывод в JSON и обработку документов. Модель доступна на множестве платформ, включая: - Hugging Face - Google Cloud Vertex AI - Microsoft Azure - NVIDIA API catalog - Amazon Bedrock^{[\[9\]](https://systems-analysis.info/wiki/Jamba#cite_note-dzen-jamba-9)} - AI21 Studio Для поддержки экономически эффективного вывода AI21 Labs представила **ExpertsInt8** — новую технику квантизации, позволяющую разместить Jamba 1.5 Large на машине с 8 GPU по 80GB без потери качества при обработке контекста в 256K токенов^{[\[11\]](https://systems-analysis.info/wiki/Jamba#cite_note-openreview-expertsint8-11)}. ## См. также - [Mixture-of-Experts (MoE)](https://systems-analysis.info/wiki/Mixture-of-Experts_(MoE) "Mixture-of-Experts (MoE)") - [DeepSeek](https://systems-analysis.info/wiki/DeepSeek "DeepSeek") - [Большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") - [BERT](https://systems-analysis.info/wiki/BERT "BERT") - [BLOOM](https://systems-analysis.info/wiki/BLOOM "BLOOM") ## Литература - Lieber, O.; et al. (2024). *Jamba: A Hybrid Transformer‑Mamba Language Model*. arXiv:2403.19887. - Lieber, O.; et al. (2024). *Jamba‑1.5 Models and ExpertsInt8 Quantization*. OpenReview JFPaD7lpBD. - Gu, A.; Dao, T. (2023). *Mamba: Linear‑Time Sequence Modeling with Selective State Spaces*. arXiv:2312.00752. - Gu, A.; et al. (2021). *S4: Efficiently Modeling Long Sequences with Structured State Spaces*. arXiv:2111.00396. - Fedus, W.; et al. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961. - Yun, L.; et al. (2024). *Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models*. arXiv:2404.02852. - Liu, J.; et al. (2024). *A Survey on Mixture of Experts in Large Language Models*. arXiv:2407.06204. - Gupta, V.; et al. (2024). *Lynx: Enabling Efficient MoE Inference through Dynamic Batch‑Aware Expert Selection*. arXiv:2411.08982. - Liu, J.; et al. (2024). *A Survey on Inference Optimization Techniques for Mixture of Experts Models*. arXiv:2412.14219. - Hsieh, C.‑P.; et al. (2024). *RULER: What's the Real Context Size of Your Long‑Context Language Models?*. arXiv:2404.06654. ## Примечания 1. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-ai21-announcement_1-0) «Announcing Jamba: AI21's Groundbreaking SSM-Transformer Model». *AI21 Labs Blog*. [1] 2. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-arxiv-jamba_2-0) Lieber, O., et al. (2024). *Jamba: A Hybrid Transformer-Mamba Language Model*. arXiv:2403.19887. 3. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-transformers-doc-jamba_3-0) «Jamba Documentation». *Hugging Face Transformers*. [2] 4. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-hf-jamba-v0.1_4-0) «ai21labs/Jamba-v0.1». *Hugging Face*. [3] 5. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-gradientflow-jamba_5-0) «AI21 Labs' Jamba: A New Hybrid LLM Architecture». *Gradient Flow*. [4] 6. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-jamba-1.5-family_6-0) «Announcing the Jamba-1.5 model family». *AI21 Labs Blog*. [5] 7. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-hf-jamba-large-1.5_7-0) «ai21labs/AI21-Jamba-Large-1.5». *Hugging Face*. [6] 8. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-itinai-jamba_8-0) «AI21 Labs разбивает новые барьеры с помощью Jamba». *ITinAI*. [7] 9. ↑ ^{[9,0](https://systems-analysis.info/wiki/Jamba#cite_ref-dzen-jamba_9-0)} ^{[9,1](https://systems-analysis.info/wiki/Jamba#cite_ref-dzen-jamba_9-1)} «Вышла Jamba 1.5: гибридная модель от AI21 Labs». *Дзен*. [8] 10. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-aws-jamba-1.5-bedrock_10-0) «Jamba-1.5 family of models by AI21 Labs is now available in Amazon Bedrock». *AWS What's New*. [9] 11. [↑](https://systems-analysis.info/wiki/Jamba#cite_ref-openreview-expertsint8_11-0) «ExpertsInt8: A new paradigm for efficient inference of MoE-based LLMs». *OpenReview*. [10]