--- title: "Jamba (language model) (KO)" source: "https://systems-analysis.info/int/Jamba_(language_model)_(KO)" wiki: "systems-analysis.info/int" article: "Jamba_(language_model)_(KO)" language: "ko" categories: - "Category:Korean" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" revision_id: 3350 wiki_created_at: 2026-09-06T23:19:21Z wiki_modified_at: 2026-09-06T23:19:21Z downloaded_at: 2026-09-07T22:56:29Z --- # Jamba (language model) (KO) **Jamba** — 이스라엘 연구 기업 AI21 Labs가 개발한 대형 언어 모델(LLM) 패밀리입니다. Jamba는 AI 개발의 두 가지 주요 접근 방식인 transformer와 상태 공간 모델(State Space Models, SSM), 특히 Mamba 아키텍처^{[\[1\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-ai21-announcement-1)}의 핵심 요소를 결합한 최초의 **하이브리드 아키텍처**입니다. Jamba의 주요 목표는 현대 LLM의 근본적인 트레이드오프를 해결하는 것입니다. 즉, transformer의 장점인 높은 품질과 성능과, SSM의 장점인 효율성 및 초장문 컨텍스트 처리 능력을 동시에 갖추는 것입니다. 이 두 접근 방식을 결합하고 Mixture-of-Experts(MoE)를 통한 희소성을 추가함으로써, Jamba는 강력하고 효율적이며 하나의 요청 내에서 방대한 양의 텍스트를 처리할 수 있는 모델을 제공합니다. ## Jamba 아키텍처 상세 Jamba는 단순히 transformer 레이어와 Mamba 레이어를 교차 배치하는 것이 아닙니다. 각 블록이 8개의 레이어로 구성되는 세심하게 설계된 **블록 구조**를 사용합니다. Jamba 블록 하나의 구조: - **Transformer 레이어 1개:** 이 레이어는 "심층" 이해와 복잡한 추론을 담당합니다. 이 레이어에는 **Mixture-of-Experts(MoE)** 아키텍처가 내장되어 있습니다. - **Mamba 레이어 7개:** 이 레이어들은 transformer 레이어 뒤에 위치하며, 시퀀스의 효율적인 처리와 긴 컨텍스트를 통한 정보 전달을 담당합니다^{[\[2\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-arxiv-jamba-2)}. 이러한 비대칭 구조를 통해 모델은 계산 자원을 효율적으로 관리할 수 있습니다. 무겁지만 강력한 transformer 연산은 드물게 수행되는 반면, 가볍고 빠른 Mamba 연산은 더 자주 수행됩니다. ### Mixture-of-Experts (MoE) 통합 Jamba는 효율성을 더욱 높이기 위해 MoE 아키텍처를 활용합니다. - MoE는 **transformer 레이어 내부의 완전 연결 블록(FFN)에만 적용됩니다**^{[\[3\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-transformers-doc-jamba-3)}. Mamba 레이어는 밀집(dense) 상태를 유지합니다. - 첫 번째 Jamba 모델에는 **전문가(expert) 16개**가 있습니다. - 각 token에 대해 라우터 네트워크가 **상위 2명의 전문가**를 선택합니다(Top-2 gating). 즉, 모델의 전체 파라미터 수는 방대하지만(520억 개), transformer 레이어에서 token을 처리하는 각 단계에서는 16명의 전문가 중 2명만 활성화되어 연산이 매우 빠릅니다. ## Jamba 모델의 발전 ### Jamba-v0.1 (2024년 3월) 이 패밀리에서 처음 출시된 모델의 특징은 다음과 같습니다: | 특징 | 값 | |----------------------|-----------------------------------------------------------------------------------------------------------------------| | **전체 파라미터 수** | 520억 개 | | **활성 파라미터** | 약 120억 개 | | **전문가 수 (MoE)** | 16개 (활성 2개) | | **컨텍스트 윈도우** | 256,000 token | | **라이선스** | Apache 2.0^{[\[4\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-hf-jamba-v0.1-4)} | Jamba-v0.1 기술 사양 하이브리드 아키텍처 덕분에 Jamba-1은 256,000 token 길이의 컨텍스트를 처리할 수 있으며, 이는 약 400페이지 분량의 소설에 해당합니다. 또한 80GB 메모리를 갖춘 단일 소비자용 GPU에서 구동할 수 있습니다^{[\[5\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-gradientflow-jamba-5)}. ### Jamba-1.5 (2024년) 2024년 AI21 Labs는 두 가지 버전을 포함하는 업데이트된 Jamba 1.5 모델 패밀리를 출시했습니다: **Jamba 1.5 Mini**(전체 520억 개 파라미터 중 활성 120억 개)와 **Jamba 1.5 Large**(전체 3,980억 개 파라미터 중 활성 940억 개)^{[\[6\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-jamba-1.5-family-6)}. 이 모델들은 성능 면에서 상당한 개선을 보여줍니다: - 경쟁 모델 대비 긴 컨텍스트에서 최대 2.5배 빠른 추론 속도. - 영어, 스페인어, 프랑스어, 아랍어를 포함한 9개 언어 지원^{[\[7\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-hf-jamba-large-1.5-7)}. ## 주요 장점 및 성능 - **방대한 컨텍스트 윈도우:** 256,000 token — 출시 당시 모든 공개 모델(독점 모델 포함) 중 가장 큰 윈도우 중 하나입니다. 이를 통해 Jamba는 법률 계약서, 학술 논문, 전체 코드베이스, 긴 대화 등 대용량 문서 분석이 필요한 작업에 이상적입니다. - **높은 성능과 효율성:** 벤치마크 테스트에서 Jamba는 Llama, Mixtral과 같은 동급 오픈 모델과 동등하거나 이를 능가하는 성능을 보이며, 긴 컨텍스트에서 **3배 높은 처리량**을 보여줍니다^{[\[8\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-itinai-jamba-8)}. - **개방성과 접근성:** Jamba는 허용적인 Apache 2.0 라이선스로 배포되어 상업적 및 연구 목적으로 자유롭게 사용할 수 있습니다. 모델 가중치는 Hugging Face 플랫폼에서 이용 가능합니다. ### 벤치마크 결과 Jamba 1.5는 다양한 benchmark에서 경쟁력 있는 결과를 보여줍니다^{[\[9\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-dzen-jamba-9)}: - **Jamba 1.5 Mini**는 Arena Hard에서 46.1점을 기록하여 해당 카테고리에서 선두 공개 모델이 되었습니다^{[\[10\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-aws-jamba-1.5-bedrock-10)}. - **Jamba 1.5 Large**는 Arena Hard에서 65.4점을 기록하여 Llama 3.1 70B와 405B를 능가했습니다. ## 활용 및 접근성 Jamba는 비즈니스 응용에 최적화되어 있으며 함수 호출, JSON 구조화 출력, 문서 처리 등의 기능을 지원합니다. 모델은 다음을 포함한 다양한 플랫폼에서 이용 가능합니다: - Hugging Face - Google Cloud Vertex AI - Microsoft Azure - NVIDIA API catalog - Amazon Bedrock^{[\[9\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-dzen-jamba-9)} - AI21 Studio 비용 효율적인 추론 지원을 위해 AI21 Labs는 **ExpertsInt8** — 품질 손실 없이 256K token 컨텍스트 처리 시 Jamba 1.5 Large를 80GB GPU 8개를 갖춘 머신에서 구동할 수 있게 해주는 새로운 양자화(quantization) 기법을 출시했습니다^{[\[11\]](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_note-openreview-expertsint8-11)}. ## 참고 문헌 - Lieber, O.; et al. (2024). *Jamba: A Hybrid Transformer‑Mamba Language Model*. arXiv:2403.19887. - Lieber, O.; et al. (2024). *Jamba‑1.5 Models and ExpertsInt8 Quantization*. OpenReview JFPaD7lpBD. - Gu, A.; Dao, T. (2023). *Mamba: Linear‑Time Sequence Modeling with Selective State Spaces*. arXiv:2312.00752. - Gu, A.; et al. (2021). *S4: Efficiently Modeling Long Sequences with Structured State Spaces*. arXiv:2111.00396. - Fedus, W.; et al. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961. - Yun, L.; et al. (2024). *Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models*. arXiv:2404.02852. - Liu, J.; et al. (2024). *A Survey on Mixture of Experts in Large Language Models*. arXiv:2407.06204. - Gupta, V.; et al. (2024). *Lynx: Enabling Efficient MoE Inference through Dynamic Batch‑Aware Expert Selection*. arXiv:2411.08982. - Liu, J.; et al. (2024). *A Survey on Inference Optimization Techniques for Mixture of Experts Models*. arXiv:2412.14219. - Hsieh, C.‑P.; et al. (2024). *RULER: What's the Real Context Size of Your Long‑Context Language Models?*. arXiv:2404.06654. ## 각주 1. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-ai21-announcement_1-0) «Announcing Jamba: AI21's Groundbreaking SSM-Transformer Model». *AI21 Labs Blog*. [1] 2. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-arxiv-jamba_2-0) Lieber, O., et al. (2024). *Jamba: A Hybrid Transformer-Mamba Language Model*. arXiv:2403.19887. 3. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-transformers-doc-jamba_3-0) «Jamba Documentation». *Hugging Face Transformers*. [2] 4. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-hf-jamba-v0.1_4-0) «ai21labs/Jamba-v0.1». *Hugging Face*. [3] 5. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-gradientflow-jamba_5-0) «AI21 Labs' Jamba: A New Hybrid LLM Architecture». *Gradient Flow*. [4] 6. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-jamba-1.5-family_6-0) «Announcing the Jamba-1.5 model family». *AI21 Labs Blog*. [5] 7. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-hf-jamba-large-1.5_7-0) «ai21labs/AI21-Jamba-Large-1.5». *Hugging Face*. [6] 8. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-itinai-jamba_8-0) «AI21 Labs разбивает новые барьеры с помощью Jamba». *ITinAI*. [7] 9. ↑ ^{[9.0](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-dzen-jamba_9-0)} ^{[9.1](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-dzen-jamba_9-1)} «Вышла Jamba 1.5: гибридная модель от AI21 Labs». *Дзен*. [8] 10. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-aws-jamba-1.5-bedrock_10-0) «Jamba-1.5 family of models by AI21 Labs is now available in Amazon Bedrock». *AWS What's New*. [9] 11. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(KO)#cite_ref-openreview-expertsint8_11-0) «ExpertsInt8: A new paradigm for efficient inference of MoE-based LLMs». *OpenReview*. [10]