--- title: "Jamba (language model) (ID)" source: "https://systems-analysis.info/int/Jamba_(language_model)_(ID)" wiki: "systems-analysis.info/int" article: "Jamba_(language_model)_(ID)" language: "id" categories: - "Category:Indonesian" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" revision_id: 3348 wiki_created_at: 2026-09-06T23:19:20Z wiki_modified_at: 2026-09-06T23:19:20Z downloaded_at: 2026-09-07T22:56:28Z --- # Jamba (language model) (ID) **Jamba** — adalah keluarga large language model (LLM) yang dikembangkan oleh perusahaan riset asal Israel, AI21 Labs. Jamba merupakan **arsitektur hibrida** pertama dari jenisnya yang menggabungkan elemen-elemen utama dari dua pendekatan dominan dalam pengembangan AI: transformer dan model ruang keadaan (State Space Models, SSM), khususnya arsitektur Mamba^{[\[1\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-ai21-announcement-1)}. Tujuan utama Jamba adalah mengatasi kompromi fundamental pada LLM modern: kualitas dan performa tinggi (yang menjadi ciri khas transformer) versus efisiensi dan kemampuan memproses konteks sangat panjang (yang menjadi ciri khas SSM). Dengan menggabungkan kedua pendekatan ini dan menambahkan kesparsitasan melalui Mixture-of-Experts (MoE), Jamba menghadirkan model yang sekaligus andal, efisien, dan mampu bekerja dengan volume teks yang sangat besar dalam satu permintaan. ## Arsitektur Jamba secara Terperinci Jamba tidak sekadar bergantian antara lapisan transformer dan Mamba. Ia menggunakan **struktur berbasis blok** yang dirancang dengan cermat, di mana setiap blok terdiri dari delapan lapisan. Struktur satu blok Jamba: - **Satu lapisan Transformer:** Lapisan ini bertanggung jawab atas pemahaman "mendalam" dan penalaran kompleks. Arsitektur **Mixture-of-Experts (MoE)** tertanam di dalam lapisan ini. - **Tujuh lapisan Mamba:** Lapisan-lapisan ini mengikuti lapisan transformer dan bertanggung jawab atas pemrosesan sekuens yang efisien serta "penyaluran" informasi melalui konteks panjang^{[\[2\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-arxiv-jamba-2)}. Struktur asimetris ini memungkinkan model mengelola sumber daya komputasi secara efisien: operasi transformer yang berat namun andal dijalankan lebih jarang, sementara operasi Mamba yang ringan dan cepat dijalankan lebih sering. ### Integrasi Mixture-of-Experts (MoE) Jamba menggunakan arsitektur MoE untuk meningkatkan efisiensi lebih lanjut. - MoE diterapkan **hanya pada blok jaringan saraf penuh (FFN) di dalam lapisan transformer**^{[\[3\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-transformers-doc-jamba-3)}. Lapisan Mamba tetap bersifat padat. - Pada model Jamba pertama terdapat **16 pakar**. - Untuk setiap token, jaringan router memilih **2 pakar terbaik** (Top-2 gating). Ini berarti meskipun jumlah total parameter model sangat besar (52 miliar), pada setiap langkah pemrosesan token di lapisan transformer hanya 2 dari 16 pakar yang aktif, sehingga komputasi menjadi sangat cepat. ## Evolusi Model Jamba ### Jamba-v0.1 (Maret 2024) Model pertama yang diperkenalkan dalam keluarga ini memiliki karakteristik sebagai berikut: | Karakteristik | Nilai | |----------------------------|-----------------------------------------------------------------------------------------------------------------------| | **Total jumlah parameter** | 52 miliar | | **Parameter aktif** | ~12 miliar | | **Jumlah pakar (MoE)** | 16 (2 aktif) | | **Jendela konteks** | 256.000 token | | **Lisensi** | Apache 2.0^{[\[4\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-hf-jamba-v0.1-4)} | Spesifikasi Teknis Jamba-v0.1 Berkat arsitektur hibridnya, Jamba-1 mampu memproses konteks sepanjang 256.000 token, yang setara dengan novel setebal sekitar 400 halaman, dan dapat dijalankan pada satu GPU konsumen dengan memori 80 GB^{[\[5\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-gradientflow-jamba-5)}. ### Jamba-1.5 (2024) Pada tahun 2024, AI21 Labs memperkenalkan keluarga model Jamba 1.5 yang diperbarui, mencakup dua versi: **Jamba 1.5 Mini** (12 miliar parameter aktif dari 52 miliar total) dan **Jamba 1.5 Large** (94 miliar parameter aktif dari 398 miliar total)^{[\[6\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-jamba-1.5-family-6)}. Model-model ini menunjukkan peningkatan performa yang signifikan: - Inferensi hingga 2,5 kali lebih cepat pada konteks panjang dibandingkan dengan para pesaing. - Dukungan untuk sembilan bahasa, termasuk Inggris, Spanyol, Prancis, dan Arab^{[\[7\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-hf-jamba-large-1.5-7)}. ## Keunggulan Utama dan Performa - **Jendela konteks yang sangat besar:** 256.000 token — salah satu jendela terbesar di antara semua model yang tersedia (termasuk model proprietary) pada saat peluncurannya. Hal ini menjadikan Jamba ideal untuk tugas-tugas yang memerlukan analisis dokumen besar: kontrak hukum, karya ilmiah, seluruh basis kode, atau dialog panjang. - **Performa dan efisiensi tinggi:** Dalam pengujian, Jamba menunjukkan performa yang sebanding atau melampaui model terbuka terkemuka dengan ukuran serupa, seperti Llama dan Mixtral, sekaligus menunjukkan **throughput 3 kali lebih tinggi** pada konteks panjang^{[\[8\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-itinai-jamba-8)}. - **Keterbukaan dan aksesibilitas:** Jamba didistribusikan di bawah lisensi Apache 2.0 yang permisif, yang memungkinkan penggunaannya secara bebas untuk tujuan komersial maupun penelitian. Bobot model tersedia di platform Hugging Face. ### Hasil pada Benchmark Jamba 1.5 menunjukkan hasil yang kompetitif pada berbagai benchmark^{[\[9\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-dzen-jamba-9)}: - **Jamba 1.5 Mini** meraih skor 46,1 poin di Arena Hard, menjadikannya model publik terdepan dalam kategorinya^{[\[10\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-aws-jamba-1.5-bedrock-10)}. - **Jamba 1.5 Large** meraih skor 65,4 poin di Arena Hard, melampaui Llama 3.1 70B dan 405B. ## Penerapan dan Ketersediaan Jamba dioptimalkan untuk penggunaan bisnis dan mendukung kemampuan seperti pemanggilan fungsi, keluaran terstruktur dalam JSON, dan pemrosesan dokumen. Model ini tersedia di berbagai platform, termasuk: - Hugging Face - Google Cloud Vertex AI - Microsoft Azure - NVIDIA API catalog - Amazon Bedrock^{[\[9\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-dzen-jamba-9)} - AI21 Studio Untuk mendukung inferensi yang hemat biaya, AI21 Labs memperkenalkan **ExpertsInt8** — teknik kuantisasi baru yang memungkinkan penempatan Jamba 1.5 Large pada mesin dengan 8 GPU berkapasitas 80GB tanpa kehilangan kualitas saat memproses konteks 256K token^{[\[11\]](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_note-openreview-expertsint8-11)}. ## Daftar Pustaka - Lieber, O.; et al. (2024). *Jamba: A Hybrid Transformer‑Mamba Language Model*. arXiv:2403.19887. - Lieber, O.; et al. (2024). *Jamba‑1.5 Models and ExpertsInt8 Quantization*. OpenReview JFPaD7lpBD. - Gu, A.; Dao, T. (2023). *Mamba: Linear‑Time Sequence Modeling with Selective State Spaces*. arXiv:2312.00752. - Gu, A.; et al. (2021). *S4: Efficiently Modeling Long Sequences with Structured State Spaces*. arXiv:2111.00396. - Fedus, W.; et al. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961. - Yun, L.; et al. (2024). *Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models*. arXiv:2404.02852. - Liu, J.; et al. (2024). *A Survey on Mixture of Experts in Large Language Models*. arXiv:2407.06204. - Gupta, V.; et al. (2024). *Lynx: Enabling Efficient MoE Inference through Dynamic Batch‑Aware Expert Selection*. arXiv:2411.08982. - Liu, J.; et al. (2024). *A Survey on Inference Optimization Techniques for Mixture of Experts Models*. arXiv:2412.14219. - Hsieh, C.‑P.; et al. (2024). *RULER: What's the Real Context Size of Your Long‑Context Language Models?*. arXiv:2404.06654. ## Catatan 1. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-ai21-announcement_1-0) «Announcing Jamba: AI21's Groundbreaking SSM-Transformer Model». *AI21 Labs Blog*. [1] 2. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-arxiv-jamba_2-0) Lieber, O., et al. (2024). *Jamba: A Hybrid Transformer-Mamba Language Model*. arXiv:2403.19887. 3. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-transformers-doc-jamba_3-0) «Jamba Documentation». *Hugging Face Transformers*. [2] 4. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-hf-jamba-v0.1_4-0) «ai21labs/Jamba-v0.1». *Hugging Face*. [3] 5. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-gradientflow-jamba_5-0) «AI21 Labs' Jamba: A New Hybrid LLM Architecture». *Gradient Flow*. [4] 6. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-jamba-1.5-family_6-0) «Announcing the Jamba-1.5 model family». *AI21 Labs Blog*. [5] 7. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-hf-jamba-large-1.5_7-0) «ai21labs/AI21-Jamba-Large-1.5». *Hugging Face*. [6] 8. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-itinai-jamba_8-0) «AI21 Labs разбивает новые барьеры с помощью Jamba». *ITinAI*. [7] 9. ↑ ^{[9.0](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-dzen-jamba_9-0)} ^{[9.1](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-dzen-jamba_9-1)} «Вышла Jamba 1.5: гибридная модель от AI21 Labs». *Дзен*. [8] 10. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-aws-jamba-1.5-bedrock_10-0) «Jamba-1.5 family of models by AI21 Labs is now available in Amazon Bedrock». *AWS What's New*. [9] 11. [↑](https://systems-analysis.info/int/Jamba_(language_model)_(ID)#cite_ref-openreview-expertsint8_11-0) «ExpertsInt8: A new paradigm for efficient inference of MoE-based LLMs». *OpenReview*. [10]