Jamba (language model) (ID)

Jamba — adalah keluarga large language model (LLM) yang dikembangkan oleh perusahaan riset asal Israel, AI21 Labs. Jamba merupakan arsitektur hibrida pertama dari jenisnya yang menggabungkan elemen-elemen utama dari dua pendekatan dominan dalam pengembangan AI: transformer dan model ruang keadaan (State Space Models, SSM), khususnya arsitektur Mamba.

Tujuan utama Jamba adalah mengatasi kompromi fundamental pada LLM modern: kualitas dan performa tinggi (yang menjadi ciri khas transformer) versus efisiensi dan kemampuan memproses konteks sangat panjang (yang menjadi ciri khas SSM). Dengan menggabungkan kedua pendekatan ini dan menambahkan kesparsitasan melalui Mixture-of-Experts (MoE), Jamba menghadirkan model yang sekaligus andal, efisien, dan mampu bekerja dengan volume teks yang sangat besar dalam satu permintaan.

Arsitektur Jamba secara Terperinci

Jamba tidak sekadar bergantian antara lapisan transformer dan Mamba. Ia menggunakan struktur berbasis blok yang dirancang dengan cermat, di mana setiap blok terdiri dari delapan lapisan.

Struktur satu blok Jamba:

• Satu lapisan Transformer: Lapisan ini bertanggung jawab atas pemahaman "mendalam" dan penalaran kompleks. Arsitektur Mixture-of-Experts (MoE) tertanam di dalam lapisan ini.
• Tujuh lapisan Mamba: Lapisan-lapisan ini mengikuti lapisan transformer dan bertanggung jawab atas pemrosesan sekuens yang efisien serta "penyaluran" informasi melalui konteks panjang.

Struktur asimetris ini memungkinkan model mengelola sumber daya komputasi secara efisien: operasi transformer yang berat namun andal dijalankan lebih jarang, sementara operasi Mamba yang ringan dan cepat dijalankan lebih sering.

Integrasi Mixture-of-Experts (MoE)

Jamba menggunakan arsitektur MoE untuk meningkatkan efisiensi lebih lanjut.

• MoE diterapkan hanya pada blok jaringan saraf penuh (FFN) di dalam lapisan transformer. Lapisan Mamba tetap bersifat padat.
• Pada model Jamba pertama terdapat 16 pakar.
• Untuk setiap token, jaringan router memilih 2 pakar terbaik (Top-2 gating).

Ini berarti meskipun jumlah total parameter model sangat besar (52 miliar), pada setiap langkah pemrosesan token di lapisan transformer hanya 2 dari 16 pakar yang aktif, sehingga komputasi menjadi sangat cepat.

Evolusi Model Jamba

Jamba-v0.1 (Maret 2024)

Model pertama yang diperkenalkan dalam keluarga ini memiliki karakteristik sebagai berikut:

Spesifikasi Teknis Jamba-v0.1

Karakteristik	Nilai
Total jumlah parameter	52 miliar
Parameter aktif	~12 miliar
Jumlah pakar (MoE)	16 (2 aktif)
Jendela konteks	256.000 token
Lisensi	Apache 2.0

Berkat arsitektur hibridnya, Jamba-1 mampu memproses konteks sepanjang 256.000 token, yang setara dengan novel setebal sekitar 400 halaman, dan dapat dijalankan pada satu GPU konsumen dengan memori 80 GB.

Jamba-1.5 (2024)

Pada tahun 2024, AI21 Labs memperkenalkan keluarga model Jamba 1.5 yang diperbarui, mencakup dua versi: Jamba 1.5 Mini (12 miliar parameter aktif dari 52 miliar total) dan Jamba 1.5 Large (94 miliar parameter aktif dari 398 miliar total). Model-model ini menunjukkan peningkatan performa yang signifikan:

• Inferensi hingga 2,5 kali lebih cepat pada konteks panjang dibandingkan dengan para pesaing.
• Dukungan untuk sembilan bahasa, termasuk Inggris, Spanyol, Prancis, dan Arab.

Keunggulan Utama dan Performa

• Jendela konteks yang sangat besar: 256.000 token — salah satu jendela terbesar di antara semua model yang tersedia (termasuk model proprietary) pada saat peluncurannya. Hal ini menjadikan Jamba ideal untuk tugas-tugas yang memerlukan analisis dokumen besar: kontrak hukum, karya ilmiah, seluruh basis kode, atau dialog panjang.
• Performa dan efisiensi tinggi: Dalam pengujian, Jamba menunjukkan performa yang sebanding atau melampaui model terbuka terkemuka dengan ukuran serupa, seperti Llama dan Mixtral, sekaligus menunjukkan throughput 3 kali lebih tinggi pada konteks panjang.
• Keterbukaan dan aksesibilitas: Jamba didistribusikan di bawah lisensi Apache 2.0 yang permisif, yang memungkinkan penggunaannya secara bebas untuk tujuan komersial maupun penelitian. Bobot model tersedia di platform Hugging Face.

Hasil pada Benchmark

Jamba 1.5 menunjukkan hasil yang kompetitif pada berbagai benchmark:

• Jamba 1.5 Mini meraih skor 46,1 poin di Arena Hard, menjadikannya model publik terdepan dalam kategorinya.
• Jamba 1.5 Large meraih skor 65,4 poin di Arena Hard, melampaui Llama 3.1 70B dan 405B.

Penerapan dan Ketersediaan

Jamba dioptimalkan untuk penggunaan bisnis dan mendukung kemampuan seperti pemanggilan fungsi, keluaran terstruktur dalam JSON, dan pemrosesan dokumen. Model ini tersedia di berbagai platform, termasuk:

• Hugging Face
• Google Cloud Vertex AI
• Microsoft Azure
• NVIDIA API catalog
• Amazon Bedrock
• AI21 Studio

Untuk mendukung inferensi yang hemat biaya, AI21 Labs memperkenalkan ExpertsInt8 — teknik kuantisasi baru yang memungkinkan penempatan Jamba 1.5 Large pada mesin dengan 8 GPU berkapasitas 80GB tanpa kehilangan kualitas saat memproses konteks 256K token.

Daftar Pustaka

• Lieber, O.; et al. (2024). Jamba: A Hybrid Transformer‑Mamba Language Model. arXiv:2403.19887.
• Lieber, O.; et al. (2024). Jamba‑1.5 Models and ExpertsInt8 Quantization. OpenReview JFPaD7lpBD.
• Gu, A.; Dao, T. (2023). Mamba: Linear‑Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
• Gu, A.; et al. (2021). S4: Efficiently Modeling Long Sequences with Structured State Spaces. arXiv:2111.00396.
• Fedus, W.; et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Yun, L.; et al. (2024). Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models. arXiv:2404.02852.
• Liu, J.; et al. (2024). A Survey on Mixture of Experts in Large Language Models. arXiv:2407.06204.
• Gupta, V.; et al. (2024). Lynx: Enabling Efficient MoE Inference through Dynamic Batch‑Aware Expert Selection. arXiv:2411.08982.
• Liu, J.; et al. (2024). A Survey on Inference Optimization Techniques for Mixture of Experts Models. arXiv:2412.14219.
• Hsieh, C.‑P.; et al. (2024). RULER: What's the Real Context Size of Your Long‑Context Language Models?. arXiv:2404.06654.