Jais (language model) (ID)
Jais (diucapkan "Jeis") adalah keluarga large language model (LLM) sumber terbuka yang dikembangkan di Uni Emirat Arab dan dioptimalkan secara khusus untuk bahasa Arab[1]. Nama model ini diambil dari nama Gunung Jebel Jais — puncak tertinggi di UEA[2].
Proyek ini dibuat melalui kolaborasi antara perusahaan riset Inception (anak perusahaan konglomerat teknologi G42), Universitas Kecerdasan Buatan Mohamed bin Zayed (MBZUAI), dan perusahaan chip AI asal California, Cerebras Systems[2]. Jais diterbitkan secara terbuka di bawah lisensi bebas, yang bertujuan mendorong perkembangan ekosistem AI untuk bahasa Arab, melestarikan warisan budaya-bahasa, serta menjadikan teknologi AI modern lebih mudah diakses oleh dunia berbahasa Arab[1].
Sejarah Pengembangan dan Rilis
Proyek Jais dimulai pada tahun 2023 di tengah keterbatasan LLM yang ada untuk bahasa-bahasa dengan sumber daya terbatas. Para pengembang mencatat kurangnya model bilingual berkualitas tinggi yang mampu memproses bahasa Arab maupun bahasa Inggris dengan sama baiknya[2].
Jais-13B: Versi Pertama
Versi pertama, Jais-13B, dirilis pada 30 Agustus 2023 dan memiliki 13 miliar parameter[1]. Model ini dilatih pada korpus campuran teks bahasa Inggris dan Arab sebesar 395 miliar token[3]. Pada saat peluncurannya, model ini disebut sebagai "LLM Arab berkualitas tertinggi"[1].
Jais-30B: Peningkatan Skala
Pada 8 November 2023, kurang dari tiga bulan kemudian, konsorsium memperkenalkan versi kedua yang jauh lebih baik — Jais-30B dengan 30 miliar parameter[4]. Peningkatan skala ini didorong oleh kebutuhan untuk menangani tugas-tugas terapan yang lebih kompleks, seperti peringkasan dan penerjemahan. Model ini dilatih pada dataset yang diperluas dan telah dibersihkan sebesar 1,63 triliun token[4].
Jais-70B dan Keluarga Model
Pada 6 Agustus 2024, Inception (G42) mengumumkan peluncuran model unggulan Jais-70B (70 miliar parameter) beserta seluruh keluarga model terkait[5]. Jais-70B menjadi LLM sumber terbuka terbesar yang berfokus pada bahasa Arab. Dalam pengembangannya diterapkan metode continuous training: alih-alih melatih dari awal, model Llama 2 70B dari Meta dijadikan fondasi, kemudian di-fine-tuning dengan 330 miliar token dalam bahasa Arab. Pendekatan ini memungkinkan transfer pengetahuan bahasa Inggris dari Llama 2 secara efektif dan memusatkan sumber daya pada pelatihan bahasa Arab[5].
Arsitektur dan Karakteristik Teknis
Jais termasuk dalam kategori model transformer autoregresif berbasis arsitektur GPT-3 (decoder-only). Keunggulan utama model ini adalah spesialisasi bilingual pada bahasa Arab dan Inggris, berbeda dari banyak LLM multibahasa yang didominasi oleh bahasa Inggris. Hal ini memungkinkan pemahaman mendalam terhadap bahasa Arab beserta berbagai dialeknya[3].
Dalam pengembangan Jais, sejumlah solusi teknis mutakhir telah diintegrasikan[3]:
- Pemosisian ALiBi: Skema embedding posisional khusus yang memungkinkan model memproses konteks yang lebih panjang dari konteks yang digunakan saat pelatihan.
- Aktivasi SwiGLU: Fungsi aktivasi yang meningkatkan kualitas pelatihan dan ekspresivitas lapisan-lapisan neural.
- Maximal Update Parametrization (µP): Metode penyetelan hyperparameter yang menstabilkan pelatihan ketika ukuran model diperbesar.
- Tokenizer khusus: Dirancang dengan mempertimbangkan karakteristik bahasa Arab dan Inggris, sehingga mengurangi jumlah token untuk teks Arab sebanyak 3–4 kali dibandingkan tokenizer universal dan meningkatkan kecepatan pemrosesan[6].
Selain model dasar (foundation models), versi Jais-chat juga diterbitkan — versi yang di-fine-tuning lebih lanjut pada 9,6 juta pasang tanya-jawab untuk adaptasi terhadap tugas chatbot dan asisten[3].
Pelatihan dan Dataset
Salah satu tugas utama proyek ini adalah menyiapkan korpus teks Arab yang berkualitas dan berukuran besar. Dataset pelatihan akhir untuk Jais-13B mencapai 395 miliar token, yang terdiri dari:
- 116 miliar token (29%) — teks bahasa Arab.
- 279 miliar token (71%) — teks bahasa Inggris dan kode program.
Komponen bahasa Arab sengaja dibuat signifikan (sekitar 30%) untuk memastikan kualitas penguasaan bahasa yang tinggi[3]. Data mencakup buku, artikel berita, halaman web, dan kode sumber. Untuk memperbesar volume teks Arab berkualitas, diterapkan penerjemahan mesin dari sumber-sumber berbahasa Inggris[3].
Pelatihan model dilakukan di superkomputer Condor Galaxy 1 (CG-1) di Abu Dhabi, yang dikembangkan bersama oleh G42 dan Cerebras Systems. Berkat infrastruktur ini, pelatihan Jais-13B hanya membutuhkan waktu sekitar 3,5 hari waktu bersih[2].
Penerapan dan Signifikansi
Jais diposisikan sebagai langkah kunci dalam pengembangan AI generatif untuk bahasa Arab dan komunitas bahasa lain yang kurang terwakili dalam LLM modern. Akses terbuka terhadap model ini bertujuan mendorong penerapan teknologi pemrosesan bahasa alami di kawasan Timur Tengah dan Afrika Utara.
Sejak peluncurannya, proyek ini menarik minat berbagai lembaga pemerintah dan komersial di UEA. Akses awal ke model diberikan kepada Kementerian Luar Negeri UEA, perusahaan minyak dan gas ADNOC, maskapai penerbangan Etihad Airways, dan bank First Abu Dhabi Bank[1]. Pada tahun 2024, Microsoft mengumumkan integrasi Jais ke platform cloud Microsoft Azure, sehingga membuatnya dapat diakses oleh pengguna global[6].
Para pencipta Jais menekankan perannya dalam melestarikan warisan budaya-bahasa Arab. Menurut CEO Inception, Andrew Jackson, proyek ini bertujuan untuk "memastikan bahasa Arab dengan warisannya yang kaya mendapatkan suaranya dalam lanskap AI"[1]. Pengalaman yang diperoleh direncanakan akan digunakan untuk menciptakan LLM serupa bagi bahasa dan budaya lainnya[1].
Daftar Pustaka
- Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
- Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
- Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
- Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
- Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
- Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.
Catatan
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». Cerebras Systems. [1]
- ↑ 2.0 2.1 2.2 2.3 «UAE's G42 launches open source Arabic language AI model». Reuters. [2]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 «[2308.16149] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». arXiv. [3]
- ↑ 4.0 4.1 «Upgraded Arabic large language model is twice as big». Computer Weekly. [4]
- ↑ 5.0 5.1 «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». Abu Dhabi Media Office. [5]
- ↑ 6.0 6.1 «Introducing JAIS: Arabic-centric Large Language Model on Azure». Microsoft Tech Community. [6]