Jais (language model) (TR)

Jais ("Ceys" olarak telaffuz edilir) — Birleşik Arap Emirlikleri'nde geliştirilen ve özellikle Arapça için optimize edilmiş açık kaynaklı büyük dil modelleri (LLM) ailesidir. Modelin adı, BAE'nin en yüksek zirvesi olan Cebel Ceys Dağı'ndan gelmektedir.

Proje; teknoloji holdingı G42'nin bir iştiraki olan araştırma şirketi Inception, Muhammed bin Zayed Yapay Zeka Üniversitesi (MBZUAI) ve Kaliforniyalı AI çip üreticisi Cerebras Systems arasındaki iş birliğiyle hayata geçirilmiştir. Jais, Arapça için yapay zeka ekosisteminin gelişimini teşvik etmek, kültürel ve dilsel mirası korumak ve modern yapay zeka teknolojilerini Arapça konuşan dünya için daha erişilebilir kılmak amacıyla özgür bir lisans altında kamuya açık olarak yayımlanmıştır.

Geliştirme Tarihi ve Sürümler

Jais projesi, mevcut LLM'lerin az kaynaklı diller için yetersizliği arka planında 2023 yılında başlatılmıştır. Geliştiriciler, hem Arapçayı hem de İngilizceyi eşit düzeyde işleyebilen kaliteli iki dilli modellerin eksikliğine dikkat çekmiştir.

Jais-13B: İlk Sürüm

İlk sürüm olan Jais-13B, 30 Ağustos 2023 tarihinde yayımlanmış ve 13 milyar parametre içermektedir. Model, İngilizce ve Arapça metinlerden oluşan 395 milyar token hacminde karma bir derlem üzerinde eğitilmiştir. Yayımlandığı dönemde "en yüksek kaliteli Arapça LLM" olarak nitelendirilmiştir.

Jais-30B: Ölçek Artışı

8 Kasım 2023 tarihinde, üç aydan kısa bir süre içinde konsorsiyum, 30 milyar parametreli önemli ölçüde geliştirilmiş ikinci sürüm olan Jais-30B'yi tanıttı. Ölçeğin artırılması; özetleme ve çeviri gibi daha karmaşık pratik görevleri çözme gerekliliğinden kaynaklanmaktaydı. Model, 1,63 trilyon token hacminde genişletilmiş ve temizlenmiş bir dataset üzerinde eğitilmiştir.

Jais-70B ve Model Ailesi

6 Ağustos 2024 tarihinde Inception (G42), amiral gemisi model olan Jais-70B (70 milyar parametre) ile bir dizi ilgili modelin lansmanını duyurdu. Jais-70B, Arapçaya odaklanan en büyük açık kaynaklı LLM oldu. Geliştirme sürecinde continuous training yöntemi uygulandı: sıfırdan eğitmek yerine, Meta'nın Llama 2 70B modeli temel alınarak 330 milyar Arapça token üzerinde ince ayar yapıldı. Bu yaklaşım, Llama 2'den İngilizce dil bilgisinin etkin biçimde aktarılmasını sağlarken kaynakların Arapça eğitimine odaklanmasına imkân tanıdı.

Mimari ve Teknik Özellikler

Jais, GPT-3 mimarisine (decoder-only) dayalı otoregresif bir transformer modelidir. Modelin temel özelliği, çoğu çok dilli LLM'den farklı olarak İngilizcenin baskın olmadığı, Arapça ve İngilizceye yönelik iki dilli uzmanlığıdır. Bu sayede Arapça ve lehçelerinin derin düzeyde anlaşılması mümkün olmaktadır.

Jais geliştirilirken öncü teknik çözümler entegre edilmiştir:

• ALiBi konumlandırma: Modelin eğitildiğinden daha uzun bağlamları işlemesine olanak tanıyan özel bir konumsal embedding şeması.
• SwiGLU aktivasyonu: Nöral katmanların eğitim kalitesini ve ifade gücünü artıran bir aktivasyon fonksiyonu.
• Maximal Update Parametrization (µP): Model boyutu büyüdükçe eğitimi kararlı hâle getiren hiperparametre ayarlama yöntemi.
• Özelleştirilmiş tokenizer: Arapça ve İngilizce dillerinin özellikleri gözetilerek geliştirilmiş olup, evrensel tokenizer'larla kıyaslandığında Arapça metindeki token sayısını 3–4 kat azaltarak işlem hızını artırmaktadır.

Temel modellerin (foundation models) yanı sıra, sohbet robotu ve asistan görevlerine uyum sağlamak amacıyla 9,6 milyon soru-cevap çifti üzerinde ek fine-tuning yapılmış Jais-chat sürümü de yayımlanmıştır.

Eğitim ve Veri Seti

Projenin başlıca hedeflerinden biri, yüksek kaliteli ve kapsamlı bir Arapça metin derleminin hazırlanmasıydı. Jais-13B için nihai eğitim veri seti 395 milyar token hacminde olup bunun dağılımı şöyledir:

• 116 milyar token (%29) — Arapça metin.
• 279 milyar token (%71) — İngilizce metin ve kaynak kodu.

Yüksek düzeyde dil yetkinliği sağlamak amacıyla Arapça bileşeni kasıtlı olarak önemli tutulmuş (yaklaşık %30) ve bu oran korunmuştur. Veriler kitapları, haber makalelerini, web sayfalarını ve kaynak kodunu kapsamaktaydı. Kaliteli Arapça metin hacmini artırmak için İngilizce kaynakların makine çevirisi yöntemine başvurulmuştur.

Modellerin eğitimi, G42 ile Cerebras Systems tarafından ortaklaşa geliştirilen Abu Dabi'deki Condor Galaxy 1 (CG-1) süperbilgisayarında gerçekleştirilmiştir. Bu altyapı sayesinde Jais-13B'nin eğitimi net olarak yalnızca yaklaşık 3,5 gün sürmüştür.

Kullanım Alanları ve Önemi

Jais, günümüz LLM'lerinde yeterince temsil edilemeyen Arapça ve diğer dil toplulukları için üretken yapay zekanın geliştirilmesinde kilit bir adım olarak konumlandırılmaktadır. Modele açık erişim, Orta Doğu ve Kuzey Afrika bölgelerinde doğal dil işleme teknolojilerinin yaygınlaşmasını teşvik etmeyi amaçlamaktadır.

Projenin başlatılmasından bu yana BAE'nin devlet ve ticari kuruluşları ilgi göstermiştir. BAE Dışişleri Bakanlığı, petrol ve gaz şirketi ADNOC, Etihad Airways ve First Abu Dhabi Bank modele erken erişim elde etmiştir. 2024 yılında Microsoft, Jais'i Microsoft Azure bulut platformuna entegre ederek küresel kullanıcıların erişimine açtığını duyurmuştur.

Jais'in yaratıcıları, modelin Arap kültürel ve dilsel mirasını korumadaki rolünü vurgulamaktadır. Inception'ın genel müdürü Andrew Jackson'ın ifadesine göre proje, "zengin mirası ile Arapçanın yapay zeka ortamında kendi sesini bulmasını sağlamayı" hedeflemektedir. Elde edilen deneyim ve birikimin, diğer dil ve kültürler için benzer LLM'ler oluşturmakta kullanılması planlanmaktadır.

Kaynakça

• Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
• Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
• Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
• Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
• Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
• Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
• Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
• Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.