Jais (Sprachmodell)
Jais (ausgesprochen „Dscheis“) ist eine Familie von quelloffenen Großen Sprachmodellen (LLMs), die in den Vereinigten Arabischen Emiraten entwickelt wurde und speziell für die arabische Sprache optimiert ist[1]. Der Name des Modells ist eine Hommage an den Dschabal Dschais, den höchsten Berg der VAE[2].
Das Projekt wurde in Zusammenarbeit zwischen dem Forschungsunternehmen Inception (einer Tochtergesellschaft des Technologiekonglomerats G42), der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) und dem kalifornischen KI-Chip-Hersteller Cerebras Systems entwickelt[2]. Jais wurde unter einer freien Lizenz veröffentlicht, um die Entwicklung eines KI-Ökosystems für die arabische Sprache zu fördern, das kulturelle und sprachliche Erbe zu bewahren und moderne KI-Technologien für die arabischsprachige Welt zugänglicher zu machen[1].
Entwicklungsgeschichte und Veröffentlichungen
Das Jais-Projekt wurde 2023 vor dem Hintergrund der begrenzten Leistungsfähigkeit bestehender LLMs für ressourcenarme Sprachen initiiert. Die Entwickler wiesen auf den Mangel an hochwertigen bilingualen Modellen hin, die sowohl die arabische als auch die englische Sprache gleichermaßen gut verarbeiten können[2].
Jais-13B: Erste Version
Die erste Version, Jais-13B, wurde am 30. August 2023 veröffentlicht und umfasste 13 Milliarden Parameter[1]. Das Modell wurde auf einem gemischten Korpus aus englischen und arabischen Texten mit einem Umfang von 395 Milliarden Token trainiert[3]. Zum Zeitpunkt ihrer Veröffentlichung wurde sie als das „hochwertigste arabische LLM“ bezeichnet[1].
Jais-30B: Skalierung
Am 8. November 2023, weniger als drei Monate später, stellte das Konsortium eine zweite, deutlich verbesserte Version vor – Jais-30B mit 30 Milliarden Parametern[4]. Die Skalierung war notwendig, um komplexere Anwendungsfälle wie Zusammenfassungen und Übersetzungen zu bewältigen. Das Modell wurde auf einem erweiterten und bereinigten Datensatz von 1,63 Billionen Token trainiert[4].
Jais-70B und die Modellfamilie
Am 6. August 2024 kündigte Inception (G42) die Einführung des Flaggschiffmodells Jais-70B (70 Milliarden Parameter) und einer ganzen Familie zugehöriger Modelle an[5]. Jais-70B wurde zum größten quelloffenen LLM, das auf die arabische Sprache ausgerichtet ist. Bei seiner Entwicklung wurde die Methode des Continuous Training angewendet: Anstatt von Grund auf neu zu trainieren, wurde das Modell Llama 2 70B von Meta als Basis verwendet und auf 330 Milliarden Token in arabischer Sprache nachtrainiert. Dies ermöglichte es, das englischsprachige Wissen von Llama 2 effizient zu übertragen und die Ressourcen auf das Training der arabischen Sprache zu konzentrieren[5].
Architektur und technische Merkmale
Jais gehört zur Familie der autoregressiven Transformer-Modelle, die auf der GPT-3-Architektur (Decoder-only) basieren. Ein Hauptmerkmal des Modells ist seine bilinguale Spezialisierung auf Arabisch und Englisch, im Gegensatz zu vielen multilingualen LLMs, bei denen Englisch dominiert. Dies ermöglicht ein tiefes Verständnis der arabischen Sprache und ihrer Dialekte[3].
Bei der Entwicklung von Jais wurden fortschrittliche technische Lösungen integriert[3]:
- ALiBi-Positionierung: Ein spezielles Schema für Positionale Encodings, das es dem Modell ermöglicht, längere Kontexte zu verarbeiten, als die, auf denen es trainiert wurde.
- SwiGLU-Aktivierung: Eine Aktivierungsfunktion, die die Trainingsqualität und die Expressivität der neuronalen Schichten verbessert.
- Maximal Update Parametrization (µP): Eine Methode zur Anpassung von Hyperparametern, die das Training bei zunehmender Modellgröße stabilisiert.
- Spezialisierter Tokenizer: Entwickelt unter Berücksichtigung der Besonderheiten der arabischen und englischen Sprache, was die Anzahl der Token für arabischen Text im Vergleich zu universellen Tokenizern um das 3- bis 4-fache reduziert und die Verarbeitungsgeschwindigkeit erhöht[6].
Neben den Basismodellen (Foundation Models) wurde eine Version namens Jais-chat veröffentlicht, die zusätzlich auf 9,6 Millionen Frage-Antwort-Paaren nachtrainiert wurde, um sie für Aufgaben als Chatbot und Assistent zu optimieren[3].
Training und Datensatz
Eine der Hauptaufgaben des Projekts war die Erstellung eines qualitativ hochwertigen und umfangreichen Korpus arabischer Texte. Der endgültige Trainingsdatensatz für Jais-13B umfasste 395 Milliarden Token, davon:
- 116 Milliarden Token (29 %) – arabischer Text.
- 279 Milliarden Token (71 %) – englischer Text und Programmcode.
Die arabische Komponente wurde bewusst auf einen signifikanten Anteil (ca. 30 %) ausgelegt, um eine hohe Sprachkompetenz zu gewährleisten[3]. Die Daten umfassten Bücher, Nachrichtenartikel, Webseiten und Quellcode. Um den Umfang hochwertiger arabischer Texte zu erhöhen, wurde maschinelle Übersetzung von englischsprachigen Ressourcen eingesetzt[3].
Das Training der Modelle erfolgte auf dem Supercomputer Condor Galaxy 1 (CG-1) in Abu Dhabi, der gemeinsam von G42 und Cerebras Systems entwickelt wurde. Dank dieser Infrastruktur dauerte das Training von Jais-13B nur etwa 3,5 Tage reine Rechenzeit[2].
Anwendung und Bedeutung
Jais wird als ein entscheidender Schritt in der Entwicklung generativer KI für die arabische Sprache und andere Sprachgemeinschaften positioniert, die in modernen LLMs unterrepräsentiert sind. Der offene Zugang zum Modell soll die Einführung von Technologien zur Verarbeitung natürlicher Sprache in den Regionen des Nahen Ostens und Nordafrikas fördern.
Seit seiner Einführung hat das Projekt das Interesse staatlicher und kommerzieller Organisationen in den VAE geweckt. Frühen Zugang zum Modell erhielten das Außenministerium der VAE, das Öl- und Gasunternehmen ADNOC, die Fluggesellschaft Etihad Airways und die First Abu Dhabi Bank[1]. Im Jahr 2024 kündigte Microsoft die Integration von Jais in seine Cloud-Plattform Microsoft Azure an, wodurch es für globale Nutzer verfügbar wurde[6].
Die Entwickler von Jais betonen dessen Rolle bei der Bewahrung des arabischen Kultur- und Spracherbes. Laut Andrew Jackson, dem CEO von Inception, soll das Projekt „sicherstellen, dass die arabische Sprache mit ihrem reichen Erbe eine Stimme in der KI-Landschaft erhält“[1]. Die gesammelten Erfahrungen sollen genutzt werden, um ähnliche LLMs für andere Sprachen und Kulturen zu entwickeln[1].
Literatur
- Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
- Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
- Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
- Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
- Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
- Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.
Einzelnachweise
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 „Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception“. Cerebras Systems. [1]
- ↑ 2.0 2.1 2.2 2.3 „UAE's G42 launches open source Arabic language AI model“. Reuters. [2]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 „[2308.16149] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models“. arXiv. [3]
- ↑ 4.0 4.1 „Upgraded Arabic large language model is twice as big“. Computer Weekly. [4]
- ↑ 5.0 5.1 „G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing“. Abu Dhabi Media Office. [5]
- ↑ 6.0 6.1 „Introducing JAIS: Arabic-centric Large Language Model on Azure“. Microsoft Tech Community. [6]