Jais (language model) (UR)
Jais (تلفظ «جیس») — یہ متحدہ عرب امارات میں تیار کردہ کھلے بڑے لسانی ماڈلز (LLM) کا ایک خاندان ہے جسے خاص طور پر عربی زبان کے لیے بہتر بنایا گیا ہے[1]۔ ماڈل کا نام جبل جیس کی چوٹی کے نام پر رکھا گیا ہے جو متحدہ عرب امارات کی سب سے اونچی چوٹی ہے[2]۔
یہ منصوبہ تحقیقاتی کمپنی Inception (ٹیکنالوجی کنگلومریٹ G42 کا ذیلی ادارہ)، محمد بن زاید یونیورسٹی آف آرٹیفیشل انٹیلیجنس (MBZUAI) اور کیلیفورنیا کی AI چپ ساز کمپنی Cerebras Systems کے درمیان باہمی تعاون سے تشکیل دیا گیا[2]۔ Jais کو آزاد لائسنس کے تحت کھلے عام شائع کیا گیا، جس کا مقصد عربی زبان کے لیے AI کے ماحولیاتی نظام کی ترقی کو فروغ دینا، ثقافتی و لسانی ورثے کا تحفظ کرنا اور جدید AI ٹیکنالوجیز کو عربی بولنے والی دنیا کے لیے زیادہ قابلِ رسائی بنانا ہے[1]۔
ترقی کی تاریخ اور ریلیزیں
Jais کا منصوبہ 2023 میں اس وقت شروع کیا گیا جب غیر وسائل یافتہ زبانوں کے لیے موجودہ LLM کی محدودیت واضح تھی۔ ڈویلپرز نے معیاری دو لسانی ماڈلز کی کمی کی نشاندہی کی جو عربی اور انگریزی دونوں زبانوں کو یکساں مہارت سے پروسیس کر سکیں[2]۔
Jais-13B: پہلا ورژن
پہلا ورژن، Jais-13B، 30 اگست 2023 کو جاری کیا گیا اور اس میں 13 ارب پیرامیٹرز شامل تھے[1]۔ ماڈل کو انگریزی اور عربی متون کے مخلوط corpus پر تربیت دی گئی جس کا حجم 395 ارب tokens تھا[3]۔ اپنے اجرا کے وقت اسے «اعلیٰ ترین معیار کی عربی LLM» قرار دیا گیا[1]۔
Jais-30B: پیمانے میں اضافہ
8 نومبر 2023 کو، تین ماہ سے بھی کم عرصے میں، کنسورشیم نے دوسرا، نمایاں طور پر بہتر ورژن — Jais-30B 30 ارب پیرامیٹرز کے ساتھ پیش کیا[4]۔ پیمانے میں اضافہ خلاصہ نویسی اور ترجمے جیسے پیچیدہ عملی کاموں سے نمٹنے کی ضرورت کی وجہ سے کیا گیا۔ ماڈل کو وسیع اور صاف شدہ dataset پر تربیت دی گئی جس کا حجم 1.63 ٹریلین tokens تھا[4]۔
Jais-70B اور ماڈلز کا خاندان
6 اگست 2024 کو Inception (G42) نے فلیگ شپ ماڈل Jais-70B (70 ارب پیرامیٹرز) اور متعلقہ ماڈلز کے مکمل خاندان کے اجرا کا اعلان کیا[5]۔ Jais-70B عربی زبان کے لیے مخصوص سب سے بڑی کھلی LLM بن گئی۔ اس کی تیاری میں continuous training کا طریقہ اپنایا گیا: شروع سے تربیت دینے کے بجائے Meta کے Llama 2 70B ماڈل کو بنیاد بنایا گیا اور اسے عربی زبان میں 330 ارب tokens پر مزید fine-tune کیا گیا۔ اس سے Llama 2 کی انگریزی زبان کی معلومات کو مؤثر طریقے سے منتقل کرنا اور عربی کی تربیت پر وسائل مرکوز کرنا ممکن ہوا[5]۔
آرکیٹیکچر اور تکنیکی خصوصیات
Jais GPT-3 آرکیٹیکچر (decoder-only) پر مبنی autoregressive transformer ماڈل ہے۔ ماڈل کی کلیدی خصوصیت اس کی عربی اور انگریزی زبانوں میں دو لسانی تخصص ہے، جو کہ بہت سے کثیر لسانی LLM سے مختلف ہے جہاں انگریزی غالب ہوتی ہے۔ اس سے عربی زبان اور اس کی بولیوں کی گہری سمجھ حاصل کرنا ممکن ہوتا ہے[3]۔
Jais کی تخلیق میں جدید تکنیکی حل شامل کیے گئے[3]:
- ALiBi پوزیشننگ: پوزیشنل embedding کی ایک خاص اسکیم جو ماڈل کو اس context سے لمبا context پروسیس کرنے کی اجازت دیتی ہے جس پر اسے تربیت دی گئی۔
- SwiGLU ایکٹیویشن: ایک activation فنکشن جو تربیت کے معیار اور neural layers کی اظہاری صلاحیت کو بڑھاتا ہے۔
- Maximal Update Parametrization (µP): hyperparameters کو ترتیب دینے کا ایک طریقہ جو ماڈل کے حجم میں اضافے کے وقت تربیت کو مستحکم کرتا ہے۔
- خصوصی tokenizer: عربی اور انگریزی زبانوں کی خصوصیات کو مدنظر رکھتے ہوئے تیار کیا گیا، جو عربی متن کے لیے عمومی tokenizers کے مقابلے میں tokens کی تعداد 3 تا 4 گنا کم کرتا ہے اور رفتار میں اضافہ کرتا ہے[6]۔
بنیادی ماڈلز (foundation models) کے علاوہ، Jais-chat ورژن بھی جاری کیا گیا، جسے chatbot اور اسسٹنٹ کے کاموں کے لیے 9.6 ملین سوال و جواب کے جوڑوں پر مزید fine-tune کیا گیا[3]۔
تربیت اور ڈیٹا کا مجموعہ
منصوبے کے اہم ترین کاموں میں سے ایک عربی متون کا معیاری اور وسیع corpus تیار کرنا تھا۔ Jais-13B کے لیے حتمی تربیتی مجموعہ 395 ارب tokens پر مشتمل تھا، جن میں سے:
- 116 ارب tokens (29%) — عربی متن۔
- 279 ارب tokens (71%) — انگریزی متن اور پروگرامی کوڈ۔
عربی حصے کو جان بوجھ کر نمایاں (تقریباً 30%) رکھا گیا تاکہ زبان میں اعلیٰ مہارت یقینی بنائی جا سکے[3]۔ ڈیٹا میں کتابیں، خبریں، ویب صفحات اور سورس کوڈ شامل تھے۔ معیاری عربی متون کا حجم بڑھانے کے لیے انگریزی وسائل کا مشینی ترجمہ بھی استعمال کیا گیا[3]۔
ماڈلز کی تربیت ابو ظہبی میں Condor Galaxy 1 (CG-1) سپر کمپیوٹر پر کی گئی، جسے G42 اور Cerebras Systems نے مشترکاً تیار کیا تھا۔ اس انفراسٹرکچر کی بدولت Jais-13B کی تربیت خالص وقت میں صرف تقریباً 3.5 دن میں مکمل ہوئی[2]۔
اطلاق اور اہمیت
Jais کو عربی زبان اور جدید LLM میں ناکافی نمائندگی رکھنے والی دیگر لسانی برادریوں کے لیے generative AI کی ترقی میں ایک کلیدی قدم کے طور پر پیش کیا جاتا ہے۔ ماڈل تک کھلی رسائی کا مقصد مشرقِ وسطیٰ اور شمالی افریقہ کے خطوں میں قدرتی زبان پروسیسنگ کی ٹیکنالوجیز کو فروغ دینا ہے۔
اجرا کے وقت سے ہی اس منصوبے نے متحدہ عرب امارات کے سرکاری اور تجارتی اداروں کی دلچسپی حاصل کی۔ متحدہ عرب امارات کی وزارتِ خارجہ، تیل و گیس کمپنی ADNOC، ایئر لائن Etihad Airways اور بینک First Abu Dhabi Bank کو ماڈل تک ابتدائی رسائی ملی[1]۔ 2024 میں Microsoft نے Jais کو اپنے کلاؤڈ پلیٹ فارم Microsoft Azure پر ضم کرنے کا اعلان کیا، جس سے یہ عالمی صارفین کے لیے دستیاب ہو گئی[6]۔
Jais کے تخلیق کاران عربی ثقافتی و لسانی ورثے کے تحفظ میں اس کے کردار پر زور دیتے ہیں۔ Inception کے سربراہ Andrew Jackson کے بقول، اس منصوبے کا مقصد «یہ یقینی بنانا ہے کہ اپنے بھرپور ورثے کے ساتھ عربی زبان AI کے منظرنامے میں اپنی آواز پائے»[1]۔ حاصل شدہ تجربے کو دیگر زبانوں اور ثقافتوں کے لیے اسی طرح کی LLM بنانے میں استعمال کرنے کا ارادہ ہے[1]۔
کتابیات
- Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
- Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
- Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
- Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
- Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
- Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.
حوالہ جات
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». Cerebras Systems. [1]
- ↑ 2.0 2.1 2.2 2.3 «UAE's G42 launches open source Arabic language AI model». Reuters. [2]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 «[2308.16149] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». arXiv. [3]
- ↑ 4.0 4.1 «Upgraded Arabic large language model is twice as big». Computer Weekly. [4]
- ↑ 5.0 5.1 «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». Abu Dhabi Media Office. [5]
- ↑ 6.0 6.1 «Introducing JAIS: Arabic-centric Large Language Model on Azure». Microsoft Tech Community. [6]