Jais (language model) (FA)
Jais (تلفظ: «جِیس») — خانوادهای از مدلهای زبانی بزرگ (LLM) متنباز است که در امارات متحده عربی توسعه یافته و بهطور ویژه برای زبان عربی بهینهسازی شده است[1]. نام این مدل برگرفته از کوه جبل جیس — بلندترین قله امارات متحده عربی — است[2].
این پروژه در قالب همکاری میان شرکت تحقیقاتی Inception (شرکت تابعه کنگلومرای فناوری G42)، دانشگاه هوش مصنوعی محمد بن زاید (MBZUAI) و شرکت کالیفرنیایی تولید تراشههای هوش مصنوعی Cerebras Systems ایجاد شده است[2]. Jais تحت مجوز آزاد بهصورت عمومی منتشر شده است تا از رشد اکوسیستم هوش مصنوعی برای زبان عربی حمایت کند، میراث فرهنگی-زبانی را حفظ نماید و فناوریهای نوین هوش مصنوعی را برای جهان عربزبان در دسترستر سازد[1].
تاریخچه توسعه و نسخهها
پروژه Jais در سال ۲۰۲۳ با توجه به محدودیتهای LLMهای موجود برای زبانهای کممنبع آغاز شد. توسعهدهندگان به کمبود مدلهای دوزبانه باکیفیت اشاره داشتند که بتوانند هم زبان عربی و هم زبان انگلیسی را بهخوبی پردازش کنند[2].
Jais-13B: نسخه اول
نخستین نسخه، Jais-13B، در تاریخ ۳۰ اوت ۲۰۲۳ منتشر شد و دارای ۱۳ میلیارد پارامتر بود[1]. این مدل بر روی یک corpus مختلط از متون انگلیسی و عربی به حجم ۳۹۵ میلیارد token آموزش دید[3]. در زمان انتشار، به عنوان «باکیفیتترین LLM عربی» معرفی شد[1].
Jais-30B: افزایش مقیاس
در تاریخ ۸ نوامبر ۲۰۲۳، کمتر از سه ماه بعد، کنسرسیوم نسخه دوم و بهطور قابلتوجهی بهبودیافته را معرفی کرد — Jais-30B با ۳۰ میلیارد پارامتر[4]. افزایش مقیاس به دلیل نیاز به حل مسائل کاربردی پیچیدهتری مانند خلاصهسازی و ترجمه بود. این مدل بر روی یک dataset گسترشیافته و پالایششده به حجم ۱٫۶۳ تریلیون token آموزش دید[4].
Jais-70B و خانواده مدلها
در تاریخ ۶ اوت ۲۰۲۴، Inception (G42) راهاندازی مدل پرچمدار Jais-70B (۷۰ میلیارد پارامتر) و یک خانواده کامل از مدلهای مرتبط را اعلام کرد[5]. Jais-70B بزرگترین LLM متنباز متمرکز بر زبان عربی شد. در توسعه آن از روش continuous training استفاده شد: به جای آموزش از صفر، مدل Llama 2 70B از Meta به عنوان پایه انتخاب شد و بر روی ۳۳۰ میلیارد token از متون عربی fine-tuning شد. این رویکرد امکان انتقال مؤثر دانش زبان انگلیسی از Llama 2 را فراهم کرد و منابع را بر آموزش زبان عربی متمرکز ساخت[5].
معماری و ویژگیهای فنی
Jais به خانواده مدلهای transformer خودرگرسیون بر پایه معماری GPT-3 (decoder-only) تعلق دارد. ویژگی کلیدی این مدل تخصص دوزبانه آن در زبانهای عربی و انگلیسی است، برخلاف بسیاری از LLMهای چندزبانه که در آنها زبان انگلیسی غالب است. این موضوع امکان درک عمیق زبان عربی و گویشهای آن را فراهم میکند[3].
در ساخت Jais راهحلهای فنی پیشرفتهای ادغام شدهاند[3]:
- موقعیتیابی ALiBi: طرحی ویژه از embeddingهای موقعیتی که به مدل امکان میدهد متنهایی با context طولانیتر از آنچه آموزش دیده را پردازش کند.
- فعالسازی SwiGLU: تابع فعالسازی که کیفیت آموزش و بیانپذیری لایههای عصبی را افزایش میدهد.
- Maximal Update Parametrization (µP): روشی برای تنظیم ابرپارامترها که آموزش را در هنگام افزایش اندازه مدل تثبیت میکند.
- Tokenizer تخصصی: با در نظر گرفتن ویژگیهای زبانهای عربی و انگلیسی طراحی شده است که تعداد tokenها برای متن عربی را در مقایسه با tokenizerهای همهمنظوره ۳ تا ۴ برابر کاهش میدهد و سرعت پردازش را افزایش میدهد[6].
علاوه بر مدلهای پایه (foundation models)، نسخه Jais-chat نیز منتشر شد که بر روی ۹٫۶ میلیون جفت پرسشوپاسخ fine-tuning شده تا برای وظایف chatbot و دستیار تطبیق یابد[3].
آموزش و مجموعه داده
یکی از وظایف اصلی پروژه، آمادهسازی یک corpus عربی باکیفیت و بزرگ بود. مجموعه آموزشی نهایی برای Jais-13B شامل ۳۹۵ میلیارد token بود که از این میان:
- ۱۱۶ میلیارد token (۲۹٪) — متن عربی.
- ۲۷۹ میلیارد token (۷۱٪) — متن انگلیسی و کد برنامهنویسی.
مؤلفه عربی بهصورت عمدی قابلتوجه (حدود ۳۰٪) در نظر گرفته شد تا کیفیت بالای مهارت زبانی تضمین شود[3]. دادهها شامل کتابها، مقالات خبری، صفحات وب و کد منبع بودند. برای افزایش حجم متون عربی باکیفیت، از ترجمه ماشینی منابع انگلیسی استفاده شد[3].
آموزش مدلها بر روی ابررایانه Condor Galaxy 1 (CG-1) در ابوظبی انجام شد که بهطور مشترک توسط G42 و Cerebras Systems توسعه یافته بود. با بهرهگیری از این زیرساخت، آموزش Jais-13B تنها حدود ۳٫۵ روز زمان خالص صرف کرد[2].
کاربردها و اهمیت
Jais به عنوان گامی کلیدی در توسعه هوش مصنوعی مولد برای زبان عربی و دیگر جوامع زبانی که در LLMهای کنونی نمایندگی کافی ندارند، معرفی میشود. دسترسی آزاد به مدل در نظر گرفته شده تا استقرار فناوریهای پردازش زبان طبیعی را در مناطق خاورمیانه و شمال آفریقا تحریک کند.
از زمان راهاندازی، این پروژه توجه سازمانهای دولتی و تجاری امارات را به خود جلب کرده است. وزارت امور خارجه امارات، شرکت نفت و گاز ADNOC، هواپیمایی Etihad Airways و بانک First Abu Dhabi Bank دسترسی زودهنگام به مدل را دریافت کردند[1]. در سال ۲۰۲۴، Microsoft ادغام Jais در پلتفرم ابری Microsoft Azure را اعلام کرد و آن را برای کاربران جهانی در دسترس قرار داد[6].
سازندگان Jais بر نقش آن در حفظ میراث فرهنگی-زبانی عربی تأکید میکنند. به گفته مدیرعامل Inception، اندرو جکسون، این پروژه در نظر گرفته شده تا «اطمینان حاصل شود که زبان عربی با میراث غنیاش صدای خود را در چشمانداز هوش مصنوعی بیابد»[1]. تجربه اندوختهشده قرار است برای ساخت LLMهای مشابه برای دیگر زبانها و فرهنگها به کار رود[1].
منابع
- Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
- Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
- Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
- Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
- Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
- Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
- Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
- Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
- Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.
یادداشتها
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «Meet "Jais", The World's Most Advanced Arabic Large Language Model Open Sourced by G42's Inception». Cerebras Systems. [۱]
- ↑ 2.0 2.1 2.2 2.3 «UAE's G42 launches open source Arabic language AI model». Reuters. [۲]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 «[2308.16149] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models». arXiv. [۳]
- ↑ 4.0 4.1 «Upgraded Arabic large language model is twice as big». Computer Weekly. [۴]
- ↑ 5.0 5.1 «G42 launches JAIS 70B and 20 other AI models to advance Arabic natural language processing». Abu Dhabi Media Office. [۵]
- ↑ 6.0 6.1 «Introducing JAIS: Arabic-centric Large Language Model on Azure». Microsoft Tech Community. [۶]