Jais (language model) (KO)

Jais (발음: "제이스") — 아랍에미리트에서 개발되어 아랍어에 특화 최적화된 오픈 소스 대형 언어 모델(LLM) 패밀리입니다. 모델 이름은 아랍에미리트 최고봉인 제벨 제이스(Jebel Jais) 산에서 유래하였습니다.

이 프로젝트는 연구 기업 Inception (기술 대기업 G42의 자회사), 모하메드 빈 자예드 인공지능 대학교(MBZUAI), 그리고 캘리포니아 소재 AI 칩 제조사 Cerebras Systems의 공동 협력으로 탄생하였습니다. Jais는 자유 라이선스 하에 공개 배포되었으며, 이는 아랍어 AI 생태계 발전을 촉진하고 문화·언어 유산을 보존하며 현대 AI 기술을 아랍어권 세계에 더욱 접근 가능하게 만들기 위함입니다.

개발 역사 및 출시

Jais 프로젝트는 기존 LLM이 저자원 언어에 대해 갖는 한계를 배경으로 2023년에 시작되었습니다. 개발자들은 아랍어와 영어를 동등한 수준으로 처리할 수 있는 고품질 이중 언어 모델의 부재를 지적하였습니다.

Jais-13B: 첫 번째 버전

첫 번째 버전인 Jais-13B는 2023년 8월 30일에 출시되었으며, 130억 개의 파라미터를 보유합니다. 이 모델은 영어와 아랍어 텍스트로 구성된 혼합 코퍼스 3,950억 토큰으로 학습되었습니다. 출시 당시 "최고 품질의 아랍어 LLM"으로 평가받았습니다.

Jais-30B: 규모 확장

2023년 11월 8일, 출시 3개월도 채 되지 않아 컨소시엄은 두 번째로 크게 개선된 버전인 300억 파라미터의 Jais-30B를 공개하였습니다. 규모 확장은 요약 및 번역과 같은 더 복잡한 응용 과제를 해결하기 위한 필요에 의해 이루어졌습니다. 이 모델은 확장되고 정제된 1.63조 토큰 규모의 dataset으로 학습되었습니다.

Jais-70B 및 모델 패밀리

2024년 8월 6일 Inception(G42)은 플래그십 모델인 Jais-70B (700억 파라미터)와 관련 모델 패밀리의 출시를 발표하였습니다. Jais-70B는 아랍어에 특화된 가장 큰 오픈 LLM이 되었습니다. 개발 과정에서는 continuous training 기법이 적용되었습니다. 즉, 처음부터 학습하는 대신 Meta의 Llama 2 70B 모델을 기반으로 삼아 아랍어 3,300억 토큰으로 추가 학습하였습니다. 이를 통해 Llama 2의 영어 지식을 효과적으로 이전하고, 아랍어 학습에 자원을 집중할 수 있었습니다.

아키텍처 및 기술적 특징

Jais는 GPT-3 아키텍처(decoder-only) 기반의 자기회귀(autoregressive) transformer 모델입니다. 이 모델의 핵심 특징은 영어가 지배적인 다국어 LLM과 달리, 아랍어와 영어에 대한 이중 언어 특화에 있습니다. 이를 통해 아랍어 및 그 방언에 대한 깊은 이해력을 달성합니다.

Jais 개발에는 다음과 같은 첨단 기술 솔루션이 통합되었습니다:

• ALiBi 위치 인코딩: 모델이 학습 시 사용한 것보다 더 긴 컨텍스트를 처리할 수 있도록 하는 특수 위치 embedding 방식입니다.
• SwiGLU 활성화 함수: 학습 품질과 신경망 레이어의 표현력을 향상시키는 활성화 함수입니다.
• Maximal Update Parametrization (µP): 모델 크기가 커질 때 학습을 안정화하는 하이퍼파라미터 조정 기법입니다.
• 특화 토크나이저: 아랍어와 영어의 특성을 고려하여 설계되었으며, 범용 토크나이저 대비 아랍어 텍스트의 토큰 수를 3~4배 줄이고 처리 속도를 향상시킵니다.

기본 모델(foundation models) 외에도, 챗봇 및 어시스턴트 과제에 적합하도록 96만 쌍의 질의응답 데이터로 추가 fine-tuning된 Jais-chat 버전이 출시되었습니다.

학습 및 데이터셋

이 프로젝트의 주요 과제 중 하나는 고품질의 대규모 아랍어 텍스트 코퍼스를 구축하는 것이었습니다. Jais-13B의 최종 학습 데이터셋은 3,950억 토큰으로 구성되었으며, 그 세부 구성은 다음과 같습니다:

• 1,160억 토큰 (29%) — 아랍어 텍스트
• 2,790억 토큰 (71%) — 영어 텍스트 및 프로그램 코드

아랍어 구성 요소는 언어 능력의 높은 품질을 보장하기 위해 의도적으로 약 30%로 높게 설정되었습니다. 데이터에는 서적, 뉴스 기사, 웹 페이지 및 소스 코드가 포함되었습니다. 고품질 아랍어 텍스트의 양을 늘리기 위해 영어 자료의 기계 번역이 활용되었습니다.

모델 학습은 G42와 Cerebras Systems가 공동 개발하여 아부다비에 구축된 슈퍼컴퓨터 Condor Galaxy 1 (CG-1)에서 수행되었습니다. 이 인프라 덕분에 Jais-13B의 학습은 순수 연산 시간 기준으로 약 3.5일밖에 소요되지 않았습니다.

활용 및 의의

Jais는 현대 LLM에서 충분히 대표되지 못하는 아랍어 및 기타 언어 커뮤니티를 위한 생성형 AI 발전의 핵심 단계로 자리매김하고 있습니다. 모델에 대한 오픈 액세스는 중동 및 북아프리카 지역에서의 자연어 처리 기술 도입을 촉진하기 위한 것입니다.

프로젝트 출시 이후 아랍에미리트의 정부 및 기업 기관의 관심을 받았습니다. 아랍에미리트 외무부, 석유·가스 기업 ADNOC, 항공사 Etihad Airways, 그리고 First Abu Dhabi Bank가 조기 접근 권한을 획득하였습니다. 2024년 Microsoft는 Jais를 클라우드 플랫폼 Microsoft Azure에 통합하여 전 세계 사용자가 이용할 수 있게 한다고 발표하였습니다.

Jais 개발자들은 아랍어 문화·언어 유산 보존에서 이 모델이 갖는 역할을 강조합니다. Inception 최고경영자 앤드루 잭슨(Andrew Jackson)의 말에 따르면, 이 프로젝트는 "풍부한 유산을 지닌 아랍어가 AI 환경 속에서 자신의 목소리를 갖도록 보장"하기 위한 것입니다. 축적된 경험은 다른 언어와 문화를 위한 유사한 LLM 개발에 활용될 계획입니다.

참고 문헌

• Shazeer, N.; et al. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Yang, G.; et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero‑Shot Hyperparameter Transfer. arXiv:2203.03466.
• Ali, A. R.; et al. (2022). A Large and Diverse Arabic Corpus for Language Modeling. arXiv:2201.09227.
• Sengupta, N.; et al. (2023). Jais and Jais‑chat: Arabic‑Centric Foundation and Instruction‑Tuned Open Generative Large Language Models. arXiv:2308.16149.
• Inception AI (2024). JAIS 30B Whitepaper. Online whitepaper.
• Koto, F.; et al. (2024). ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic. arXiv:2402.12840.
• Qian, Z.; et al. (2024). CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks. arXiv:2409.12623.
• Blake, C.; et al. (2024). u‑μP: The Unit‑Scaled Maximal Update Parametrization. arXiv:2407.17465.
• Inception AI; MBZUAI; Cerebras Systems (2024). Jais Family Model Card. Hugging Face.