Mixtral (Mistral AI) (KO)
Mixtral 8x7B — 프랑스 회사 Mistral AI가 개발하여 2023년 12월에 출시한 오픈 소스 대형 언어 모델(LLM)입니다. 이 모델은 희소 전문가 혼합(Sparse Mixture of Experts, SMoE) 아키텍처를 기반으로 하며, 훨씬 더 큰 모델(예: Llama 2 70B 및 GPT-3.5)에 필적하는 성능을 높은 추론 속도 및 효율성과 결합할 수 있습니다[1].
이 모델은 자유 오픈 소스 Apache 2.0 라이선스로 배포되어 학술 및 상업적 용도로 누구나 사용할 수 있습니다. Mixtral 8x7B는 다국어 작업, 코드 생성, 명령 수행에서 뛰어난 능력을 발휘하며, 출시 당시 가장 인기 있는 오픈 모델 중 하나가 되었습니다[2].
개발 역사
Mistral AI는 2023년 4월에 Meta와 Google 출신의 전직 연구원들이 설립했습니다. 2023년 9월, 회사는 첫 번째 모델인 Mistral 7B를 출시하였으며, 작은 크기 대비 높은 효율성으로 주목을 받았습니다.
2023년 12월 11일, Mistral AI는 전문가 혼합 아키텍처를 기반으로 한 첫 번째 모델인 Mixtral 8x7B 출시를 발표했습니다. 이 모델은 당시 가장 강력한 오픈 LLM으로서 커뮤니티의 즉각적인 주목을 받았으며, 훨씬 더 높은 추론 속도로 GPT-3.5 수준의 품질을 입증했습니다. 2024년 1월에는 arXiv에 상세한 기술 논문이 게재되어 독립 연구자들이 아키텍처 세부 사항과 테스트 결과를 확인할 수 있게 되었습니다[2].
아키텍처: Sparse Mixture of Experts (SMoE) - 희소 전문가 혼합
Mixtral 8x7B의 가장 큰 혁신은 Sparse Mixture of Experts 아키텍처의 도입입니다. 모든 레이어가 모든 token에 대해 동일한 연산을 수행하는 표준적인(「밀집」) transformer와 달리, Mixtral의 각 레이어에는 여러 개의 병렬 「전문가」 블록이 포함되어 있습니다.
아키텍처의 주요 특징:
- MoE 구조: 각 transformer 레이어에는 8개의 feed-forward 블록(「전문가」)이 있습니다. 각 token을 처리할 때 특수한 router 네트워크가 가장 적합한 전문가 2개를 선택합니다(Top-2 routing).
- 파라미터: 모델의 전체 파라미터 수는 467억개이지만, 희소 활성화 덕분에 각 token에 대한 추론 과정에서 실제로 사용되는 활성 파라미터는 129억개에 불과합니다. 이로 인해 약 130억 파라미터 규모의 모델과 유사한 추론 속도를 제공합니다.
- Attention 최적화: 모델은 긴 시퀀스를 효율적으로 처리하기 위해 Sliding Window Attention (SWA) 및 Grouped Query Attention (GQA)을 포함한 최신 기법을 사용합니다.
- 컨텍스트 길이: 모델은 최대 32,768 token의 컨텍스트 창을 지원합니다.
학습
Mixtral 8x7B 패밀리에는 두 가지 주요 버전이 있습니다:
- Mixtral-8x7B-v0.1 (기본 모델): 영어, 프랑스어, 독일어, 스페인어, 이탈리아어 등 여러 유럽 언어의 대규모 웹 데이터 코퍼스로 사전 학습된 모델. 주요 목표는 다음 token 예측입니다.
- Mixtral-8x7B-Instruct-v0.1 (명령 수행 모델): supervised fine-tuning (SFT) 및 Direct Preference Optimization (DPO)을 통해 추가 학습된 버전. 이 모델은 사용자의 명령을 더 잘 따르며 대화형 포맷에 적합합니다.
성능
Mixtral 8x7B는 대부분의 표준 benchmark에서 Llama 2 70B 모델과 동등하거나 이를 능가하며, 동시에 활성 파라미터 수가 5배 적고 추론 속도가 최대 6배 빠릅니다[2].
| 지표 | Llama 2 70B | GPT-3.5 | Mixtral 8x7B |
|---|---|---|---|
| MMLU (일반 지식) | 69,9% | 70,0% | 70,6% |
| GSM-8K (수학) | 53,6% | 57,1% | 58,4% |
| MBPP (코드 생성) | 49,8% | 52,2% | 60,7% |
| MT-Bench (대화 평가, Instruct 버전) | 6,86 | 8,32 | 8,30 |
- 다국어 지원: 학습 코퍼스에서 다국어 데이터의 비중이 높아, Mixtral은 프랑스어, 독일어, 스페인어, 이탈리아어 작업에서 Llama 2 70B를 크게 능가합니다.
- 편향 및 환각: Llama 2 70B와 비교했을 때, 이 모델은 BBQ benchmark(사회적 편견 평가)에서 더 높은 정확도를 보이며 BOLD benchmark에서 더 긍정적인 감성 프로파일을 나타냅니다.
라이선스 및 가용성
Mixtral 8x7B의 두 버전(기본 및 Instruct) 모두 학술 및 상업적 자유 사용을 허용하는 Apache 2.0 라이선스로 출시되었습니다. 소스 코드 및 모델 가중치는 GitHub와 Hugging Face에서 이용 가능합니다.
외부 링크
- Mixtral of Experts — Mistral AI 블로그의 공식 발표
- Hugging Face의 Mixtral 8x7B 모델
참고 문헌
- Jiang, A. Q.; Sablayrolles, A.; Roux, A.; et al. (2024). Mixtral of Experts. arXiv:2401.04088.
- Shazeer, N.; et al. (2017). Outrageously Large Neural Networks: The Sparsely‑Gated Mixture‑of‑Experts Layer. arXiv:1701.06538.
- Lepikhin, D.; et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668.
- Fedus, W.; et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
- Ainslie, J.; et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Beltagy, I.; Peters, M. E.; Cohan, A. (2020). Longformer: The Long‑Document Transformer. arXiv:2004.05150.
- Dao, T.; et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
- Cai, W.; et al. (2025). A Survey on Mixture of Experts in Large Language Models. arXiv:2407.06204.
- Yun, L.; et al. (2024). Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models. arXiv:2404.02852.
- Huang, B.; et al. (2024). Toward Efficient Inference for Mixture of Experts. OpenReview: stXtBqyTWX.