---
title: "Mixtral (Mistral AI) (KO)"
source: "https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)"
wiki: "systems-analysis.info/int"
article: "Mixtral_(Mistral_AI)_(KO)"
language: "ko"
categories:
- "Category:Korean"
- "Category:Large language models"
- "Category:LLM families"
- "Category:Machine learning"
revision_id: 4432
wiki_created_at: 2026-09-06T23:35:05Z
wiki_modified_at: 2026-09-06T23:35:05Z
downloaded_at: 2026-09-07T23:02:37Z
---
# Mixtral (Mistral AI) (KO)
**Mixtral 8x7B** — 프랑스 회사 Mistral AI가 개발하여 2023년 12월에 출시한 오픈 소스 대형 언어 모델(LLM)입니다. 이 모델은 **희소 전문가 혼합(Sparse Mixture of Experts, SMoE)** 아키텍처를 기반으로 하며, 훨씬 더 큰 모델(예: Llama 2 70B 및 GPT-3.5)에 필적하는 성능을 높은 추론 속도 및 효율성과 결합할 수 있습니다[\[1\]](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_note-mistral_blog-1).
이 모델은 자유 오픈 소스 Apache 2.0 라이선스로 배포되어 학술 및 상업적 용도로 누구나 사용할 수 있습니다. Mixtral 8x7B는 다국어 작업, 코드 생성, 명령 수행에서 뛰어난 능력을 발휘하며, 출시 당시 가장 인기 있는 오픈 모델 중 하나가 되었습니다[\[2\]](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_note-arxiv_paper-2).
## 개발 역사
Mistral AI는 2023년 4월에 Meta와 Google 출신의 전직 연구원들이 설립했습니다. 2023년 9월, 회사는 첫 번째 모델인 **Mistral 7B**를 출시하였으며, 작은 크기 대비 높은 효율성으로 주목을 받았습니다.
**2023년 12월 11일**, Mistral AI는 전문가 혼합 아키텍처를 기반으로 한 첫 번째 모델인 **Mixtral 8x7B** 출시를 발표했습니다. 이 모델은 당시 가장 강력한 오픈 LLM으로서 커뮤니티의 즉각적인 주목을 받았으며, 훨씬 더 높은 추론 속도로 GPT-3.5 수준의 품질을 입증했습니다. 2024년 1월에는 arXiv에 상세한 기술 논문이 게재되어 독립 연구자들이 아키텍처 세부 사항과 테스트 결과를 확인할 수 있게 되었습니다[\[2\]](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_note-arxiv_paper-2).
## 아키텍처: Sparse Mixture of Experts (SMoE) - 희소 전문가 혼합
Mixtral 8x7B의 가장 큰 혁신은 **Sparse Mixture of Experts** 아키텍처의 도입입니다. 모든 레이어가 모든 token에 대해 동일한 연산을 수행하는 표준적인(「밀집」) transformer와 달리, Mixtral의 각 레이어에는 여러 개의 병렬 「전문가」 블록이 포함되어 있습니다.
아키텍처의 주요 특징:
- **MoE 구조**: 각 transformer 레이어에는 **8**개의 feed-forward 블록(「전문가」)이 있습니다. 각 token을 처리할 때 특수한 *router 네트워크*가 가장 적합한 전문가 **2**개를 선택합니다(*Top-2 routing*).
- **파라미터**: 모델의 전체 파라미터 수는 **467억**개이지만, 희소 활성화 덕분에 각 token에 대한 추론 과정에서 실제로 사용되는 활성 파라미터는 **129억**개에 불과합니다. 이로 인해 약 130억 파라미터 규모의 모델과 유사한 추론 속도를 제공합니다.
- **Attention 최적화**: 모델은 긴 시퀀스를 효율적으로 처리하기 위해 **Sliding Window Attention (SWA)** 및 **Grouped Query Attention (GQA)**을 포함한 최신 기법을 사용합니다.
- **컨텍스트 길이**: 모델은 최대 **32,768 token**의 컨텍스트 창을 지원합니다.
## 학습
Mixtral 8x7B 패밀리에는 두 가지 주요 버전이 있습니다:
1. **Mixtral-8x7B-v0.1** (기본 모델): 영어, 프랑스어, 독일어, 스페인어, 이탈리아어 등 여러 유럽 언어의 대규모 웹 데이터 코퍼스로 사전 학습된 모델. 주요 목표는 다음 token 예측입니다.
2. **Mixtral-8x7B-Instruct-v0.1** (명령 수행 모델): *supervised fine-tuning (SFT)* 및 *Direct Preference Optimization (DPO)*을 통해 추가 학습된 버전. 이 모델은 사용자의 명령을 더 잘 따르며 대화형 포맷에 적합합니다.
## 성능
Mixtral 8x7B는 대부분의 표준 benchmark에서 Llama 2 70B 모델과 동등하거나 이를 능가하며, 동시에 활성 파라미터 수가 5배 적고 추론 속도가 최대 6배 빠릅니다[\[2\]](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_note-arxiv_paper-2).
| 지표 | Llama 2 70B | GPT-3.5 | Mixtral 8x7B |
|-----------------------------------------|-------------|---------|--------------|
| **MMLU** (일반 지식) | 69,9% | 70,0% | **70,6%** |
| **GSM-8K** (수학) | 53,6% | 57,1% | **58,4%** |
| **MBPP** (코드 생성) | 49,8% | 52,2% | **60,7%** |
| **MT-Bench** (대화 평가, Instruct 버전) | 6,86 | 8,32 | **8,30** |
Mixtral 8x7B와 Llama 2 70B 및 GPT-3.5의 성능 비교[\[2\]](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_note-arxiv_paper-2)
- **다국어 지원**: 학습 코퍼스에서 다국어 데이터의 비중이 높아, Mixtral은 프랑스어, 독일어, 스페인어, 이탈리아어 작업에서 Llama 2 70B를 크게 능가합니다.
- **편향 및 환각**: Llama 2 70B와 비교했을 때, 이 모델은 BBQ benchmark(사회적 편견 평가)에서 더 높은 정확도를 보이며 BOLD benchmark에서 더 긍정적인 감성 프로파일을 나타냅니다.
## 라이선스 및 가용성
Mixtral 8x7B의 두 버전(기본 및 Instruct) 모두 학술 및 상업적 자유 사용을 허용하는 Apache 2.0 라이선스로 출시되었습니다. 소스 코드 및 모델 가중치는 GitHub와 Hugging Face에서 이용 가능합니다.
## 외부 링크
- Mixtral of Experts — Mistral AI 블로그의 공식 발표
- Hugging Face의 Mixtral 8x7B 모델
## 참고 문헌
- Jiang, A. Q.; Sablayrolles, A.; Roux, A.; et al. (2024). *Mixtral of Experts*. arXiv:2401.04088.
- Shazeer, N.; et al. (2017). *Outrageously Large Neural Networks: The Sparsely‑Gated Mixture‑of‑Experts Layer*. arXiv:1701.06538.
- Lepikhin, D.; et al. (2020). *GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding*. arXiv:2006.16668.
- Fedus, W.; et al. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961.
- Ainslie, J.; et al. (2023). *GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints*. arXiv:2305.13245.
- Beltagy, I.; Peters, M. E.; Cohan, A. (2020). *Longformer: The Long‑Document Transformer*. arXiv:2004.05150.
- Dao, T.; et al. (2022). *FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness*. arXiv:2205.14135.
- Cai, W.; et al. (2025). *A Survey on Mixture of Experts in Large Language Models*. arXiv:2407.06204.
- Yun, L.; et al. (2024). *Toward Inference‑Optimal Mixture‑of‑Expert Large Language Models*. arXiv:2404.02852.
- Huang, B.; et al. (2024). *Toward Efficient Inference for Mixture of Experts*. OpenReview: stXtBqyTWX.
## 각주
1. [↑](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_ref-mistral_blog_1-0) «Mixtral of Experts». *Mistral AI Blog*. 11 Dec 2023. [1]
2. ↑ [2.0](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_ref-arxiv_paper_2-0) [2.1](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_ref-arxiv_paper_2-1) [2.2](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_ref-arxiv_paper_2-2) [2.3](https://systems-analysis.info/int/Mixtral_(Mistral_AI)_(KO)#cite_ref-arxiv_paper_2-3) Jiang, A. Q., Sablayrolles, A., Roux, A., et al. (2024). «Mixtral of Experts». *arXiv:2401.04088*. [2]