--- title: "Mixture-of-Experts (MoE) — 专家混合模型" source: "https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B" wiki: "systems-analysis.info/int" article: "Mixture-of-Experts_(MoE)_—_专家混合模型" language: "zh" categories: - "Category:Chinese" - "Category:Large language models" - "Category:Machine learning" revision_id: 4471 wiki_created_at: 2026-09-06T23:35:37Z wiki_modified_at: 2026-09-06T23:35:37Z downloaded_at: 2026-09-07T23:02:51Z --- # Mixture-of-Experts (MoE) — 专家混合模型 **Mixture-of-Experts (MoE)**（中文意为“专家混合模型”）是一种基于条件计算原则和*“分而治之”*范式的神经网络架构。MoE 架构并不采用所有参数都参与处理每个输入信号的单一整体（“密集”）模型，而是将任务分解，并将其委托给称为“专家”的专业化子网络子集。一个名为门控网络（gating network 或 router）的特殊组件会动态决定由哪些专家来处理每个特定的输入词元^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)[\[2\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-arxiv-bigdata-moe-2)}。这种方法可以构建具有海量参数（数千亿甚至数万亿）的模型，同时在推理阶段将计算成本（FLOPs）维持在远小于同等规模的密集模型的水平^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-llmstudio-moe-3)}。正因如此，MoE 已成为扩展现代大语言模型（LLM）的关键技术，并被用于 Mixtral 8x7B、Grok-1 等前沿系统，且被广泛认为是 GPT-4 所采用的技术^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)}。 ## 关键原则：条件计算与稀疏性 MoE 的基本机制是**条件计算**（conditional computation）。与所有参数在处理任何词元时都处于激活状态的密集模型不同，MoE 模型仅根据输入数据激活其一小部分参数。这个过程导致了**激活稀疏性**（sparsity in activation），这也是它与传统架构的主要区别^{[\[4\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-friendli-serving-moe-4)}。这种方法能够： - **扩展模型容量：** 可以在不相应增加计算负载的情况下，显著增加模型的总参数数量（从而增加模型的“知识”）。 - **提高效率：** 在固定的计算预算下，模型处理每个词元所需的计算量更少，从而加快推理速度并降低训练成本^{[\[5\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-zilliz-moe-5)}。因此，MoE 将瓶颈从计算能力转移到了**内存（VRAM）需求**上，因为所有专家的所有参数都必须加载到内存中，即使在任何给定时刻只有一小部分被使用^{[\[6\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-moe-vs-dense-llms-6)}。 ## MoE 架构的组成部分 ### 1. 专家子网络 (Experts) 专家通常是独立的神经网络。在 Transformer 架构中，MoE 层通常取代密集的前馈网络（Feed-Forward Networks, FFN），每个专家本身就是一个 FFN^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)}。在训练过程中，每个专家可以在特定领域发展出“专长”——例如，一个专家可能专注于语法，另一个专家专注于特定知识领域的事实，第三个则专注于某种语言或风格^{[\[7\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-ve3-understanding-moe-7)}。 ### 2. 门控网络 (Gating Network / Router) 门控网络是一个小而关键的组件，负责执行智能的任务分配。对于每个输入词元，路由器会计算评分（权重），以确定哪些专家最适合处理它。路由决策是动态的，并且依赖于上下文^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-huggingface-moe-8)}。最常见的策略是**Top-K 路由**，即选择评分最高的 **K** 个专家来处理词元。K 的值通常很小（例如 1 或 2），这确保了稀疏性。 ### 3. 输出合并当选定的 K 个专家处理完词元后，它们的各自输出会被合并，形成 MoE 层的最终结果。通常，这是通过加权求和的方式完成的，其中权重是路由器生成的归一化评分^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)}。 ## MoE 的演进 MoE 的概念最早由 Robert Jacobs、Geoffrey Hinton 和 Michael Jordan 在 1991 年的论文《自适应局部专家混合》中提出^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-llmstudio-moe-3)}。然而，由于计算限制和训练复杂性，这一思想直到深度学习时代才得到广泛应用。随着 Transformer 架构的出现，MoE 取得了突破。2010-2015 年间关于条件计算的研究（由 Yoshua Bengio 等人进行）奠定了理论基础，而 Shazeer 等人（2017）的工作展示了将 MoE 扩展到 1370 亿参数的 LSTM 模型的可行性^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-huggingface-moe-8)}。 MoE 的现代复兴与谷歌的 **Switch Transformer** 模型（2021 年）有关，该模型利用简单高效的 Top-1 路由将参数扩展到 1.6 万亿^{[\[9\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-9)}。2023 年 Mistral AI 推出的开源模型 **Mixtral 8x7B** 的成功，最终确立了 MoE 作为构建高性能 LLM 的主流架构之一的地位^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)}。 ## 挑战与优化方法 ### 负载均衡 MoE 的一个关键挑战是**负载不均衡**，即路由器倾向于持续选择少数几个“热门”专家，而其他专家则未被充分利用。这会导致训练效率低下和“专家崩溃”。 - **辅助损失函数 (Auxiliary Loss):** 这是一种传统方法，通过在主损失函数中增加对词元分布不均的“惩罚”来实现。虽然这有助于均衡，但这种方法可能会引入“噪声梯度”，从而降低整体性能^{[\[10\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-loss-free-balancing-10)}。 - **无损均衡 (Loss-Free Balancing):** 这是一种较新的方法，它动态地对路由器的评分应用偏置（bias），以促使其做出更均衡的决策，而无需干预主要的训练任务^{[\[11\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-loss-free-balancing-gopubby-11)}。 - **专家选择路由 (Expert Choice Routing):** 这是一种替代方法，不是由词元选择专家，而是每个专家从批次中选择 \`top-k\` 个词元。这保证了完美的负载均衡，但实现起来可能更复杂^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-nvidia-moe-1)}。 ### 微调与量化 - **微调 (Fine-tuning):** 从历史上看，由于参数众多，MoE 模型容易出现过拟合。为了缓解此问题，研究人员采用了“专家丢弃”（expert dropout）等方法^{[\[12\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-switch-transformers-paper-12)}。 - **量化 (Quantization):** 降低权重的数值精度，以减小模型大小并加速推理。由于专家间的不平衡，这对 MoE 来说是一项复杂的任务。诸如 **MoEQuant** 等方法提出了基于为每个专家进行平衡校准的解决方案^{[\[13\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-13)}。 ### 系统优化 MoE 的高效部署需要一个整体的系统性方法，包括： - **并行策略：** **专家并行**（将专家分布在不同的 GPU 上）、模型并行和数据并行^{[\[14\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-14)}。 - **专用内核 (Kernels):** 例如，用于 Mixtral 的 **Megablocks**，它优化了稀疏操作的矩阵乘法^{[\[15\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-15)}。 - **硬件协同设计 (Hardware Co-design):** 开发专门为 MoE 工作负载优化的硬件解决方案。 ## 标志性 MoE 模型

杰出 MoE 架构对比
模型	开发者	总参数数量	激活参数数量	专家数量	选定专家数量 (k)
Switch Transformer C-2048	Google	1.6 万亿	取决于专家大小	2048	1
Mixtral 8x7B	Mistral AI	~470亿	~130亿	8	2
Grok-1	xAI	3140亿	860亿	8	2
GPT-4 (推测)	OpenAI	>1 万亿	-	16 (推测)	2 (推测)
Qwen 2 MoE	Alibaba	570-900亿	140亿	64	4 或 8
DeepSeekMoE 16B	DeepSeek-AI	164亿	~28亿	64 (2个激活)	2 (从6个中)^[16]

杰出 MoE 架构对比 ## 在不同领域的应用尽管 MoE 在 LLM 领域最为人所知，但其应用并不局限于自然语言处理： - 时间序列预测：Time-MoE 模型为预训练预测模型提供了一个可扩展的架构^{[\[17\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-17)}。 - 漏洞检测：MoEVD 利用 MoE 将漏洞检测任务分解为按 CWE 类型进行分类，其中每个专家专注于自己的类型^{[\[18\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-18)}。 - 与区块链技术集成：MoE 在优化智能合约和欺诈检测方面找到了应用，其中专家分析各种交易模式^{[\[19\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-19)}。 - 多模态模型：MoE 用于整合专注于不同模态（文本、图像、音频）的专家，从而创建更通用的系统^{[\[20\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_note-arxiv-llama-moe-20)}。 ## 注释 1. ↑ ^{[1.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-0)} ^{[1.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-1)} ^{[1.2](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-2)} ^{[1.3](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-3)} ^{[1.4](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-4)} ^{[1.5](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-nvidia-moe_1-5)} “Applying Mixture of Experts in LLM Architectures”. *NVIDIA Technical Blog*. [1] 2. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-bigdata-moe_2-0) “Mixture of Experts (MoE): A Big Data Perspective”. *arXiv*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-llmstudio-moe_3-0)} ^{[3.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-llmstudio-moe_3-1)} “Mixture-of-Experts (MoE): что это такое и как работает”. *LLM Studio*. [3] 4. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-friendli-serving-moe_4-0) “Serving Mixtral MoE Model”. *Friendli.ai Blog*. [4] 5. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-zilliz-moe_5-0) “What is Mixture of Experts (MoE)? How it Works and Use Cases”. *Zilliz Learn*. [5] 6. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-moe-vs-dense-llms_6-0) “Mixture of Experts (MoE) vs Dense LLMs”. *Maximilian Schwarzmüller's Blog*. [6] 7. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-ve3-understanding-moe_7-0) “Understanding Mixture of Experts in Deep Learning”. *VE3*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-huggingface-moe_8-0)} ^{[8.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-huggingface-moe_8-1)} “Mixture of Experts Explained”. *Hugging Face Blog*. [8] 9. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-9) “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”. *arXiv*. [9] 10. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-loss-free-balancing_10-0) “Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts”. *OpenReview*. [10] 11. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-loss-free-balancing-gopubby_11-0) “DeepSeek-V3 Explained: 3. Auxiliary-Loss-Free Load-Balancing”. *gopubby.com*. [11] 12. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-switch-transformers-paper_12-0) “Switch Transformers: Scaling to Trillion Parameter Models with...”. *cse.ust.hk*. [12] 13. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-13) “MoEQuant: Enhancing Quantization for Mixture-of-Experts...”. *arXiv*. [13] 14. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-14) “A Survey of Mixture of Experts Models: Architectures and Applications in Business and Finance”. *Preprints.org*. [14] 15. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-15) “Mixtral of Experts”. *arXiv*. [15] 16. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-16) “A Survey on Inference Optimization Techniques for Mixture of Experts Models”. *arXiv*. [16] 17. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-17) “Time-MoE: A Scalable and Unified Framework for Pre-training Time Series Foundation Models”. *arXiv*. [17] 18. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-18) “MoEVD: A Mixture of Experts-based Framework for Vulnerability Detection”. *Semantic Scholar*. [18] 19. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-19) “What a Decentralized Mixture-of-Experts (MoE) Is and How It Works”. *Gate.io Learn*. [19] 20. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E4%B8%93%E5%AE%B6%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-llama-moe_20-0) “LLaMA-MoE: Building Mixture-of-Experts from Open-source LLMs”. *arXiv*. [20]