--- title: "Mixture-of-Experts (MoE) — 専門家混合モデル" source: "https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB" wiki: "systems-analysis.info/int" article: "Mixture-of-Experts_(MoE)_—_専門家混合モデル" language: "ja" categories: - "Category:Japanese" - "Category:Large language models" - "Category:Machine learning" revision_id: 4472 wiki_created_at: 2026-09-06T23:35:38Z wiki_modified_at: 2026-09-06T23:35:38Z downloaded_at: 2026-09-07T23:02:52Z --- # Mixture-of-Experts (MoE) — 専門家混合モデル **Mixture-of-Experts (MoE)**（英語で「専門家の混合」の意）は、条件付き計算の原則と*「分割統治」*のパラダイムに基づくニューラルネットワークアーキテクチャです。すべてのパラメータが各入力信号の処理に使用される単一のモノリシック（「密な」）モデルを使用する代わりに、MoEアーキテクチャはタスクを分解し、「エキスパート」と呼ばれる特化したサブネットワークのサブセットに委任します。ゲートネットワーク（gating network）またはルーターと呼ばれる特別なコンポーネントが、どのエキスパートが各特定の入力トークンを処理するかを動的に決定します^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)[\[2\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-arxiv-bigdata-moe-2)}。このアプローチにより、推論段階での計算コスト（FLOPs）をはるかに小さい密なモデルのレベルに抑えながら、膨大な数のパラメータ（数千億、あるいは数兆）を持つモデルを作成することが可能になります^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-llmstudio-moe-3)}。これにより、MoEは現代の大規模言語モデル（LLM）をスケーリングするための重要な技術となり、Mixtral 8x7BやGrok-1、そして広く信じられているところによればGPT-4などの最先端システムで使用されています^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)}。 ## 基本原則：条件付き計算とスパース性 MoEの基本的なメカニズムは**条件付き計算**（conditional computation）です。どのトークンを処理する際にもすべてのパラメータがアクティブになる密なモデルとは異なり、MoEモデルは入力データに応じてパラメータのほんの一部のみを活性化させます。このプロセスは**活性化のスパース性**（sparsity in activation）をもたらし、これが従来のアーキテクチャとの主な違いです^{[\[4\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-friendli-serving-moe-4)}。このようなアプローチには以下の利点があります： - **モデルのキャパシティのスケール:** 計算負荷を比例的に増加させることなく、総パラメータ数（ひいてはモデルの「知識」）を大幅に増やすことができます。 - **効率の向上:** モデルはトークンごとに行う計算が少ないため、より高速な推論が可能になり、固定された計算予算内でのトレーニングコストを削減できます^{[\[5\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-zilliz-moe-5)}。このように、MoEはボトルネックを計算能力から**メモリ（VRAM）要件**へとシフトさせます。なぜなら、各瞬間に使用されるのはごく一部であっても、すべてのエキスパートの全パラメータをメモリにロードする必要があるからです^{[\[6\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-moe-vs-dense-llms-6)}。 ## MoEアーキテクチャの構成要素 ### 1. エキスパートサブネットワーク (Experts) エキスパートは、通常、独立したニューラルネットワークです。トランスフォーマーアーキテクチャの文脈では、MoE層は通常、密な全結合ブロック（Feed-Forward Networks, FFN）を置き換え、各エキスパート自体がFFNとなります^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)}。トレーニングの過程で、各エキスパートは特定の分野で「専門性」を発展させることができます。例えば、あるエキスパートは構文に特化し、別のエキスパートは特定の知識分野の事実に、また別のエキスパートは特定の言語やスタイルに特化することがあります^{[\[7\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-ve3-understanding-moe-7)}。 ### 2. ゲートネットワーク (Gating Network / Router) ゲートネットワークは、小さいながらも非常に重要なコンポーネントであり、インテリジェントなタスクの分配を行います。各入力トークンに対して、ルーターはスコア（重み）を計算し、その処理に最も関連性の高いエキスパートを決定します。ルーティングの決定は動的で文脈依存です^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-huggingface-moe-8)}。最も一般的な戦略は**Top-Kルーティング**であり、トークンの処理のために最も高いスコアを持つ**K**個のエキスパートが選択されます。Kの値は通常小さく（例：1または2）、これがスパース性を確保します。 ### 3. 出力の結合選択されたK個のエキスパートがトークンを処理した後、それらの個別の出力が結合され、MoE層の最終的な結果が形成されます。通常、これは加重和によって行われ、その重みはルーターによって生成された正規化されたスコアです^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)}。 ## MoEの進化 MoEの概念は、1991年にRobert Jacobs、Geoffrey Hinton、Michael Jordanによる「Adaptive Mixture of Local Experts」という論文で初めて提案されました^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-llmstudio-moe-3)}。しかし、計算上の制約とトレーニングの複雑さから、このアイデアは深層学習の時代まで広く普及しませんでした。ブレークスルーは、トランスフォーマーアーキテクチャの登場によってもたらされました。2010年から2015年にかけての条件付き計算に関する研究（Yoshua Bengioら）が理論的基礎を築き、Shazeerら（2017年）の研究は、MoEを1370億パラメータのLSTMモデルにスケールアップする可能性を示しました^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-huggingface-moe-8)}。 MoEの現代的な復活は、Googleの**Switch Transformer**モデル（2021年）に関連しています。このモデルは、シンプルかつ効果的なTop-1ルーティングを使用して1.6兆パラメータまでスケールアップしました^{[\[9\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-9)}。2023年のMistral AIによるオープンモデル**Mixtral 8x7B**の成功は、MoEを高性能LLMを構築するための主要なアーキテクチャの一つとして確立させました^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)}。 ## 課題と最適化手法 ### 負荷分散 MoEの主要な課題の一つは**負荷の不均衡**です。これは、ルーターが常に同じ「人気のある」エキスパートを選択し、他のエキスパートが十分に活用されない場合に発生します。これにより、トレーニングが非効率になり、「エキスパートの崩壊」が引き起こされます。 - **補助損失関数（Auxiliary Loss）:** トークンの不均一な分配に対して主損失関数に「ペナルティ」を追加する従来の手法です。これは負荷分散に役立ちますが、このアプローチは「ノイズの多い勾配」を導入し、全体的なパフォーマンスを低下させる可能性があります^{[\[10\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-loss-free-balancing-10)}。 - **損失フリーの負荷分散（Loss-Free Balancing）:** 主要な学習タスクに干渉することなく、ルーターのスコアに動的にバイアスを適用し、よりバランスの取れた決定を促す新しいアプローチです^{[\[11\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-loss-free-balancing-gopubby-11)}。 - **エキスパート選択ルーティング（Expert Choice Routing）:** トークンがエキスパートを選ぶのではなく、各エキスパートがバッチから\`top-k\`個のトークンを選択する代替アプローチです。これにより完全な負荷分散が保証されますが、実装はより複雑になる可能性があります^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-nvidia-moe-1)}。 ### ファインチューニングと量子化 - **ファインチューニング（Fine-tuning）:** 歴史的に、MoEモデルはパラメータ数が多いため過学習に陥りやすい傾向がありました。この問題を緩和するために、「エキスパートドロップアウト」などの手法が使用されます^{[\[12\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-switch-transformers-paper-12)}。 - **量子化（Quantization）:** モデルサイズを削減し、推論を高速化するために、重みの数値精度を低下させることです。MoEにとっては、エキスパート間の不均衡のため、これは困難な課題です。**MoEQuant**のような手法は、各エキスパートに対するバランスの取れたキャリブレーションに基づいた解決策を提案しています^{[\[13\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-13)}。 ### システム最適化 MoEの効果的なデプロイには、以下を含む統合的なシステムアプローチが必要です： - **並列処理戦略:** **エキスパート並列処理**（異なるGPUへのエキスパートの分散）、モデル並列処理、データ並列処理^{[\[14\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-14)}。 - **専用カーネル（Kernels）:** 例えば、Mixtral用の**Megablocks**は、スパースな操作のための行列乗算を最適化します^{[\[15\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-15)}。 - **ハードウェア協調設計（Hardware Co-design）:** MoEのワークロードに特化して最適化されたハードウェアソリューションの開発。 ## 代表的なMoEモデル

代表的なMoEアーキテクチャの比較
モデル	開発者	総パラメータ数	アクティブパラメータ数	エキスパート数	選択されるエキスパート数 (k)
Switch Transformer C-2048	Google	1.6兆	エキスパートのサイズによる	2048	1
Mixtral 8x7B	Mistral AI	約470億	約130億	8	2
Grok-1	xAI	3140億	860億	8	2
GPT-4（推定）	OpenAI	1兆超	-	16（推定）	2（推定）
Qwen 2 MoE	Alibaba	570億～900億	140億	64	4 または 8
DeepSeekMoE 16B	DeepSeek-AI	164億	約28億	64（2アクティブ）	2（6から）^[16]

代表的なMoEアーキテクチャの比較 ## 様々な分野での応用 MoEはLLMの文脈で最もよく知られていますが、その応用は自然言語処理に限定されません： - 時系列予測: Time-MoEモデルは、予測モデルの事前学習のためのスケーラブルなアーキテクチャを提供します^{[\[17\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-17)}。 - 脆弱性検出: MoEVDはMoEを使用して、脆弱性検出タスクをCWEタイプごとの分類に分解します。各エキスパートはそれぞれのタイプに特化しています^{[\[18\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-18)}。 - ブロックチェーン技術との統合: MoEは、スマートコントラクトの最適化や不正検出に応用されています。ここでは、エキスパートが様々な取引パターンを分析します^{[\[19\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-19)}。 - マルチモーダルモデル: MoEは、異なるモダリティ（テキスト、画像、音声）に特化したエキスパートを組み合わせ、より汎用的なシステムを構築するために使用されます^{[\[20\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_note-arxiv-llama-moe-20)}。 ## 脚注 1. ↑ ^{[1.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-0)} ^{[1.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-1)} ^{[1.2](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-2)} ^{[1.3](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-3)} ^{[1.4](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-4)} ^{[1.5](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-nvidia-moe_1-5)} “Applying Mixture of Experts in LLM Architectures”. *NVIDIA Technical Blog*. [1] 2. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-arxiv-bigdata-moe_2-0) “Mixture of Experts (MoE): A Big Data Perspective”. *arXiv*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-llmstudio-moe_3-0)} ^{[3.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-llmstudio-moe_3-1)} «Mixture-of-Experts (MoE): что это такое и как работает». *LLM Studio*. [3] 4. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-friendli-serving-moe_4-0) “Serving Mixtral MoE Model”. *Friendli.ai Blog*. [4] 5. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-zilliz-moe_5-0) “What is Mixture of Experts (MoE)? How it Works and Use Cases”. *Zilliz Learn*. [5] 6. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-moe-vs-dense-llms_6-0) “Mixture of Experts (MoE) vs Dense LLMs”. *Maximilian Schwarzmüller's Blog*. [6] 7. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-ve3-understanding-moe_7-0) “Understanding Mixture of Experts in Deep Learning”. *VE3*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-huggingface-moe_8-0)} ^{[8.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-huggingface-moe_8-1)} “Mixture of Experts Explained”. *Hugging Face Blog*. [8] 9. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-9) “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”. *arXiv*. [9] 10. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-loss-free-balancing_10-0) “Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts”. *OpenReview*. [10] 11. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-loss-free-balancing-gopubby_11-0) “DeepSeek-V3 Explained: 3. Auxiliary-Loss-Free Load-Balancing”. *gopubby.com*. [11] 12. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-switch-transformers-paper_12-0) “Switch Transformers: Scaling to Trillion Parameter Models with...”. *cse.ust.hk*. [12] 13. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-13) “MoEQuant: Enhancing Quantization for Mixture-of-Experts...”. *arXiv*. [13] 14. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-14) “A Survey of Mixture of Experts Models: Architectures and Applications in Business and Finance”. *Preprints.org*. [14] 15. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-15) “Mixtral of Experts”. *arXiv*. [15] 16. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-16) “A Survey on Inference Optimization Techniques for Mixture of Experts Models”. *arXiv*. [16] 17. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-17) “Time-MoE: A Scalable and Unified Framework for Pre-training Time Series Foundation Models”. *arXiv*. [17] 18. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-18) “MoEVD: A Mixture of Experts-based Framework for Vulnerability Detection”. *Semantic Scholar*. [18] 19. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-19) “What a Decentralized Mixture-of-Experts (MoE) Is and How It Works”. *Gate.io Learn*. [19] 20. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_%E2%80%94_%E5%B0%82%E9%96%80%E5%AE%B6%E6%B7%B7%E5%90%88%E3%83%A2%E3%83%87%E3%83%AB#cite_ref-arxiv-llama-moe_20-0) “LLaMA-MoE: Building Mixture-of-Experts from Open-source LLMs”. *arXiv*. [20]