---
title: "Mixture-of-Experts (MoE) (TH)"
source: "https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)"
wiki: "systems-analysis.info/int"
article: "Mixture-of-Experts_(MoE)_(TH)"
language: "th"
categories:
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Thai"
revision_id: 4465
wiki_created_at: 2026-09-06T23:35:32Z
wiki_modified_at: 2026-09-06T23:35:32Z
downloaded_at: 2026-09-07T23:02:49Z
---

# Mixture-of-Experts (MoE) (TH)

**Mixture-of-Experts (MoE)** (จากภาษาอังกฤษ — «ส่วนผสมของผู้เชี่ยวชาญ») — คือสถาปัตยกรรมของ Neural Network ที่ตั้งอยู่บนหลักการของการคำนวณแบบมีเงื่อนไข และกระบวนทัศน์ *«แบ่งแยกและพิชิต»* แทนที่จะใช้โมเดลเดียวแบบรวมศูนย์ («หนาแน่น») ซึ่งพารามิเตอร์ทั้งหมดถูกใช้งานในการประมวลผลสัญญาณอินพุตทุกรายการ สถาปัตยกรรม MoE จะแบ่งงานออก โดยมอบหมายให้กับชุดย่อยของเครือข่ายย่อยที่เชี่ยวชาญเฉพาะด้าน ซึ่งเรียกว่า «ผู้เชี่ยวชาญ» ส่วนประกอบพิเศษที่เรียกว่า เครือข่ายเราเตอร์ (gating network หรือ router) จะกำหนดแบบไดนามิกว่าผู้เชี่ยวชาญคนใดจะประมวลผล token อินพุตแต่ละรายการ<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)[\[2\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-arxiv-bigdata-moe-2)</sup>

แนวทางนี้ช่วยให้สามารถสร้างโมเดลที่มีพารามิเตอร์จำนวนมหาศาล (หลายร้อยพันล้านหรือแม้แต่หลายล้านล้านตัว) ในขณะที่ยังคงต้นทุนการคำนวณ (FLOPs) ในช่วง inference ให้อยู่ในระดับใกล้เคียงกับโมเดลหนาแน่นที่เล็กกว่ามาก<sup>[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-llmstudio-moe-3)</sup> ด้วยเหตุนี้ MoE จึงกลายเป็นเทคโนโลยีสำคัญสำหรับการขยายขนาด LLM สมัยใหม่ และถูกนำไปใช้ในระบบขั้นสูง เช่น Mixtral 8x7B, Grok-1 และตามความเชื่อที่แพร่หลาย GPT-4<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)</sup>

## หลักการสำคัญ: การคำนวณแบบมีเงื่อนไขและความเบาบาง

กลไกพื้นฐานของ MoE คือ **การคำนวณแบบมีเงื่อนไข** (conditional computation) ต่างจากโมเดลหนาแน่นที่พารามิเตอร์ทั้งหมดทำงานอยู่ขณะประมวลผล token ใดก็ตาม โมเดล MoE จะเปิดใช้งานเพียงส่วนน้อยของพารามิเตอร์โดยขึ้นอยู่กับข้อมูลอินพุต กระบวนการนี้นำไปสู่ **ความเบาบางของการเปิดใช้งาน** (sparsity in activation) ซึ่งเป็นความแตกต่างหลักจากสถาปัตยกรรมแบบดั้งเดิม<sup>[\[4\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-friendli-serving-moe-4)</sup>

แนวทางดังกล่าวช่วยให้สามารถ:

- **ขยายความจุของโมเดล:** จำนวนพารามิเตอร์ทั้งหมด (และด้วยเหตุนี้ «ความรู้» ของโมเดล) สามารถเพิ่มขึ้นอย่างมีนัยสำคัญโดยไม่มีการเติบโตของภาระการคำนวณในสัดส่วนเดียวกัน
- **เพิ่มประสิทธิภาพ:** โมเดลทำการคำนวณน้อยลงต่อ token หนึ่งตัว ส่งผลให้ inference เร็วขึ้นและลดต้นทุนการฝึกภายใต้งบประมาณการคำนวณที่กำหนด<sup>[\[5\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-zilliz-moe-5)</sup>

ดังนั้น MoE จึงเปลี่ยนจุดคอขวดจากกำลังการคำนวณไปสู่ **ความต้องการหน่วยความจำ (VRAM)** เนื่องจากพารามิเตอร์ทั้งหมดของผู้เชี่ยวชาญทุกคนจะต้องถูกโหลดเข้าหน่วยความจำ แม้ว่าในแต่ละช่วงเวลาจะใช้งานเพียงส่วนน้อยของพวกเขา<sup>[\[6\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-moe-vs-dense-llms-6)</sup>

## องค์ประกอบของสถาปัตยกรรม MoE

### 1. เครือข่ายย่อยผู้เชี่ยวชาญ (Experts)

ผู้เชี่ยวชาญโดยทั่วไปคือ Neural Network อิสระ ในบริบทของสถาปัตยกรรม transformer ชั้น MoE มักจะแทนที่บล็อกเชื่อมโยงแบบหนาแน่นเต็มรูปแบบ (Feed-Forward Networks, FFN) และผู้เชี่ยวชาญแต่ละคนเป็น FFN ในตัวเอง<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)</sup> ในระหว่างการฝึก ผู้เชี่ยวชาญแต่ละคนสามารถพัฒนา «ความเชี่ยวชาญ» ในด้านเฉพาะ เช่น คนหนึ่งอาจเชี่ยวชาญด้านไวยากรณ์ อีกคนด้านข้อเท็จจริงจากสาขาความรู้เฉพาะ และอีกคนด้านภาษาหรือสไตล์เฉพาะ<sup>[\[7\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-ve3-understanding-moe-7)</sup>

### 2. เครือข่ายควบคุม (Gating Network / Router)

เครือข่ายเราเตอร์เป็นองค์ประกอบขนาดเล็กแต่มีความสำคัญอย่างยิ่งที่ทำหน้าที่กระจายงานอย่างชาญฉลาด สำหรับ token อินพุตแต่ละตัว เราเตอร์จะคำนวณคะแนน (น้ำหนัก) เพื่อกำหนดว่าผู้เชี่ยวชาญคนใดมีความเกี่ยวข้องสูงสุดในการประมวลผล การตัดสินใจการกำหนดเส้นทางเป็นแบบไดนามิกและขึ้นอยู่กับบริบท<sup>[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-huggingface-moe-8)</sup>

กลยุทธ์ที่พบได้บ่อยที่สุดคือ **การกำหนดเส้นทาง Top-K** ซึ่งเลือกผู้เชี่ยวชาญ **K** คนที่มีคะแนนสูงสุดเพื่อประมวลผล token ค่า K มักจะมีขนาดเล็ก (เช่น 1 หรือ 2) ซึ่งเป็นสิ่งที่ทำให้เกิดความเบาบาง

### 3. การรวมข้อมูลเอาต์พุต

หลังจากที่ผู้เชี่ยวชาญ K คนที่เลือกไว้ประมวลผล token แล้ว เอาต์พุตแต่ละรายการของพวกเขาจะถูกรวมเข้าด้วยกันเพื่อสร้างผลลัพธ์สุดท้ายของชั้น MoE โดยทั่วไปทำได้โดยการหาผลรวมแบบถ่วงน้ำหนัก ซึ่งน้ำหนักคือคะแนนที่ผ่านการทำให้เป็นปกติที่เราเตอร์สร้างขึ้น<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)</sup>

## วิวัฒนาการของ MoE

แนวคิด MoE ถูกเสนอขึ้นครั้งแรกในปี 1991 ในผลงานของ Robert Jacobs, Geoffrey Hinton และ Michael Jordan ภายใต้ชื่อ «Adaptive Mixtures of Local Experts»<sup>[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-llmstudio-moe-3)</sup> อย่างไรก็ตาม เนื่องจากข้อจำกัดด้านการคำนวณและความซับซ้อนในการฝึก แนวคิดนี้จึงไม่ได้รับการยอมรับอย่างแพร่หลายจนกระทั่งยุคของ deep learning

จุดเปลี่ยนเกิดขึ้นพร้อมกับการเกิดขึ้นของสถาปัตยกรรม transformer การวิจัยในช่วงปี 2010-2015 ที่เกี่ยวกับการคำนวณแบบมีเงื่อนไข (Yoshua Bengio และคณะ) ได้วางรากฐานทางทฤษฎี และผลงานของ Shazir และคณะ (2017) แสดงให้เห็นถึงความเป็นไปได้ในการขยายขนาด MoE ไปสู่โมเดล LSTM ที่มีพารามิเตอร์ 137 พันล้านตัว<sup>[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-huggingface-moe-8)</sup>

การฟื้นคืนชีพของ MoE ในยุคสมัยใหม่เชื่อมโยงกับโมเดล **Switch Transformer** จาก Google (2021) ซึ่งขยายขนาดไปถึง 1.6 ล้านล้านพารามิเตอร์ โดยใช้การกำหนดเส้นทาง Top-1 ที่เรียบง่ายแต่มีประสิทธิภาพ<sup>[\[9\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-9)</sup> ความสำเร็จของโมเดลโอเพนซอร์ส **Mixtral 8x7B** จาก Mistral AI ในปี 2023 ได้สถาปนา MoE ให้กลายเป็นหนึ่งในสถาปัตยกรรมชั้นนำสำหรับการสร้าง LLM ประสิทธิภาพสูง<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)</sup>

## ปัญหาและวิธีการเพิ่มประสิทธิภาพ

### การจัดสมดุลโหลด

ปัญหาสำคัญประการหนึ่งของ MoE คือ **ความไม่สมดุลของโหลด** เมื่อเราเตอร์เลือกผู้เชี่ยวชาญ «ยอดนิยม» กลุ่มเดิมซ้ำๆ ในขณะที่ผู้เชี่ยวชาญคนอื่นๆ ถูกใช้งานน้อยเกินไป ส่งผลให้การฝึกไม่มีประสิทธิภาพและเกิด «การล่มสลายของผู้เชี่ยวชาญ»

- **ฟังก์ชันสูญเสียเสริม (Auxiliary Loss):** วิธีดั้งเดิมที่เพิ่ม «บทลงโทษ» สำหรับการกระจาย token ที่ไม่สม่ำเสมอลงในฟังก์ชันสูญเสียหลัก แม้ว่าจะช่วยในเรื่องการสมดุล แต่แนวทางนี้อาจนำเข้า «gradient รบกวน» ซึ่งลดประสิทธิภาพโดยรวม<sup>[\[10\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-loss-free-balancing-10)</sup>
- **การสมดุลแบบไม่มีการสูญเสีย (Loss-Free Balancing):** แนวทางใหม่กว่าที่ใช้การเบี่ยงเบน (bias) กับคะแนนของเราเตอร์แบบไดนามิก เพื่อผลักดันให้เกิดการตัดสินใจที่สมดุลมากขึ้นโดยไม่รบกวนงานการฝึกหลัก<sup>[\[11\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-loss-free-balancing-gopubby-11)</sup>
- **การกำหนดเส้นทางตามการเลือกของผู้เชี่ยวชาญ (Expert Choice Routing):** แนวทางทางเลือกที่แทนที่จะให้ token เลือกผู้เชี่ยวชาญ แต่ผู้เชี่ยวชาญแต่ละคนจะเลือก \`top-k\` token จากชุดข้อมูลให้ตัวเอง วิธีนี้รับประกันการสมดุลที่สมบูรณ์แบบ แต่อาจซับซ้อนกว่าในการดำเนินการ<sup>[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-nvidia-moe-1)</sup>

### Fine-tuning และ Quantization

- **Fine-tuning:** ในอดีต โมเดล MoE มีแนวโน้มที่จะเกิด overfitting เนื่องจากมีพารามิเตอร์จำนวนมาก เพื่อบรรเทาปัญหานี้จึงใช้วิธีการต่างๆ เช่น «expert dropout»<sup>[\[12\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-switch-transformers-paper-12)</sup>
- **Quantization:** การลดความแม่นยำของตัวเลขในน้ำหนักเพื่อลดขนาดโมเดลและเร่งความเร็ว inference สำหรับ MoE นี่เป็นงานที่ซับซ้อนเนื่องจากความไม่สมดุลระหว่างผู้เชี่ยวชาญ วิธีการต่างๆ เช่น **MoEQuant** นำเสนอแนวทางแก้ไขที่อิงการปรับเทียบแบบสมดุลสำหรับผู้เชี่ยวชาญแต่ละคน<sup>[\[13\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-13)</sup>

### การเพิ่มประสิทธิภาพเชิงระบบ

การใช้งาน MoE อย่างมีประสิทธิภาพต้องใช้แนวทางระบบแบบองค์รวม ซึ่งรวมถึง:

- **กลยุทธ์การประมวลผลแบบขนาน:** **Expert parallelism** (การกระจายผู้เชี่ยวชาญไปยัง GPU ต่างๆ), model parallelism และ data parallelism<sup>[\[14\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-14)</sup>
- **Kernel เฉพาะทาง:** ตัวอย่างเช่น **Megablocks** สำหรับ Mixtral ที่เพิ่มประสิทธิภาพการคูณเมทริกซ์สำหรับการดำเนินการแบบเบาบาง<sup>[\[15\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-15)</sup>
- **การออกแบบฮาร์ดแวร์ร่วม (Hardware Co-design):** การพัฒนาโซลูชันฮาร์ดแวร์ที่ได้รับการเพิ่มประสิทธิภาพโดยเฉพาะสำหรับภาระงาน MoE

## โมเดล MoE ที่สำคัญ

<table class="wikitable" style="width:100%;">
<caption>การเปรียบเทียบสถาปัตยกรรม MoE ที่โดดเด่น</caption>
<colgroup>
<col style="width: 16%" />
<col style="width: 16%" />
<col style="width: 16%" />
<col style="width: 16%" />
<col style="width: 16%" />
<col style="width: 16%" />
</colgroup>
<thead>
<tr class="header">
<th>โมเดล</th>
<th>ผู้พัฒนา</th>
<th>จำนวนพารามิเตอร์<br />
ทั้งหมด</th>
<th>พารามิเตอร์<br />
ที่ใช้งาน</th>
<th>จำนวน<br />
ผู้เชี่ยวชาญ</th>
<th>ผู้เชี่ยวชาญที่<br />
ถูกเลือก (k)</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>Switch Transformer C-2048</td>
<td>Google</td>
<td>1.6 ล้านล้าน</td>
<td>ขึ้นอยู่กับขนาดผู้เชี่ยวชาญ</td>
<td>2048</td>
<td>1</td>
</tr>
<tr class="even">
<td>Mixtral 8x7B</td>
<td>Mistral AI</td>
<td>~47 พันล้าน</td>
<td>~13 พันล้าน</td>
<td>8</td>
<td>2</td>
</tr>
<tr class="odd">
<td>Grok-1</td>
<td>xAI</td>
<td>314 พันล้าน</td>
<td>86 พันล้าน</td>
<td>8</td>
<td>2</td>
</tr>
<tr class="even">
<td>GPT-4 (ตามที่สันนิษฐาน)</td>
<td>OpenAI</td>
<td>&gt;1 ล้านล้าน</td>
<td>-</td>
<td>16 (สันนิษฐาน)</td>
<td>2 (สันนิษฐาน)</td>
</tr>
<tr class="odd">
<td>Qwen 2 MoE</td>
<td>Alibaba</td>
<td>57-90 พันล้าน</td>
<td>14 พันล้าน</td>
<td>64</td>
<td>4 หรือ 8</td>
</tr>
<tr class="even">
<td>DeepSeekMoE 16B</td>
<td>DeepSeek-AI</td>
<td>16.4 พันล้าน</td>
<td>~2.8 พันล้าน</td>
<td>64 (2 ที่ใช้งาน)</td>
<td>2 (จาก 6)<sup><a href="https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-16">[16]</a></sup></td>
</tr>
</tbody>
</table>

การเปรียบเทียบสถาปัตยกรรม MoE ที่โดดเด่น

## การประยุกต์ใช้ในสาขาต่างๆ

แม้ว่า MoE จะเป็นที่รู้จักมากที่สุดในบริบทของ LLM แต่การประยุกต์ใช้ไม่ได้จำกัดเพียงการประมวลผลภาษาธรรมชาติ:

- การพยากรณ์อนุกรมเวลา: โมเดล Time-MoE นำเสนอสถาปัตยกรรมที่ขยายขนาดได้สำหรับการ pre-training โมเดลพยากรณ์<sup>[\[17\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-17)</sup>
- การตรวจจับช่องโหว่: MoEVD ใช้ MoE เพื่อแบ่งงานการตรวจจับช่องโหว่ออกเป็นการจำแนกประเภทตาม CWE โดยผู้เชี่ยวชาญแต่ละคนมีความชำนาญในประเภทของตนเอง<sup>[\[18\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-18)</sup>
- การผสานรวมกับเทคโนโลยีบล็อกเชน: MoE ถูกนำไปใช้ในการเพิ่มประสิทธิภาพ smart contract และการตรวจจับการฉ้อโกง ซึ่งผู้เชี่ยวชาญจะวิเคราะห์รูปแบบธุรกรรมต่างๆ<sup>[\[19\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-19)</sup>
- โมเดลมัลติโมดัล: MoE ถูกใช้เพื่อรวมผู้เชี่ยวชาญที่มีความชำนาญในโมดัลลิตี้ต่างๆ (ข้อความ, ภาพ, เสียง) สร้างระบบที่มีความหลากหลายมากขึ้น<sup>[\[20\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_note-arxiv-llama-moe-20)</sup>

## หมายเหตุ

1.  <span id="cite_note-nvidia-moe-1">↑ <sup>[1.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-nvidia-moe_1-5)</sup> «Applying Mixture of Experts in LLM Architectures». *NVIDIA Technical Blog*. <a href="https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-arxiv-bigdata-moe-2">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-arxiv-bigdata-moe_2-0) «Mixture of Experts (MoE): A Big Data Perspective». *arXiv*. <a href="https://arxiv.org/html/2501.16352v1" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-llmstudio-moe-3">↑ <sup>[3.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-llmstudio-moe_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-llmstudio-moe_3-1)</sup> «Mixture-of-Experts (MoE): что это такое и как работает». *LLM Studio*. <a href="https://llmstudio.ru/blog/mixture-of-experts-moe" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-friendli-serving-moe-4">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-friendli-serving-moe_4-0) «Serving Mixtral MoE Model». *Friendli.ai Blog*. <a href="https://friendli.ai/blog/serving-mixtral-moe-model" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-zilliz-moe-5">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-zilliz-moe_5-0) «What is Mixture of Experts (MoE)? How it Works and Use Cases». *Zilliz Learn*. <a href="https://zilliz.com/learn/what-is-mixture-of-experts" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-moe-vs-dense-llms-6">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-moe-vs-dense-llms_6-0) «Mixture of Experts (MoE) vs Dense LLMs». *Maximilian Schwarzmüller's Blog*. <a href="https://maximilian-schwarzmueller.com/articles/understanding-mixture-of-experts-moe-llms/" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-ve3-understanding-moe-7">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-ve3-understanding-moe_7-0) «Understanding Mixture of Experts in Deep Learning». *VE3*. <a href="https://www.ve3.global/understanding-mixture-of-experts-in-deep-learning/" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-huggingface-moe-8">↑ <sup>[8.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-huggingface-moe_8-0)</sup> <sup>[8.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-huggingface-moe_8-1)</sup> «Mixture of Experts Explained». *Hugging Face Blog*. <a href="https://huggingface.co/blog/moe" class="external autonumber" rel="nofollow">[8]</a></span>
9.  <span id="cite_note-9">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-9) «Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity». *arXiv*. <a href="https://arxiv.org/abs/2101.03961" class="external autonumber" rel="nofollow">[9]</a></span>
10. <span id="cite_note-loss-free-balancing-10">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-loss-free-balancing_10-0) «Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts». *OpenReview*. <a href="https://openreview.net/forum?id=y1iU5czYpE" class="external autonumber" rel="nofollow">[10]</a></span>
11. <span id="cite_note-loss-free-balancing-gopubby-11">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-loss-free-balancing-gopubby_11-0) «DeepSeek-V3 Explained: 3. Auxiliary-Loss-Free Load-Balancing». *gopubby.com*. <a href="https://ai.gopubby.com/deepseek-v3-explained-3-auxiliary-loss-free-load-balancing-4beeb734ab1f" class="external autonumber" rel="nofollow">[11]</a></span>
12. <span id="cite_note-switch-transformers-paper-12">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-switch-transformers-paper_12-0) «Switch Transformers: Scaling to Trillion Parameter Models with...». *cse.ust.hk*. <a href="https://home.cse.ust.hk/~cktang/csit6000s/Password_Only/lec16-csit.pdf" class="external autonumber" rel="nofollow">[12]</a></span>
13. <span id="cite_note-13">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-13) «MoEQuant: Enhancing Quantization for Mixture-of-Experts...». *arXiv*. <a href="https://arxiv.org/abs/2505.03804" class="external autonumber" rel="nofollow">[13]</a></span>
14. <span id="cite_note-14">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-14) «A Survey of Mixture of Experts Models: Architectures and Applications in Business and Finance». *Preprints.org*. <a href="https://www.preprints.org/manuscript/202505.1603/v1" class="external autonumber" rel="nofollow">[14]</a></span>
15. <span id="cite_note-15">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-15) «Mixtral of Experts». *arXiv*. <a href="https://arxiv.org/abs/2401.04088" class="external autonumber" rel="nofollow">[15]</a></span>
16. <span id="cite_note-16">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-16) «A Survey on Inference Optimization Techniques for Mixture of Experts Models». *arXiv*. <a href="https://arxiv.org/html/2412.14219v2" class="external autonumber" rel="nofollow">[16]</a></span>
17. <span id="cite_note-17">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-17) «Time-MoE: A Scalable and Unified Framework for Pre-training Time Series Foundation Models». *arXiv*. <a href="https://arxiv.org/abs/2409.16040" class="external autonumber" rel="nofollow">[17]</a></span>
18. <span id="cite_note-18">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-18) «MoEVD: A Mixture of Experts-based Framework for Vulnerability Detection». *Semantic Scholar*. <a href="https://www.semanticscholar.org/paper/3ad556dece0c1dd075004c4b45beeb7142a045c2" class="external autonumber" rel="nofollow">[18]</a></span>
19. <span id="cite_note-19">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-19) «What a Decentralized Mixture-of-Experts (MoE) Is and How It Works». *Gate.io Learn*. <a href="https://www.gate.com/ru/learn/articles/what-a-decentralized-mixture-of-experts-mo-e-is-and-how-it-works/5073" class="external autonumber" rel="nofollow">[19]</a></span>
20. <span id="cite_note-arxiv-llama-moe-20">[↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(TH)#cite_ref-arxiv-llama-moe_20-0) «LLaMA-MoE: Building Mixture-of-Experts from Open-source LLMs». *arXiv*. <a href="https://arxiv.org/abs/2406.16554" class="external autonumber" rel="nofollow">[20]</a></span>