--- title: "Mixture-of-Experts (MoE) (BG)" source: "https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)" wiki: "systems-analysis.info/int" article: "Mixture-of-Experts_(MoE)_(BG)" language: "bg" categories: - "Category:Bulgarian" - "Category:Large language models" - "Category:Machine learning" revision_id: 4446 wiki_created_at: 2026-09-06T23:35:16Z wiki_modified_at: 2026-09-06T23:35:16Z downloaded_at: 2026-09-07T23:02:41Z --- # Mixture-of-Experts (MoE) (BG) **Mixture-of-Experts (MoE)** (от англ. — „Смес от експерти") — това е архитектура на невронни мрежи, основана на принципа на условните изчисления и парадигмата *„Разделяй и владей"*. Вместо да се използва единен монолитен („плътен") модел, при който всички параметри се задействат за обработка на всеки входен сигнал, MoE-архитектурата декомпозира задачата, делегирайки я на подмножество от специализирани подмрежи, наречени „експерти". Специален компонент, мрежата-маршрутизатор (gating network или рутер), динамично определя кои експерти ще обработват всеки конкретен входен token^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)[\[2\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-arxiv-bigdata-moe-2)}. Този подход позволява да се създават модели с огромен брой параметри (стотици милиарди или дори трилиони), като същевременно вычислителните разходи (FLOPs) на етапа на inference се запазват на нивото на значително по-малки плътни модели^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-llmstudio-moe-3)}. Благодарение на това MoE се превърна в ключова технология за мащабиране на съвременните големи езикови модели (LLM) и се използва в такива напреднали системи като Mixtral 8x7B, Grok-1 и, според широко разпространеното мнение, GPT-4^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)}. ## Ключов принцип: условни изчисления и разреденост Фундаменталният механизъм на MoE е **условните изчисления** (conditional computation). За разлика от плътните модели, при които всички параметри са активни при обработката на всеки token, MoE-моделите активират само малка част от своите параметри в зависимост от входните данни. Този процес води до **разреденост на активациите** (sparsity in activation), което е главното отличие от традиционните архитектури^{[\[4\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-friendli-serving-moe-4)}. Такъв подход позволява: - **Мащабиране на капацитета на модела:** Общият брой параметри (и следователно „знанията" на модела) може да бъде значително увеличен без пропорционален ръст на изчислителното натоварване. - **Повишаване на ефективността:** Моделът извършва по-малко изчисления за всеки token, което води до по-бърз inference и намаляване на разходите за обучение при фиксиран изчислителен бюджет^{[\[5\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-zilliz-moe-5)}. По този начин MoE измества тесното място от изчислителната мощност към **изискванията за памет (VRAM)**, тъй като всички параметри на всички експерти трябва да бъдат заредени в паметта, дори ако в даден момент се използва само малка тяхна част^{[\[6\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-moe-vs-dense-llms-6)}. ## Компоненти на архитектурата MoE ### 1. Експертни подмрежи (Experts) Експертите са, като правило, независими невронни мрежи. В контекста на архитектурата transformer слоевете MoE обикновено заместват плътните напълно свързани блокове (Feed-Forward Networks, FFN), като всеки експерт сам по себе си е FFN^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)}. В процеса на обучение всеки експерт може да развива „компетентност" в определени области — например, един може да се специализира в синтаксис, друг в факти от конкретна предметна област, а трети в определен език или стил^{[\[7\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-ve3-understanding-moe-7)}. ### 2. Управляваща мрежа (Gating Network / Router) Мрежата-маршрутизатор е малък, но критично важен компонент, който извършва интелигентното разпределение на задачите. За всеки входен token маршрутизаторът изчислява оценки (тегла), определяйки кои експерти са най-релевантни за неговата обработка. Решението за маршрутизация е динамично и контекстно-зависимо^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-huggingface-moe-8)}. Най-разпространената стратегия е **маршрутизацията Top-K**, при която за обработка на token се избират **K** експерти с най-високи оценки. Стойността на K обикновено е малка (например 1 или 2), което и осигурява разредеността. ### 3. Обединяване на изходните данни След като избраните K експерти са обработили token, техните индивидуални изходи се обединяват за формиране на окончателния резултат на MoE-слоя. Като правило това се прави чрез претеглено сумиране, при което теглата са нормализираните оценки, генерирани от маршрутизатора^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)}. ## Еволюция на MoE Концепцията за MoE е предложена за първи път през 1991 година в труда на Робърт Джейкъбс, Джефри Хинтън и Майкъл Джордан, озаглавен „Адаптивна смес от локални експерти"^{[\[3\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-llmstudio-moe-3)}. Въпреки това, поради изчислителните ограничения и сложността на обучението, идеята не получи широко разпространение до епохата на дълбокото обучение. Пробивът настъпи с появата на архитектурата Transformer. Изследванията от 2010–2015 г., посветени на условните изчисления (Йошуа Бенжио и др.), поставиха теоретичната основа, а работата на Шазир и др. (2017) демонстрира възможността за мащабиране на MoE до LSTM-модел с 137 милиарда параметра^{[\[8\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-huggingface-moe-8)}. Съвременното възраждане на MoE е свързано с модела **Switch Transformer** от Google (2021), който се мащабира до 1,6 трлн параметра, използвайки проста, но ефективна маршрутизация Top-1^{[\[9\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-9)}. Успехът на отворения модел **Mixtral 8x7B** от Mistral AI през 2023 година окончателно утвърди MoE като една от водещите архитектури за създаване на високопроизводителни LLM^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)}. ## Проблеми и методи за оптимизация ### Балансиране на натоварването Един от ключовите проблеми на MoE е **дисбалансът на натоварването**, при който маршрутизаторът постоянно избира едни и същи „популярни" експерти, докато другите остават недостатъчно използвани. Това води до неефективно обучение и „колапс на експертите". - **Спомагателни функции за загуба (Auxiliary Loss):** Традиционен метод, който добавя „наказание" към основната функция за загуба за неравномерното разпределение на token-ите. Въпреки че това помага с балансирането, подходът може да внася „градиенти на смущения", влошавайки общата производителност^{[\[10\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-loss-free-balancing-10)}. - **Балансиране без загуба (Loss-Free Balancing):** По-нов подход, който динамично прилага отместване (bias) към оценките на маршрутизатора, насочвайки го към по-балансирани решения без намеса в основната задача на обучението^{[\[11\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-loss-free-balancing-gopubby-11)}. - **Маршрутизация по избор на експерт (Expert Choice Routing):** Алтернативен подход, при който не token-ите избират експертите, а всеки експерт избира своите \`top-k\` token-а от пакета. Това гарантира идеално балансиране, но може да бъде по-сложно за реализация^{[\[1\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-nvidia-moe-1)}. ### Тонко настройване и квантизация - **Тонко настройване (Fine-tuning):** Исторически MoE-моделите са склонни към преобучаване поради големия брой параметри. За смекчаване на този проблем се използват методи като „експертен dropout"^{[\[12\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-switch-transformers-paper-12)}. - **Квантизация (Quantization):** Намаляване на числовата точност на теглата за намаляване размера на модела и ускоряване на inference. За MoE това е сложна задача поради междуекспертния дисбаланс. Методи като **MoEQuant** предлагат решения, основани на балансирана калибровка за всеки експерт^{[\[13\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-13)}. ### Системна оптимизация Ефективното разгръщане на MoE изисква цялостен системен подход, включващ: - **Стратегии за паралелизъм:** **Експертен паралелизъм** (разпределение на експертите по различни GPU), модельен паралелизъм и паралелизъм на данните^{[\[14\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-14)}. - **Специализирани ядра (Kernels):** Например **Megablocks** за Mixtral, които оптимизират матричните умножения за разредени операции^{[\[15\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-15)}. - **Съвместно проектиране на хардуера (Hardware Co-design):** Разработване на хардуерни решения, специално оптимизирани за работните натоварвания на MoE. ## Забележителни модели MoE

Сравнение на изтъкнати архитектури MoE
Модел	Разработчик	Общ брой параметри	Активни параметри	Брой експерти	Избирани експерти (k)
Switch Transformer C-2048	Google	1,6 трлн	Зависи от размера на експерта	2048	1
Mixtral 8x7B	Mistral AI	~47 млрд	~13 млрд	8	2
Grok-1	xAI	314 млрд	86 млрд	8	2
GPT-4 (предположително)	OpenAI	>1 трлн	-	16 (предп.)	2 (предп.)
Qwen 2 MoE	Alibaba	57–90 млрд	14 млрд	64	4 или 8
DeepSeekMoE 16B	DeepSeek-AI	16,4 млрд	~2,8 млрд	64 (2 активни)	2 (от 6)^[16]

Сравнение на изтъкнати архитектури MoE ## Приложение в различни области Въпреки че MoE е най-известна в контекста на LLM, нейното приложение не се ограничава само до обработката на естествен език: - Прогнозиране на времеви редове: Моделът Time-MoE представя мащабируема архитектура за предварително обучение на прогнозни модели^{[\[17\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-17)}. - Откриване на уязвимости: MoEVD използва MoE за разлагане на задачата за откриване на уязвимости на класификация по типове CWE, при което всеки експерт се специализира в своя тип^{[\[18\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-18)}. - Интеграция с blockchain-технологии: MoE намира приложение в оптимизацията на смарт контракти и откриването на измами, при което експертите анализират различни шаблони на транзакции^{[\[19\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-19)}. - Мултимодални модели: MoE се използва за обединяване на експерти, специализирани в различни модалности (текст, изображение, аудио), създавайки по-универсални системи^{[\[20\]](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_note-arxiv-llama-moe-20)}. ## Бележки 1. ↑ ^{[1.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-0)} ^{[1.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-1)} ^{[1.2](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-2)} ^{[1.3](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-3)} ^{[1.4](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-4)} ^{[1.5](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-nvidia-moe_1-5)} «Applying Mixture of Experts in LLM Architectures». *NVIDIA Technical Blog*. [1] 2. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-arxiv-bigdata-moe_2-0) «Mixture of Experts (MoE): A Big Data Perspective». *arXiv*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-llmstudio-moe_3-0)} ^{[3.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-llmstudio-moe_3-1)} «Mixture-of-Experts (MoE): что это такое и как работает». *LLM Studio*. [3] 4. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-friendli-serving-moe_4-0) «Serving Mixtral MoE Model». *Friendli.ai Blog*. [4] 5. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-zilliz-moe_5-0) «What is Mixture of Experts (MoE)? How it Works and Use Cases». *Zilliz Learn*. [5] 6. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-moe-vs-dense-llms_6-0) «Mixture of Experts (MoE) vs Dense LLMs». *Maximilian Schwarzmüller's Blog*. [6] 7. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-ve3-understanding-moe_7-0) «Understanding Mixture of Experts in Deep Learning». *VE3*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-huggingface-moe_8-0)} ^{[8.1](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-huggingface-moe_8-1)} «Mixture of Experts Explained». *Hugging Face Blog*. [8] 9. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-9) «Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity». *arXiv*. [9] 10. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-loss-free-balancing_10-0) «Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts». *OpenReview*. [10] 11. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-loss-free-balancing-gopubby_11-0) «DeepSeek-V3 Explained: 3. Auxiliary-Loss-Free Load-Balancing». *gopubby.com*. [11] 12. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-switch-transformers-paper_12-0) «Switch Transformers: Scaling to Trillion Parameter Models with...». *cse.ust.hk*. [12] 13. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-13) «MoEQuant: Enhancing Quantization for Mixture-of-Experts...». *arXiv*. [13] 14. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-14) «A Survey of Mixture of Experts Models: Architectures and Applications in Business and Finance». *Preprints.org*. [14] 15. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-15) «Mixtral of Experts». *arXiv*. [15] 16. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-16) «A Survey on Inference Optimization Techniques for Mixture of Experts Models». *arXiv*. [16] 17. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-17) «Time-MoE: A Scalable and Unified Framework for Pre-training Time Series Foundation Models». *arXiv*. [17] 18. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-18) «MoEVD: A Mixture of Experts-based Framework for Vulnerability Detection». *Semantic Scholar*. [18] 19. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-19) «What a Decentralized Mixture-of-Experts (MoE) Is and How It Works». *Gate.io Learn*. [19] 20. [↑](https://systems-analysis.info/int/Mixture-of-Experts_(MoE)_(BG)#cite_ref-arxiv-llama-moe_20-0) «LLaMA-MoE: Building Mixture-of-Experts from Open-source LLMs». *arXiv*. [20]