Mixture-of-Experts (MoE) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Mixture-of-Experts (MoE) (dari bahasa Inggris — "Campuran Pakar") — adalah arsitektur jaringan neural yang didasarkan pada prinsip komputasi kondisional dan paradigma "Bagi dan Kuasai". Alih-alih menggunakan satu model monolitik ("padat") tunggal, di mana semua parameter digunakan untuk memproses setiap sinyal masukan, arsitektur MoE mendekomposisi tugas dengan mendelegasikannya ke subset subjaringan khusus yang disebut "pakar". Komponen khusus, yaitu jaringan router (gating network atau router), secara dinamis menentukan pakar mana yang akan memproses setiap token masukan tertentu[1][2].

Pendekatan ini memungkinkan pembuatan model dengan jumlah parameter yang sangat besar (ratusan miliar atau bahkan triliunan), sambil tetap menjaga biaya komputasi (FLOPs) pada tahap inferensi setara dengan model padat yang jauh lebih kecil[3]. Berkat hal ini, MoE menjadi teknologi kunci untuk penskalaan Large Language Model (LLM) modern dan digunakan dalam sistem-sistem mutakhir seperti Mixtral 8x7B, Grok-1, dan menurut pendapat yang tersebar luas, GPT-4[1].

Prinsip Utama: Komputasi Kondisional dan Kejarangan

Mekanisme fundamental MoE adalah komputasi kondisional (conditional computation). Berbeda dengan model padat, di mana semua parameter aktif saat memproses token apa pun, model MoE hanya mengaktifkan sebagian kecil parameternya tergantung pada data masukan. Proses ini menghasilkan kejarangan aktivasi (sparsity in activation), yang merupakan perbedaan utama dari arsitektur tradisional[4].

Pendekatan semacam ini memungkinkan:

  • Penskalaan kapasitas model: Jumlah total parameter (dan karenanya "pengetahuan" model) dapat ditingkatkan secara signifikan tanpa pertumbuhan beban komputasi yang proporsional.
  • Peningkatan efisiensi: Model melakukan lebih sedikit komputasi per token, yang mengarah pada inferensi yang lebih cepat dan pengurangan biaya pelatihan dengan anggaran komputasi tetap[5].

Dengan demikian, MoE menggeser hambatan dari daya komputasi ke arah kebutuhan memori (VRAM), karena semua parameter dari semua pakar harus dimuat ke dalam memori, meskipun pada setiap saat hanya sebagian kecil dari mereka yang digunakan[6].

Komponen Arsitektur MoE

1. Subjaringan Pakar (Experts)

Para pakar umumnya merupakan jaringan neural yang independen. Dalam konteks arsitektur transformer, lapisan MoE biasanya menggantikan blok fully connected padat (Feed-Forward Networks, FFN), dan setiap pakar itu sendiri merupakan FFN[1]. Selama pelatihan, setiap pakar dapat mengembangkan "kompetensi" di bidang tertentu — misalnya, satu pakar dapat mengkhususkan diri dalam sintaksis, pakar lain dalam fakta dari domain pengetahuan tertentu, dan pakar ketiga dalam bahasa atau gaya tertentu[7].

2. Jaringan Pengendali (Gating Network / Router)

Jaringan router adalah komponen kecil namun sangat penting yang melakukan distribusi tugas secara cerdas. Untuk setiap token masukan, router menghitung skor (bobot), menentukan pakar mana yang paling relevan untuk memprosesnya. Keputusan routing bersifat dinamis dan bergantung pada konteks[8].

Strategi yang paling umum digunakan adalah routing Top-K, di mana K pakar dengan skor tertinggi dipilih untuk memproses token. Nilai K biasanya kecil (misalnya, 1 atau 2), yang justru memastikan kejarangan.

3. Penggabungan Data Keluaran

Setelah K pakar yang dipilih memproses token, keluaran individual mereka digabungkan untuk membentuk hasil akhir lapisan MoE. Umumnya, hal ini dilakukan melalui penjumlahan berbobot, di mana bobotnya adalah skor yang dinormalisasi yang dihasilkan oleh router[1].

Evolusi MoE

Konsep MoE pertama kali diusulkan pada tahun 1991 dalam karya Robert Jacobs, Geoffrey Hinton, dan Michael Jordan berjudul "Adaptive Mixtures of Local Experts"[3]. Namun, karena keterbatasan komputasi dan kompleksitas pelatihan, gagasan ini tidak mendapat penyebaran luas hingga era deep learning.

Terobosan terjadi dengan hadirnya arsitektur Transformer. Penelitian pada tahun 2010-2015 yang berfokus pada komputasi kondisional (Yoshua Bengio dkk.) meletakkan fondasi teoritis, sementara karya Shazir dkk. (2017) mendemonstrasikan kemungkinan penskalaan MoE hingga model LSTM berparameter 137 miliar[8].

Kebangkitan MoE modern terkait dengan model Switch Transformer dari Google (2021), yang diskalakan hingga 1,6 triliun parameter menggunakan routing Top-1 yang sederhana namun efektif[9]. Keberhasilan model open-source Mixtral 8x7B dari Mistral AI pada tahun 2023 akhirnya mengukuhkan MoE sebagai salah satu arsitektur terdepan untuk membangun LLM berkinerja tinggi[1].

Tantangan dan Metode Optimasi

Penyeimbangan Beban

Salah satu tantangan utama MoE adalah ketidakseimbangan beban, ketika router terus-menerus memilih pakar "populer" yang sama, sementara pakar lain tetap kurang dimanfaatkan. Hal ini menyebabkan pelatihan yang tidak efisien dan "keruntuhan pakar".

  • Fungsi kerugian tambahan (Auxiliary Loss): Metode tradisional yang menambahkan "penalti" atas distribusi token yang tidak merata ke dalam fungsi kerugian utama. Meskipun hal ini membantu penyeimbangan, pendekatan ini dapat memasukkan "gradien gangguan" yang memperburuk kinerja keseluruhan[10].
  • Penyeimbangan tanpa kerugian (Loss-Free Balancing): Pendekatan yang lebih baru, yang secara dinamis menerapkan bias pada skor router, mendorong keputusan yang lebih seimbang tanpa mengganggu tugas pelatihan utama[11].
  • Routing berdasarkan pilihan pakar (Expert Choice Routing): Pendekatan alternatif di mana bukan token yang memilih pakar, melainkan setiap pakar memilih sendiri `top-k` token dari batch. Ini menjamin penyeimbangan yang sempurna, tetapi bisa lebih sulit dalam implementasinya[1].

Fine-tuning dan Kuantisasi

  • Fine-tuning: Secara historis, model MoE cenderung mengalami overfitting karena jumlah parameter yang besar. Untuk mengatasi masalah ini, digunakan metode seperti "expert dropout"[12].
  • Kuantisasi (Quantization): Pengurangan presisi numerik bobot untuk mengurangi ukuran model dan mempercepat inferensi. Untuk MoE, ini adalah tugas yang kompleks karena ketidakseimbangan antar-pakar. Metode seperti MoEQuant menawarkan solusi berdasarkan kalibrasi seimbang untuk setiap pakar[13].

Optimasi Sistem

Penyebaran MoE yang efisien memerlukan pendekatan sistem yang holistik, mencakup:

  • Strategi paralelisme: Paralelisme pakar (distribusi pakar ke GPU yang berbeda), paralelisme model, dan paralelisme data[14].
  • Kernel khusus (Kernels): Misalnya, Megablocks untuk Mixtral, yang mengoptimalkan perkalian matriks untuk operasi jarang[15].
  • Perancangan bersama perangkat keras (Hardware Co-design): Pengembangan solusi perangkat keras yang dioptimalkan secara khusus untuk beban kerja MoE.

Model MoE yang Berpengaruh

Perbandingan arsitektur MoE yang menonjol
Model Pengembang Total jumlah
parameter		 Parameter
aktif		 Jumlah
pakar		 Pakar yang
dipilih (k)
Switch Transformer C-2048 Google 1,6 triliun Bergantung pada ukuran pakar 2048 1
Mixtral 8x7B Mistral AI ~47 miliar ~13 miliar 8 2
Grok-1 xAI 314 miliar 86 miliar 8 2
GPT-4 (dugaan) OpenAI >1 triliun - 16 (dugaan) 2 (dugaan)
Qwen 2 MoE Alibaba 57-90 miliar 14 miliar 64 4 atau 8
DeepSeekMoE 16B DeepSeek-AI 16,4 miliar ~2,8 miliar 64 (2 aktif) 2 (dari 6)[16]

Penerapan di Berbagai Bidang

Meskipun MoE paling dikenal dalam konteks LLM, penerapannya tidak terbatas pada pemrosesan bahasa alami:

  • Peramalan deret waktu: Model Time-MoE menghadirkan arsitektur yang dapat diskalakan untuk pra-pelatihan model peramalan[17].
  • Deteksi kerentanan: MoEVD menggunakan MoE untuk mengurai tugas deteksi kerentanan menjadi klasifikasi berdasarkan tipe CWE, di mana setiap pakar mengkhususkan diri pada tipenya masing-masing[18].
  • Integrasi dengan teknologi blockchain: MoE menemukan penerapan dalam optimasi smart contract dan deteksi penipuan, di mana para pakar menganalisis berbagai pola transaksi[19].
  • Model multimodal: MoE digunakan untuk menggabungkan pakar yang mengkhususkan diri pada modalitas berbeda (teks, gambar, audio), menciptakan sistem yang lebih serbaguna[20].

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 «Applying Mixture of Experts in LLM Architectures». NVIDIA Technical Blog. [1]
  2. ↑ «Mixture of Experts (MoE): A Big Data Perspective». arXiv. [2]
  3. ↑ 3.0 3.1 «Mixture-of-Experts (MoE): что это такое и как работает». LLM Studio. [3]
  4. ↑ «Serving Mixtral MoE Model». Friendli.ai Blog. [4]
  5. ↑ «What is Mixture of Experts (MoE)? How it Works and Use Cases». Zilliz Learn. [5]
  6. ↑ «Mixture of Experts (MoE) vs Dense LLMs». Maximilian Schwarzmüller's Blog. [6]
  7. ↑ «Understanding Mixture of Experts in Deep Learning». VE3. [7]
  8. ↑ 8.0 8.1 «Mixture of Experts Explained». Hugging Face Blog. [8]
  9. ↑ «Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity». arXiv. [9]
  10. ↑ «Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts». OpenReview. [10]
  11. ↑ «DeepSeek-V3 Explained: 3. Auxiliary-Loss-Free Load-Balancing». gopubby.com. [11]
  12. ↑ «Switch Transformers: Scaling to Trillion Parameter Models with...». cse.ust.hk. [12]
  13. ↑ «MoEQuant: Enhancing Quantization for Mixture-of-Experts...». arXiv. [13]
  14. ↑ «A Survey of Mixture of Experts Models: Architectures and Applications in Business and Finance». Preprints.org. [14]
  15. ↑ «Mixtral of Experts». arXiv. [15]
  16. ↑ «A Survey on Inference Optimization Techniques for Mixture of Experts Models». arXiv. [16]
  17. ↑ «Time-MoE: A Scalable and Unified Framework for Pre-training Time Series Foundation Models». arXiv. [17]
  18. ↑ «MoEVD: A Mixture of Experts-based Framework for Vulnerability Detection». Semantic Scholar. [18]
  19. ↑ «What a Decentralized Mixture-of-Experts (MoE) Is and How It Works». Gate.io Learn. [19]
  20. ↑ «LLaMA-MoE: Building Mixture-of-Experts from Open-source LLMs». arXiv. [20]
Retrieved from "https://systems-analysis.info/int/index.php?title=Mixture-of-Experts_(MoE)_(ID)&oldid=4457"