DBRX (language model) (ID)

DBRX — adalah model bahasa besar (LLM) sumber terbuka yang dikembangkan oleh tim riset Mosaic AI di bawah naungan perusahaan Databricks. Model ini secara resmi dirilis pada 27 Maret 2024 dan diposisikan sebagai solusi berperforma tinggi untuk penggunaan korporat.

DBRX dibangun di atas arsitektur campuran pakar (Mixture of Experts/MoE) berbutir halus dan menggabungkan performa tinggi dengan efisiensi pelatihan serta inferensi. Pada saat peluncurannya, DBRX menunjukkan hasil terbaik di antara semua model sumber terbuka pada benchmark-benchmark utama, melampaui model-model seperti LLaMA 2, Mixtral, dan Grok-1, serta menunjukkan daya saing dengan model tertutup sekelas GPT-3.5 Turbo.

Sejarah Pengembangan

Hadirnya DBRX merupakan kelanjutan dari strategi Databricks dalam mengembangkan model generatif sumber terbuka. Pada Juni 2023, Databricks mengakuisisi startup MosaicML, yang berspesialisasi dalam pelatihan model-model besar, dan atas dasar itulah divisi Mosaic AI dibentuk.

Tim Mosaic AI, yang dipimpin oleh arsitek jaringan saraf terkemuka Jonathan Frankle, mulai mengembangkan LLM besar baru dengan tujuan mencapai kualitas yang setara dengan sistem proprietary terbaik, namun dalam format sumber terbuka. Proyek ini diberi nama DBRX. Pengembangan dan pra-pelatihan model memakan waktu sekitar 2,5 bulan dan diperkirakan menelan biaya sekitar $10 juta.

Arsitektur

DBRX adalah model transformer bertipe decoder-only dan mengimplementasikan arsitektur campuran pakar (MoE) berbutir halus (fine-grained).

Fitur-fitur utama arsitektur:

• Jumlah total parameter: 132 miliar.
• Pakar: Model terdiri dari 16 sub-model kecil yang terspesialisasi ("pakar").
• Mekanisme aktivasi: Untuk setiap token masukan, hanya 4 dari 16 pakar yang diaktifkan. Artinya, saat inferensi hanya 36 miliar parameter yang aktif, sehingga menghasilkan kecepatan dan efisiensi yang tinggi. Skema ini memberikan 65 kali lebih banyak kemungkinan kombinasi pakar dibandingkan model Mixtral (8 pakar dengan aktivasi 2).
• Komponen: Digunakan solusi arsitektur modern seperti rotary positional embedding (RoPE), gated linear units (GLU), dan grouped query attention (GQA).
• Panjang konteks: 32.768 token.

Arsitektur semacam ini memungkinkan model menggabungkan keunggulan jumlah parameter yang sangat besar (untuk penyimpanan pengetahuan) dengan efisiensi model yang lebih kecil (untuk kecepatan inferensi).

Pelatihan

Pra-pelatihan DBRX dilakukan pada dataset yang dikurasi secara cermat dengan volume 12 triliun token, yang terdiri dari teks dan kode. Kualitas data menjadi prioritas utama: para pengembang menggunakan platform cloud Databricks (Apache Spark, Databricks Notebooks, Unity Catalog) untuk pembersihan, persiapan, dan audit data.

Dalam pelatihan diterapkan metode curriculum learning, di mana proporsi jenis data berubah pada tahapan yang berbeda. Misalnya, bagian akhir pelatihan didedikasikan untuk pengenalan bertahap tugas-tugas kompleks, yang menurut para pengembang memberikan peningkatan kualitas yang signifikan. Pelatihan dilakukan pada kluster yang terdiri dari 3.072 GPU Nvidia H100.

Setelah pra-pelatihan, model dasar menjalani fine-tuning tambahan (instruction tuning) untuk membuat versi interaktif DBRX Instruct, yang dioptimalkan untuk mengikuti instruksi pengguna.

Performa

Pada saat peluncurannya, DBRX menetapkan standar kualitas baru untuk LLM sumber terbuka pada beragam benchmark.

Perbandingan dengan Model Sumber Terbuka

Hasil DBRX Instruct pada benchmark-benchmark utama

Benchmark	Tugas	DBRX Instruct	Terbaik berikutnya (Mixtral/Grok-1)
Hugging Face Open LLM Leaderboard (AVG)	Pengetahuan umum	74,5%	72,7% (Mixtral Instruct)
HumanEval	Pemrograman	70,1%	63,2% (Grok-1)
GSM8K	Penalaran matematika	66,9%	62,9% (Grok-1)
MMLU	Pengetahuan umum	73,7%	71,5% (Mixtral Instruct)

DBRX menempati peringkat pertama baik dalam peringkat umum Hugging Face Open LLM Leaderboard maupun dalam pengujian komprehensif Databricks LLM Gauntlet, menunjukkan keunggulan signifikan dibandingkan para pendahulunya.

Perbandingan dengan Model Tertutup

DBRX Instruct melampaui GPT-3.5 Turbo pada sejumlah indikator utama, termasuk MMLU (73,7% berbanding 70,0%) dan HumanEval (70,1% berbanding 48,1%). Dari segi kualitas jawaban pada beberapa benchmark (misalnya MTBench), model ini mendekati level Gemini 1.0 Pro dan versi awal GPT-4.

Efisiensi Pelatihan dan Inferensi

• Efisiensi pelatihan: Penggunaan arsitektur MoE memungkinkan pengurangan biaya komputasi dalam FLOPS sebesar 2–4 kali lipat dibandingkan model padat dengan kualitas setara.
• Efisiensi inferensi: Berkat aktivasi hanya 36 miliar parameter, DBRX memberikan throughput (kecepatan inferensi) 2–3 kali lebih besar dibandingkan model padat berukuran setara (misalnya, LLaMA2-70B).

Lisensi dan Ketersediaan

DBRX didistribusikan di bawah lisensi yang dirancang khusus bernama Databricks Open Model License. Lisensi ini mengizinkan penggunaan dan modifikasi secara bebas, termasuk untuk keperluan komersial, namun mengandung sejumlah pembatasan. Khususnya, seperti halnya lisensi LLaMA 2, lisensi ini mengharuskan perolehan izin terpisah dari Databricks apabila layanan berbasis DBRX digunakan oleh lebih dari 700 juta pengguna aktif per bulan.

Bobot model yang telah dilatih sebelumnya (versi dasar dan Instruct) tersedia untuk diunduh melalui repositori di Hugging Face.

Daftar Pustaka

• Mosaic Research Team. (2024). Introducing DBRX: A New State‑of‑the‑Art Open LLM. Databricks Blog.
• Databricks. (2024). Databricks Open Model License (DBRX). Online specification.
• Fedus, W.; et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Lepikhin, D.; et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668.
• Ainslie, J.; et al. (2023). Grouped‑Query Attention: Efficient Training of Generalized Multi‑Query Transformers. arXiv:2305.13245.
• Su, J.; et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
• Dao, T. (2023). FlashAttention‑2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Cai, W.; et al. (2024). A Survey on Mixture of Experts in Large Language Models. arXiv:2407.06204.
• Chen, Y.; et al. (2024). Scaling Laws for Fine‑Grained Mixture of Experts. arXiv:2402.07871.
• Kundu, A.; et al. (2024). Strategic Data Ordering: Enhancing Large Language Model Training via Curriculum Learning. arXiv:2405.07490.