DBRX (language model) (TH)

DBRX — คือโมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดที่พัฒนาโดยทีมวิจัย Mosaic AI ภายในบริษัท Databricks โมเดลนี้เปิดตัวอย่างเป็นทางการเมื่อวันที่ 27 มีนาคม ค.ศ. 2024 และได้รับการวางตำแหน่งเป็นโซลูชันประสิทธิภาพสูงสำหรับการใช้งานระดับองค์กร

DBRX สร้างขึ้นบนสถาปัตยกรรม Mixture of Experts (MoE) แบบละเอียดยิ่ง (fine-grained) และผสมผสานประสิทธิภาพสูงเข้ากับความคุ้มค่าในการเทรนและ inference เมื่อครั้งที่เปิดตัว DBRX แสดงผลลัพธ์ดีที่สุดในบรรดาโมเดลแบบเปิดทั้งหมดบน benchmark หลักสำคัญ โดยแซงหน้าโมเดลอย่าง LLaMA 2, Mixtral และ Grok-1 และมีความสามารถแข่งขันกับโมเดลแบบปิดระดับ GPT-3.5 Turbo

ประวัติการพัฒนา

การปรากฏตัวของ DBRX เป็นส่วนหนึ่งของกลยุทธ์ของ Databricks ในการพัฒนาโมเดล generative แบบเปิด ในเดือนมิถุนายน ค.ศ. 2023 Databricks ได้เข้าซื้อกิจการสตาร์ทอัพ MosaicML ที่เชี่ยวชาญด้านการเทรนโมเดลขนาดใหญ่ และได้ก่อตั้งหน่วยงาน Mosaic AI บนพื้นฐานดังกล่าว

ทีม Mosaic AI ที่นำโดยสถาปนิกระบบประสาทเทียมชั้นนำ Jonathan Frankle ได้เริ่มพัฒนา LLM ขนาดใหญ่ตัวใหม่ โดยมีเป้าหมายเพื่อให้ได้คุณภาพที่เทียบเคียงกับระบบที่เป็นกรรมสิทธิ์ที่ดีที่สุด แต่ในรูปแบบแบบเปิด โครงการนี้ได้รับชื่อว่า DBRX การพัฒนาและการ pre-train โมเดลใช้เวลาประมาณ 2.5 เดือน และมีค่าใช้จ่ายโดยประมาณอยู่ที่ 10 ล้านดอลลาร์สหรัฐ

สถาปัตยกรรม

DBRX เป็นโมเดล transformer แบบ decoder-only และใช้สถาปัตยกรรม Mixture of Experts (MoE) แบบละเอียดยิ่ง (fine-grained)

คุณลักษณะสำคัญของสถาปัตยกรรม:

• จำนวนพารามิเตอร์ทั้งหมด: 132 พันล้านพารามิเตอร์
• ผู้เชี่ยวชาญ (Experts): โมเดลประกอบด้วยโมเดลย่อยขนาดเล็กเฉพาะทาง («ผู้เชี่ยวชาญ») จำนวน 16 ตัว
• กลไกการเปิดใช้งาน: สำหรับแต่ละ token ที่รับเข้ามา จะมีเพียง 4 ใน 16 ผู้เชี่ยวชาญที่ถูกเปิดใช้งาน ซึ่งหมายความว่าในระหว่าง inference จะมีเพียง 36 พันล้าน พารามิเตอร์ที่ทำงาน ทำให้มีความเร็วและประสิทธิภาพสูง โครงสร้างนี้ให้ความเป็นไปได้ของการผสมผสานผู้เชี่ยวชาญมากกว่า 65 เท่าเมื่อเทียบกับโมเดล Mixtral (8 ผู้เชี่ยวชาญที่เปิดใช้งาน 2 ตัว)
• องค์ประกอบ: ใช้โซลูชันสถาปัตยกรรมสมัยใหม่ เช่น rotary position embedding (RoPE), gated linear units (GLU) และ grouped query attention (GQA)
• ความยาว context: 32,768 token

สถาปัตยกรรมเช่นนี้ช่วยให้โมเดลผสมผสานข้อดีของจำนวนพารามิเตอร์มหาศาล (สำหรับการจัดเก็บความรู้) เข้ากับประสิทธิภาพของโมเดลขนาดเล็ก (สำหรับความเร็วในการ inference)

การเทรน

การ pre-train ของ DBRX ดำเนินการบน dataset ที่ผ่านการคัดกรองอย่างพิถีพิถันจำนวน 12 ล้านล้าน token ซึ่งประกอบด้วยข้อความและโค้ด ความสะอาดของข้อมูลเป็นสิ่งสำคัญอันดับต้น: นักพัฒนาใช้แพลตฟอร์มคลาวด์ Databricks (Apache Spark, Databricks Notebooks, Unity Catalog) สำหรับการทำความสะอาด เตรียมข้อมูล และตรวจสอบข้อมูล

ในการเทรนมีการใช้วิธี curriculum learning ซึ่งสัดส่วนของประเภทข้อมูลจะเปลี่ยนแปลงในแต่ละขั้นตอน ตัวอย่างเช่น ช่วงสุดท้ายของการเทรนเน้นการค่อยๆ เพิ่มงานที่ซับซ้อน ซึ่งตามคำกล่าวของนักพัฒนาส่งผลให้คุณภาพดีขึ้นอย่างชัดเจน การเทรนดำเนินการบนคลัสเตอร์ที่ประกอบด้วย Nvidia H100 GPU จำนวน 3,072 ตัว

หลังจาก pre-training แล้ว โมเดลพื้นฐานผ่านการ fine-tuning เพิ่มเติม (instruction tuning) เพื่อสร้างเวอร์ชันโต้ตอบ DBRX Instruct ที่ปรับให้เหมาะสมสำหรับการปฏิบัติตามคำสั่งของผู้ใช้

ประสิทธิภาพ

เมื่อครั้งที่เปิดตัว DBRX ได้สร้างมาตรฐานใหม่สำหรับ LLM แบบเปิดในช่วงกว้างของ benchmark

การเปรียบเทียบกับโมเดลแบบเปิด

ผลลัพธ์ของ DBRX Instruct บน benchmark หลัก

Benchmark	งาน	DBRX Instruct	อันดับถัดไป (Mixtral/Grok-1)
Hugging Face Open LLM Leaderboard (AVG)	ความรู้ทั่วไป	74.5%	72.7% (Mixtral Instruct)
HumanEval	การเขียนโปรแกรม	70.1%	63.2% (Grok-1)
GSM8K	การใช้เหตุผลทางคณิตศาสตร์	66.9%	62.9% (Grok-1)
MMLU	ความรู้ทั่วไป	73.7%	71.5% (Mixtral Instruct)

DBRX ครองอันดับหนึ่งทั้งในการจัดอันดับโดยรวม Hugging Face Open LLM Leaderboard และในการทดสอบแบบครอบคลุม Databricks LLM Gauntlet โดยแสดงให้เห็นถึงความได้เปรียบอย่างมีนัยสำคัญเหนือรุ่นก่อนหน้า

การเปรียบเทียบกับโมเดลแบบปิด

DBRX Instruct เหนือกว่า GPT-3.5 Turbo ในตัวชี้วัดหลักหลายรายการ รวมถึง MMLU (73.7% เทียบกับ 70.0%) และ HumanEval (70.1% เทียบกับ 48.1%) ในด้านคุณภาพคำตอบบน benchmark บางรายการ (เช่น MTBench) โมเดลนี้ใกล้เคียงกับระดับของ Gemini 1.0 Pro และเวอร์ชันแรกๆ ของ GPT-4

ประสิทธิภาพในการเทรนและ inference

• ประสิทธิภาพการเทรน: การใช้สถาปัตยกรรม MoE ช่วยลดต้นทุน FLOPS ลง 2-4 เท่าเมื่อเทียบกับโมเดลแบบหนาแน่น (dense) ที่มีคุณภาพเทียบเคียงกัน
• ประสิทธิภาพ inference: ด้วยการเปิดใช้งานพารามิเตอร์เพียง 36 พันล้านตัว DBRX จึงให้ throughput (ความเร็วในการ inference) มากกว่า 2-3 เท่า เมื่อเทียบกับโมเดลแบบหนาแน่นที่มีขนาดเทียบเท่า (เช่น LLaMA2-70B)

การอนุญาตสิทธิ์และความพร้อมใช้งาน

DBRX เผยแพร่ภายใต้สัญญาอนุญาต Databricks Open Model License ที่ได้รับการออกแบบมาโดยเฉพาะ สัญญาอนุญาตนี้อนุญาตให้ใช้และแก้ไขได้อย่างอิสระ รวมถึงการใช้งานเชิงพาณิชย์ แต่มีข้อจำกัดบางประการ โดยเฉพาะอย่างยิ่ง เช่นเดียวกับสัญญาอนุญาต LLaMA 2 สัญญานี้กำหนดให้ต้องได้รับอนุญาตแยกต่างหากจาก Databricks หากบริการที่สร้างบน DBRX จะมีผู้ใช้งานที่ใช้งานจริงมากกว่า 700 ล้าน คนต่อเดือน

น้ำหนักโมเดลที่ผ่านการ pre-train แล้ว (ทั้งเวอร์ชันพื้นฐานและ Instruct) พร้อมสำหรับการดาวน์โหลดผ่าน repository บน Hugging Face

เอกสารอ้างอิง

• Mosaic Research Team. (2024). Introducing DBRX: A New State‑of‑the‑Art Open LLM. Databricks Blog.
• Databricks. (2024). Databricks Open Model License (DBRX). Online specification.
• Fedus, W.; et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Lepikhin, D.; et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668.
• Ainslie, J.; et al. (2023). Grouped‑Query Attention: Efficient Training of Generalized Multi‑Query Transformers. arXiv:2305.13245.
• Su, J.; et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
• Dao, T. (2023). FlashAttention‑2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Cai, W.; et al. (2024). A Survey on Mixture of Experts in Large Language Models. arXiv:2407.06204.
• Chen, Y.; et al. (2024). Scaling Laws for Fine‑Grained Mixture of Experts. arXiv:2402.07871.
• Kundu, A.; et al. (2024). Strategic Data Ordering: Enhancing Large Language Model Training via Curriculum Learning. arXiv:2405.07490.