--- title: "DBRX (language model) (TH)" source: "https://systems-analysis.info/int/DBRX_(language_model)_(TH)" wiki: "systems-analysis.info/int" article: "DBRX_(language_model)_(TH)" language: "th" categories: - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" - "Category:Thai" revision_id: 1405 wiki_created_at: 2026-09-06T22:48:12Z wiki_modified_at: 2026-09-06T22:48:12Z downloaded_at: 2026-09-07T22:45:54Z --- # DBRX (language model) (TH) **DBRX** — คือโมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดที่พัฒนาโดยทีมวิจัย Mosaic AI ภายในบริษัท Databricks โมเดลนี้เปิดตัวอย่างเป็นทางการเมื่อวันที่ 27 มีนาคม ค.ศ. 2024 และได้รับการวางตำแหน่งเป็นโซลูชันประสิทธิภาพสูงสำหรับการใช้งานระดับองค์กร[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) DBRX สร้างขึ้นบนสถาปัตยกรรม **Mixture of Experts (MoE)** แบบละเอียดยิ่ง (fine-grained) และผสมผสานประสิทธิภาพสูงเข้ากับความคุ้มค่าในการเทรนและ inference เมื่อครั้งที่เปิดตัว DBRX แสดงผลลัพธ์ดีที่สุดในบรรดาโมเดลแบบเปิดทั้งหมดบน benchmark หลักสำคัญ โดยแซงหน้าโมเดลอย่าง LLaMA 2, Mixtral และ Grok-1 และมีความสามารถแข่งขันกับโมเดลแบบปิดระดับ GPT-3.5 Turbo[\[2\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-infoworld_dbrx-2) ## ประวัติการพัฒนา การปรากฏตัวของ DBRX เป็นส่วนหนึ่งของกลยุทธ์ของ Databricks ในการพัฒนาโมเดล generative แบบเปิด ในเดือนมิถุนายน ค.ศ. 2023 Databricks ได้เข้าซื้อกิจการสตาร์ทอัพ **MosaicML** ที่เชี่ยวชาญด้านการเทรนโมเดลขนาดใหญ่ และได้ก่อตั้งหน่วยงาน **Mosaic AI** บนพื้นฐานดังกล่าว[\[3\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-techcrunch_dbrx_10m-3) ทีม Mosaic AI ที่นำโดยสถาปนิกระบบประสาทเทียมชั้นนำ Jonathan Frankle ได้เริ่มพัฒนา LLM ขนาดใหญ่ตัวใหม่ โดยมีเป้าหมายเพื่อให้ได้คุณภาพที่เทียบเคียงกับระบบที่เป็นกรรมสิทธิ์ที่ดีที่สุด แต่ในรูปแบบแบบเปิด โครงการนี้ได้รับชื่อว่า DBRX การพัฒนาและการ pre-train โมเดลใช้เวลาประมาณ 2.5 เดือน และมีค่าใช้จ่ายโดยประมาณอยู่ที่ **10 ล้านดอลลาร์สหรัฐ**[\[3\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-techcrunch_dbrx_10m-3) ## สถาปัตยกรรม DBRX เป็นโมเดล transformer แบบ **decoder-only** และใช้สถาปัตยกรรม Mixture of Experts (MoE) แบบละเอียดยิ่ง (fine-grained) คุณลักษณะสำคัญของสถาปัตยกรรม: - **จำนวนพารามิเตอร์ทั้งหมด**: 132 พันล้านพารามิเตอร์ - **ผู้เชี่ยวชาญ (Experts)**: โมเดลประกอบด้วยโมเดลย่อยขนาดเล็กเฉพาะทาง («ผู้เชี่ยวชาญ») จำนวน **16** ตัว - **กลไกการเปิดใช้งาน**: สำหรับแต่ละ token ที่รับเข้ามา จะมีเพียง **4** ใน 16 ผู้เชี่ยวชาญที่ถูกเปิดใช้งาน ซึ่งหมายความว่าในระหว่าง inference จะมีเพียง **36 พันล้าน** พารามิเตอร์ที่ทำงาน ทำให้มีความเร็วและประสิทธิภาพสูง โครงสร้างนี้ให้ความเป็นไปได้ของการผสมผสานผู้เชี่ยวชาญมากกว่า 65 เท่าเมื่อเทียบกับโมเดล Mixtral (8 ผู้เชี่ยวชาญที่เปิดใช้งาน 2 ตัว)[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) - **องค์ประกอบ**: ใช้โซลูชันสถาปัตยกรรมสมัยใหม่ เช่น rotary position embedding (**RoPE**), *gated linear units* (**GLU**) และ *grouped query attention* (**GQA**) - **ความยาว context**: 32,768 token สถาปัตยกรรมเช่นนี้ช่วยให้โมเดลผสมผสานข้อดีของจำนวนพารามิเตอร์มหาศาล (สำหรับการจัดเก็บความรู้) เข้ากับประสิทธิภาพของโมเดลขนาดเล็ก (สำหรับความเร็วในการ inference) ## การเทรน การ pre-train ของ DBRX ดำเนินการบน dataset ที่ผ่านการคัดกรองอย่างพิถีพิถันจำนวน **12 ล้านล้าน** token ซึ่งประกอบด้วยข้อความและโค้ด ความสะอาดของข้อมูลเป็นสิ่งสำคัญอันดับต้น: นักพัฒนาใช้แพลตฟอร์มคลาวด์ Databricks (Apache Spark, Databricks Notebooks, Unity Catalog) สำหรับการทำความสะอาด เตรียมข้อมูล และตรวจสอบข้อมูล[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) ในการเทรนมีการใช้วิธี **curriculum learning** ซึ่งสัดส่วนของประเภทข้อมูลจะเปลี่ยนแปลงในแต่ละขั้นตอน ตัวอย่างเช่น ช่วงสุดท้ายของการเทรนเน้นการค่อยๆ เพิ่มงานที่ซับซ้อน ซึ่งตามคำกล่าวของนักพัฒนาส่งผลให้คุณภาพดีขึ้นอย่างชัดเจน การเทรนดำเนินการบนคลัสเตอร์ที่ประกอบด้วย Nvidia H100 GPU จำนวน **3,072** ตัว หลังจาก pre-training แล้ว โมเดลพื้นฐานผ่านการ fine-tuning เพิ่มเติม (instruction tuning) เพื่อสร้างเวอร์ชันโต้ตอบ **DBRX Instruct** ที่ปรับให้เหมาะสมสำหรับการปฏิบัติตามคำสั่งของผู้ใช้ ## ประสิทธิภาพ เมื่อครั้งที่เปิดตัว DBRX ได้สร้างมาตรฐานใหม่สำหรับ LLM แบบเปิดในช่วงกว้างของ benchmark ### การเปรียบเทียบกับโมเดลแบบเปิด | Benchmark | งาน | DBRX Instruct | อันดับถัดไป (Mixtral/Grok-1) | |---------------------------------------------|-----------------------|---------------|---------------------------| | **Hugging Face Open LLM Leaderboard (AVG)** | ความรู้ทั่วไป | 74.5% | 72.7% (Mixtral Instruct) | | **HumanEval** | การเขียนโปรแกรม | 70.1% | 63.2% (Grok-1) | | **GSM8K** | การใช้เหตุผลทางคณิตศาสตร์ | 66.9% | 62.9% (Grok-1) | | **MMLU** | ความรู้ทั่วไป | 73.7% | 71.5% (Mixtral Instruct) | ผลลัพธ์ของ DBRX Instruct บน benchmark หลัก[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) DBRX ครองอันดับหนึ่งทั้งในการจัดอันดับโดยรวม **Hugging Face Open LLM Leaderboard** และในการทดสอบแบบครอบคลุม **Databricks LLM Gauntlet** โดยแสดงให้เห็นถึงความได้เปรียบอย่างมีนัยสำคัญเหนือรุ่นก่อนหน้า[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) ### การเปรียบเทียบกับโมเดลแบบปิด DBRX Instruct เหนือกว่า **GPT-3.5 Turbo** ในตัวชี้วัดหลักหลายรายการ รวมถึง MMLU (73.7% เทียบกับ 70.0%) และ HumanEval (70.1% เทียบกับ 48.1%) ในด้านคุณภาพคำตอบบน benchmark บางรายการ (เช่น MTBench) โมเดลนี้ใกล้เคียงกับระดับของ **Gemini 1.0 Pro** และเวอร์ชันแรกๆ ของ **GPT-4**[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) ## ประสิทธิภาพในการเทรนและ inference - **ประสิทธิภาพการเทรน**: การใช้สถาปัตยกรรม MoE ช่วยลดต้นทุน FLOPS ลง 2-4 เท่าเมื่อเทียบกับโมเดลแบบหนาแน่น (dense) ที่มีคุณภาพเทียบเคียงกัน - **ประสิทธิภาพ inference**: ด้วยการเปิดใช้งานพารามิเตอร์เพียง 36 พันล้านตัว DBRX จึงให้ throughput (ความเร็วในการ inference) มากกว่า **2-3 เท่า** เมื่อเทียบกับโมเดลแบบหนาแน่นที่มีขนาดเทียบเท่า (เช่น LLaMA2-70B)[\[1\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-dbrx_blog-1) ## การอนุญาตสิทธิ์และความพร้อมใช้งาน DBRX เผยแพร่ภายใต้สัญญาอนุญาต **Databricks Open Model License** ที่ได้รับการออกแบบมาโดยเฉพาะ สัญญาอนุญาตนี้อนุญาตให้ใช้และแก้ไขได้อย่างอิสระ รวมถึงการใช้งานเชิงพาณิชย์ แต่มีข้อจำกัดบางประการ โดยเฉพาะอย่างยิ่ง เช่นเดียวกับสัญญาอนุญาต LLaMA 2 สัญญานี้กำหนดให้ต้องได้รับอนุญาตแยกต่างหากจาก Databricks หากบริการที่สร้างบน DBRX จะมีผู้ใช้งานที่ใช้งานจริงมากกว่า **700 ล้าน** คนต่อเดือน น้ำหนักโมเดลที่ผ่านการ pre-train แล้ว (ทั้งเวอร์ชันพื้นฐานและ Instruct) พร้อมสำหรับการดาวน์โหลดผ่าน repository บน Hugging Face[\[4\]](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_note-huggingface_dbrx-4) ## เอกสารอ้างอิง - Mosaic Research Team. (2024). *Introducing DBRX: A New State‑of‑the‑Art Open LLM*. Databricks Blog. - Databricks. (2024). *Databricks Open Model License (DBRX)*. Online specification. - Fedus, W.; et al. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961. - Lepikhin, D.; et al. (2020). *GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding*. arXiv:2006.16668. - Ainslie, J.; et al. (2023). *Grouped‑Query Attention: Efficient Training of Generalized Multi‑Query Transformers*. arXiv:2305.13245. - Su, J.; et al. (2021). *RoFormer: Enhanced Transformer with Rotary Position Embedding*. arXiv:2104.09864. - Dao, T. (2023). *FlashAttention‑2: Faster Attention with Better Parallelism and Work Partitioning*. arXiv:2307.08691. - Cai, W.; et al. (2024). *A Survey on Mixture of Experts in Large Language Models*. arXiv:2407.06204. - Chen, Y.; et al. (2024). *Scaling Laws for Fine‑Grained Mixture of Experts*. arXiv:2402.07871. - Kundu, A.; et al. (2024). *Strategic Data Ordering: Enhancing Large Language Model Training via Curriculum Learning*. arXiv:2405.07490. ## หมายเหตุ 1. ↑ [1.0](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-0) [1.1](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-1) [1.2](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-2) [1.3](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-3) [1.4](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-4) [1.5](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-5) [1.6](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-dbrx_blog_1-6) «Introducing DBRX: A New State-of-the-Art Open LLM». *Databricks Blog*. [1] 2. [↑](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-infoworld_dbrx_2-0) «Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok». *InfoWorld*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-techcrunch_dbrx_10m_3-0) [3.1](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-techcrunch_dbrx_10m_3-1) «Databricks spent \$10M on new DBRX generative AI model». *TechCrunch*. [3] 4. [↑](https://systems-analysis.info/int/DBRX_(language_model)_(TH)#cite_ref-huggingface_dbrx_4-0) «databricks/dbrx-base». *Hugging Face*. [4]