--- title: "BLOOM (language model) (TH)" source: "https://systems-analysis.info/int/BLOOM_(language_model)_(TH)" wiki: "systems-analysis.info/int" article: "BLOOM_(language_model)_(TH)" language: "th" categories: - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" - "Category:Thai" revision_id: 664 wiki_created_at: 2026-09-06T22:37:07Z wiki_modified_at: 2026-09-06T22:37:07Z downloaded_at: 2026-09-07T22:41:34Z --- # BLOOM (language model) (TH) **BLOOM** (**B**igScience **L**arge **O**pen-science **O**pen-access **M**ultilingual Language Model) — คือโมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดสาธารณะ ที่มี **176 พันล้าน** พารามิเตอร์ โมเดลนี้ถูกพัฒนาขึ้นในปี ค.ศ. 2022 ภายใต้โครงการ **BigScience** ซึ่งเป็นความร่วมมือระหว่างประเทศของนักวิจัยกว่า 1,000 คนจาก 70 ประเทศ ภายใต้การดูแลของบริษัท Hugging Face[\[1\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-bloom_blog-1) BLOOM เป็น autoregressive transformer model ที่สามารถสร้างข้อความที่ต่อเนื่องได้ใน **46 ภาษาธรรมชาติ** และ **13 ภาษาโปรแกรม** โมเดลนี้ถูกฝึกบนซูเปอร์คอมพิวเตอร์ Jean Zay ในประเทศฝรั่งเศส และกลายเป็นหนึ่งในทางเลือกแบบเปิดแห่งแรกที่แท้จริงสำหรับโมเดลแบบปิด เช่น GPT-3 จาก OpenAI[\[2\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-lescao2022-2) ## ประวัติความเป็นมาและการพัฒนา โครงการริเริ่ม **BigScience** ถูกเปิดตัวในเดือนพฤษภาคม ค.ศ. 2021 โดยมีเป้าหมายเพื่อทำให้การวิจัยด้าน AI เป็นประชาธิปไตยผ่านการสร้างโมเดลภาษาขนาดใหญ่แบบเปิดร่วมกัน[\[1\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-bloom_blog-1) ในขณะนั้น LLM ชั้นนำอย่าง GPT-3 ถูกพัฒนาแบบปิดในบริษัทขนาดใหญ่ที่ไม่เปิดเผยสถาปัตยกรรม ข้อมูลการฝึก และซอร์สโค้ด โครงการ BigScience รวบรวมอาสาสมัครนักวิจัยกว่าพันคนจากทั่วโลกเพื่อสร้างโมเดลที่มีประสิทธิภาพสูงและเปิดเผยทั้งหมด โครงการได้รับทุนสำหรับทรัพยากรการคำนวณบนซูเปอร์คอมพิวเตอร์ **Jean Zay** ของฝรั่งเศส (IDRIS/CNRS) การฝึกโมเดลดำเนินการตั้งแต่วันที่ 11 มีนาคม ถึง 6 กรกฎาคม ค.ศ. 2022[\[3\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-siliconangle_2022-3) การพัฒนาดำเนินไปอย่างโปร่งใสสูงสุด โดยทีมงานเผยแพร่ข้อมูลเกี่ยวกับการคัดเลือกข้อมูล การตั้งค่าการฝึก และจัดการอภิปรายสาธารณะตามกฎบัตรจริยธรรมของโครงการ ## สถาปัตยกรรมและการฝึก ### สถาปัตยกรรมของโมเดล BLOOM สร้างขึ้นบนสถาปัตยกรรม transformer แบบ autoregressive (*decoder-only*) ซึ่งคล้ายคลึงกับโมเดล GPT-3[\[2\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-lescao2022-2) | พารามิเตอร์ | ลักษณะ | |-----------------------|-----------------------------| | **ประเภท** | Decoder-only transformer | | **พารามิเตอร์** | 176 247 271 424 | | **เลเยอร์ (layers)** | 70 | | **หัว attention** | 112 | | **ขนาด hidden state** | 14 336 | | **ความยาวลำดับ** | 2048 token | | **ฟังก์ชัน activation** | GeLU; การเข้ารหัสตำแหน่ง ALiBi | ลักษณะสถาปัตยกรรมของ BLOOM[\[4\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-huggingface_model_card-4) โมเดลถูกพัฒนาบนพื้นฐานของเฟรมเวิร์ก **Megatron-LM** และ **DeepSpeed** ซึ่งพัฒนาโดย Nvidia และ Microsoft ตามลำดับ พร้อมด้วยการปรับแต่งหลายอย่างเพื่อการฝึกแบบกระจายที่มีประสิทธิภาพ[\[5\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-tech_behind_bloom-5) ### ข้อมูลการฝึก BLOOM ถูกฝึกบนคลังข้อมูลข้อความที่สร้างขึ้นเป็นพิเศษชื่อ **ROOTS** (The **R**esponsible **O**pen-science **O**pen-collaboration **T**ext **S**ources) ปริมาณข้อมูลทั้งหมดมี **1.6 เทราไบต์** ของข้อความที่ผ่านการทำความสะอาดและกำจัดข้อมูลซ้ำ (≈366 พันล้าน token)[\[6\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-roots_paper-6) คลังข้อมูลประกอบด้วยข้อความใน **59 ภาษา**: - **46 ภาษาธรรมชาติ** รวมถึงภาษาอังกฤษ (30% ของ token) ภาษาจีน ภาษาฝรั่งเศส ภาษาสเปน ภาษาอาหรับ และภาษาที่มีทรัพยากรน้อยจำนวนมาก (เช่น Chi Tumbuka — 0.00002% ของ token) - **13 ภาษาโปรแกรม** รวมถึง Python, Java, JavaScript และ C++ dataset ที่เป็นพหุภาษาและพหุโดเมนเช่นนี้ถูกรวบรวมโดยเจตนาเพื่อให้โมเดลเหมาะสำหรับชุมชนภาษาที่หลากหลาย ## ประสิทธิภาพและการประยุกต์ใช้ BLOOM แสดงผลลัพธ์ที่มีความสามารถแข่งขันได้บน benchmark ที่หลากหลาย ซึ่งเทียบได้กับโมเดลที่มีขนาดใกล้เคียงกัน เช่น OPT-175B จาก Meta แม้จะมีความสามารถด้านพหุภาษา[\[2\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-lescao2022-2) โมเดลสามารถทำงานได้หลากหลายในโหมด *zero-shot* (โดยไม่ต้องฝึกเพิ่มเติม) รวมถึง: - การสร้างข้อความในสไตล์ที่กำหนด - การสรุปเอกสาร - การตอบคำถามตามบริบท - การแปลระหว่างภาษา - การสร้างโค้ดโปรแกรมอย่างง่าย เพื่อปรับปรุงประโยชน์ในทางปฏิบัติ ทีม BigScience ได้ดำเนินการ fine-tuning แบบหลายงาน (*fine-tuning*) เพิ่มเติมในภายหลัง โดยสร้างเวอร์ชัน **BLOOMZ** ซึ่งปฏิบัติตามคำสั่งของผู้ใช้ได้แม่นยำยิ่งขึ้น ## การออกใบอนุญาตและการเข้าถึงแบบเปิด โมเดล BLOOM ขนาด 176 พันล้านพารามิเตอร์ ซอร์สโค้ด และข้อมูลถูกเผยแพร่ในเดือนกรกฎาคม ค.ศ. 2022 โมเดลเผยแพร่ภายใต้ใบอนุญาตที่ออกแบบขึ้นเป็นพิเศษชื่อ **RAIL (Responsible AI License) v1.0**[\[7\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-rail_license-7) ใบอนุญาตนี้อนุญาตให้ใช้และแก้ไขโมเดลได้ฟรี แต่กำหนดข้อจำกัดหลายประการเกี่ยวกับการใช้ในบางพื้นที่ โดยเฉพาะอย่างยิ่ง ห้ามใช้ BLOOM เพื่อวัตถุประสงค์ที่ขัดต่อบรรทัดฐานทางจริยธรรมของ BigScience เช่น: - การสอดแนมมวลชน - การเลือกปฏิบัติโดยใช้อัลกอริทึม - การเผยแพร่ข้อมูลบิดเบือน - การควบคุมอาวุธที่ทำให้เสียชีวิต BLOOM กลายเป็นโมเดล AI ขนาดใหญ่รุ่นแรกที่เผยแพร่ภายใต้ใบอนุญาตที่มีข้อกำหนดชัดเจนเกี่ยวกับการใช้งานอย่างมีความรับผิดชอบ[\[8\]](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_note-heikkila_2022-8) ## เอกสารอ้างอิง - Hendrycks, D.; Gimpel, K. (2016). *Gaussian Error Linear Units (GELUs)*. arXiv:1606.08415. - Shoeybi, M.; et al. (2019). *Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism*. arXiv:1909.08053. - Rajbhandari, S.; et al. (2020). *ZeRO: Memory Optimizations Toward Training Trillion Parameter Models*. arXiv:1910.02054. - Press, O.; et al. (2021). *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation*. arXiv:2108.12409. - Le Scao, T.; et al. (2022). *BLOOM: A 176B‑Parameter Open‑Access Multilingual Language Model*. arXiv:2211.05100. - Muennighoff, N.; et al. (2022). *BLOOMZ & mT0: A Cross‑Lingual Baseline for Instruction Finetuning*. arXiv:2211.01786. - BigScience Workshop (2022). *BigScience OpenRAIL‑M License v1.0*. Online specification. - Akiki, C.; et al. (2022). *BigScience: A Case Study in the Social Construction of a Multilingual Large Language Model*. arXiv:2212.04960. - Yong, Z.‑X.; et al. (2022). *BLOOM+1: Adding Language Support to BLOOM for Zero‑Shot Prompting*. arXiv:2212.09535. - Biderman, S.; et al. (2023). *The BigScience ROOTS Corpus: A 1.6 TB Composite Multilingual Dataset*. arXiv:2303.03915. ## หมายเหตุ 1. ↑ [1.0](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-bloom_blog_1-0) [1.1](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-bloom_blog_1-1) «BLOOM». *BigScience Blog*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-lescao2022_2-0) [2.1](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-lescao2022_2-1) [2.2](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-lescao2022_2-2) Le Scao, T., et al. (2022). «BLOOM: A 176B-Parameter Open-Access Multilingual Language Model». *arXiv:2211.05100*. [2] 3. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-siliconangle_2022_3-0) «Researchers open-source neural network with 176B parameters». *SiliconANGLE*. [3] 4. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-huggingface_model_card_4-0) «bigscience/bloom». *Hugging Face*. [4] 5. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-tech_behind_bloom_5-0) «The Technology Behind BLOOM Training». *Hugging Face Blog*. [5] 6. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-roots_paper_6-0) Biderman, S. et al. (2023). «The BigScience ROOTS Corpus: A 1.6 TB Composite Multilingual Dataset». *arXiv:2303.03915*. [6] 7. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-rail_license_7-0) «BigScience OpenRAIL-M». *BigScience Blog*. [7] 8. [↑](https://systems-analysis.info/int/BLOOM_(language_model)_(TH)#cite_ref-heikkila_2022_8-0) Heikkilä, M. «BLOOM is the first AI model to be under a...». *X*. [8]