BLOOM (language model) (ID)

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) — adalah model bahasa besar (LLM) dengan akses terbuka yang memiliki 176 miliar parameter. Model ini dikembangkan pada tahun 2022 dalam kerangka proyek BigScience — sebuah kolaborasi internasional yang melibatkan lebih dari 1000 peneliti dari 70 negara di bawah naungan perusahaan Hugging Face.

BLOOM merupakan model transformer autoregresif yang mampu menghasilkan teks koheren dalam 46 bahasa alami dan 13 bahasa pemrograman. Model ini dilatih pada superkomputer Jean Zay di Prancis dan menjadi salah satu alternatif terbuka pertama yang sesungguhnya terhadap model-model tertutup seperti GPT-3 dari OpenAI.

Latar Belakang dan Pengembangan

Inisiatif BigScience diluncurkan pada Mei 2021 dengan tujuan mendemokratisasi penelitian di bidang AI melalui pembuatan model bahasa terbuka yang besar secara kolaboratif. Pada saat itu, LLM-LLM terdepan seperti GPT-3 dikembangkan secara tertutup di perusahaan-perusahaan besar yang tidak mengungkapkan arsitektur, data pelatihan, maupun kode sumbernya. Proyek BigScience menyatukan lebih dari seribu sukarelawan peneliti dari seluruh dunia untuk menciptakan model yang kompetitif dan sepenuhnya terbuka.

Proyek ini memperoleh hibah sumber daya komputasi pada superkomputer Prancis Jean Zay (IDRIS/CNRS). Pelatihan model berlangsung dari 11 Maret hingga 6 Juli 2022. Pengembangan dilakukan dengan transparansi maksimal: tim mempublikasikan informasi mengenai pemilihan data, pengaturan pelatihan, serta mengadakan diskusi publik dengan mengikuti piagam etika proyek yang telah ditetapkan.

Arsitektur dan Pelatihan

Arsitektur Model

BLOOM dibangun di atas arsitektur transformer bertipe autoregresif (decoder-only), yang serupa dengan model GPT-3.

Karakteristik arsitektur BLOOM

Parameter	Karakteristik
Tipe	Transformer decoder-only
Parameter	176 247 271 424
Lapisan (layers)	70
Kepala perhatian	112
Ukuran hidden state	14 336
Panjang sekuens	2048 token
Fungsi aktivasi	GeLU; pengkodean posisi ALiBi

Model ini diimplementasikan berbasis framework Megatron-LM dan DeepSpeed, yang dikembangkan oleh Nvidia dan Microsoft, dengan sejumlah modifikasi untuk pelatihan terdistribusi yang efisien.

Data Pelatihan

BLOOM dilatih pada korpus data teks yang dibuat khusus bernama ROOTS (The Responsible Open-science Open-collaboration Text Sources). Total volume data mencapai 1,6 terabyte teks yang telah dibersihkan dan dideduplikasi (≈366 miliar token).

Korpus ini mencakup teks dalam 59 bahasa:

• 46 bahasa alami, termasuk bahasa Inggris (30% token), bahasa Mandarin, Prancis, Spanyol, Arab, serta berbagai bahasa dengan sumber daya terbatas (misalnya, Chi Tumbuka — 0,00002% token).
• 13 bahasa pemrograman, termasuk Python, Java, JavaScript, dan C++.

Dataset multibahasa dan multidomain seperti ini dikumpulkan secara sengaja agar model dapat digunakan oleh berbagai komunitas bahasa yang luas.

Performa dan Penerapan

BLOOM menunjukkan hasil yang kompetitif pada berbagai benchmark, sebanding dengan model-model berukuran serupa seperti OPT-175B dari Meta, meskipun bersifat multibahasa.

Model ini mampu menjalankan berbagai tugas dalam mode zero-shot (tanpa pelatihan tambahan), antara lain:

• Menghasilkan teks dalam gaya yang ditentukan.
• Merangkum dokumen.
• Menjawab pertanyaan berdasarkan konteks.
• Menerjemahkan antarbahasa.
• Menghasilkan kode program sederhana.

Untuk meningkatkan kegunaan praktisnya, tim BigScience kemudian melakukan fine-tuning multitugas tambahan pada model tersebut, menciptakan versi BLOOMZ yang lebih tepat mengikuti instruksi pengguna.

Lisensi dan Akses Terbuka

Model BLOOM dengan 176 miliar parameter secara lengkap beserta kode sumber dan datanya dipublikasikan pada Juli 2022. Model ini didistribusikan di bawah lisensi yang dirancang khusus bernama RAIL (Responsible AI License) v1.0.

Lisensi ini mengizinkan penggunaan dan modifikasi model secara gratis, namun memberlakukan sejumlah pembatasan pada penerapannya di bidang-bidang tertentu. Secara khusus, penggunaan BLOOM untuk tujuan yang bertentangan dengan norma etika BigScience dilarang, seperti:

• Pengawasan massal.
• Diskriminasi algoritmik.
• Penyebaran disinformasi.
• Kendali senjata mematikan.

BLOOM menjadi model AI besar pertama yang dirilis di bawah lisensi dengan ketentuan penggunaan bertanggung jawab yang eksplisit.

Daftar Pustaka

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Le Scao, T.; et al. (2022). BLOOM: A 176B‑Parameter Open‑Access Multilingual Language Model. arXiv:2211.05100.
• Muennighoff, N.; et al. (2022). BLOOMZ & mT0: A Cross‑Lingual Baseline for Instruction Finetuning. arXiv:2211.01786.
• BigScience Workshop (2022). BigScience OpenRAIL‑M License v1.0. Online specification.
• Akiki, C.; et al. (2022). BigScience: A Case Study in the Social Construction of a Multilingual Large Language Model. arXiv:2212.04960.
• Yong, Z.‑X.; et al. (2022). BLOOM+1: Adding Language Support to BLOOM for Zero‑Shot Prompting. arXiv:2212.09535.
• Biderman, S.; et al. (2023). The BigScience ROOTS Corpus: A 1.6 TB Composite Multilingual Dataset. arXiv:2303.03915.