Chinchilla (language model) (ID)

Chinchilla — adalah sebuah large language model (LLM) yang dikembangkan oleh tim riset DeepMind dan diperkenalkan pada Maret 2022. Model ini memiliki sekitar 70 miliar parameter dan dilatih pada korpus teks bervolume 1,4 triliun token.

Keistimewaan utama Chinchilla adalah pendekatannya yang optimal secara komputasi dalam pelatihan. Berbeda dengan model-model sebelumnya yang lebih menekankan peningkatan jumlah parameter, Chinchilla dikembangkan berdasarkan hipotesis tentang perlunya penskalaan proporsional baik dari sisi ukuran model maupun volume data pelatihan. Berkat pendekatan ini, Chinchilla menunjukkan keunggulan atas model-model yang jauh lebih besar, seperti Gopher (280 miliar parameter) dan GPT-3 (175 miliar), pada beragam tugas bahasa.

Latar Belakang dan Sejarah Pengembangan

Pengembangan Chinchilla merupakan hasil penelitian penskalaan LLM yang dilakukan di DeepMind berdasarkan keluarga model Gopher. Model Gopher, yang diperkenalkan pada tahun 2021, memiliki 280 miliar parameter, tetapi dilatih pada korpus yang relatif kecil sebesar 300 miliar token. Pada saat itu, industri didominasi oleh pendekatan yang menyatakan bahwa kinerja model meningkat terutama melalui peningkatan ukurannya (jumlah parameter), sementara volume data tetap relatif konstan.

Hipotesis Pelatihan yang Optimal Secara Komputasi

Para peneliti DeepMind mengajukan hipotesis bahwa banyak model besar, termasuk Gopher, mengalami pelatihan yang tidak mencukupi (undertrained) relatif terhadap ukurannya. Model-model tersebut tidak mencapai kualitas maksimal yang mungkin dicapai dengan anggaran komputasi tertentu, karena kekurangan data pelatihan.

Inti hipotesis ini adalah bahwa untuk penggunaan sumber daya komputasi yang optimal, ukuran model dan volume data pelatihan harus ditingkatkan secara proporsional satu sama lain. Dengan kata lain, ketika jumlah parameter model digandakan, jumlah token pelatihan juga perlu kira-kira digandakan. Kesimpulan ini bertentangan dengan penelitian sebelumnya yang melebih-lebihkan nilai peningkatan ukuran model, karena dilakukan dengan volume data yang tetap.

Untuk menguji hipotesis ini, tim DeepMind melakukan eksperimen ekstensif dengan melatih lebih dari 400 model berbagai ukuran pada dataset mulai dari 5 hingga 500 miliar token. Hasilnya mengonfirmasi bahwa penskalaan paralel adalah strategi yang optimal. Berdasarkan temuan ini, model Chinchilla dikembangkan sebagai uji praktis paradigma baru.

Arsitektur dan Pelatihan

Karakteristik Arsitektur

Chinchilla termasuk dalam keluarga transformer autoregresif dan secara arsitektur dekat dengan model GPT-2/GPT-3. Model ini mewarisi banyak solusi dari Gopher, namun dengan perbedaan utama yang bertujuan mengurangi ukuran sambil mempertahankan kedalaman jaringan:

• Parameter: ~70 miliar parameter, tersebar di 80 lapisan.
• Lebar model: Jumlah kepala self-attention dikurangi menjadi 64 (dibandingkan 128 pada Gopher), dan dimensi internal lapisan dikurangi menjadi 8192 (dibandingkan ~16384 pada Gopher).
• Optimizer: Menggunakan AdamW sebagai pengganti Adam, yang meningkatkan konvergensi pada dataset yang lebih besar.

Arsitektur semacam ini memungkinkan Chinchilla mempertahankan kedalaman jaringan yang sama dengan Gopher, tetapi dengan jumlah parameter yang jauh lebih sedikit, sehingga mengurangi kebutuhan memori dan sumber daya komputasi.

Penskalaan dan Data Pelatihan

Untuk menguji hipotesis, Chinchilla dilatih dengan anggaran komputasi yang sama dengan Gopher, tetapi dengan realokasi sumber daya ke arah data. Model dengan 70 miliar parameter dilatih pada korpus sebesar 1,4 triliun token, yang kira-kira 4 kali lebih besar dari volume data yang digunakan untuk Gopher.

Rasio ini, kira-kira 20 token untuk setiap parameter, dikenal sebagai titik Chinchilla (Chinchilla Point) dan menjadi acuan untuk pelatihan yang optimal secara komputasi pada LLM modern. Eksperimen ini mengonfirmasi bahwa Chinchilla, yang dilatih lebih dekat ke batas optimal ini, mampu merealisasikan potensinya secara lebih penuh dibandingkan model-model yang mengalami pelatihan tidak mencukupi, meskipun model-model tersebut lebih besar.

Hasil dan Kinerja

Pada serangkaian pengujian standar yang luas, Chinchilla menunjukkan keunggulan signifikan atas model-model sebelumnya. Model ini secara meyakinkan melampaui tidak hanya Gopher, tetapi juga LLM mutakhir lainnya pada saat itu, termasuk OpenAI GPT-3 (175 miliar parameter) dan Megatron-Turing NLG (530 miliar parameter).

Hasil yang paling menonjol dicapai pada benchmark komprehensif MMLU (Measuring Massive Multitask Language Understanding), yang mengevaluasi pengetahuan dan penalaran dalam ratusan tugas yang beragam. Chinchilla mencapai akurasi rata-rata 67,5%, yang menjadi rekor baru untuk model dalam kelas ini dan melampaui hasil Gopher sebesar 7 poin persentase.

Selain efisiensi yang tinggi, Chinchilla juga menunjukkan kehematan dalam penggunaan. Ukuran model yang lebih kecil (70 miliar dibandingkan 175+ miliar pada model sejenis) berarti bahwa untuk inference dan fine-tuning dibutuhkan sumber daya komputasi yang jauh lebih sedikit, sehingga mempermudah penerapannya secara praktis.

Signifikansi dan Pengaruh

Penelitian Chinchilla memberikan pengaruh mendasar pada pendekatan pelatihan large language model.

• Hukum penskalaan Chinchilla (Chinchilla scaling laws): Rasio optimal yang ditemukan antara ukuran model dan volume data menjadi standar de facto dan acuan bagi pengembangan selanjutnya di industri.
• Pergeseran fokus dari ukuran ke data: Penelitian ini mendorong industri untuk memberikan lebih banyak perhatian pada pembuatan, pembersihan, dan perluasan korpus pelatihan, bukan hanya penambahan jumlah parameter secara serampangan.
• Penerapan dalam sistem multimodal: Chinchilla digunakan sebagai komponen bahasa utama dalam model multimodal DeepMind Flamingo, yang mampu memahami gambar dan teks.

Meskipun model Chinchilla itu sendiri tidak dirilis untuk publik, konsep dan hasilnya yang dipublikasikan dalam karya ilmiah telah mengubah arah perkembangan seluruh bidang LLM, menandai jalan menuju pertumbuhan kemampuan kecerdasan buatan yang lebih efisien dan seimbang.

Daftar Pustaka

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.