Chinchilla (language model) (TR)

Chinchilla — büyük bir dil modelidir (LLM); DeepMind araştırma ekibi tarafından geliştirilmiş ve Mart 2022'de tanıtılmıştır. Model yaklaşık 70 milyar parametre içermekte olup 1,4 trilyon token hacmindeki bir metin derlemesi üzerinde eğitilmiştir.

Chinchilla'nın temel özelliği, eğitime hesaplama açısından en uygun yaklaşımıdır. Önceki modellerde esas ağırlık parametre sayısını artırmaya verilirken, Chinchilla; model boyutu ile eğitim verisi hacminin orantılı biçimde ölçeklendirilmesi gerektiği hipotezine dayanılarak oluşturulmuştur. Bu yaklaşım sayesinde Chinchilla, çok daha büyük modeller olan Gopher (280 milyar parametre) ve GPT-3 (175 milyar parametre) karşısında geniş bir dil görevi yelpazesinde üstünlük sağlamıştır.

Ön Koşullar ve Geliştirme Tarihi

Chinchilla'nın geliştirilmesi, DeepMind'da Gopher model ailesi temel alınarak yürütülen LLM ölçeklendirme araştırmasının bir sonucudur. 2021 yılında tanıtılan Gopher modeli 280 milyar parametreye sahipti; ancak yalnızca 300 milyar tokenlik görece küçük bir derleme üzerinde eğitilmişti. O dönemde sektörde hâkim olan yaklaşım, model performansının ağırlıklı olarak model boyutunun (parametre sayısının) artırılmasıyla yükseldiğini, veri hacminin ise görece sabit kaldığını öngörüyordu.

Hesaplama Açısından Optimal Eğitim Hipotezi

DeepMind araştırmacıları, Gopher dahil pek çok büyük modelin kendi boyutuna göre yetersiz eğitilmiş (undertrained) olduğu hipotezini öne sürdü. Bu modeller, verilen hesaplama bütçesiyle ulaşılabilecek maksimum kaliteye erişemiyordu; çünkü eğitim verisi yetersiz kalıyordu.

Hipotezin özüne göre, hesaplama kaynaklarını en verimli biçimde kullanmak için model boyutu ile eğitim verisi hacmi orantılı olarak artırılmalıdır. Başka bir deyişle, model parametre sayısı iki katına çıkarıldığında eğitim token sayısının da yaklaşık iki katına çıkarılması gerekmektedir. Bu sonuç, sabit veri hacmiyle yürütüldüğünden model boyutunu artırmanın değerini fazla tahmin eden önceki araştırmalarla çelişmekteydi.

Bu hipotezi doğrulamak amacıyla DeepMind ekibi, farklı boyutlardaki 400'den fazla modeli 5 ila 500 milyar tokenlik veri kümeleri üzerinde eğiterek kapsamlı deneyler gerçekleştirdi. Sonuçlar, paralel ölçeklendirmenin en uygun strateji olduğunu doğruladı. Bu bulgular temelinde Chinchilla, yeni paradigmanın pratik bir testi olarak geliştirildi.

Mimari ve Eğitim

Mimari Özellikler

Chinchilla, otomatik regresif transformer ailesine aittir ve mimari olarak GPT-2/GPT-3 modellerine yakındır. Pek çok tasarım kararını Gopher'dan devralmıştır; ancak ağın derinliğini korurken boyutu küçültmeye yönelik temel farklılıklar içermektedir:

• Parametreler: 80 katmana dağılmış ~70 milyar parametre.
• Model genişliği: Öz-dikkat başı sayısı 64'e indirilmiştir (Gopher'daki 128'e kıyasla); katmanların iç boyutu ise 8192'ye düşürülmüştür (Gopher'daki ~16384'e kıyasla).
• Optimize edici: Adam yerine AdamW kullanılmaktadır; bu durum büyük veri kümelerinde yakınsama performansını iyileştirmektedir.

Bu mimari, Chinchilla'nın Gopher ile aynı ağ derinliğini korurken çok daha az parametreye sahip olmasını sağlamış; bellek ve hesaplama kaynağı gereksinimlerini önemli ölçüde azaltmıştır.

Ölçeklendirme ve Eğitim Verisi

Hipotezi test etmek amacıyla Chinchilla, Gopher ile aynı hesaplama bütçesiyle ancak kaynaklar veri lehine yeniden dağıtılarak eğitildi. 70 milyar parametreli model, 1,4 trilyon tokenlik bir derleme üzerinde eğitilmiştir; bu, Gopher için kullanılan veri hacminin yaklaşık 4 katıdır.

Parametre başına yaklaşık 20 token olarak ifade edilen bu oran, Chinchilla Noktası (Chinchilla Point) olarak anılmaya başlanmış ve günümüz LLM'leri için hesaplama açısından optimal eğitimin referans değeri hâline gelmiştir. Deney, bu optimal sınıra daha yakın eğitilen Chinchilla'nın potansiyelini, daha büyük fakat yetersiz eğitilmiş modellere kıyasla çok daha tam olarak gerçekleştirebildiğini doğrulamıştır.

Sonuçlar ve Performans

Chinchilla, geniş bir standart test kümesinde önceki modellere karşı belirgin bir üstünlük sergilemiştir. Model, yalnızca Gopher'ı değil; OpenAI GPT-3 (175 milyar parametre) ve Megatron-Turing NLG (530 milyar parametre) dahil o dönemin diğer önde gelen LLM'lerini de geride bırakmıştır.

En çarpıcı sonuç, yüzlerce farklı görevde bilgi ve muhakeme yeteneğini ölçen kapsamlı benchmark olan MMLU (Measuring Massive Multitask Language Understanding) üzerinde elde edilmiştir. Chinchilla, bu alanda yeni bir sınıf rekoru oluşturan ortalama %67,5 doğruluk oranına ulaşmış ve Gopher'ın sonucunu 7 yüzde puanı geride bırakmıştır.

Yüksek etkinliğinin yanı sıra Chinchilla, ekonomik kullanım açısından da öne çıkmaktadır. Modelin daha küçük boyutu (70 milyar parametreye karşılık muadillerinin 175+ milyar parametresi), mantıksal çıkarım (inference) ve ince ayar (fine-tuning) aşamalarında çok daha az hesaplama kaynağı gerektirmekte; bu da modelin pratik uygulamalarda kullanımını kolaylaştırmaktadır.

Önemi ve Etkisi

Chinchilla araştırması, büyük dil modellerinin eğitim yaklaşımları üzerinde köklü bir etki bırakmıştır.

• Chinchilla Ölçeklendirme Yasaları (Chinchilla scaling laws): Model boyutu ile veri hacmi arasında belirlenen optimal oran, sektördeki sonraki gelişmeler için fiilî bir standart ve referans noktasına dönüşmüştür.
• Odağın boyuttan veriye kayması: Bu çalışma, sektörü yalnızca parametre sayısını körce artırmak yerine eğitim derlemlerinin oluşturulmasına, temizlenmesine ve genişletilmesine daha fazla önem vermeye yönlendirmiştir.
• Çok modlu sistemlerde uygulama: Chinchilla, görüntü ve metni anlayabilen DeepMind'ın çok modlu modeli Flamingonun temel dil bileşeni olarak kullanılmıştır.

Chinchilla modelinin kendisi kamuya açık olarak yayınlanmamış olsa da bilimsel çalışmada yayımlanan kavramlar ve sonuçlar, tüm LLM alanının gelişim yörüngesini değiştirmiş; yapay zekanın yeteneklerinin daha verimli ve dengeli biçimde büyümesine giden yolu göstermiştir.

Kaynakça

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.