Chinchilla (language model) (PL)

Chinchilla — to duży model językowy (LLM), opracowany przez zespół badawczy DeepMind i zaprezentowany w marcu 2022 roku. Model zawiera około 70 miliardów parametrów i został wytrenowany na korpusie tekstowym o objętości 1,4 biliona tokenów.

Kluczową cechą Chinchilli jest jej obliczeniowo-optymalny podejście do trenowania. W odróżnieniu od poprzednich modeli, gdzie główny nacisk kładziono na zwiększanie liczby parametrów, Chinchilla została stworzona w oparciu o hipotezę dotyczącą konieczności proporcjonalnego skalowania zarówno rozmiaru modelu, jak i objętości danych treningowych. Dzięki temu podejściu Chinchilla wykazała przewagę nad znacznie większymi modelami, takimi jak Gopher (280 mld parametrów) i GPT-3 (175 mld), w szerokim spektrum zadań językowych.

Przesłanki i historia powstania

Opracowanie Chinchilli było wynikiem badań nad skalowaniem LLM, prowadzonych w DeepMind na podstawie rodziny modeli Gopher. Model Gopher, przedstawiony w 2021 roku, posiadał 280 mld parametrów, lecz został wytrenowany na stosunkowo niewielkim korpusie liczącym 300 mld tokenów. W tamtym czasie w branży dominowało podejście, zgodnie z którym wydajność modeli rosła głównie dzięki zwiększaniu ich rozmiaru (liczby parametrów), podczas gdy objętość danych pozostawała względnie stała.

Hipoteza o obliczeniowo-optymalnym trenowaniu

Badacze DeepMind postawili hipotezę, że wiele dużych modeli, w tym Gopher, było niedotrenowanych (undertrained) względem swojego rozmiaru. Nie osiągały one maksymalnie możliwej jakości przy danym budżecie obliczeniowym, ponieważ brakowało im danych treningowych.

Istota hipotezy polegała na tym, że dla optymalnego wykorzystania zasobów obliczeniowych rozmiar modelu i objętość danych treningowych należy zwiększać proporcjonalnie względem siebie. Innymi słowy, przy podwojeniu liczby parametrów modelu konieczne jest mniej więcej dwukrotne zwiększenie liczby tokenów treningowych. Wniosek ten był sprzeczny z wcześniejszymi badaniami, które przeceniały wartość zwiększania rozmiaru modelu, gdyż prowadzono je przy stałej objętości danych.

W celu weryfikacji tej hipotezy zespół DeepMind przeprowadził rozległe eksperymenty, trenując ponad 400 modeli różnej wielkości na zbiorach danych od 5 do 500 mld tokenów. Wyniki potwierdziły, że równoległe skalowanie jest optymalną strategią. Na podstawie tych wniosków opracowano model Chinchilla jako praktyczny test nowego paradygmatu.

Architektura i trenowanie

Cechy architektoniczne

Chinchilla należy do rodziny autoregresywnych transformerów i pod względem architektury jest zbliżona do modeli GPT-2/GPT-3. Odziedziczyła wiele rozwiązań po Gopherze, lecz z kluczowymi różnicami ukierunkowanymi na zmniejszenie rozmiaru przy zachowaniu głębokości sieci:

• Parametry: ~70 mld parametrów rozmieszczonych w 80 warstwach.
• Szerokość modelu: Liczba głowic self-attention została zmniejszona do 64 (wobec 128 u Gophera), a wewnętrzny wymiar warstw — do 8192 (wobec ~16384 u Gophera).
• Optymalizator: Stosowany jest AdamW zamiast Adam, co poprawia zbieżność na dużych zbiorach danych.

Taka architektura pozwoliła Chinchilli zachować tę samą głębokość sieci co Gopher, lecz przy znacznie mniejszej liczbie parametrów, co zmniejszyło wymagania dotyczące pamięci i zasobów obliczeniowych.

Skalowanie i dane treningowe

W celu weryfikacji hipotezy Chinchilla została wytrenowana przy tym samym budżecie obliczeniowym co Gopher, lecz z redystrybucją zasobów na rzecz danych. Model o 70 mld parametrów został wytrenowany na korpusie liczącym 1,4 biliona tokenów, co stanowi około 4-krotność objętości danych wykorzystanych dla Gophera.

Proporcja ta, wynosząca około 20 tokenów na każdy parametr, stała się znana jako punkt Chinchilli (Chinchilla Point) i jest punktem odniesienia dla obliczeniowo-optymalnego trenowania współczesnych LLM. Eksperyment potwierdził, że Chinchilla, będąc wytrenowaną bliżej tego optymalnego limitu, zdołała w pełniejszy sposób zrealizować swój potencjał niż niedotrenowane, choć znacznie większe, modele.

Wyniki i wydajność

Na szerokim zestawie standardowych testów Chinchilla wykazała znaczną przewagę nad poprzednimi modelami. Pewnie prześcignęła nie tylko Gophera, lecz także inne ówczesne LLM, w tym OpenAI GPT-3 (175 mld parametrów) i Megatron-Turing NLG (530 mld parametrów).

Najbardziej wymownym był wynik na kompleksowym benchmarku MMLU (Measuring Massive Multitask Language Understanding), który ocenia wiedzę i rozumowanie w setkach zróżnicowanych zadań. Chinchilla osiągnęła średnią dokładność 67,5%, co było nowym rekordem dla modeli tej klasy i o 7 punktów procentowych przekroczyło wynik Gophera.

Oprócz wysokiej efektywności Chinchilla wykazała również oszczędność w użytkowaniu. Mniejszy rozmiar modelu (70 mld wobec 175+ mld u odpowiedników) oznacza, że do wnioskowania (inference) i dostrajania (fine-tuning) potrzeba znacznie mniej zasobów obliczeniowych, co upraszcza jej praktyczne zastosowanie.

Znaczenie i wpływ

Badanie Chinchilli wywarło fundamentalny wpływ na podejścia do trenowania dużych modeli językowych.

• Prawa skalowania Chinchilli (Chinchilla scaling laws): Wykryte optymalne proporcje między rozmiarem modelu a objętością danych stały się de facto standardem i punktem odniesienia dla kolejnych prac w branży.
• Przesunięcie uwagi z rozmiaru na dane: Praca zachęciła branżę do większego skupienia się na tworzeniu, oczyszczaniu i rozszerzaniu korpusów treningowych, a nie wyłącznie na bezrefleksyjnym zwiększaniu liczby parametrów.
• Zastosowanie w systemach multimodalnych: Chinchilla została wykorzystana jako główny komponent językowy w multimodalnym modelu DeepMind Flamingo, który jest zdolny do rozumienia obrazów i tekstu.

Choć sam model Chinchilla nie został udostępniony publicznie, jego koncepcje i wyniki opublikowane w pracy naukowej zmieniły trajektorię rozwoju całej dziedziny LLM, wyznaczając drogę ku bardziej efektywnemu i zrównoważonemu wzrostowi możliwości sztucznej inteligencji.

Literatura

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.