Chinchilla (language model) (SV)

Chinchilla — är en stor språkmodell (LLM), utvecklad av forskningsgruppen DeepMind och presenterad i mars 2022. Modellen innehåller ungefär 70 miljarder parametrar och tränades på ett textkorpus med 1,4 biljoner token.

Chinchillas viktigaste egenskap är dess beräkningsoptimala träningsmetod. Till skillnad från tidigare modeller, där huvudfokus låg på att öka antalet parametrar, skapades Chinchilla utifrån hypotesen att både modellstorleken och mängden träningsdata behöver skalas proportionellt. Tack vare detta tillvägagångssätt visade Chinchilla överlägsenhet gentemot betydligt större modeller, såsom Gopher (280 miljarder parametrar) och GPT-3 (175 miljarder), på ett brett spektrum av språkliga uppgifter.

Bakgrund och historik

Utvecklingen av Chinchilla var resultatet av forskning om skalning av LLM som bedrevs vid DeepMind på basis av modellfamiljen Gopher. Modellen Gopher, presenterad 2021, hade 280 miljarder parametrar men tränades på ett relativt litet korpus på 300 miljarder token. Vid den tiden dominerade branschen av ett synsätt där modellernas prestanda huvudsakligen förbättrades genom att öka deras storlek (antal parametrar), medan datamängden förblev relativt konstant.

Hypotesen om beräkningsoptimal träning

Forskarna vid DeepMind lade fram hypotesen att många stora modeller, inklusive Gopher, var undertränade (undertrained) i förhållande till sin storlek. De uppnådde inte maximal möjlig kvalitet för en given beräkningsbudget, eftersom de saknade tillräckligt med träningsdata.

Kärnan i hypotesen var att modellstorleken och mängden träningsdata bör ökas proportionellt mot varandra för optimal användning av beräkningsresurser. Med andra ord: när antalet parametrar i modellen fördubblas bör antalet träningstoken också ungefär fördubblas. Denna slutsats stod i kontrast till tidigare forskning, som överskattade värdet av att öka modellstorleken, eftersom den bedrevs med en fast datamängd.

För att testa denna hypotes genomförde DeepMind-teamet omfattande experiment och tränade över 400 modeller av olika storlek på dataset från 5 till 500 miljarder token. Resultaten bekräftade att parallell skalning är den optimala strategin. Utifrån dessa slutsatser utvecklades modellen Chinchilla som ett praktiskt test av det nya paradigmet.

Arkitektur och träning

Arkitektoniska egenskaper

Chinchilla tillhör familjen autoregressiva transformers och är arkitektoniskt nära besläktad med GPT-2/GPT-3-modellerna. Den ärvde många lösningar från Gopher, men med viktiga skillnader som syftade till att minska storleken samtidigt som nätverkets djup bibehölls:

• Parametrar: ~70 miljarder parametrar fördelade över 80 lager.
• Modellbredd: Antalet self-attention-huvuden minskades till 64 (jämfört med 128 hos Gopher), och lagerns interna dimension minskades till 8192 (jämfört med ~16384 hos Gopher).
• Optimerare: AdamW används i stället för Adam, vilket förbättrar konvergensen på stora dataset.

Denna arkitektur gjorde det möjligt för Chinchilla att bibehålla samma nätverksdjup som Gopher, men med ett betydligt lägre antal parametrar, vilket minskade kraven på minne och beräkningsresurser.

Skalning och träningsdata

För att testa hypotesen tränades Chinchilla med samma beräkningsbudget som Gopher, men med en omfördelning av resurser till förmån för data. Modellen med 70 miljarder parametrar tränades på ett korpus med 1,4 biljoner token, vilket är ungefär 4 gånger mer data än vad som användes för Gopher.

Detta förhållande, ungefär 20 token per parameter, kom att kallas Chinchilla-punkten (Chinchilla Point) och är en riktlinje för beräkningsoptimal träning av moderna LLM. Experimentet bekräftade att Chinchilla, som tränades närmare denna optimala gräns, kunde realisera sin potential mer fullständigt än undertränade, om än större, modeller.

Resultat och prestanda

På ett brett urval av standardiserade tester demonstrerade Chinchilla en betydande överlägsenhet gentemot tidigare modeller. Den överträffade tydligt inte bara Gopher, utan även andra dåtida LLM, inklusive OpenAI GPT-3 (175 miljarder parametrar) och Megatron-Turing NLG (530 miljarder parametrar).

Mest slående var resultatet på det sammansatta benchmark-testet MMLU (Measuring Massive Multitask Language Understanding), som utvärderar kunskaper och resonemang i hundratals heterogena uppgifter. Chinchilla uppnådde en genomsnittlig noggrannhet på 67,5 %, vilket satte ett nytt rekord för modeller i denna klass och översteg Gophers resultat med 7 procentenheter.

Utöver hög effektivitet visade Chinchilla också ekonomisk användning. Modellens mindre storlek (70 miljarder jämfört med 175+ miljarder hos motsvarigheter) innebär att inference och fine-tuning kräver betydligt färre beräkningsresurser, vilket förenklar dess praktiska tillämpning.

Betydelse och inflytande

Chinchilla-forskningen hade ett grundläggande inflytande på metoderna för träning av stora språkmodeller.

• Chinchillas skalningslagar (Chinchilla scaling laws): Det identifierade optimala förhållandet mellan modellstorlek och datamängd blev de facto-standard och riktlinje för efterföljande utveckling inom branschen.
• Fokusförskjutning från storlek till data: Arbetet uppmuntrade industrin att ägna mer uppmärksamhet åt skapande, rensning och utökning av träningskorpusar, snarare än att enbart öka antalet parametrar oreflekterat.
• Tillämpning i multimodala system: Chinchilla användes som den primära språkkomponenten i DeepMinds multimodala modell Flamingo, som kan förstå både bilder och text.

Även om själva Chinchilla-modellen inte släpptes för allmänheten förändrade dess koncept och resultat, publicerade i en vetenskaplig artikel, utvecklingsbanan för hela LLM-området och pekade ut en väg mot en mer effektiv och balanserad tillväxt inom artificiell intelligens.

Litteratur

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.