Chinchilla (language model) (CS)

Chinchilla — je velký jazykový model (LLM), vyvinutý výzkumným týmem DeepMind a představený v březnu 2022. Model obsahuje přibližně 70 miliard parametrů a byl trénován na textovém korpusu o objemu 1,4 bilionu tokenů.

Klíčovou vlastností modelu Chinchilla je jeho výpočetně optimální přístup k trénování. Na rozdíl od předchozích modelů, kde byl hlavní důraz kladen na zvyšování počtu parametrů, byl model Chinchilla vytvořen na základě hypotézy o nutnosti proporcionálního škálování jak velikosti modelu, tak objemu trénovacích dat. Díky tomuto přístupu Chinchilla prokázala převahu nad výrazně většími modely, jako jsou Gopher (280 mld. parametrů) a GPT-3 (175 mld.), na širokém spektru jazykových úloh.

Předpoklady a historie vzniku

Vývoj modelu Chinchilla byl výsledkem výzkumu škálování LLM prováděného v DeepMind na základě rodiny modelů Gopher. Model Gopher, představený v roce 2021, měl 280 mld. parametrů, ale byl trénován na poměrně malém korpusu o objemu 300 mld. tokenů. V té době v odvětví dominoval přístup, podle kterého výkon modelů rostl především díky zvyšování jejich velikosti (počtu parametrů), zatímco objem dat zůstával relativně konstantní.

Hypotéza o výpočetně optimálním trénování

Výzkumníci DeepMind vyslovili hypotézu, že mnoho velkých modelů, včetně modelu Gopher, bylo nedotrénovaných (undertrained) vzhledem ke své velikosti. Nedosahovaly maximálně možné kvality při daném výpočetním rozpočtu, protože jim chybělo dostatečné množství trénovacích dat.

Podstata hypotézy spočívala v tom, že pro optimální využití výpočetních zdrojů by se velikost modelu a objem trénovacích dat měly zvyšovat proporcionálně jedna vůči druhé. Jinými slovy, při zdvojnásobení počtu parametrů modelu je nutné přibližně zdvojnásobit i počet trénovacích tokenů. Tento závěr byl v rozporu s předchozími výzkumy, které přeceňovaly hodnotu zvyšování velikosti modelu, protože byly prováděny při pevně stanoveném objemu dat.

Pro ověření této hypotézy provedl tým DeepMind rozsáhlé experimenty, při nichž natrénoval více než 400 modelů různých velikostí na datasetech od 5 do 500 mld. tokenů. Výsledky potvrdily, že paralelní škálování je optimální strategií. Na základě těchto zjištění byl vyvinut model Chinchilla jako praktický test nového paradigmatu.

Architektura a trénování

Architektonické vlastnosti

Chinchilla patří do rodiny autoregresivních transformerů a architekturou se blíží modelům GPT-2/GPT-3. Zdědila mnoho řešení od modelu Gopher, avšak s klíčovými rozdíly zaměřenými na zmenšení velikosti při zachování hloubky sítě:

• Parametry: ~70 mld. parametrů rozložených do 80 vrstev.
• Šířka modelu: Počet hlav self-attention byl snížen na 64 (oproti 128 u modelu Gopher) a vnitřní dimenze vrstev byla snížena na 8192 (oproti ~16384 u modelu Gopher).
• Optimalizátor: Je použit AdamW namísto Adam, což zlepšuje konvergenci na velkých datasetech.

Tato architektura umožnila modelu Chinchilla zachovat stejnou hloubku sítě jako Gopher, ale s výrazně menším počtem parametrů, což snížilo nároky na paměť a výpočetní zdroje.

Škálování a trénovací data

Pro ověření hypotézy byl model Chinchilla trénován se stejným výpočetním rozpočtem jako Gopher, ale s přerozdělením zdrojů ve prospěch dat. Model se 70 mld. parametrů byl trénován na korpusu o objemu 1,4 bilionu tokenů, což je přibližně 4krát více než objem dat použitých pro model Gopher.

Tento poměr, přibližně 20 tokenů na každý parametr, se stal známým jako bod Chinchilla (Chinchilla Point) a slouží jako referenční hodnota pro výpočetně optimální trénování moderních LLM. Experiment potvrdil, že model Chinchilla, trénovaný blíže tomuto optimálnímu limitu, dokázal plněji využít svůj potenciál než nedotrénované, byť i větší, modely.

Výsledky a výkon

Na širokém souboru standardních testů model Chinchilla prokázal výraznou převahu nad předchozími modely. Přesvědčivě překonal nejen model Gopher, ale i další tehdejší LLM, včetně OpenAI GPT-3 (175 mld. parametrů) a Megatron-Turing NLG (530 mld. parametrů).

Nejvýznamnějším byl výsledek na komplexním benchmarku MMLU (Measuring Massive Multitask Language Understanding), který hodnotí znalosti a uvažování ve stovkách různorodých úloh. Chinchilla dosáhla průměrné přesnosti 67,5 %, čímž stanovila nový rekord pro modely této třídy a překonala výsledek modelu Gopher o 7 procentních bodů.

Kromě vysoké efektivity prokázal model Chinchilla také úspornost při používání. Menší velikost modelu (70 mld. oproti 175+ mld. u srovnatelných modelů) znamená, že pro inference a fine-tuning je zapotřebí výrazně méně výpočetních zdrojů, což usnadňuje jeho praktické nasazení.

Význam a vliv

Výzkum týkající se modelu Chinchilla zásadně ovlivnil přístupy k trénování velkých jazykových modelů.

• Zákony škálování Chinchilla (Chinchilla scaling laws): Zjištěný optimální poměr mezi velikostí modelu a objemem dat se stal de facto standardem a referenční hodnotou pro následný vývoj v odvětví.
• Přesun důrazu z velikosti na data: Tato práce podnítila odvětví věnovat větší pozornost vytváření, čištění a rozšiřování trénovacích korpusů, a nejen nesystematickému navyšování počtu parametrů.
• Využití v multimodálních systémech: Model Chinchilla byl použit jako hlavní jazyková komponenta v multimodálním modelu DeepMind Flamingo, který je schopen porozumět obrazům i textu.

Ačkoli samotný model Chinchilla nebyl uvolněn do veřejného přístupu, jeho koncepty a výsledky publikované ve vědecké práci změnily směr vývoje celé oblasti LLM a vyznačily cestu k efektivnějšímu a vyváženějšímu růstu schopností umělé inteligence.

Literatura

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.