Chinchilla (language model) (HU)

Chinchilla — egy nagy nyelvi modell (LLM), amelyet a DeepMind kutatócsoportja fejlesztett ki, és 2022 márciusában mutattak be. A modell körülbelül 70 milliárd paramétert tartalmaz, és 1,4 billió token terjedelmű szövegkorpuszon tanították be.

A Chinchilla legfontosabb jellemzője a számítási szempontból optimális tanítási megközelítés. A korábbi modellekkel ellentétben, ahol a fő hangsúly a paraméterszám növelésén volt, a Chinchillát arra az elképzelésre alapozva hozták létre, hogy a modell méretét és a tanítási adatok mennyiségét arányosan kell együtt növelni. Ennek köszönhetően a Chinchilla számos nyelvi feladatban felülmúlta a nála jóval nagyobb modelleket, mint a Gopher (280 milliárd paraméter) és a GPT-3 (175 milliárd).

Előzmények és fejlesztéstörténet

A Chinchilla kifejlesztése a DeepMind által a Gopher modellek családján végzett LLM-skálázási kutatások eredménye. A 2021-ben bemutatott Gopher modell 280 milliárd paramétert tartalmazott, azonban viszonylag kis, 300 milliárd tokenes korpuszon tanították be. Ebben az időszakban az iparágban az a megközelítés dominált, amely szerint a modellek teljesítménye elsősorban a méret (paraméterszám) növelésével javítható, míg az adatmennyiség viszonylag állandó maradt.

A számítási szempontból optimális tanítás hipotézise

A DeepMind kutatói azt a hipotézist fogalmazták meg, hogy számos nagy modell, köztük a Gopher is, alultanított (undertrained) volt a méretéhez képest. Adott számítási költségkeret mellett nem érték el az elérhető legjobb minőséget, mivel nem állt rendelkezésükre elegendő tanítási adat.

A hipotézis lényege az volt, hogy a számítási erőforrások optimális kihasználásához a modell méretét és a tanítási adatok mennyiségét arányosan kell egymással növelni. Más szóval: ha a modell paraméterszámát megkétszerezzük, a tanítási tokenek számát is körülbelül kétszeresére kell növelni. Ez a következtetés ellentmondott a korábbi kutatásoknak, amelyek rögzített adatmennyiség mellett végezve túlbecsülték a modellméret növelésének értékét.

A hipotézis ellenőrzésére a DeepMind csapata kiterjedt kísérleteket végzett: több mint 400, különböző méretű modellt tanítottak be 5 és 500 milliárd token közötti adathalmazokon. Az eredmények megerősítették, hogy az egyidejű skálázás az optimális stratégia. E következtetések alapján fejlesztették ki a Chinchilla modellt az új paradigma gyakorlati teszteként.

Architektúra és tanítás

Architekturális jellemzők

A Chinchilla az autoregresszív transformer modellek családjába tartozik, és architektúrájában közel áll a GPT-2/GPT-3 modellekhez. Számos megoldást örökölt a Gophertől, de kulcsfontosságú eltérésekkel, amelyek célja a méret csökkentése a hálózat mélységének megőrzése mellett:

• Paraméterek: ~70 milliárd paraméter, 80 rétegre elosztva.
• Modellszélesség: Az önfigyelő fejek számát 64-re csökkentették (a Gopher 128-ával szemben), a rétegek belső dimenziója pedig 8192 lett (a Gopher ~16384-ével szemben).
• Optimalizáló: Az Adam helyett AdamW kerül alkalmazásra, ami jobb konvergenciát biztosít nagy adathalmazokon.

Ez az architektúra lehetővé tette, hogy a Chinchilla megőrizze a Gopherével azonos hálózatmélységet, de lényegesen kevesebb paraméterrel, így csökkentve a memória- és számítási igényeket.

Skálázás és tanítási adatok

A hipotézis ellenőrzésére a Chinchillát ugyanolyan számítási költségkerettel tanították be, mint a Gophert, de az erőforrásokat az adatok javára osztották újra. A 70 milliárd paraméteres modellt 1,4 billió tokenből álló korpuszon tanították be, ami körülbelül négyszerese a Gopher tanításához felhasznált adatmennyiségnek.

Ez az arány, körülbelül 20 token paraméterenként, Chinchilla-pontként (Chinchilla Point) vált ismertté, és referenciaértékül szolgál a modern LLM-ek számítási szempontból optimális tanításához. A kísérlet igazolta, hogy a Chinchilla — mivel az optimális határhoz közelebb tanítva nagyobb potenciálját ki tudta aknázni — felülmúlta az alultanított, bár nagyobb modelleket.

Eredmények és teljesítmény

Széles körű szabványos tesztek összességén a Chinchilla jelentős fölényt mutatott a korábbi modellekkel szemben. Magabiztosan megelőzte nemcsak a Gophert, hanem az akkoriban aktuális többi LLM-et is, köztük az OpenAI GPT-3-at (175 milliárd paraméter) és a Megatron-Turing NLG-t (530 milliárd paraméter).

A legjelentősebb eredmény az MMLU (Measuring Massive Multitask Language Understanding) komplex benchmarkon született, amely több száz, egymástól eltérő feladaton értékeli a tudást és a következtetési képességet. A Chinchilla átlagos pontossága 67,5% lett, ami rekordot jelentett az ilyen típusú modellek körében, és 7 százalékponttal múlta felül a Gopher eredményét.

A magas hatékonyság mellett a Chinchilla gazdaságosságát is igazolta. A kisebb modellméret (70 milliárd paraméter a hasonló modellek 175+ milliárdjával szemben) azt jelenti, hogy a következtetéshez (inference) és a finomhangoláshoz (fine-tuning) lényegesen kevesebb számítási erőforrás szükséges, ami megkönnyíti a gyakorlati alkalmazását.

Jelentőség és hatás

A Chinchilla kutatása alapvető hatást gyakorolt a nagy nyelvi modellek tanításának megközelítéseire.

• Chinchilla-skálázási törvények (Chinchilla scaling laws): A modellméret és az adatmennyiség között feltárt optimális arány de facto iparági szabvánnyá és referenciaponttá vált a további fejlesztésekhez.
• A hangsúly áthelyeződése a méretről az adatokra: A munka arra ösztönözte az iparágat, hogy nagyobb figyelmet fordítson a tanítási korpuszok létrehozására, tisztítására és bővítésére, nem csupán a paraméterszám válogatás nélküli növelésére.
• Alkalmazás multimodális rendszerekben: A Chinchillát a DeepMind Flamingo multimodális modelljének fő nyelvi komponenseként alkalmazták, amely képes képek és szöveg együttes megértésére.

Bár magát a Chinchilla modellt nem hozták nyilvános hozzáférhetőségbe, a tudományos cikkben közzétett koncepciók és eredmények megváltoztatták az egész LLM-terület fejlődési irányát, kijelölve az utat a mesterséges intelligencia képességeinek hatékonyabb és kiegyensúlyozottabb növelése felé.

Irodalom

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.