Chinchilla (language model) (BG)

Chinchilla — това е голям езиков модел (LLM), разработен от изследователската група на DeepMind и представен през март 2022 година. Моделът съдържа около 70 милиарда параметъра и е обучен върху корпус от текст с обем 1,4 трилиона токена.

Ключова особеност на Chinchilla е нейният изчислително-оптимален подход към обучението. За разлика от предишните модели, при които основният акцент беше поставен върху увеличаването на броя на параметрите, Chinchilla беше създадена въз основа на хипотезата за необходимостта от пропорционално мащабиране както на размера на модела, така и на обема на обучителните данни. Благодарение на този подход Chinchilla демонстрира превъзходство над значително по-големи модели, като Gopher (280 млрд. параметъра) и GPT-3 (175 млрд.), върху широк спектър от езикови задачи.

Предпоставки и история на създаването

Разработката на Chinchilla стана резултат от изследване на мащабирането на LLM, провеждано в DeepMind въз основа на семейството модели Gopher. Моделът Gopher, представен през 2021 година, имаше 280 млрд. параметъра, но беше обучен върху сравнително малък корпус от 300 млрд. токена. По онова време в отрасъла доминираше подходът, според който производителността на моделите растеше основно чрез увеличаване на техния размер (брой параметри), докато обемът на данните оставаше относително постоянен.

Хипотеза за изчислително-оптималното обучение

Изследователите на DeepMind издигнаха хипотезата, че много от големите модели, включително Gopher, са недообучени (undertrained) спрямо своя размер. Те не достигаха максимално възможното качество при даден изчислителен бюджет, тъй като им липсваха данни за обучение.

Същността на хипотезата се състоеше в това, че за оптимално използване на изчислителните ресурси размерът на модела и обемът на обучителните данни трябва да се увеличават пропорционално един на друг. С други думи, при удвояване на броя на параметрите на модела е необходимо приблизително да се удвои и броят на обучителните токени. Този извод се разминаваше с предишните изследвания, които надценяваха стойността на увеличаването на размера на модела, тъй като бяха провеждани при фиксиран обем данни.

За проверка на тази хипотеза екипът на DeepMind проведе обширни експерименти, като обучи над 400 модела с различен размер върху набори от данни от 5 до 500 млрд. токена. Резултатите потвърдиха, че паралелното мащабиране е оптималната стратегия. Въз основа на тези изводи беше разработен моделът Chinchilla като практически тест на новата парадигма.

Архитектура и обучение

Архитектурни особености

Chinchilla принадлежи към семейството на авторегресивните трансформери и по архитектура е близка до моделите GPT-2/GPT-3. Тя наследи много решения от Gopher, но с ключови разлики, насочени към намаляване на размера при запазване на дълбочината на мрежата:

• Параметри: ~70 млрд. параметъра, разпределени в 80 слоя.
• Ширина на модела: Броят на главите за самовнимание беше намален до 64 (срещу 128 при Gopher), а вътрешното измерение на слоевете — до 8192 (срещу ~16384 при Gopher).
• Оптимизатор: Използва се AdamW вместо Adam, което подобрява сходимостта върху по-големи набори от данни.

Тази архитектура позволи на Chinchilla да запази същата дълбочина на мрежата като Gopher, но при значително по-малък брой параметри, което намали изискванията към паметта и изчислителните ресурси.

Мащабиране и данни за обучение

За проверка на хипотезата Chinchilla беше обучена със същия изчислителен бюджет като Gopher, но с преразпределение на ресурсите в полза на данните. Моделът с 70 млрд. параметъра беше обучен върху корпус от 1,4 трилиона токена, което е приблизително 4 пъти повече от обема данни, използвани за Gopher.

Това съотношение, приблизително 20 токена за всеки параметър, стана известно като точката Chinchilla (Chinchilla Point) и служи за ориентир при изчислително-оптималното обучение на съвременните LLM. Експериментът потвърди, че Chinchilla, обучена по-близо до този оптимален предел, успя да реализира своя потенциал по-пълно, отколкото недообучените, макар и по-големи, модели.

Резултати и производителност

Върху широк набор от стандартни тестове Chinchilla демонстрира значително превъзходство над предишните модели. Тя уверено надмина не само Gopher, но и другите актуални по онова време LLM, включително OpenAI GPT-3 (175 млрд. параметъра) и Megatron-Turing NLG (530 млрд. параметъра).

Най-показателен стана резултатът на комплексния benchmark MMLU (Measuring Massive Multitask Language Understanding), който оценява знанията и разсъжденията в стотици разнородни задачи. Chinchilla постигна средна точност 67,5%, което стана нов рекорд за модели от този клас и надвиши резултата на Gopher с 7 процентни пункта.

Освен високата ефективност, Chinchilla демонстрира и икономичност при използване. По-малкият размер на модела (70 млрд. срещу 175+ млрд. при аналозите) означава, че за логически извод (inference) и дообучение (fine-tuning) се изискват значително по-малко изчислителни ресурси, което улеснява практическото му приложение.

Значение и влияние

Изследването на Chinchilla оказа фундаментално влияние върху подходите към обучението на големи езикови модели.

• Закони за мащабиране на Chinchilla (Chinchilla scaling laws): Установеното оптимално съотношение между размера на модела и обема на данните се превърна де факто в стандарт и ориентир за последващите разработки в отрасъла.
• Преместване на фокуса от размер към данни: Работата стимулира индустрията да обръща повече внимание на създаването, изчистването и разширяването на обучителните корпуси, а не само на неизбирателното увеличаване на броя на параметрите.
• Приложение в мултимодални системи: Chinchilla беше използвана като основен езиков компонент в мултимодалния модел на DeepMind Flamingo, който е способен да разбира изображения и текст.

Макар самият модел Chinchilla да не беше пуснат в публичен достъп, нейните концепции и резултати, публикувани в научната работа, промениха траекторията на развитие на цялата област на LLM, очертавайки пътя към по-ефективен и балансиран растеж на възможностите на изкуствения интелект.

Литература

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.