Nagy nyelvi modellek tanítása

A nagy nyelvi modellek (LLM) tanítása egy összetett és erőforrás-igényes folyamat, amelynek során egy milliárd paraméteres neurális hálózat hatalmas szöveges adathalmazokon tanul az emberi nyelv megértése és előállítása céljából. Ez a folyamat sarokköve a modern LLM-ek – mint a GPT, BERT, Claude és Gemini – létrehozásának.

A tanítás elméleti alapjai

A Transformer architektúra és az attention mechanizmus

A modern LLM-ek szinte teljes egészében a Transformer architektúrán alapulnak, amely lehetővé teszi a hosszú szövegsorozatok hatékony feldolgozását. A kulcskomponens a self-attention mechanizmus, amely lehetőséget ad a modellnek arra, hogy a teljes sorozat kontextusában mérlegelje az egyes szavak fontosságát. Ez lehetővé teszi a távolsági függőségek felismerését és az adatok párhuzamos feldolgozását, ami jelentősen felgyorsítja a tanítást a rekurrens hálózatokhoz (RNN) képest.

Az alapfeladat: a következő token előrejelzése

A legtöbb LLM (különösen a generatív modellek, mint a GPT) tanításának alapfeladata a nyelvi modellezés. A modell megtanulja előrejelezni a következő tokent (szót vagy szórészt) a sorozatban, az összes korábbi token alapján. Formálisan a modell maximalizálja a $P(X)$ sorozat valószínűségét a lánc-szabály szerinti felbontással:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

A tanításhoz kereszt-entrópia veszteségfüggvényt alkalmaznak, amely a modell által előrejelzett valószínűségeloszlás és a tényleges következő token közötti eltérést méri.

A tanítás szakaszai

Az LLM-ek tanítási folyamata általában két fő szakaszból áll.

1. Előtanítás (Pre-training)

Ez a legterjedelmesebb és számítási szempontból legköltségesebb szakasz, amelyben a modell elsajátítja a nyelvről és a világról szóló alapvető ismereteit.

• Adatok: A modell hatalmas, jelöletlen szövegkorpuszokon tanul, amelyek terjedelme elérheti a billió tokeneket. Az adatforrások közé tartoznak weboldalak (például Common Crawl), a Wikipédia, digitális könyvtárak (Google Books) és kódtárolók (GitHub).
• Cél: Általános nyelvi reprezentációk kialakítása. A modell megtanulja a nyelvtant, a szintaxist, a tényeket, sőt a logikai következtetés egyes elemeit is.
• Folyamat: Ez önfelügyelt tanítás (self-supervised learning), ahol a címkéket (a helyes következő tokeneket) magukból az adatokból nyerik ki. A tanítás hetek vagy hónapok alatt zajlik, több ezer GPU-ból vagy TPU-ból álló klasztereken.

2. Finomhangolás (Fine-tuning) és igazítás (Alignment)

Az előtanítás után a „nyers" modellt konkrét feladatokhoz kell adaptálni, és az emberi elvárásokhoz kell igazítani.

• Felügyelt finomhangolás (Supervised Fine-tuning): A modellt egy kis, de magas minőségű, jelölt adathalmazon hangolják tovább (például utasítás-válasz párok), hogy megtanuljon utasításokat követni.
• Emberi visszajelzésen alapuló megerősítéses tanítás (RLHF): Ez az igazítás kulcsmódszere. A folyamat több lépésből áll:

1. 1. Annotátor emberek rangsorolják a modell több válaszát ugyanarra a kérésre a legjobbtól a legrosszabbig.
   2. Ezeken az adatokon egy jutalommodellt (reward model) tanítanak, amely megtanulja előrejelezni, melyik választ részesíti előnyben az ember.
   3. Az alap LLM-et megerősítéses tanítási algoritmusok (például PPO) segítségével finomhangolják, a jutalommodellt jelzésforrásként használva, hogy hasznosabb, őszintébb és biztonságosabb válaszokat generáljon.

Ez a kétlépéses megközelítés (pre-training + fine-tuning/alignment) iparági szabvánnyá vált, lehetővé téve hatékony és ugyanakkor irányítható nyelvi modellek létrehozását.

Gyakorlati szempontok

Adatok: gyűjtés, méret és előkészítés

Az adatok minősége és mérete meghatározó tényező az LLM-ek sikerében.

• Gyűjtés: Változatos forrásokat alkalmaznak a témák, stílusok és nyelvek széles körű lefedése érdekében.
• Tisztítás és szűrés: Kritikus fontosságú szakasz, amely magában foglalja a duplikátumok eltávolítását, az alacsony minőségű vagy toxikus tartalom kiszűrését, valamint a források kiegyensúlyozását, hogy a modell ne tanuljon rá sajátos internetes nyelvhasználatra.
• Tokenizálás: A szöveget tokenekre (szavakra vagy részszavakra) bontják BPE vagy SentencePiece algoritmusok segítségével. A tokenizáló és a szótárméret megválasztása közvetlenül befolyásolja a modell hatékonyságát és minőségét.

Elosztott tanítás és számítási erőforrások

A több száz milliárd vagy billió paraméteres modellek tanítása hatalmas számítási erőforrásokat és elosztott tanítási technikák alkalmazását igényli.

• Hardver: Szuperszámítógépeket alkalmaznak, amelyek több ezer GPU-ból (például NVIDIA A100/H100) vagy TPU-ból (Google) állnak, és nagy sebességű hálózatokkal (például InfiniBand) kapcsolódnak össze.
• Párhuzamosság: A számítások elosztásához összetett párhuzamossági sémákat alkalmaznak:
  • Data Parallelism: A modell minden egyes példánya a saját GPU-ján az adatok saját részét dolgozza fel.
  • Model Parallelism: Magát a modellt részekre osztják, amelyeket különböző GPU-kra helyeznek el. Ide tartozik a tenzoros (mátrixok felosztása) és a csővezetékes (rétegek felosztása) párhuzamosság.
  • ZeRO (Zero Redundancy Optimizer): A Microsoft DeepSpeed által kifejlesztett technológia, amely megszünteti a paraméterek, gradiensek és optimalizálóállapotok duplikálását, lehetővé téve jóval nagyobb modellek tanítását.

• Keretrendszerek: Ezen összetett sémák megvalósításához speciális keretrendszereket alkalmaznak, mint a DeepSpeed, a Megatron-LM és a Hugging Face Accelerate.

A megközelítések történeti fejlődése

• 1980–1990-es évek: N-grammon alapuló statisztikai nyelvi modellek.
• 2001–2010-es évek: RNN-en és LSTM-en alapuló neurális nyelvi modellek megjelenése, amelyek jobban felismerték a hosszú távú függőségeket.
• 2017: Az „Attention Is All You Need" cikk megjelenése és a Transformer architektúra létrejötte, amely lehetővé tette a párhuzamos tanítást.
• 2018–2019: Az első előtanított transformerek – GPT-1 és BERT – megjelenése, amelyek megszilárdították a „pre-training + fine-tuning" paradigmát.
• 2020: A GPT-3 megjelenése áttörést jelentett a méretezés terén, és megjelent az emergens few-shot képesség.
• 2022: A ChatGPT elindítása és az RLHF népszerűsítése, mint hasznos és biztonságos AI-asszisztensek létrehozásának kulcsmódszere.
• 2023–napjainkig: A multimodális modellek korszaka (GPT-4, Gemini), a kontextusablak növelésére irányuló verseny és az agentikus képességek fejlesztése.

Irodalom

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Hivatkozások

• Bevezetés az LLM-ekbe – Hugging Face tanfolyam