Theoretical foundations of large language models (HU)

A nagy nyelvi modellek elméleti alapjai (Transformer architektúrán alapulva) — azon matematikai, statisztikai és információelméleti elvek összessége, amelyek a modern nagy nyelvi modellek (LLM) működésének, tanításának és képességeinek alapját képezik. Ezek az alapok magyarázzák meg, hogyan képesek a Transformer architektúrára épített modellek magas fokú koherenciával megérteni és generálni az emberi nyelvet.

Architekturális alapok: a Transformer architektúra

A modern LLM-ek szinte teljes egészében a Transformer architektúrára épülnek, amelyet 2017-ben mutattak be az „Attention Is All You Need" című cikkben. Ez az architektúra elhagyta a rekurrens rétegeket (mint az RNN és az LSTM esetében), és az attention (figyelem) mechanizmusra helyezte a hangsúlyt, ami lehetővé tette a hosszú sorozatok hatékony feldolgozását és a számítások párhuzamosítását.

Self-Attention - Önfigyelmi mechanizmus

Ez a Transformer architektúra magja. Az önfigyelmi mechanizmus lehetővé teszi a modell számára, hogy a sorozat minden szavának (tokenjének) fontosságát a sorozat összes többi szavához viszonyítva mérlegelje. Minden tokenhez három vektor jön létre:

• Query (Q, Lekérdezés): az aktuális szót reprezentáló vektor.
• Key (K, Kulcs): az a vektor, amellyel a többi szó lekérdezéseit összehasonlítják.
• Value (V, Érték): a szóról szóló, továbbtovábbított információt tartalmazó vektor.

Az attention-pontszámot skálázott skaláris szorzatként számítják ki:

$extAttention(Q,K,V)=extsoftmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

ahol $d_k$ a kulcsvektorok dimenziója. Ez a mechanizmus lehetővé teszi a modell számára, hogy összetett kontextuális függőségeket ragadjon meg, függetlenül a szavak közötti távolságtól.

Multi-Head Attention - Többfejű figyelem — ez több ilyen számítás párhuzamos végrehajtása különböző projekciós mátrixokkal, ami lehetővé teszi a modell számára, hogy egyidejűleg a szintaxis és a szemantika különböző aspektusaira fókuszáljon.

A Transformeren alapuló architektúratípusok

A Transformer komponensek felhasználásának három fő változata létezik:

1. Encoder-Decoder - Kódoló-dekódoló: A klasszikus architektúra sorozat-sorozat átalakítási feladatokhoz (például gépi fordítás). A kódoló feldolgozza a bemeneti sorozatot, a dekódoló pedig előállítja a kimeneti sorozatot. Példák: T5, BART.
2. Encoder-Only - Csak kódoló: Kizárólag kódolóréteg-halmazt alkalmazó modellek. Kiválóan alkalmasak olyan feladatokhoz, amelyek a teljes sorozat kontextusának mélyreható megértését igénylik (szövegbesorolás, névelem-felismerés). Példa: BERT.
3. Decoder-Only - Csak dekódoló: Kizárólag dekódolóréteg-halmazt alkalmazó modellek. Autoregresszív módon működnek, az előző tokenek alapján megjósolják a következő tokent. Ez a generatív modellek szabványa. Példák: GPT, LLaMA, Claude.

Pozicionális kódolás

Mivel az önfigyelmi mechanizmus nem veszi figyelembe a szavak sorrendjét, az architektúrába pozicionális kódolás kerül. A token-embeddingekhez hozzáadódnak a sorozatbeli pozíciójukat kódoló vektorok. Az eredeti modellben szinuszos függvényeket alkalmaztak:

$extPE(extpos,2i)=\sin (extpos/10000^{2i/d_{extmodel}})$

$extPE(extpos,2i+1)=\cos (extpos/10000^{2i/d_{extmodel}})$

A modern modellekben tanulható és rotatív (Rotary Position Embeddings, RoPE) pozicionális kódolásokat is alkalmaznak.

A tanítás elvei: a valószínűségtől az optimalizálásig

Nyelvi modellezés mint valószínűségi feladat

Az LLM-ek alapja a nyelvi modellezés feladata — egy szövegsorozat valószínűségének becslése. Formálisan, egy $X=(x_1,x_2,\dots ,x_T)$ sorozatra a modell a $P(X)$ valószínűséget becsüli. A valószínűségek lánc-szabályával ez feltételes valószínűségek szorzatára bontható:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Ekképpen a modell tanítása a következő token $x_t$ előrejelzésére vezethető vissza az előző tokenek kontextusa alapján.

Veszteségfüggvény és információelmélet

Az előrejelzések minőségének értékelésére és a modell tanítására keresztentrópia-veszteségfüggvényt alkalmaznak. Ez a modell által becsült valószínűségi eloszlás ($q$) és a valódi eloszlás ($p$) közötti eltérést méri, ahol a helyes következő token valószínűsége 1, a többié 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

A keresztentrópia minimalizálása egyenértékű a tanítási adatok likelihood-jának maximalizálásával.

Egymáshoz kapcsolódó minőségi mérőszám a perplexitás, amelyet a keresztentrópia exponenciálisaként definiálnak: $extPerplexity=2^{H(p,q)}$. Intuitív módon a perplexitás azt mutatja meg, hogy a modell átlagosan hány lehetőség közül „választ" minden lépésben. Minél alacsonyabb a perplexitás, annál magabiztosabb és pontosabb a modell.

Optimalizálás

Az LLM-ek tanítása a veszteségfüggvény minimalizálásának folyamata a modell milliárdnyi paraméterének kiigazítása révén. Ehhez gradiens alapú módszereket alkalmaznak. A legelterjedtebb az Adam (Adaptive Moment Estimation) optimalizáló és változatai (például AdamW), amelyek adaptívan hangolják be a tanulási sebességet minden egyes paraméterhez.

Tanítási paradigmák

1. Pre-training - Előzetes tanítás: A modell hatalmas, jelöletlen szövegkorpuszokon (Common Crawl, The Pile, C4) tanul önfelügyelt feladatok segítségével, mint például:
   • Kauzális nyelvi modellezés (CLM): A következő token előrejelzése (GPT-ben alkalmazott).
   • Maszkolással végzett nyelvi modellezés (MLM): A szövegben véletlenszerűen maszkolt tokenek visszaállítása (BERT-ben alkalmazott).
2. Fine-tuning - Finomhangolás: Az előzetes tanítás után a modellt kis méretű, jelölt adathalmazokon konkrét feladatokhoz igazítják.
3. Alignment - Igazítás: A finomhangolás egy speciális fázisa, amelynek célja a modell viselkedésének összehangolása az emberi preferenciákkal és értékekkel. A kulcsmódszer a RLHF (Reinforcement Learning from Human Feedback), ahol a modellt egy emberi preferenciákat előrejelző modell jutalomjelzésével finomhangolják.

Skálázási törvények és emergáló képességek

Emperikus kutatások kimutatták, hogy az LLM-ek teljesítménye kiszámítható módon javul három tényező növekedésével: a modell mérete (paraméterek száma, $N$), a tanítási adathalmaz mérete ($D$) és a számítási kapacitás ($C$). Ezt az összefüggést hatványtörvények (scaling laws) írják le.

Az OpenAI (Kaplan et al., 2020) munkájában javasolt törvény megmutatja, hogy a veszteségfüggvény $L$ hatványfüggvényként csökken $N$, $D$ és $C$ függvényében. A DeepMind (Hoffmann et al., 2022) egy későbbi munkája finomította ezeket a törvényeket (Chinchilla-törvények), kimutatva, hogy az optimális tanításhoz mind a modell méretét, mind az adatmennyiséget kiegyensúlyozottan kell növelni.

A skálázás fontos következménye az emergáló képességek megjelenése — a teljesítmény minőségi ugrásai, amikor a modell olyan feladatokat kezd megoldani, amelyekre nem tanították explicit módon (például aritmetika, logikai következtetés, kódírás). Ezek a képességek általában kisebb méretű modellekben nem jelentkeznek, és csak egy bizonyos méretküszöb elérése után válnak nyilvánvalóvá.

Szöveggenerálás: dekódolási stratégiák

A tanítást követően a modell szöveget generál a következő token iteratív előrejelzésével. A következő token kiválasztása a modell által kiadott valószínűségi eloszlásból különböző dekódolási stratégiákkal történik:

• Greedy Search - Mohó keresés: Mindig a legnagyobb valószínűségű tokent választja. Gyors, de gyakran ismétlődő és unalmas szöveget eredményez.
• Beam Search - Sugárkeresés: Minden lépésben megőrzi a $k$ legnagyobb valószínűségű sorozatot, ami lehetővé teszi az optimálisabb globális megoldások megtalálását.
• Hőmérsékletes mintavételezés: A tokenek valószínűségeit a hőmérséklet ($T$) paraméterrel korrigálják. $T>1$ esetén az eloszlás egyenletesebbé válik (több kreativitás), $T<1$ esetén csúcsosabbá (kevesebb véletlenszerűség).
• Top-k mintavételezés: Minden lépésben a mintavételezés a $k$ legnagyobb valószínűségű tokenre korlátozódik.
• Top-p (Nucleus) mintavételezés: A mintavételezés azon tokenek minimális halmazára korlátozódik, amelyek összesített valószínűsége meghaladja a $p$ küszöbértéket. Ez lehetővé teszi a jelöltek halmazának dinamikus méretezését.

Elméleti problémák és korlátok

• Hallucináció: A modellek hajlama tényszerűen helytelen, de meggyőzően hangzó információ generálására. Ez azzal függ össze, hogy a modellek a szöveg valószínűségét optimalizálják, nem annak igazságtartalmát.
• Torzítás (Bias): Az LLM-ek öröklik és felerősítik a tanítási adatokban jelenlévő társadalmi, kulturális és egyéb torzításokat.
• Értelmezhetőség („fekete doboz"): A hatalmas paraméterszám miatt rendkívül nehéz megérteni, hogyan hozza meg pontosan a modell döntéseit, ami megnehezíti a hibakeresést és kockázatokat teremt.
• Számítási komplexitás: Az önfigyelmi mechanizmus a sorozat hosszának négyzetével arányos komplexitású ($O(n^2)$), ami korlátozza a feldolgozható kontextus maximális hosszát.

Lásd még

• Nagy nyelvi modellek
• BERT
• GPT

Irodalom

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.