Theoretische grondslagen van LLM

Theoretische grondslagen van grote taalmodellen (gebaseerd op de Transformer-architectuur) — dit is een geheel van wiskundige, statistische en informatietheorische principes die ten grondslag liggen aan de werking, het trainen en de mogelijkheden van moderne grote taalmodellen (LLM). Deze grondslagen verklaren hoe modellen die zijn gebouwd op de Transformer-architectuur menselijke taal kunnen begrijpen en genereren met een hoge mate van coherentie.

Architecturale grondslagen: de Transformer-architectuur

Moderne LLM zijn vrijwel volledig gebaseerd op de Transformer-architectuur, die in 2017 werd geïntroduceerd in het artikel «Attention Is All You Need». Deze architectuur heeft afstand gedaan van recurrente lagen (zoals in RNN en LSTM) en zet in op het attention-mechanisme, waardoor lange reeksen efficiënt kunnen worden verwerkt en berekeningen geparalleliseerd kunnen worden.

Self-Attention - Zelfaandachtsmechanisme

Dit is de kern van de Transformer-architectuur. Het zelfaandachtsmechanisme stelt het model in staat het belang van elk woord (token) in een reeks te wegen ten opzichte van alle andere woorden in diezelfde reeks. Voor elk token worden drie vectoren aangemaakt:

• Query (Q, Zoekopdracht): een vector die het huidige woord vertegenwoordigt.
• Key (K, Sleutel): een vector waarmee zoekopdrachten van andere woorden worden vergeleken.
• Value (V, Waarde): een vector die informatie over het woord bevat die verder wordt doorgegeven.

De attentiescore wordt berekend als een geschaald scalair product:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

waar $d_k$ de dimensie van de sleutelvectoren is. Dit mechanisme stelt het model in staat complexe contextuele afhankelijkheden te vangen, ongeacht de afstand tussen woorden.

Multi-Head Attention — dit is het parallel uitvoeren van meerdere dergelijke berekeningen met verschillende projectiematrices, waardoor het model tegelijkertijd op verschillende aspecten van syntaxis en semantiek kan focussen.

Typen architecturen op basis van de Transformer

Er zijn drie belangrijke varianten voor het gebruik van Transformer-componenten:

1. Encoder-Decoder: De klassieke architectuur voor sequence-to-sequence-taken (bijvoorbeeld machinale vertaling). De encoder verwerkt de invoerreeks, terwijl de decoder de uitvoer genereert. Voorbeelden: T5, BART.
2. Encoder-Only - Alleen encoder: Modellen die uitsluitend een encoder-stack gebruiken. Ze zijn uitstekend geschikt voor taken die een diep begrip van de context van de gehele reeks vereisen (tekstclassificatie, herkenning van benoemde entiteiten). Voorbeeld: BERT.
3. Decoder-Only - Alleen decoder: Modellen die uitsluitend een decoder-stack gebruiken. Ze werken autoregressief en voorspellen het volgende token op basis van de vorige tokens. Dit is de standaard voor generatieve modellen. Voorbeelden: GPT, LLaMA, Claude.

Positionele codering

Omdat het zelfaandachtsmechanisme geen rekening houdt met de volgorde van woorden, wordt positionele codering aan de architectuur toegevoegd. Aan de token-embeddings worden vectoren toegevoegd die hun positie in de reeks coderen. In het originele model werden sinusoïdale functies gebruikt:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

In moderne modellen worden ook leerbare en rotatoire positionele coderingen (Rotary Position Embeddings, RoPE) gebruikt.

Trainingsprincipes: van kansrekening tot optimalisatie

Taalmodellering als probabilistische taak

Aan de basis van LLM ligt de taak van taalmodellering — het voorspellen van de waarschijnlijkheid van een tekstreeks. Formeel schat het model voor een reeks $X=(x_1,x_2,\dots ,x_T)$ de kans $P(X)$. Met behulp van de kettingregel van de kansrekening wordt dit ontbonden in een product van voorwaardelijke kansen:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Zodoende komt het trainen van het model neer op het voorspellen van het volgende token $x_t$ op basis van de context van de voorgaande tokens.

Verliesfunctie en informatietheorie

Voor het beoordelen van de kwaliteit van voorspellingen en het trainen van het model wordt de kruisentropie-verliesfunctie gebruikt. Deze meet de afwijking tussen de kansverdeling voorspeld door het model ($q$) en de werkelijke verdeling ($p$), waarbij het juiste volgende token een kans van 1 heeft en de overige tokens een kans van 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Het minimaliseren van de kruisentropie is equivalent aan het maximaliseren van de aannemelijkheid van de trainingsdata.

Een verwante kwaliteitsmetriek is perplexiteit, gedefinieerd als de exponent van de kruisentropie: $\text{Perplexity}=2^{H(p,q)}$. Intuïtief geeft perplexiteit het gemiddelde aantal opties weer waaruit het model bij elke stap «kiest». Hoe lager de perplexiteit, hoe zekerder en nauwkeuriger het model.

Optimalisatie

Het trainen van LLM is een proces van het minimaliseren van de verliesfunctie door het aanpassen van miljarden modelparameters. Hiervoor worden methoden gebaseerd op gradient descent gebruikt. De meest gebruikte optimizer is Adam (Adaptive Moment Estimation) en zijn varianten (bijvoorbeeld AdamW), die de leersnelheid voor elke parameter adaptief aanpassen.

Trainingsparadigma's

1. Vooraf trainen (Pre-training): Het model wordt getraind op enorme ongelabelde tekstcorpora (Common Crawl, The Pile, C4) met behulp van zelfgesuperviseerde taken, zoals:
   • Causaal taalmodellering (CLM): Het voorspellen van het volgende token (gebruikt in GPT).
   • Gemaskeerd taalmodellering (MLM): Het herstellen van willekeurig gemaskeerde tokens in een tekst (gebruikt in BERT).
2. Fine-tuning - Verfijning: Na het vooraf trainen wordt het model aangepast aan specifieke taken op kleine gelabelde datasets.
3. Alignment - Afstemming: Een speciale fase van fine-tuning, gericht op het afstemmen van het gedrag van het model op menselijke voorkeuren en waarden. De sleutelmethode is RLHF (Reinforcement Learning from Human Feedback), waarbij het model wordt verfijnd met behulp van een beloningssignaal van een model dat menselijke voorkeuren voorspelt.

Schaalwetten en emergente vermogens

Empirisch onderzoek heeft aangetoond dat de prestaties van LLM voorspelbaar verbeteren bij het vergroten van drie factoren: de modelgrootte (het aantal parameters, $N$), de omvang van de trainingsdataset ($D$) en de hoeveelheid rekenkracht ($C$). Dit verband wordt beschreven door machtswetten (scaling laws).

De wet voorgesteld in het werk van OpenAI (Kaplan et al., 2020) toont aan dat de verliesfunctie $L$ afneemt als een machtsfunctie van $N$, $D$ en $C$. Een later werk van DeepMind (Hoffmann et al., 2022) verfijnde deze wetten (Chinchilla-wetten) en toonde aan dat voor optimaal trainen zowel de modelgrootte als de hoeveelheid data gebalanceerd moeten worden vergroot.

Een belangrijk gevolg van schaling is het ontstaan van emergente vermogens — kwalitatieve sprongen in prestaties waarbij het model taken begint op te lossen waarvoor het niet expliciet is getraind (bijvoorbeeld rekenen, logisch redeneren, code schrijven). Deze vermogens zijn doorgaans afwezig in kleinere modellen en manifesteren zich pas na het bereiken van een bepaalde schaaldrempel.

Tekstgeneratie: decoderingsstrategieën

Na het trainen genereert het model tekst door iteratief het volgende token te voorspellen. De keuze van het volgende token uit de kansverdeling die het model produceert, vindt plaats met behulp van verschillende decoderingsstrategieën:

• Greedy Search - Hebzuchtig zoeken: Altijd wordt het meest waarschijnlijke token gekozen. Snel, maar leidt vaak tot herhalende en saaie tekst.
• Beam Search - Bundelzoeken: Bij elke stap worden de $k$ meest waarschijnlijke reeksen bewaard, waardoor meer optimale globale oplossingen gevonden kunnen worden.
• Temperatuursampeling: De kansen van tokens worden aangepast met de temperatuur-parameter ($T$). Bij $T>1$ wordt de verdeling gelijkmatiger (meer creativiteit), bij $T<1$ meer gepiekerd (minder willekeur).
• Top-k sampeling: Bij elke stap wordt de steekproef beperkt tot de $k$ meest waarschijnlijke tokens.
• Top-p (Nucleus) sampeling: De steekproef wordt beperkt tot de minimale verzameling tokens waarvan de gecumuleerde kans de drempel $p$ overschrijdt. Dit maakt het mogelijk de grootte van de kandidatenpool dynamisch aan te passen.

Theoretische problemen en beperkingen

• Hallucinaties: De neiging van modellen om feitelijk onjuiste maar aannemelijk klinkende informatie te genereren. Dit houdt verband met het feit dat modellen de waarschijnlijkheid van tekst optimaliseren, niet de waarheid ervan.
• Vooringenomenheid (Bias): LLM erven en versterken sociale, culturele en andere vooroordelen die aanwezig zijn in de trainingsdata.
• Interpreteerbaarheid («zwarte doos»): Door het enorme aantal parameters is het uiterst moeilijk te begrijpen hoe het model precies beslissingen neemt, wat foutopsporing bemoeilijkt en risico's met zich meebrengt.
• Computationele complexiteit: Het zelfaandachtsmechanisme heeft een kwadratische complexiteit ten opzichte van de reekslengte ($O(n^2)$), wat de maximale lengte van de verwerkte context beperkt.

Zie ook

• Grote taalmodellen
• BERT
• GPT

Literatuur

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.