Bazele teoretice ale LLM

Bazele teoretice ale modelelor lingvistice de mari dimensiuni (pe baza arhitecturii transformer) — reprezintă ansamblul principiilor matematice, statistice și din teoria informației care stau la baza funcționării, antrenării și capacităților modelelor lingvistice de mari dimensiuni (LLM) moderne. Aceste fundamente explică modul în care modelele construite pe arhitectura Transformer sunt capabile să înțeleagă și să genereze limbajul uman cu un grad ridicat de coerență.

Fundamente arhitecturale: arhitectura Transformer

LLM-urile moderne se bazează aproape în întregime pe arhitectura Transformer, prezentată în 2017 în articolul «Attention Is All You Need». Această arhitectură a renunțat la straturile recurente (ca în RNN și LSTM), mizând pe mecanismul de atenție (attention), ceea ce a permis procesarea eficientă a secvențelor lungi și paralelizarea calculelor.

Mecanismul de auto-atenție (Self-Attention)

Acesta este nucleul arhitecturii Transformer. Mecanismul de auto-atenție permite modelului să pondereze importanța fiecărui cuvânt (token) dintr-o secvență față de toate celelalte cuvinte din aceeași secvență. Pentru fiecare token sunt creați trei vectori:

• Query (Q, Interogare): vectorul care reprezintă cuvântul curent.
• Key (K, Cheie): vectorul față de care sunt comparate interogările celorlalte cuvinte.
• Value (V, Valoare): vectorul care conține informația despre cuvânt, ce va fi transmisă mai departe.

Scorul de atenție se calculează ca produsul scalar scalat:

$extAttention(Q,K,V)=extsoftmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

unde $d_k$ este dimensiunea vectorilor de chei. Acest mecanism permite modelului să surprindă dependențe contextuale complexe, indiferent de distanța dintre cuvinte.

Atenția multi-cap (Multi-Head Attention) — reprezintă executarea în paralel a mai multor astfel de calcule cu matrice de proiecție diferite, ceea ce permite modelului să se concentreze simultan pe diferite aspecte ale sintaxei și semanticii.

Tipuri de arhitecturi bazate pe Transformer

Există trei variante principale de utilizare a componentelor Transformer:

1. Encoder-Decoder (Encoder-Decoder): Arhitectura clasică pentru sarcinile de transformare secvență-la-secvență (de exemplu, traducerea automată). Encoderul procesează secvența de intrare, iar decoderul generează secvența de ieșire. Exemple: T5, BART.
2. Numai encoder (Encoder-Only): Modele care utilizează doar stiva de encodere. Sunt excelente pentru sarcini ce necesită o înțelegere profundă a contextului întregii secvențe (clasificarea textului, recunoașterea entităților cu nume). Exemplu: BERT.
3. Numai decoder (Decoder-Only): Modele care utilizează doar stiva de decodere. Funcționează autoregresiv, predicând următorul token pe baza celor anterioare. Acesta este standardul pentru modelele generative. Exemple: GPT, LLaMA, Claude.

Codificarea pozițională

Deoarece mecanismul de auto-atenție nu ține cont de ordinea cuvintelor, în arhitectură se adaugă codificarea pozițională. La embedding-urile tokenilor se adaugă vectori care codifică poziția acestora în secvență. În modelul original se foloseau funcții sinusoidale:

$extPE(extpos,2i)=\sin (extpos/10000^{2i/d_{extmodel}})$

$extPE(extpos,2i+1)=\cos (extpos/10000^{2i/d_{extmodel}})$

În modelele moderne se utilizează, de asemenea, codificări poziționale antrenabile și rotaționale (Rotary Position Embeddings, RoPE).

Principii de antrenare: de la probabilitate la optimizare

Modelarea lingvistică ca problemă probabilistică

La baza LLM-urilor se află sarcina de modelare lingvistică — predicția probabilității unei secvențe de text. Formal, pentru o secvență $X=(x_1,x_2,\dots ,x_T)$, modelul estimează probabilitatea $P(X)$. Prin regula lanțului probabilităților, aceasta se descompune în produsul probabilităților condiționate:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Astfel, antrenarea modelului se reduce la predicția următorului token $x_t$ pe baza contextului format din tokenii anteriori.

Funcția de pierdere și teoria informației

Pentru evaluarea calității predicțiilor și antrenarea modelului se utilizează funcția de pierdere entropie încrucișată (cross-entropy). Aceasta măsoară divergența dintre distribuția de probabilitate prezisă de model ($q$) și distribuția reală ($p$), unde tokenul următor corect are probabilitatea 1, iar ceilalți — 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Minimizarea entropiei încrucișate este echivalentă cu maximizarea verosimilității datelor de antrenare.

O metrică de calitate asociată este perplexitatea, definită ca exponentul entropiei încrucișate: $extPerplexity=2^{H(p,q)}$. Intuitiv, perplexitatea indică numărul mediu de variante din care modelul „alege" la fiecare pas. Cu cât perplexitatea este mai mică, cu atât modelul este mai sigur și mai precis.

Optimizarea

Antrenarea LLM-urilor este un proces de minimizare a funcției de pierdere prin ajustarea miliardelor de parametri ai modelului. În acest scop se utilizează metode bazate pe coborârea gradientului. Cel mai răspândit este optimizatorul Adam (Adaptive Moment Estimation) și variantele sale (de exemplu, AdamW), care adaptează rata de învățare pentru fiecare parametru în parte.

Paradigme de antrenare

1. Pre-antrenarea (Pre-training): Modelul este antrenat pe corpusuri text neadnotate de dimensiuni enorme (Common Crawl, The Pile, C4) folosind sarcini auto-supervizate, precum:
   • Modelarea lingvistică cauzală (CLM): Predicția următorului token (utilizată în GPT).
   • Modelarea lingvistică mascată (MLM): Recuperarea tokenilor mascați aleatoriu în text (utilizată în BERT).
2. Ajustarea fină (Fine-tuning): După pre-antrenare, modelul este adaptat la sarcini specifice pe seturi de date adnotate de dimensiuni reduse.
3. Alinierea (Alignment): O etapă specială de ajustare fină, orientată spre alinierea comportamentului modelului cu preferințele și valorile umane. Metoda cheie este RLHF (Reinforcement Learning from Human Feedback), în care modelul este ajustat fin folosind un semnal de recompensă provenit de la un model care predicționează preferințele umane.

Legi de scalare și capacități emergente

Cercetările empirice au arătat că performanța LLM-urilor se îmbunătățește previzibil odată cu creșterea a trei factori: dimensiunea modelului (numărul de parametri, $N$), dimensiunea setului de date de antrenare ($D$) și volumul de calcul ($C$). Această dependență este descrisă de legi de putere (scaling laws).

Legea propusă în lucrarea OpenAI (Kaplan et al., 2020) arată că funcția de pierdere $L$ descrește ca funcție de putere față de $N$, $D$ și $C$. O lucrare ulterioară a DeepMind (Hoffmann et al., 2022) a rafinat aceste legi (legile Chinchilla), demonstrând că, pentru o antrenare optimă, este necesar să se crească echilibrat atât dimensiunea modelului, cât și volumul datelor.

O consecință importantă a scalării este apariția capacităților emergente — salturi calitative în performanță, când modelul începe să rezolve sarcini pentru care nu a fost antrenat explicit (de exemplu, aritmetică, raționament logic, scriere de cod). Aceste capacități lipsesc de regulă la modelele de dimensiuni mai mici și apar doar după atingerea unui anumit prag de scalare.

Generarea textului: strategii de decodare

După antrenare, modelul generează text prin predicția iterativă a următorului token. Alegerea următorului token din distribuția de probabilitate furnizată de model se realizează prin diverse strategii de decodare:

• Căutarea lacomă (Greedy Search): Se alege întotdeauna tokenul cel mai probabil. Rapidă, dar conduce adesea la text repetitiv și plictisitor.
• Căutarea prin fascicul (Beam Search): La fiecare pas se păstrează $k$ secvențe cu cea mai mare probabilitate, permițând găsirea unor soluții globale mai optime.
• Eșantionare cu temperatură: Probabilitățile tokenilor sunt ajustate prin parametrul temperatură ($T$). Când $T>1$, distribuția devine mai uniformă (mai multă creativitate); când $T<1$ — mai concentrată (mai puțină aleatorietate).
• Eșantionare Top-k: La fiecare pas, eșantionarea este limitată la cei $k$ tokeni cu cea mai mare probabilitate.
• Eșantionare Top-p (Nucleus): Eșantionarea este limitată la setul minim de tokeni a căror probabilitate cumulată depășește pragul $p$. Aceasta permite adaptarea dinamică a dimensiunii pool-ului de candidați.

Probleme teoretice și limitări

• Halucinațiile: Tendința modelelor de a genera informații factual incorecte, dar plauzibil formulate. Aceasta este legată de faptul că modelele optimizează probabilitatea textului, nu veridicitatea acestuia.
• Părtinirea (Bias): LLM-urile preiau și amplifică părtinirile sociale, culturale și de altă natură prezente în datele de antrenare.
• Interpretabilitatea («cutia neagră»): Din cauza numărului enorm de parametri, este extrem de dificil să înțelegem cum ia modelul decizii, ceea ce îngreunează depanarea și creează riscuri.
• Complexitatea computațională: Mecanismul de auto-atenție are complexitate pătratică față de lungimea secvenței ($O(n^2)$), ceea ce limitează lungimea maximă a contextului procesat.

Vezi și

• Modele lingvistice de mari dimensiuni
• BERT
• GPT

Bibliografie

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.