Theoretical foundations of large language models (PL)

Teoretyczne podstawy dużych modeli językowych (opartych na architekturze transformerów) — to zbiór matematycznych, statystycznych i informatyczno-teoretycznych zasad leżących u podstaw funkcjonowania, uczenia oraz możliwości współczesnych dużych modeli językowych (LLM). Podstawy te wyjaśniają, w jaki sposób modele zbudowane na architekturze Transformer są w stanie rozumieć i generować język ludzki z wysokim stopniem koherencji.

Podstawy architektoniczne: architektura Transformer

Współczesne LLM opierają się niemal całkowicie na architekturze Transformer, przedstawionej w 2017 roku w artykule „Attention Is All You Need". Architektura ta zrezygnowała z warstw rekurencyjnych (jak w RNN i LSTM), stawiając na mechanizm uwagi (attention), co umożliwiło efektywne przetwarzanie długich sekwencji i zrównoleglenie obliczeń.

Mechanizm samo-uwagi (Self-Attention)

Jest to rdzeń architektury Transformer. Mechanizm samo-uwagi pozwala modelowi na ważenie ważności każdego słowa (tokenu) w sekwencji względem wszystkich pozostałych słów w tej samej sekwencji. Dla każdego tokenu tworzone są trzy wektory:

• Query (Q, Zapytanie): wektor reprezentujący bieżące słowo.
• Key (K, Klucz): wektor, z którym porównywane są zapytania innych słów.
• Value (V, Wartość): wektor zawierający informację o słowie, która zostanie przekazana dalej.

Wynik uwagi obliczany jest jako skalowane iloczyn skalarny:

$extAttention(Q,K,V)=extsoftmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

gdzie $d_k$ — wymiarowość wektorów kluczy. Mechanizm ten pozwala modelowi uchwycić złożone zależności kontekstowe, niezależnie od odległości między słowami.

Wielogłowowa uwaga (Multi-Head Attention) — to równoległe wykonywanie wielu takich obliczeń z różnymi macierzami projekcji, co pozwala modelowi jednocześnie skupiać się na różnych aspektach składni i semantyki.

Typy architektur opartych na Transformerze

Istnieją trzy podstawowe warianty wykorzystania komponentów Transformera:

1. Enkoder-dekoder (Encoder-Decoder): Klasyczna architektura do zadań przekształcania sekwencji w sekwencję (np. tłumaczenie maszynowe). Enkoder przetwarza sekwencję wejściową, a dekoder generuje wyjściową. Przykłady: T5, BART.
2. Tylko enkoder (Encoder-Only): Modele wykorzystujące wyłącznie stos enkoderów. Doskonale nadają się do zadań wymagających głębokiego rozumienia kontekstu całej sekwencji (klasyfikacja tekstu, rozpoznawanie nazwanych encji). Przykład: BERT.
3. Tylko dekoder (Decoder-Only): Modele wykorzystujące wyłącznie stos dekoderów. Działają autoregresyjnie, przewidując następny token na podstawie poprzednich. Jest to standard dla modeli generatywnych. Przykłady: GPT, LLaMA, Claude.

Kodowanie pozycyjne

Ponieważ mechanizm samo-uwagi nie uwzględnia kolejności słów, do architektury dodawane jest kodowanie pozycyjne. Do embeddingów tokenów dodawane są wektory kodujące ich pozycję w sekwencji. W oryginalnym modelu stosowano funkcje sinusoidalne:

$extPE(extpos,2i)=\sin (extpos/10000^{2i/d_{extmodel}})$

$extPE(extpos,2i+1)=\cos (extpos/10000^{2i/d_{extmodel}})$

W nowoczesnych modelach stosowane są również uczalne i rotacyjne kodowania pozycyjne (Rotary Position Embeddings, RoPE).

Zasady uczenia: od prawdopodobieństwa do optymalizacji

Modelowanie językowe jako zadanie probabilistyczne

U podstaw LLM leży zadanie modelowania językowego — przewidywanie prawdopodobieństwa sekwencji tekstu. Formalnie, dla sekwencji $X=(x_1,x_2,\dots ,x_T)$ model szacuje prawdopodobieństwo $P(X)$. Za pomocą reguły łańcuchowej prawdopodobieństw rozkłada się to na iloczyn prawdopodobieństw warunkowych:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

W ten sposób uczenie modelu sprowadza się do przewidywania następnego tokenu $x_t$ na podstawie kontekstu z poprzednich tokenów.

Funkcja straty i teoria informacji

Do oceny jakości przewidywań i uczenia modelu stosowana jest krossentropijną funkcja straty. Mierzy ona rozbieżność między rozkładem prawdopodobieństwa przewidzianym przez model ($q$) a prawdziwym rozkładem ($p$), gdzie poprawny następny token ma prawdopodobieństwo 1, a pozostałe — 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Minimalizacja krossentropii jest równoważna maksymalizacji wiarygodności danych uczących.

Powiązaną metryką jakości jest perpleksja, definiowana jako eksponenta krossentropii: $extPerplexity=2^{H(p,q)}$. Intuicyjnie perpleksja pokazuje średnią liczbę wariantów, spośród których model „wybiera" na każdym kroku. Im niższa perpleksja, tym pewniej i dokładniej działa model.

Optymalizacja

Uczenie LLM to proces minimalizacji funkcji straty poprzez korektę miliardów parametrów modelu. W tym celu stosowane są metody oparte na gradientowym zejściu. Najszerzej stosowanym jest optymalizator Adam (Adaptive Moment Estimation) i jego warianty (np. AdamW), które adaptacyjnie dobierają tempo uczenia dla każdego parametru.

Paradygmaty uczenia

1. Wstępne uczenie (Pre-training): Model jest uczony na ogromnych nieoznaczonych korpusach tekstowych (Common Crawl, The Pile, C4) z wykorzystaniem zadań samokontrolowanych, takich jak:
   • Przyczynowe modelowanie językowe (CLM): Przewidywanie następnego tokenu (stosowane w GPT).
   • Maskowane modelowanie językowe (MLM): Odtwarzanie losowo zamaskowanych tokenów w tekście (stosowane w BERT).
2. Dostrajanie (Fine-tuning): Po wstępnym uczeniu model jest adaptowany do konkretnych zadań na niewielkich oznaczonych zbiorach danych.
3. Wyrównywanie (Alignment): Specjalny etap dostrajania mający na celu dostosowanie zachowania modelu do ludzkich preferencji i wartości. Kluczową metodą jest RLHF (Reinforcement Learning from Human Feedback), gdzie model jest dostrajany z użyciem sygnału nagrody pochodzącego z modelu przewidującego ludzkie preferencje.

Prawa skalowania i zdolności emergentne

Badania empiryczne wykazały, że wydajność LLM przewidywalnie poprawia się wraz ze wzrostem trzech czynników: rozmiaru modelu (liczby parametrów, $N$), rozmiaru zbioru danych uczących ($D$) oraz ilości obliczeń ($C$). Zależność ta opisywana jest przez prawa potęgowe (scaling laws).

Prawo zaproponowane w pracy OpenAI (Kaplan et al., 2020) pokazuje, że funkcja straty $L$ maleje jako funkcja potęgowa od $N$, $D$ i $C$. Późniejsza praca DeepMind (Hoffmann et al., 2022) doprecyzowała te prawa (prawa Chinchilla), wykazując, że dla optymalnego uczenia konieczne jest zrównoważone zwiększanie zarówno rozmiaru modelu, jak i ilości danych.

Ważną konsekwencją skalowania jest pojawienie się zdolności emergentnych — jakościowych skoków w wydajności, gdy model zaczyna rozwiązywać zadania, do których nie był wprost uczony (np. arytmetyka, rozumowanie logiczne, pisanie kodu). Zdolności te z reguły nieobecne są w modelach mniejszego rozmiaru i ujawniają się dopiero po przekroczeniu określonego progu skali.

Generowanie tekstu: strategie dekodowania

Po uczeniu model generuje tekst, iteracyjnie przewidując następny token. Wybór następnego tokenu z rozkładu prawdopodobieństwa wyznaczonego przez model dokonywany jest za pomocą różnych strategii dekodowania:

• Zachłanne przeszukiwanie (Greedy Search): Zawsze wybierany jest najbardziej prawdopodobny token. Szybkie, lecz często prowadzi do powtarzającego się i monotonnego tekstu.
• Przeszukiwanie wiązkowe (Beam Search): Na każdym kroku zachowywanych jest $k$ najbardziej prawdopodobnych sekwencji, co pozwala znajdować bardziej optymalne globalne rozwiązania.
• Próbkowanie z temperaturą: Prawdopodobieństwa tokenów korygowane są parametrem temperatury ($T$). Przy $T>1$ rozkład staje się bardziej równomierny (więcej kreatywności), przy $T<1$ — bardziej skupiony (mniej losowości).
• Próbkowanie Top-k: Na każdym kroku próbkowanie ograniczone jest do $k$ najbardziej prawdopodobnych tokenów.
• Próbkowanie Top-p (Nucleus): Próbkowanie ograniczone jest do minimalnego zestawu tokenów, których łączne prawdopodobieństwo przekracza próg $p$. Pozwala to dynamicznie dostosowywać rozmiar puli kandydatów.

Teoretyczne problemy i ograniczenia

• Halucynacje: Skłonność modeli do generowania faktycznie błędnych, lecz brzmiących wiarygodnie informacji. Wynika to z faktu, że modele optymalizują prawdopodobieństwo tekstu, a nie jego prawdziwość.
• Stronniczość (Bias): LLM dziedziczą i wzmacniają uprzedzenia społeczne, kulturowe i inne obecne w danych uczących.
• Interpretowalność („czarna skrzynka"): Ze względu na ogromną liczbę parametrów niezwykle trudno zrozumieć, w jaki dokładnie sposób model podejmuje decyzje, co utrudnia debugowanie i stwarza ryzyko.
• Złożoność obliczeniowa: Mechanizm samo-uwagi ma kwadratową złożoność względem długości sekwencji ($O(n^2)$), co ogranicza maksymalną długość przetwarzanego kontekstu.

Zobacz też

• Duże modele językowe
• BERT
• GPT

Literatura

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.