Fondamenti teorici dei modelli linguistici di grandi dimensioni

Fondamenti teorici dei Large Language Model (basati sull'architettura Transformer) — è l'insieme di principi matematici, statistici e della teoria dell'informazione che stanno alla base del funzionamento, dell'addestramento e delle capacità dei moderni Large Language Model (LLM). Questi fondamenti spiegano come i modelli costruiti sull'architettura Transformer siano in grado di comprendere e generare il linguaggio umano con un elevato grado di coerenza.

Fondamenti architetturali: architettura Transformer

I moderni LLM si basano quasi interamente sull'architettura Transformer, presentata nel 2017 nell'articolo «Attention Is All You Need». Questa architettura ha abbandonato i livelli ricorrenti (come in RNN e LSTM), puntando sul meccanismo di attenzione (attention), il che ha permesso di elaborare efficacemente sequenze lunghe e di parallelizzare i calcoli.

Meccanismo di Self-Attention

Questo è il nucleo dell'architettura Transformer. Il meccanismo di self-attention permette al modello di pesare l'importanza di ogni parola (token) in una sequenza rispetto a tutte le altre parole nella stessa sequenza. Per ogni token vengono creati tre vettori:

• Query (Q, Interrogazione): il vettore che rappresenta la parola corrente.
• Key (K, Chiave): il vettore con cui vengono confrontate le interrogazioni delle altre parole.
• Value (V, Valore): il vettore contenente le informazioni sulla parola che verranno trasmesse.

Il punteggio di attenzione viene calcolato come prodotto scalare normalizzato:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

dove $d_k$ è la dimensione dei vettori chiave. Questo meccanismo permette al modello di cogliere dipendenze contestuali complesse, indipendentemente dalla distanza tra le parole.

Multi-Head Attention — è l'esecuzione parallela di più tali calcoli con diverse matrici di proiezione, il che consente al modello di concentrarsi simultaneamente su diversi aspetti della sintassi e della semantica.

Tipi di architetture basate sul Transformer

Esistono tre varianti principali di utilizzo dei componenti del Transformer:

1. Encoder-Decoder: L'architettura classica per i compiti di trasformazione da sequenza a sequenza (ad esempio, la traduzione automatica). L'encoder elabora la sequenza di input, mentre il decoder genera quella di output. Esempi: T5, BART.
2. Solo Encoder (Encoder-Only): Modelli che utilizzano solo lo stack di encoder. Sono ottimi per i compiti che richiedono una comprensione approfondita del contesto dell'intera sequenza (classificazione del testo, riconoscimento delle entità nominate). Esempio: BERT.
3. Solo Decoder (Decoder-Only): Modelli che utilizzano solo lo stack di decoder. Operano in modo autoregressivo, prevedendo il token successivo sulla base di quelli precedenti. Questo è lo standard per i modelli generativi. Esempi: GPT, LLaMA, Claude.

Codifica posizionale

Poiché il meccanismo di self-attention non tiene conto dell'ordine delle parole, all'architettura viene aggiunta la codifica posizionale. Agli embedding dei token vengono sommati vettori che codificano la loro posizione nella sequenza. Nel modello originale venivano utilizzate funzioni sinusoidali:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

Nei modelli moderni vengono utilizzate anche codifiche posizionali apprendibili e rotazionali (Rotary Position Embeddings, RoPE).

Principi di addestramento: dalla probabilità all'ottimizzazione

La modellazione del linguaggio come problema probabilistico

Alla base degli LLM vi è il compito di modellazione del linguaggio — la previsione della probabilità di una sequenza di testo. Formalmente, per una sequenza $X=(x_1,x_2,\dots ,x_T)$ il modello stima la probabilità $P(X)$. Attraverso la regola della catena delle probabilità, questa si decompone nel prodotto delle probabilità condizionali:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

In questo modo, l'addestramento del modello si riduce alla previsione del token successivo $x_t$ sulla base del contesto dei token precedenti.

Funzione di perdita e teoria dell'informazione

Per valutare la qualità delle previsioni e addestrare il modello viene utilizzata la funzione di perdita dell'entropia incrociata (cross-entropy loss). Essa misura la divergenza tra la distribuzione di probabilità prevista dal modello ($q$) e la distribuzione reale ($p$), in cui il token successivo corretto ha probabilità 1 e tutti gli altri 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

La minimizzazione dell'entropia incrociata è equivalente alla massimizzazione della verosimiglianza dei dati di addestramento.

Una metrica di qualità correlata è la perplexity, definita come l'esponenziale dell'entropia incrociata: $\text{Perplexity}=2^{H(p,q)}$. Intuitivamente, la perplexity indica il numero medio di opzioni tra cui il modello «sceglie» ad ogni passo. Minore è la perplexity, più il modello è sicuro e preciso.

Ottimizzazione

L'addestramento degli LLM è un processo di minimizzazione della funzione di perdita attraverso la correzione di miliardi di parametri del modello. A tale scopo vengono utilizzati metodi basati sulla discesa del gradiente. Il più diffuso è l'ottimizzatore Adam (Adaptive Moment Estimation) e le sue varianti (ad esempio, AdamW), che adattano il tasso di apprendimento per ogni parametro.

Paradigmi di addestramento

1. Pre-addestramento (Pre-training): Il modello viene addestrato su enormi corpus di testo non annotati (Common Crawl, The Pile, C4) utilizzando compiti auto-supervisionati, come:
   • Modellazione causale del linguaggio (CLM): Previsione del token successivo (utilizzata in GPT).
   • Modellazione mascherata del linguaggio (MLM): Ricostruzione di token mascherati casualmente nel testo (utilizzata in BERT).
2. Fine-tuning (Dine-tuning): Dopo il pre-addestramento, il modello viene adattato a compiti specifici su piccoli dataset annotati.
3. Allineamento (Alignment): Una fase speciale di fine-tuning finalizzata ad allineare il comportamento del modello alle preferenze e ai valori umani. Il metodo chiave è RLHF (Reinforcement Learning from Human Feedback), in cui il modello viene ulteriormente addestrato utilizzando il segnale di ricompensa proveniente da un modello che prevede le preferenze umane.

Leggi di scala e capacità emergenti

Ricerche empiriche hanno dimostrato che le prestazioni degli LLM migliorano in modo prevedibile con l'aumentare di tre fattori: la dimensione del modello (numero di parametri, $N$), la dimensione del dataset di addestramento ($D$) e il volume di calcolo ($C$). Questa dipendenza è descritta dalle leggi di potenza (scaling laws).

La legge proposta nel lavoro di OpenAI (Kaplan et al., 2020) mostra che la funzione di perdita $L$ decresce come una funzione di potenza di $N$, $D$ e $C$. Un lavoro successivo di DeepMind (Hoffmann et al., 2022) ha affinato queste leggi (leggi di Chinchilla), dimostrando che per un addestramento ottimale è necessario aumentare in modo equilibrato sia la dimensione del modello che il volume dei dati.

Una conseguenza importante del ridimensionamento è la comparsa di capacità emergenti — salti qualitativi nelle prestazioni, in cui il modello inizia a risolvere compiti per i quali non è stato esplicitamente addestrato (ad esempio, aritmetica, ragionamento logico, scrittura di codice). Queste capacità sono generalmente assenti nei modelli di dimensioni minori e si manifestano solo dopo aver raggiunto una certa soglia di scala.

Generazione del testo: strategie di decodifica

Dopo l'addestramento, il modello genera testo prevedendo iterativamente il token successivo. La scelta del token successivo dalla distribuzione di probabilità fornita dal modello avviene attraverso diverse strategie di decodifica:

• Ricerca greedy (Greedy Search): Viene sempre scelto il token più probabile. Veloce, ma spesso produce testi ripetitivi e poco interessanti.
• Beam Search: Ad ogni passo vengono mantenute le $k$ sequenze più probabili, il che permette di trovare soluzioni globali più ottimali.
• Campionamento con temperatura: Le probabilità dei token vengono corrette dal parametro temperatura ($T$). Con $T>1$ la distribuzione diventa più uniforme (maggiore creatività), con $T<1$ più concentrata (minore casualità).
• Campionamento Top-k: Ad ogni passo il campionamento è limitato ai $k$ token più probabili.
• Campionamento Top-p (Nucleus): Il campionamento è limitato all'insieme minimo di token la cui probabilità cumulativa supera la soglia $p$. Ciò consente di adattare dinamicamente la dimensione del pool di candidati.

Problemi teorici e limitazioni

• Allucinazioni: La tendenza dei modelli a generare informazioni fattualmente errate ma plausibili. Ciò è dovuto al fatto che i modelli ottimizzano la probabilità del testo, non la sua veridicità.
• Bias (Distorsione): Gli LLM ereditano e amplificano i bias sociali, culturali e di altro tipo presenti nei dati di addestramento.
• Interpretabilità («scatola nera»): A causa dell'enorme numero di parametri, è estremamente difficile capire esattamente come il modello prende le decisioni, il che complica il debug e crea rischi.
• Complessità computazionale: Il meccanismo di self-attention ha complessità quadratica rispetto alla lunghezza della sequenza ($O(n^2)$), il che limita la lunghezza massima del contesto elaborabile.

Vedi anche

• Grandi modelli linguistici
• BERT
• GPT

Bibliografia

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.