--- title: "Fondamenti teorici dei modelli linguistici di grandi dimensioni" source: "https://systems-analysis.info/int/Fondamenti_teorici_dei_modelli_linguistici_di_grandi_dimensioni" wiki: "systems-analysis.info/int" article: "Fondamenti_teorici_dei_modelli_linguistici_di_grandi_dimensioni" language: "it" categories: - "Category:Core LLM concepts" - "Category:Italian" - "Category:Large language models" - "Category:Machine learning" revision_id: 2280 wiki_created_at: 2026-09-06T23:01:27Z wiki_modified_at: 2026-09-06T23:01:27Z downloaded_at: 2026-09-07T22:50:18Z --- # Fondamenti teorici dei modelli linguistici di grandi dimensioni **Fondamenti teorici dei Large Language Model (basati sull'architettura Transformer)** — è l'insieme di principi matematici, statistici e della teoria dell'informazione che stanno alla base del funzionamento, dell'addestramento e delle capacità dei moderni Large Language Model (LLM). Questi fondamenti spiegano come i modelli costruiti sull'architettura Transformer siano in grado di comprendere e generare il linguaggio umano con un elevato grado di coerenza. ## Fondamenti architetturali: architettura Transformer I moderni LLM si basano quasi interamente sull'architettura **Transformer**, presentata nel 2017 nell'articolo «Attention Is All You Need». Questa architettura ha abbandonato i livelli ricorrenti (come in RNN e LSTM), puntando sul meccanismo di **attenzione** (attention), il che ha permesso di elaborare efficacemente sequenze lunghe e di parallelizzare i calcoli. ### Meccanismo di Self-Attention Questo è il nucleo dell'architettura Transformer. Il meccanismo di self-attention permette al modello di pesare l'importanza di ogni parola (token) in una sequenza rispetto a tutte le altre parole nella stessa sequenza. Per ogni token vengono creati tre vettori: - **Query (Q, Interrogazione):** il vettore che rappresenta la parola corrente. - **Key (K, Chiave):** il vettore con cui vengono confrontate le interrogazioni delle altre parole. - **Value (V, Valore):** il vettore contenente le informazioni sulla parola che verranno trasmesse. Il punteggio di attenzione viene calcolato come prodotto scalare normalizzato: $\text{Attention}(Q,K,V) = \text{softmax}\left( \frac{QK^{T}}{\sqrt{d_{k}}} \right)V$ dove $d_{k}$ è la dimensione dei vettori chiave. Questo meccanismo permette al modello di cogliere dipendenze contestuali complesse, indipendentemente dalla distanza tra le parole. **Multi-Head Attention** — è l'esecuzione parallela di più tali calcoli con diverse matrici di proiezione, il che consente al modello di concentrarsi simultaneamente su diversi aspetti della sintassi e della semantica. ### Tipi di architetture basate sul Transformer Esistono tre varianti principali di utilizzo dei componenti del Transformer: 1. **Encoder-Decoder:** L'architettura classica per i compiti di trasformazione da sequenza a sequenza (ad esempio, la traduzione automatica). L'encoder elabora la sequenza di input, mentre il decoder genera quella di output. Esempi: T5, BART. 2. **Solo Encoder (Encoder-Only):** Modelli che utilizzano solo lo stack di encoder. Sono ottimi per i compiti che richiedono una comprensione approfondita del contesto dell'intera sequenza (classificazione del testo, riconoscimento delle entità nominate). Esempio: BERT. 3. **Solo Decoder (Decoder-Only):** Modelli che utilizzano solo lo stack di decoder. Operano in modo autoregressivo, prevedendo il token successivo sulla base di quelli precedenti. Questo è lo standard per i modelli generativi. Esempi: GPT, LLaMA, Claude. ### Codifica posizionale Poiché il meccanismo di self-attention non tiene conto dell'ordine delle parole, all'architettura viene aggiunta la **codifica posizionale**. Agli embedding dei token vengono sommati vettori che codificano la loro posizione nella sequenza. Nel modello originale venivano utilizzate funzioni sinusoidali: $\text{PE}(\text{pos},2i) = \sin(\text{pos}/10000^{2i/d_{\text{model}}})$ $\text{PE}(\text{pos},2i + 1) = \cos(\text{pos}/10000^{2i/d_{\text{model}}})$ Nei modelli moderni vengono utilizzate anche codifiche posizionali apprendibili e rotazionali (Rotary Position Embeddings, RoPE). ## Principi di addestramento: dalla probabilità all'ottimizzazione ### La modellazione del linguaggio come problema probabilistico Alla base degli LLM vi è il compito di **modellazione del linguaggio** — la previsione della probabilità di una sequenza di testo. Formalmente, per una sequenza $X = (x_{1},x_{2},\ldots,x_{T})$ il modello stima la probabilità $P(X)$. Attraverso la regola della catena delle probabilità, questa si decompone nel prodotto delle probabilità condizionali: $P(X) = \prod\limits_{t = 1}^{T}P(x_{t}|x_{1},\ldots,x_{t - 1})$ In questo modo, l'addestramento del modello si riduce alla previsione del token successivo $x_{t}$ sulla base del contesto dei token precedenti. ### Funzione di perdita e teoria dell'informazione Per valutare la qualità delle previsioni e addestrare il modello viene utilizzata la **funzione di perdita dell'entropia incrociata** (cross-entropy loss). Essa misura la divergenza tra la distribuzione di probabilità prevista dal modello ($q$) e la distribuzione reale ($p$), in cui il token successivo corretto ha probabilità 1 e tutti gli altri 0. $H(p,q) = - \sum\limits_{i}p(i)\log q(i)$ La minimizzazione dell'entropia incrociata è equivalente alla massimizzazione della verosimiglianza dei dati di addestramento. Una metrica di qualità correlata è la **perplexity**, definita come l'esponenziale dell'entropia incrociata: $\text{Perplexity} = 2^{H(p,q)}$. Intuitivamente, la perplexity indica il numero medio di opzioni tra cui il modello «sceglie» ad ogni passo. Minore è la perplexity, più il modello è sicuro e preciso. ### Ottimizzazione L'addestramento degli LLM è un processo di minimizzazione della funzione di perdita attraverso la correzione di miliardi di parametri del modello. A tale scopo vengono utilizzati metodi basati sulla **discesa del gradiente**. Il più diffuso è l'ottimizzatore **Adam** (Adaptive Moment Estimation) e le sue varianti (ad esempio, AdamW), che adattano il tasso di apprendimento per ogni parametro. ### Paradigmi di addestramento 1. **Pre-addestramento (Pre-training):** Il modello viene addestrato su enormi corpus di testo non annotati (Common Crawl, The Pile, C4) utilizzando compiti auto-supervisionati, come: - **Modellazione causale del linguaggio (CLM):** Previsione del token successivo (utilizzata in GPT). - **Modellazione mascherata del linguaggio (MLM):** Ricostruzione di token mascherati casualmente nel testo (utilizzata in BERT). 2. **Fine-tuning (Dine-tuning):** Dopo il pre-addestramento, il modello viene adattato a compiti specifici su piccoli dataset annotati. 3. **Allineamento (Alignment):** Una fase speciale di fine-tuning finalizzata ad allineare il comportamento del modello alle preferenze e ai valori umani. Il metodo chiave è **RLHF (Reinforcement Learning from Human Feedback)**, in cui il modello viene ulteriormente addestrato utilizzando il segnale di ricompensa proveniente da un modello che prevede le preferenze umane. ## Leggi di scala e capacità emergenti Ricerche empiriche hanno dimostrato che le prestazioni degli LLM migliorano in modo prevedibile con l'aumentare di tre fattori: la dimensione del modello (numero di parametri, $N$), la dimensione del dataset di addestramento ($D$) e il volume di calcolo ($C$). Questa dipendenza è descritta dalle **leggi di potenza (scaling laws)**. La legge proposta nel lavoro di OpenAI (Kaplan et al., 2020) mostra che la funzione di perdita $L$ decresce come una funzione di potenza di $N$, $D$ e $C$. Un lavoro successivo di DeepMind (Hoffmann et al., 2022) ha affinato queste leggi (**leggi di Chinchilla**), dimostrando che per un addestramento ottimale è necessario aumentare in modo equilibrato sia la dimensione del modello che il volume dei dati. Una conseguenza importante del ridimensionamento è la comparsa di **capacità emergenti** — salti qualitativi nelle prestazioni, in cui il modello inizia a risolvere compiti per i quali non è stato esplicitamente addestrato (ad esempio, aritmetica, ragionamento logico, scrittura di codice). Queste capacità sono generalmente assenti nei modelli di dimensioni minori e si manifestano solo dopo aver raggiunto una certa soglia di scala. ## Generazione del testo: strategie di decodifica Dopo l'addestramento, il modello genera testo prevedendo iterativamente il token successivo. La scelta del token successivo dalla distribuzione di probabilità fornita dal modello avviene attraverso diverse **strategie di decodifica**: - **Ricerca greedy (Greedy Search):** Viene sempre scelto il token più probabile. Veloce, ma spesso produce testi ripetitivi e poco interessanti. - **Beam Search:** Ad ogni passo vengono mantenute le $k$ sequenze più probabili, il che permette di trovare soluzioni globali più ottimali. - **Campionamento con temperatura:** Le probabilità dei token vengono corrette dal parametro **temperatura** ($T$). Con $T > 1$ la distribuzione diventa più uniforme (maggiore creatività), con $T < 1$ più concentrata (minore casualità). - **Campionamento Top-k:** Ad ogni passo il campionamento è limitato ai $k$ token più probabili. - **Campionamento Top-p (Nucleus):** Il campionamento è limitato all'insieme minimo di token la cui probabilità cumulativa supera la soglia $p$. Ciò consente di adattare dinamicamente la dimensione del pool di candidati. ## Problemi teorici e limitazioni - **Allucinazioni:** La tendenza dei modelli a generare informazioni fattualmente errate ma plausibili. Ciò è dovuto al fatto che i modelli ottimizzano la probabilità del testo, non la sua veridicità. - **Bias (Distorsione):** Gli LLM ereditano e amplificano i bias sociali, culturali e di altro tipo presenti nei dati di addestramento. - **Interpretabilità («scatola nera»):** A causa dell'enorme numero di parametri, è estremamente difficile capire esattamente come il modello prende le decisioni, il che complica il debug e crea rischi. - **Complessità computazionale:** Il meccanismo di self-attention ha complessità quadratica rispetto alla lunghezza della sequenza ($O(n^{2})$), il che limita la lunghezza massima del contesto elaborabile. ## Vedi anche - Grandi modelli linguistici - BERT - GPT ## Bibliografia - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805. - Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165. - Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361. - Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556. - Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903. - Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155. - Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073. - Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712. - Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783. - Bender, E. M. et al. (2021). *On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?*. DOI:10.1145/3442188.3445922.