Dimenticanza contestuale

La dimenticanza contestuale nei grandi modelli linguistici è un fenomeno multiforme in cui un grande modello linguistico (LLM) perde, ignora o utilizza in modo inefficace le informazioni precedentemente fornite nell'ambito di una singola interazione. A differenza della memoria umana, gli LLM non dispongono di un archivio di stati a lungo termine e si affidano esclusivamente alla finestra di contesto — un volume limitato di testo (in token) che il modello può elaborare in un'unica soluzione. Questa finestra funge da memoria a breve termine o memoria di lavoro del modello.

La manifestazione più nota di questa limitazione è il problema del «Lost in the Middle» (Perso nel mezzo) — la tendenza dei modelli a elaborare meglio le informazioni collocate all'inizio e alla fine di un contesto lungo, e peggio quelle nel mezzo. Questo fenomeno non è un difetto, ma una proprietà fondamentale derivante dall'architettura dei transformer e dai principi del loro addestramento.

Due tipi di dimenticanza: Contestuale e Catastrofica

È importante distinguere due tipi fondamentalmente diversi di «dimenticanza» negli LLM: intra-contestuale e catastrofica.

Dimenticanza intra-contestuale (Lost in the Middle)

Questo tipo di dimenticanza si verifica durante una singola sessione di interazione (inferenza) con un modello già addestrato. È legato alle limitazioni della finestra di contesto. Quando il volume del dialogo o del documento supera la dimensione della finestra, il modello «dimentica» i frammenti più vecchi per fare spazio a quelli nuovi. Anche all'interno della finestra, le informazioni situate nella parte centrale del contesto possono essere utilizzate in modo meno efficace. Si tratta di una limitazione della memoria di lavoro del modello. Nella pubblicistica questo fenomeno viene anche denominato «sindrome di degradazione del contesto» (Context Degradation Syndrome, CDS).

Dimenticanza catastrofica (Deriva del modello)

Questo tipo di dimenticanza, noto anche come «deriva del modello» (model drift), si verifica durante il processo di fine-tuning del modello su nuovi dati. Quando un modello pre-addestrato su un vasto corpus di conoscenze generali viene sottoposto a fine-tuning su un dataset altamente specializzato (ad esempio, testi medici), i suoi pesi vengono modificati. Ciò può portare alla degradazione o alla «cancellazione» delle conoscenze e delle competenze precedentemente acquisite non correlate al nuovo compito.

Cause e meccanismi

La dimenticanza contestuale è una diretta conseguenza dell'architettura dei transformer e della geometria degli spazi vettoriali.

Effetto «Lost in the Middle»

Uno studio dell'Università di Stanford del 2023 intitolato «Lost in the Middle» ha dimostrato chiaramente che le prestazioni degli LLM nel recupero di informazioni da un contesto lungo seguono una curva a forma di U. La precisione delle risposte è massima quando le informazioni rilevanti si trovano all'inizio (effetto di primacy) o alla fine (effetto di recency) del contesto, e si riduce significativamente quando sono «nascoste» nel mezzo. Le cause di questo fenomeno sono:

• Meccanismo di attention: L'architettura del transformer per sua natura presta un'attenzione sproporzionata ai token iniziali (i cosiddetti «attention sink», ovvero ancore di attenzione) per mantenere la coerenza globale, nonché al contesto locale, il che porta a un'indebolimento del «fuoco» sulla parte centrale.
• Dati di pre-addestramento: I modelli vengono solitamente addestrati su testi relativamente brevi, in cui le informazioni importanti si trovano raramente a decine di migliaia di token dall'inizio, il che impedisce loro di sfruttare in modo efficace contesti molto lunghi.

Manifestazioni e conseguenze

• Sindrome di degradazione del contesto: Nel corso di dialoghi prolungati, il modello inizia a «perdere il filo della conversazione», a ripetere le risposte, a contraddire fatti precedentemente stabiliti e a fornire risposte sempre più generiche e vaghe.
• Fallimenti nei compiti multi-fase: In compiti in cui le condizioni vengono precisate nel corso di più scambi, il modello può «agganciarsi» a un'ipotesi iniziale errata e ignorare le successive precisazioni, portando all'incapacità totale di risolvere il compito.
• Inaffidabilità nell'analisi di documenti: Nell'analisi di report lunghi o documenti legali, un LLM può tralasciare fatti chiave situati nelle sezioni centrali, rendendosi uno strumento inaffidabile per tali compiti.

Strategie di mitigazione e prevenzione

Ricercatori e sviluppatori adottano diversi approcci per affrontare il problema della dimenticanza contestuale.

Ampliamento della finestra di contesto

L'approccio più diretto è l'aumento delle dimensioni della finestra di contesto. I modelli moderni, come Claude 3 (200 mila token) e Gemini 1.5 Pro (fino a 2 milioni di token), hanno ampliato significativamente questo limite. Tuttavia, le ricerche mostrano che un semplice aumento della finestra non garantisce un utilizzo efficace della stessa, e il problema del «Lost in the Middle» persiste.

Ingegneria avanzata dei prompt

Una strutturazione accurata dei prompt può migliorare significativamente le prestazioni. Anthropic propone le seguenti pratiche:

• Posizionamento dei documenti all'inizio: Inserire i testi lunghi all'inizio del prompt, prima delle istruzioni e della domanda.
• Utilizzo di tag XML: Racchiudere i documenti in tag `<document>` per una separazione netta.
• Giustificazione delle risposte con citazioni: Fornire al modello l'istruzione di estrarre prima le citazioni rilevanti e poi, sulla base di queste, formulare la risposta.

Esternalizzazione della memoria: Retrieval-Augmented Generation (RAG)

Un approccio fondamentalmente diverso consiste nel non inserire tutte le informazioni nella finestra di contesto, ma nel collocarle in un sistema esterno (un database vettoriale) e fornirle su richiesta.

1. Recupero (Retrieve): Quando arriva una richiesta, il sistema cerca le informazioni rilevanti nel database esterno.
2. Arricchimento (Augment): I frammenti trovati vengono aggiunti alla richiesta originale.
3. Generazione (Generate): L'LLM genera una risposta basandosi sul contesto fornito.

RAG consente di lavorare con volumi di dati praticamente illimitati e garantisce l'accesso a informazioni aggiornate e verificate, riducendo il rischio di allucinazioni ed è attualmente la soluzione più affidabile disponibile.

Riferimenti

• Lost in the Middle: How Language Models Use Long Contexts — ricerca originale dell'Università di Stanford.
• Annuncio di Claude con finestra di contesto da 100K token da parte di Anthropic.

Bibliografia

• Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
• An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
• Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
• Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
• Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
• Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
• Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
• Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
• Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
• Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
• Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.