Allucinazioni e risposte errate degli LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Allucinazione (ingl. hallucination) nel contesto dei grandi modelli linguistici (LLM) è un fenomeno in cui il modello genera con sicurezza una risposta apparentemente plausibile (plausible) che in realtà non corrisponde alla realtà, al contesto fornito, oppure è internamente contraddittoria[1][2]. Il modello «inventa» fatti, dettagli o conclusioni logiche assenti nei dati di partenza.

È importante sottolineare che l'allucinazione non è un guasto o un bug nel senso tradizionale del termine. Il modello funziona esattamente come è stato progettato: prevede la continuazione di testo più probabile sulla base dei pattern estratti dai dati di addestramento. Non dispone di un meccanismo integrato di verifica della veridicità[3]. Le allucinazioni si distinguono dai semplici errori perché rappresentano informazioni false presentate con sicurezza, che spesso includono fatti, riferimenti o eventi inesistenti[4]. Questo fenomeno è diventato talmente rilevante che nel 2023 il Dizionario di Cambridge ha aggiunto un nuovo significato al termine «hallucination», relativo all'intelligenza artificiale[5].

Definizioni e classificazione delle allucinazioni

Sebbene vengano usati vari termini (ad esempio, «confabulazione», «invenzione»), le allucinazioni negli LLM possono essere suddivise in due grandi categorie: quelle legate all'accuratezza fattuale e quelle legate alla fedeltà alla fonte (coerenza contestuale)[6].

Allucinazioni fattuali

Si tratta del caso in cui il modello riporta informazioni fattualmente errate sul mondo reale. Il modello afferma un «fatto» falso come se fosse vero[1].

  • Esempio: «Charles Lindbergh fu il primo uomo a mettere piede sulla superficie della Luna» — un fatto completamente inventato.
  • Citazioni e riferimenti falsi: Il modello può inventare un riferimento a un articolo scientifico o a una legge inesistenti, imitando il formato di una citazione reale[2]. Ciò mina la fiducia nei modelli, specialmente nelle applicazioni che richiedono precisione (istruzione, giornalismo, consulenza)[7].

Errori logici

Il modello commette un'incongruenza o un errore nel ragionamento. I singoli fatti nella risposta possono essere corretti, ma la conclusione è illogica o contraddice la logica elementare[2]. Ciò accade spesso in ragionamenti complessi o in compiti di matematica e causalità, dove il modello opera su connessioni probabilistiche tra parole anziché su logica formale[2][2].

  • Esempio: «Poiché gli uccelli volano, gli astronauti non subiscono la gravità» — il testo appare coerente, ma è logicamente errato.

Allucinazioni contestuali

La risposta del modello non corrisponde al contesto o all'istruzione forniti. Il modello «esce» dal contesto, aggiungendo informazioni superflue o ignorando quelle necessarie[1].

  • Violazione dell'istruzione: A fronte di una richiesta di «tradurre il testo in spagnolo», il modello risponde in inglese[1].
  • Informazioni esterne alla fonte: In un compito di sintesi, il modello «aggiunge» fatti assenti nel documento originale oppure li distorce[1].
  • Mescolanza di contesti: A metà risposta, il modello inizia improvvisamente a parlare di qualcosa che appartiene a un altro ambito. Ad esempio, in risposta a una domanda sul commissario NBA Adam Silver, il modello può passare al suo predecessore David Stern, mescolando due contesti distinti[6].

Incoerenza

Una variante dell'allucinazione in cui il modello si contraddice all'interno di una singola risposta o di una serie di risposte[6]. In uno studio è stato rilevato che il tasso di auto-contraddizione delle risposte di ChatGPT è di circa il 14%[6][6].

  • Esempio: «L'azienda X è stata fondata nel 1990... e qualche frase dopo ...L'azienda X, costituita nel 2000...»

Allucinazioni nel codice

Gli LLM addestrati sul codice possono generare frammenti sintatticamente corretti ma non funzionanti, utilizzando funzioni, librerie o parametri inesistenti[2]. Ad esempio, il modello può generare `import quantum` in Python, sebbene tale modulo standard non esista. Nel 2024 è stato proposto il termine «code hallucination» ed è stato creato il benchmark CodeMirage per sistematizzare questo problema[8].

Cause del fenomeno

Il fenomeno delle allucinazioni è determinato da un insieme di fattori, dall'architettura del modello alla qualità dei dati.

  • Architettura e principio di addestramento: La maggior parte degli LLM (ad esempio, GPT) sono transformer autoregressivi addestrati a prevedere il token successivo. Il loro obiettivo è massimizzare la plausibilità del testo, non verificare la veridicità delle affermazioni[2]. Il modello non distingue tra fatti e finzione nei dati di addestramento, trattando tutto come pattern testuali[2].
  • Qualità dei dati di addestramento: Gli LLM vengono addestrati su enormi corpus di testo tratti da Internet, che contengono numerose imprecisioni, miti e informazioni obsolete[1]. Il modello memorizza e riproduce questi errori. È inoltre rilevante il knowledge cutoff — il limite temporale entro cui il modello dispone di informazioni.
  • Modalità di generazione del testo: Il carattere stocastico della generazione (campionamento con temperatura) consente al modello di produrre risposte più «creative», ma meno precise. La lunghezza limitata del contesto può portare il modello a «dimenticare» i dettagli iniziali del dialogo e a contraddirsi[6].

Metodi di valutazione e misurazione

Per rilevare e misurare le allucinazioni vengono utilizzate metriche automatiche, valutazione umana e benchmark specializzati.

  • Metriche automatiche: Comprendono approcci in cui un altro LLM funge da «giudice» (LLM-as-a-judge) per valutare la correttezza della risposta[9], oppure l'analisi dell'entropia (incertezza) del modello durante la generazione[10].
  • Annotazione umana: Considerata il «gold standard». Esperti o crowd-assessor valutano manualmente le risposte, segnalando gli errori. Questo metodo viene utilizzato nell'addestramento dei modelli tramite RLHF[11].
  • Benchmark e stress test: Sono stati creati dataset specifici, come TruthfulQA, che contiene domande pensate per spingere il modello a riprodurre miti diffusi[12]. Esistono anche leaderboard, come il Hugging Face Hallucination Leaderboard, dove i modelli vengono confrontati in base al livello di allucinazioni[13].

Metodi di mitigazione e prevenzione

  • Retrieval-Augmented Generation (RAG): L'approccio più efficace, che «ancora» il modello a conoscenze esterne. Prima di generare la risposta, il modello riceve informazioni rilevanti da un database, un motore di ricerca o un'API. Ciò consente al modello di basare la risposta su dati verificati anziché su supposizioni[2].
  • Catene di ragionamento (Chain-of-Thought) e auto-verifica: Il modello genera prima un ragionamento passo dopo passo prima di fornire la risposta finale, aumentando la precisione. In metodi più avanzati, come Self-Verification, il modello genera una risposta preliminare e poi riceve il compito di verificarla e correggerla[14].
  • Regole integrate e filtri: I modelli vengono addestrati a rifiutare di rispondere quando non sono sicuri. Ad esempio, i modelli Claude di Anthropic seguono il principio di «veridicità» e rispondono spesso «Non so con certezza...», invece di inventare fatti[11].
  • Integrazione con strumenti esterni: Modelli come Gemini possono riconoscere automaticamente quando hanno bisogno di uno strumento esterno (ad esempio, una calcolatrice per i calcoli o una ricerca per le ultime notizie) e utilizzarlo, riducendo significativamente il numero di allucinazioni[11].

Rischi e conseguenze

  • Rischi legali e reputazionali: In ambito giuridico le allucinazioni possono avere conseguenze gravi. Ha avuto ampia risonanza il caso Mata v. Avianca (2023), in cui un avvocato ha utilizzato ChatGPT per cercare precedenti giudiziari, e il modello ha inventato diversi casi inesistenti. Gli avvocati sono stati sanzionati e l'incidente è diventato un esempio emblematico dell'inammissibilità di fidarsi dell'IA senza verifica[1].
  • Diffusione della disinformazione: Su scala sociale, gli LLM possono amplificare il problema delle fake news. È noto il caso del modello Galactica di Meta, creato per assistere gli scienziati, che ha iniziato a generare testi pseudoscientifici con esperimenti e riferimenti inventati. Dopo tre giorni l'accesso pubblico al modello è stato chiuso[15].
  • Adozione di decisioni errate: Gli utenti, specialmente quelli meno esperti, tendono a fidarsi delle risposte dell'IA formulate con sicurezza, il che può portare a decisioni sbagliate in ambito finanziario, medico e in altri settori critici[7].

Esempi pratici

  • Caso Air Canada (2023): Il chatbot della compagnia aerea ha inventato una politica di rimborso biglietti inesistente. Quando il cliente ha chiesto di applicarla, l'azienda si è rifiutata. Il Tribunale dei trasporti del Canada ha obbligato Air Canada a rispondere delle informazioni fornite dal suo chatbot e a risarcire il cliente[9].
  • Causa per diffamazione contro OpenAI (2023): Il conduttore radiofonico Mark Walters ha citato in giudizio OpenAI perché ChatGPT, in risposta a una richiesta di un giornalista, lo aveva falsamente accusato di frode. Questo caso ha messo in evidenza la responsabilità legale delle aziende per i contenuti generati dai loro modelli[6].

Riferimenti

  • The Beginner's Guide to Hallucinations in Large Language Models — guida dettagliata di Lakera
  • Survey of Hallucination in Natural Language Generation — rassegna scientifica del fenomeno su arXiv

Bibliografia

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Note

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Allucinazioni_e_risposte_errate_degli_LLM&oldid=272"