Distorsioni dei dati e bias

Pregiudizio nei grandi modelli linguistici (ingl. bias in large language models) — si tratta di deviazioni sistematiche nel funzionamento dei grandi modelli linguistici (LLM), che portano alla generazione di risposte che riflettono la realtà in modo ingiusto o impreciso, riproducendo e amplificando gli stereotipi esistenti nella società. A differenza degli errori casuali, il pregiudizio ha carattere ricorrente ed è determinato dalle peculiarità dei dati di addestramento e degli algoritmi. Gli LLM possono riprodurre stereotipi di genere, etnici e di altro tipo, il che rappresenta un problema serio, specialmente in settori critici come la medicina, la giurisprudenza e la finanza.

Fonti del pregiudizio

Il pregiudizio negli LLM ha due origini principali: dati distorti e caratteristiche degli algoritmi stessi.

Dati di addestramento distorti

La causa principale del pregiudizio sono i dati di addestramento, che riflettono le distorsioni storiche, sociali e culturali presenti nel mondo. Gli LLM vengono addestrati su enormi corpus di testi provenienti da Internet, libri e altre fonti create da esseri umani e, di conseguenza, ereditano tutti gli stereotipi in essi contenuti.

• Rappresentazione sbilanciata: Se alcuni gruppi demografici (ad esempio, le minoranze etniche, le donne in determinate professioni) sono insufficientemente rappresentati nei dati, il modello forma una percezione distorta di essi. Ad esempio, gli LLM associano spesso la parola «medico» al genere maschile e «infermiera» a quello femminile, riproducendo storici stereotipi di genere.
• Distorsioni storiche e culturali: I dati riflettono spesso i punti di vista culturali dominanti e i pregiudizi storici. Un modello addestrato su tali testi riprodurrà queste prospettive, ignorando quelle alternative.

Amplificazione algoritmica

L'architettura e l'algoritmo di addestramento degli LLM possono non solo riprodurre, ma anche amplificare le distorsioni presenti nei dati. La maggior parte degli LLM moderni si basa su transformer e predice la parola successiva sulla base di schemi statistici. Ciò porta il modello a privilegiare i pattern più frequenti, consolidando e amplificando le opinioni e gli stereotipi dominanti, mentre i casi rari e atipici vengono ignorati. Questo meccanismo può trasformare una lieve distorsione nei dati in un pregiudizio marcato nelle risposte del modello.

Tipi di pregiudizi ed esempi

Pregiudizi sociali e demografici

Questo è il tipo di pregiudizio più studiato e include stereotipi legati al genere, alla razza, all'età, alla religione e ad altre caratteristiche sociali.

• Stereotipi di genere: Gli LLM associano spesso determinate professioni e qualità a un genere specifico. Ad esempio, alla richiesta di descrivere un «leader forte», il modello genererà con maggiore probabilità la descrizione di un uomo.
• Stereotipi razziali ed etnici: I modelli possono riprodurre stereotipi negativi su vari gruppi etnici. Le ricerche hanno dimostrato che gli algoritmi di moderazione basati su LLM possono valutare più severamente i messaggi scritti in vernacolo afroamericano (AAVE), considerandoli erroneamente più offensivi.
• Pregiudizio di gruppo («noi contro loro»): Uno studio del 2024 ha mostrato che gli LLM manifestano un marcato pregiudizio di gruppo. Ricevendo un prompt che li associa a un determinato gruppo («Noi...»), il modello tende a esprimersi favorevolmente su quel gruppo e in modo sprezzante verso gli «altri».

Distorsioni strutturali e cognitive

Queste distorsioni sono legate alle peculiarità dell'architettura e dell'elaborazione delle informazioni.

• Bias posizionale: Una ricerca del Massachusetts Institute of Technology (MIT) ha rilevato che i modelli tengono conto in modo sproporzionato delle informazioni all'inizio e alla fine di un documento, trascurendo spesso i dettagli nella parte centrale. Ciò può influire sulla precisione quando si lavora con testi lunghi.
• Tendenza alla media: Essendo modelli probabilistici, gli LLM tendono a generare le risposte più frequenti (medie), il che porta a ignorare fatti rari ma importanti, eccezioni e opinioni di minoranza.
• Effetto di conferma: Gli LLM possono mostrare la tendenza a riprodurre schemi logici presenti nei dati di addestramento, anche se contenenti pregiudizi, ignorando le informazioni che li contraddicono.

Esempio pratico

Uno studio della Banca Mondiale ha rilevato che, durante l'analisi di interviste con rifugiati, un LLM distorceva sistematicamente il significato delle loro dichiarazioni in base all'origine e al genere. Il modello interpretava erroneamente le aspirazioni dei genitori rifugiati al successo dei propri figli, probabilmente a causa dell'assenza di tali narrazioni nei dati di addestramento, composti prevalentemente da testi di «autori bianchi della classe media».

Rischi e conseguenze

• Amplificazione della discriminazione: In settori come le assunzioni, il credito e la giurisprudenza, gli LLM distorti possono prendere decisioni discriminatorie, aggravando le disuguaglianze sociali.
• Diffusione degli stereotipi: L'uso massiccio degli LLM nei motori di ricerca e nei chatbot può portare alla diffusione e alla normalizzazione di stereotipi dannosi.
• Erosione della fiducia nelle tecnologie: Se gli utenti incontrano pregiudizi sistematici, ciò mina la loro fiducia nelle tecnologie di intelligenza artificiale in generale.
• Creazione di bolle informative: Gli algoritmi possono configurare i risultati in modo che corrispondano alle presunte opinioni dell'utente, alimentando le echo chambers e marginalizzando le opinioni delle minoranze.

Metodi di rilevamento e riduzione del pregiudizio

Per combattere le distorsioni, ricercatori e sviluppatori adottano un approccio integrato, intervenendo a tre livelli: dati, modello e post-elaborazione.

Interventi a livello di dati

Questo è l'approccio più fondamentale. Include:

• Pulizia e bilanciamento: Rimozione di contenuti tossici e distorti dai dati di addestramento.
• Aumento dei dati (Data Augmentation): Aggiunta di esempi relativi a gruppi sottorappresentati per equilibrare le proporzioni.

Modifiche a livello di modello

Questo approccio mira a modificare l'algoritmo di addestramento stesso:

• Vincoli di equità: Nella funzione di perdita vengono introdotti vincoli specifici che «penalizzano» il modello per la manifestazione di determinate forme di pregiudizio.
• Modifica dell'architettura: Vengono studiate varianti di modifica dei meccanismi di attention o di aggiunta di moduli di controllo che monitorano e correggono le associazioni distorte.

Post-elaborazione dei risultati

Questo metodo viene applicato nella fase di generazione delle risposte:

• Filtraggio e correzione: Algoritmi specifici analizzano il testo generato e attenuano o rimuovono le formulazioni potenzialmente discriminatorie.
• Fine-tuning con Reinforcement Learning from Human Feedback (RLHF): Il modello viene appositamente ri-addestrato a fornire risposte più neutrali e sicure sulla base delle valutazioni fornite da esseri umani.

Nonostante i significativi progressi compiuti, non è ancora stato possibile eliminare completamente il pregiudizio dagli LLM. Questo rimane uno dei settori chiave della ricerca, orientata alla creazione di sistemi di IA più equi e affidabili.

Riferimenti

• Generative language models exhibit social identity biases — ricerca in Nature Computational Science
• Unpacking the bias of large language models — articolo MIT News

Bibliografia

• Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
• Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
• Wu, X. et al. (2025). On the Emergence of Position Bias in Transformers. arXiv:2502.01951.
• Hu, T. et al. (2024). Generative Language Models Exhibit Social Identity Biases. Nature Computational Science, 5, 65-75. Full text.
• Sheng, E. et al. (2019). The Woman Worked as a Babysitter: On Biases in Language Generation. In EMNLP-2019. PDF.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In ACM FAccT 2021. DOI:10.1145/3442188.3445922.
• Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
• Ma, C. et al. (2024). Debiasing Large Language Models with Structured Knowledge. In Findings of ACL 2024, pp. 10274-10287. [7].
• Mohammadi, B. (2024). Creativity Has Left the Chat: The Price of Debiasing Language Models. arXiv:2406.05587.
• Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.
• Benedetto, L. & Stella, M. (2023). Cognitive Network Science Reveals Bias in GPT-3, GPT-3.5-Turbo, and GPT-4 Mirroring Math Anxiety in High-School Students. Applied Sciences, 13(3). Open access.