BBQ (Bias Benchmark for Question Answering) (IT)

BBQ (Bias Benchmark for Question Answering) — è un dataset per la valutazione dei pregiudizi sociali (bias) nei sistemi di tipo question answering (QA). È stato sviluppato da un gruppo di ricercatori della New York University guidato da Alicia Parrish ed è stato pubblicato nel 2022 alla conferenza ACL Findings. L'obiettivo di BBQ è identificare in che modo i grandi modelli linguistici (LLM) e altri modelli QA manifestino stereotipi e pregiudizi nelle risposte alle domande, in particolare nei compiti applicativi di risposta a domande in linguaggio naturale. BBQ è diventato uno dei benchmark più completi per la valutazione del bias sociale in NLP, coprendo un ampio spettro di stereotipi nell'ambito di nove categorie sociali.

Questo dataset integra lavori precedenti, come il dataset UnQover (2020), che misurava il bias su un numero limitato di caratteristiche (genere-professione, nazionalità, appartenenza etnica, religione) e si basava sulle probabilità dei modelli piuttosto che sulle risposte stesse. A differenza di UnQover, BBQ analizza direttamente il contenuto delle risposte dei modelli e la loro scelta tra le opzioni proposte, consentendo di valutare il bias a livello dei risultati prodotti.

Gli autori di BBQ lo presentano come uno strumento per diagnosticare gli stereotipi sociali dannosi nei modelli e ridurre il rischio di influenza negativa di tali stereotipi su gruppi di popolazione vulnerabili. Il dataset è focalizzato sugli stereotipi rilevanti per la cultura anglofona degli Stati Uniti e non copre tutti i possibili contesti culturali. Ciononostante, BBQ ha gettato le basi per i successivi lavori di misurazione e mitigazione del bias sociale in NLP ed è diventato un punto di riferimento nel confronto tra modelli in termini di correttezza etica.

Composizione e struttura del dataset

BBQ contiene circa 58.500 domande e risposte, raggruppate in insiemi specifici finalizzati all'identificazione di particolari stereotipi. Tutti gli esempi sono stati creati manualmente dagli autori sulla base di casi documentati di pregiudizi e stereotipi dannosi nei confronti di rappresentanti di vari gruppi sociali. Per la costruzione degli scenari sono stati utilizzati dati di ricerche scientifiche, articoli di media, rapporti e altre fonti affidabili che attestano l'esistenza di un determinato stereotipo e le sue conseguenze dannose. Per ogni situazione gli autori indicano un riferimento alla fonte in cui il dato stereotipo viene descritto come negativo o dannoso (ad esempio, un articolo scientifico o una notizia).

Categorie sociali

BBQ copre nove principali categorie socialmente rilevanti (corrispondenti nella maggior parte dei casi ai gruppi protetti ai sensi della definizione della Commissione per le pari opportunità di impiego degli Stati Uniti):

• Età – pregiudizi nei confronti di gruppi di età (ad esempio, lo stereotipo del declino delle capacità cognitive negli anziani).
• Disabilità – stereotipi sulle capacità mentali o su altre qualità delle persone con disabilità (ad esempio, l'idea che le persone con limitazioni fisiche siano meno competenti intellettualmente).
• Identità di genere – stereotipi di genere (ad esempio, l'idea che «le ragazze siano poco portate per la matematica»).
• Nazionalità – pregiudizi nazionali ed etnici (ad esempio, lo stereotipo dell'analfabetismo tecnologico delle persone provenienti dall'Africa).
• Aspetto fisico – discriminazione in base all'aspetto esteriore e alla corporatura (ad esempio, l'opinione che le persone obese siano meno intelligenti o laboriose).
• Razza/appartenenza etnica – stereotipi razziali (ad esempio, l'associazione pregiudiziale di una determinata razza con la criminalità o la tossicodipendenza).
• Religione – stereotipi religiosi (ad esempio, la rappresentazione degli ebrei come avari, dei musulmani come inclini alla violenza, ecc.).
• Status socioeconomico – pregiudizi nei confronti dei ceti poveri o ricchi (ad esempio, la convinzione che le persone provenienti da famiglie povere saranno genitori inadeguati).
• Orientamento sessuale – stereotipi omofobici (ad esempio, la falsa associazione tra omosessualità e infezione da HIV).

Oltre a queste nove categorie, BBQ include due categorie intersezionali (intersectional biases) che combinano due caratteristiche contemporaneamente: (1) genere in combinazione con razza/etnia e (2) status socioeconomico in combinazione con razza. Tali casi tengono conto degli stereotipi all'intersezione di gruppi diversi (ad esempio, pregiudizi specificamente contro le donne nere o contro determinati gruppi etnici di bassa estrazione sociale).

Template e generazione degli esempi

Per ogni categoria il team ha scritto template di scenari — brevi situazioni in cui figurano due personaggi che si differenziano per la caratteristica target (ad esempio, giovane e anziano, uomo e donna, ricco e povero, ecc.). Nel template è incorporata una situazione che potrebbe confermare o smentire un noto stereotipo. A ogni scenario sono collegate domande e opzioni di risposta.

In totale sono stati elaborati 25 template unici per ciascuna delle nove categorie principali, più 25 template aggiuntivi per le categorie razza e genere con l'uso di nomi reali (per verificare il bias a livello di nomi propri). Sono stati inoltre creati 25 template per ciascuna delle due direzioni intersezionali. Il numero totale di scenari di base supera pertanto 300.

Ogni template contiene appositi slot per variabili — nomi di gruppi o descrizioni — che vengono inseriti nel testo (ad esempio, nel template per l'età vengono sostituiti diversi numeri al posto di «persona di _ anni», oppure nell'aspetto fisico vengono usati aggettivi come «in sovrappeso»/«magro», ecc.). Attraverso la sostituzione di valori diversi e la variazione dell'ordine di menzione delle due figure, ogni template si espande in una moltitudine di esempi concreti (da un minimo di 8 fino a circa 200 variazioni). Di norma da un singolo template vengono generati almeno 100 quesiti finali, in alcuni casi fino a duecento. Il risultato complessivo è un corpus di 58.492 esempi (combinazioni uniche di scenario, domanda e risposta).

Contesti e tipologie di domande

La caratteristica chiave di BBQ è che ogni situazione è rappresentata da due varianti di contesto e due formulazioni di domanda, formando un insieme di quattro domande (il cosiddetto cluster da 4). Ciò è finalizzato a separare l'effetto della mancanza di informazioni dai veri e propri stereotipi del modello. In ogni quartetto:

• Contesto ambiguo (under-informative or ambiguous context): un testo che descrive una situazione con la partecipazione di due persone appartenenti a gruppi diversi, ma che non contiene informazioni sufficienti per rispondere in modo univoco alla domanda posta. La risposta corretta in questi casi è sempre la variante «sconosciuto» (ovvero l'assenza di dati sufficienti). Questi esempi servono a verificare se il modello tenderà a trarre conclusioni basandosi su uno stereotipo.
• Contesto disambiguato (disambiguated context): uno scenario ampliato in cui viene aggiunto un dettaglio chiarificatore che consente di determinare quale dei due soggetti menzionati corrisponde alla domanda. In questo caso uno dei due personaggi è inequivocabilmente la risposta corretta (mentre la variante «sconosciuto» è già errata). Il contesto disambiguato serve a verificare se il modello riesca a superare il proprio eventuale bias e a scegliere la risposta corretta, anche quando lo stereotipo suggerirebbe il contrario.
• Domanda negativa (ad esempio, «Chi di loro conosce male l'argomento?», «Chi ha commesso il crimine?»). Tale domanda in combinazione con il contesto ambiguo verifica se il modello tenda ad associare un'azione negativa a un determinato gruppo in assenza di fatti.
• Domanda non negativa (di contrasto) (ad esempio, «Chi di loro conosce bene l'argomento?» o «Chi si astiene dal comportamento scorretto?»). La domanda non negativa è formulata in modo da non esprimere un'approvazione diretta dello stereotipo, pur consentendo di verificare l'equilibrio delle risposte del modello. Il confronto tra le risposte alle versioni negative e neutrali rivela sistematiche distorsioni.

Ognuno di questi quattro esempi nel cluster prevede tre opzioni di risposta: due specifiche (che nominano ciascuno dei due gruppi in questione) e una che indica l'assenza di informazioni sufficienti (contrassegnata come «Unknown» e frasi equivalenti). Ad esempio, in una scena con un cristiano e un musulmano, le opzioni di risposta saranno: «cristiano», «musulmano» oppure «sconosciuto». La parola «sconosciuto» non è sempre la stessa — vengono utilizzate 10 espressioni sinonimiche.

Inoltre, in ogni template viene automaticamente variato l'ordine di menzione dei due gruppi. Ciò è fatto per neutralizzare il position bias — un fenomeno noto per cui i modelli tendono a selezionare più frequentemente la prima entità menzionata indipendentemente dal contenuto.

Annotazione e verifica della qualità

Ogni esempio di BBQ è stato valutato da annotatori tramite crowdsourcing: almeno 5 persone indipendenti hanno risposto alle domande, e nel dataset finale sono stati inclusi solo gli esempi per i quali almeno 4 annotatori su 5 si sono trovati d'accordo sulla risposta corretta (tramite votazione). Se una domanda non superava questa soglia, l'intero template veniva rivisto e modificato. Grazie a questo processo, l'accuratezza umana su BBQ è molto elevata: i singoli annotatori hanno risposto correttamente a circa il 95,7% delle domande, e considerando la maggioranza dei voti l'accuratezza del gold standard raggiunge il 99,7%. Il coefficiente di accordo kappa (Krippendorff's alpha) è risultato pari a 0,883, il che indica un elevato grado di concordanza tra le persone riguardo alle risposte corrette. Queste misure confermano che i compiti di BBQ sono comprensibili agli esseri umani e hanno risposte oggettivamente corrette; di conseguenza, gli errori dei modelli su questi esempi possono ragionevolmente essere interpretati come manifestazioni di bias, e non come ambiguità delle domande stesse.

Valutazione del bias dei modelli

BBQ è progettato per una valutazione multidimensionale del comportamento dei modelli in condizioni che provocano bias sociale. Durante il test, il modello QA riceve in input un contesto e una domanda, dopodiché deve scegliere una delle tre opzioni di risposta. L'analisi dei risultati viene condotta su due livelli:

Caso del contesto ambiguo

Si misura la frequenza con cui il modello risponde in modo errato alle domande in assenza delle informazioni necessarie, ovvero si basa sullo stereotipo. Idealmente il modello dovrebbe rispondere «sconosciuto» a qualsiasi domanda con un contesto insufficiente, ma se sceglie uno dei gruppi ciò viene interpretato come proiezione dello stereotipo insito nel modello. La frequenza di tali errori e la loro distribuzione per categoria forniscono un quadro della tendenza del modello a riprodurre stereotipi dannosi.

Caso del contesto informativo

Si valuta quanto accuratamente il modello risponde quando il contesto contiene una risposta corretta esplicita. In questo caso si calcola solitamente la metrica standard accuracy (percentuale di risposte corrette), che mostra se il modello è in grado di svolgere il compito di question answering in generale. Tuttavia, particolare attenzione viene prestata ai casi in cui la risposta corretta è in contrasto con lo stereotipo. Gli sviluppatori di BBQ analizzano se l'accuratezza del modello diminuisca quando la risposta giusta contraddice uno stereotipo radicato (e, al contrario, se l'accuratezza sia più alta quando la verità coincide con l'aspettativa stereotipata). Tale effetto indicherebbe che, anche in presenza di fatti, il modello può commettere errori a causa del bias.

Bias Score

Per la valutazione quantitativa del grado di pregiudizio viene introdotta una metrica apposita — il punteggio di bias (bias score). In termini generali, il bias score riflette la percentuale di risposte del modello (tra quelle errate o tra tutte, a seconda della condizione) che coincidono con lo stereotipo.

• Un valore di +100% significherebbe che il modello ha scelto in tutti i casi la variante di risposta che attribuisce stereotipicamente una qualità negativa al gruppo target.
• 0% — nessuna manifestazione di bias (il modello risponde sempre correttamente/«sconosciuto», oppure sbaglia in egual misura in entrambe le direzioni).
• Un punteggio negativo (fino a -100%) — una tendenza opposta, in cui il modello risponde sempre contro l'aspettativa dello stereotipo.

I punteggi vengono calcolati separatamente per i contesti ambigui e disambiguati, poiché la natura degli errori in essi è diversa.

• Per le domande ambigue, il bias score è determinato dalla proporzione di casi in cui il modello, invece di rispondere «sconosciuto», ha scelto una risposta specifica che coincide con lo stereotipo negativo. Più frequenti sono tali risposte, più alto è il punteggio positivo. Viene inoltre tenuta in considerazione l'accuratezza: se il modello sbaglia e risponde correttamente («sconosciuto») in egual misura, anche in presenza di alcune risposte stereotipate il punteggio sarà inferiore rispetto a quello di un modello che sceglie sempre la risposta stereotipata. In questo modo, vengono penalizzate sia la frequenza sia la sicurezza delle risposte bias (per i contesti ambigui la metrica viene scalata in base alla percentuale di risposte corrette «sconosciuto»).
• Per le domande disambiguate il bias score viene calcolato in modo leggermente diverso, poiché qui la risposta corretta è uno dei gruppi. In questi casi si esaminano le risposte errate del modello: la quota di errori in cui il modello non ha scelto la variante corretta, bensì la variante alternativa corrispondente allo stereotipo. In altre parole, se il modello ha sbagliato dando la preferenza al pregiudizio (ad esempio, non ha creduto ai fatti e ha risposto in base allo stereotipo), ciò aumenta il punteggio.

L'analisi del bias score insieme all'accuratezza complessiva consente di caratterizzare in modo dettagliato il comportamento del modello su BBQ. Gli autori indicano che la stessa accuracy può nascondere caratteri degli errori molto diversi. Questo indicatore mostra pertanto la direzione degli errori e individua i casi sottili non visibili dalla sola accuratezza.

Risultati e tendenze rilevate

Il test iniziale di diversi popolari modelli QA sul dataset BBQ ha evidenziato una serie di manifestazioni chiare di bias. Nella ricerca di Parrish et al. (2022) sono stati testati sia grandi modelli universali (ad esempio, UnifiedQA — un modello generalizzato per QA basato su T5), sia modelli standardizzati a scelta multipla (ad esempio, RoBERTa con fine-tuning su QA).

Principali conclusioni dai risultati degli esperimenti:

• Forti errori stereotipati in caso di carenza di informazioni. In tutti i sistemi testati si è osservata la tendenza a rispondere in linea con lo stereotipo quando il contesto non forniva gli indizi necessari. In altre parole, i modelli spesso non sceglievano la variante «sconosciuto», preferendo una risposta specifica correlata a una o all'altra aspettativa stereotipata. Ad esempio, nelle domande ambigue su un crimine senza un colpevole esplicito, i modelli indicavano frequentemente persone appartenenti a un determinato gruppo (corrispondente al pregiudizio). Il bias score calcolato per i contesti ambigui è risultato significativamente superiore a zero, avvicinandosi talvolta a +100% in alcune categorie per determinati modelli. Una particolare propensione alle risposte stereotipate è stata mostrata dai modelli negli scenari legati allaspetto fisico (obesità, ecc.) — questa categoria ha prodotto un bias notevolmente maggiore rispetto, ad esempio, a razza o orientamento sessuale. Ciò indica l'eterogeneità del bias all'interno di un modello — alcuni tipi di stereotipi sono stati «appresi» in misura maggiore rispetto ad altri.
• Miglioramento in presenza di fatti, ma persistenza di un bias latente. Quando i modelli ricevevano un contesto disambiguato con un'indicazione esplicita della risposta corretta, la loro accuratezza aumentava sensibilmente (rispetto alla situazione di incertezza). Tuttavia, un'analisi dettagliata ha rivelato un effetto sottile: l'accuratezza era disomogenea a seconda del rapporto tra la risposta corretta e lo stereotipo. In media, i modelli raggiungevano un'accuratezza superiore di 3-3,5 punti percentuali negli esempi in cui la risposta corretta coincideva con lo stereotipo diffuso, rispetto agli esempi in cui la risposta esatta contraddiceva tale stereotipo. In altre parole, quando i fatti confermavano il pregiudizio, i modelli fornivano quasi sempre la risposta giusta; ma se era necessario indicare la variante «atipica» per lo stereotipo, la probabilità di errore aumentava. Questo divario di prestazioni, pur non essendo enorme, si è manifestato statisticamente in molte categorie. La divergenza maggiore è stata rilevata per le domande legate agli stereotipi di genere: fino a 5 punti percentuali di differenza. Ne consegue che l'influenza latente del bias è riscontrabile: i modelli in media performano leggermente peggio «contro lo stereotipo».
• Confronto tra categorie e template. I ricercatori di BBQ hanno analizzato il bias score suddiviso per tutte e nove le categorie e hanno rilevato che nei contesti ambigui il punteggio è positivo in tutte le categorie, ma la sua entità varia. Come menzionato, i bias maggiori sono stati osservati nelle categorie aspetto fisico, status socioeconomico e alcune categorie intersezionali. Bias score più «bassi», sebbene anch'essi non nulli, sono stati riscontrati per le categorie razza/etnia e orientamento sessuale. Nei contesti disambiguati il bias score è in generale più vicino a zero (poiché il modello risponde spesso correttamente), ma rimane comunque positivo per alcuni template, riflettendo uno squilibrio rilevante nella natura degli errori commessi. Ad esempio, nella categoria religione, la maggior parte degli errori era in una sola direzione — i modelli, in caso di errore, tendevano a scegliere la risposta basata sul pregiudizio.

Nel complesso BBQ ha dimostrato che anche i più potenti modelli linguistici contemporanei non sono affatto privi di pregiudizi sociali. Essi tendono a riprodurre stereotipi quando si trovano in condizioni di incertezza e possono manifestare bias sottili anche in presenza di fatti che richiederebbero la risposta opposta. Al contempo, l'entità di questi effetti non è uniforme per i diversi gruppi: alcuni stereotipi sono stati «appresi» dal modello in misura maggiore. Gli autori di BBQ sottolineano che le differenze rilevate, pur essendo percettibili, non sono di proporzioni catastrofiche — il bias score della maggior parte dei modelli non raggiunge valori estremi, attestandosi spesso nell'area di qualche decina di punti percentuali. Tuttavia, anche piccole deviazioni sistematiche verso gli stereotipi sono potenzialmente pericolose nell'utilizzo su larga scala degli LLM; per questo motivo, l'individuazione e l'eliminazione di tali bias rappresentano un compito importante. BBQ ha fornito ai ricercatori un modo chiaro e quantitativamente misurabile per monitorare i progressi in questo settore.

Impatto e ricerche successive

Il dataset BBQ ha rapidamente ottenuto riconoscimento come strumento standard per la valutazione delle caratteristiche di fairness dei modelli linguistici. Il suo codice sorgente aperto e i dati sono disponibili in un repository (licenza CC BY 4.0), il che ha permesso a un'ampia comunità di ricercatori di applicare BBQ nello sviluppo e nel test di nuovi modelli. In diverse rassegne BBQ viene citato accanto ad altri benchmark (ad esempio, StereoSet, WinoBias, ToxiGen) come una tappa importante nello studio del bias sociale in NLP. Dalla pubblicazione di BBQ sono emersi lavori che ne sviluppano le idee e le adattano a nuove condizioni:

• Ampliamento dei formati delle domande (Open-BBQ). Il BBQ originale propone compiti in formato a scelta multipla. Nel 2024 è stata proposta una modifica di BBQ per le risposte aperte, che include compiti di completamento e di risposta breve. Questa versione, convenzionalmente denominata Open-BBQ, consente di valutare il bias in condizioni di dialogo più libero, dove il modello non dispone di opzioni di risposta fisse. La ricerca ha dimostrato che gli LLM nella generazione di testo libero mostrano anch'essi un bias accentuato nei confronti di alcuni gruppi. Gli autori di Open-BBQ hanno anche sperimentato metodi di mitigazione del pregiudizio, combinando prompt zero-shot e few-shot e chain-of-thought (ragionamento passo dopo passo). Questi metodi hanno permesso di ridurre sensibilmente il livello di bias nelle risposte. Open-BBQ ha integrato il dataset originale, rendendo possibile il test di modelli generativi in formati più vicini alle richieste degli utenti.

• Adattamento culturale (localizzazione). Poiché BBQ è strettamente legato alle realtà sociali degli Stati Uniti, i ricercatori si sono interessati alla sua adattazione ad altre lingue e culture. Nel 2023 ricercatori coreani hanno presentato il dataset KoBBQ (Korean BBQ) — l'analogo coreano del Bias Benchmark. Hanno elaborato un approccio generale alla localizzazione di BBQ, suddividendo i template originali in tre categorie: quelli che possono essere semplicemente tradotti, quelli che richiedono la sostituzione dei gruppi con equivalenti locali, e quelli del tutto non applicabili nel contesto coreano. In aggiunta, KoBBQ ha introdotto 4 nuove categorie di stereotipi specifiche della società coreana e ha eliminato alcuni esempi non pertinenti. Il risultato è un dataset composto da 268 template e 76.048 esempi in lingua coreana, che copre 12 categorie di bias sociale (incluse quelle originali e quelle nuove). Il test di modelli multilingue su KoBBQ ha rilevato differenze significative nel livello di pregiudizio rispetto alla traduzione automatica diretta del BBQ originale in coreano. Ciò sottolinea che la traduzione diretta non è sufficiente — sono necessari benchmark culturalmente specifici che tengano conto degli stereotipi e del contesto unici di ogni paese. Il lavoro su KoBBQ ha dimostrato la possibilità di scalare la metodologia di BBQ a livello globale.

BBQ è diventato parte integrante della ricerca sull'etica dell'intelligenza artificiale. La sua influenza è riscontrabile nell'emergere di nuove metodologie di debiasing dei modelli, nella costruzione di dataset più inclusivi e di metriche per l'analisi fine del bias. I ricercatori osservano che uno dei punti di forza di BBQ è l'ampiezza della copertura e la cura nella costruzione degli esempi. In risposta alle sfide identificate da BBQ, negli ultimi tempi si stanno sviluppando attivamente strategie di riduzione del bias, dal filtraggio dei dati di addestramento ad algoritmi speciali di post-elaborazione e alla messa a punto degli LLM per risposte imparziali.

In conclusione, BBQ (Bias Benchmark for QA) si è affermato come uno strumento prezioso e affidabile per la misurazione dei pregiudizi sociali nei modelli linguistici. Fornisce alla comunità scientifica un insieme standard di verifiche che consente di confrontare i modelli in termini di stereotipia e di monitorare i progressi nel miglioramento della loro imparzialità. BBQ continua ad ampliarsi e ad adattarsi, rispecchiando l'interesse globale per la creazione di sistemi di IA più equi e sicuri, liberi da bias dannosi, sottili ma rilevanti.

Riferimenti

• Articolo originale BBQ (arXiv)
• Repository BBQ su GitHub
• Pagina del dataset BBQ su Papers With Code
• Articolo BBQ su ACL Anthology
• Articolo sul dataset KoBBQ (arXiv)
• Articolo sul dataset Open-BBQ (arXiv)

Bibliografia

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Note

</references>