BBQ (Bias Benchmark for Question Answering) (SV)

BBQ (Bias Benchmark for Question Answering) — är ett dataset för utvärdering av sociala fördomar (bias) i fråga-och-svar-system (QA). Det utvecklades av en forskargrupp vid New York University under ledning av Alicia Parrish och publicerades 2022 vid konferensen ACL Findings. Syftet med BBQ är att undersöka hur stora språkmodeller (LLM) och andra QA-modeller uppvisar stereotyper och fördomar i sina svar på frågor, särskilt i tillämpade uppgifter för frågesvar på naturligt språk. BBQ har blivit ett av de mest heltäckande benchmarks för utvärdering av socialt bias inom NLP, och täcker ett brett spektrum av stereotyper inom nio sociala kategorier.

Detta dataset kompletterar tidigare arbeten, såsom datasetet UnQover (2020), som mätte fördomar utifrån ett begränsat antal egenskaper (kön–yrke, nationalitet, etnicitet, religion) och baserade sig på modellernas sannolikheter snarare än på själva svaren. Till skillnad från UnQover analyserar BBQ direkt innehållet i modellernas svar och deras val bland de föreslagna alternativen, vilket gör det möjligt att utvärdera bias just på nivån av de genererade resultaten.

Författarna till BBQ positionerar det som ett verktyg för att diagnostisera skadliga sociala stereotyper i modeller och för att minska risken för att sådana stereotyper negativt påverkar utsatta befolkningsgrupper. Datasetet är inriktat på stereotyper som är relevanta för den engelskspråkiga kulturen i USA och täcker inte alla möjliga kulturella sammanhang. Trots detta lade BBQ grunden för efterföljande arbeten om mätning och begränsning av socialt bias inom NLP och har blivit ett riktmärke vid jämförelse av modeller med avseende på deras etiska korrekthet.

Datasetets sammansättning och struktur

BBQ innehåller cirka 58 500 frågor och svar, grupperade i särskilda delmängder som syftar till att identifiera specifika stereotyper. Alla exempel utformades manuellt av författarna utifrån dokumenterade fall av fördomar och stereotyper som skadar representanter för olika sociala grupper. Vid skapandet av scenarierna användes data från vetenskaplig forskning, mediartiklar, rapporter och andra tillförlitliga källor som bekräftar förekomsten av en viss stereotyp och dess skadliga konsekvenser. För varje situation anger författarna en källhänvisning där den aktuella stereotypen beskrivs som negativ eller skadlig (till exempel en vetenskaplig artikel eller en nyhetsnotis).

Sociala kategorier

BBQ täcker nio huvudsakliga socialt betydelsefulla kategorier (som i stort sett motsvarar skyddade grupper enligt definitionen hos den amerikanska kommissionen för lika anställningsmöjligheter, EEOC):

• Ålder – fördomar gentemot åldersgrupper (till exempel stereotypen om försämrade kognitiva förmågor hos äldre).
• Funktionsnedsättning – stereotyper om intellektuella förmågor eller andra egenskaper hos personer med funktionsnedsättning (till exempel föreställningen att fysiskt begränsade personer är mindre intellektuellt kompetenta).
• Könsidentitet – könsstereotyper (till exempel idén om att "flickor är dåliga på matematik").
• Nationalitet – nationellt-etniska fördomar (till exempel stereotypen om teknisk okunnighet hos personer med ursprung i Afrika).
• Utseende – diskriminering på grundval av utseende och kroppsbyggnad (till exempel uppfattningen att överviktiga personer är mindre intelligenta eller arbetsamma).
• Ras/etnicitet – rasstereotyper (till exempel fördomsfulla kopplingar av en viss ras till brottslighet eller missbruk).
• Religion – religiösa stereotyper (till exempel föreställningen om att judar är giriga, att muslimer är benägna till våld, och liknande).
• Socioekonomisk status – fördomar gentemot fattiga eller rika samhällsskikt (till exempel övertygelsen att personer från fattiga familjer kommer att vara dåliga föräldrar).
• Sexuell läggning – homofoba stereotyper (till exempel den falska associationen mellan homosexualitet och hiv-infektion).

Utöver dessa nio kategorier innehåller BBQ två intersektionella kategorier (intersectional biases) som kombinerar två egenskaper: (1) kön i kombination med ras/etnicitet och (2) socioekonomisk status i kombination med ras. Dessa fall beaktar stereotyper i skärningspunkten mellan olika grupper (till exempel fördomar specifikt mot svarta kvinnor eller mot vissa etniska grupper från lägre sociala klasser).

Mallar och generering av exempel

För varje kategori skapade teamet scenariomallar — korta vinjetter där två karaktärer förekommer, som skiljer sig åt avseende den aktuella egenskapen (till exempel ung och gammal, man och kvinna, rik och fattig, och så vidare). I mallen finns en situation inbyggd som antingen kan bekräfta eller motbevisa en känd stereotyp. Till varje scenario kopplas frågor och svarsalternativ.

Totalt togs 25 unika mallar fram för var och en av de nio huvudkategorierna, plus ytterligare 25 mallar för kategorierna ras och kön med verkliga namn (för att testa bias på nivån av egennamn). Dessutom skapades 25 mallar för var och en av de två intersektionella inriktningarna. Det totala antalet grundscenarier överstiger därmed 300.

Varje mall innehåller särskilda platshållare för variabler — gruppbeteckningar eller beskrivningar — som infogas i texten (till exempel fyller man i olika siffror i stället för "_-årig person" i åldersmallar, eller adjektiv som "tjock"/"smal" i utseendemallar). Genom att sätta in olika värden och variera i vilken ordning de två figurerna nämns utvidgas varje mall till ett flertal konkreta exempel (minst 8 och upp till ~200 variationer). Vanligtvis genereras minst 100 slutliga frågor från en enda mall, och i vissa fall upp till ett par hundra. Sammantaget resulterade detta i ett korpus med 58 492 exempel (unika kombinationer av scenario, fråga och svar).

Kontexter och frågetyper

En central egenskap hos BBQ är att varje situation presenteras i två kontextvarianter och med två frågekonstruktioner, vilket bildar en uppsättning av fyra frågor (ett så kallat kluster om 4). Detta görs för att skilja ut effekten av informationsbrist från modellens egna stereotyper. I varje kvartet:

• Tvetydig kontext (under-informative or ambiguous context): en text som beskriver en situation med två personer från olika grupper, men som inte innehåller tillräcklig information för att entydigt besvara den ställda frågan. Det korrekta svaret i sådana fall är alltid alternativet "okänt" (det vill säga att tillräckliga uppgifter saknas). Dessa exempel används för att kontrollera om modellen drar slutsatser utifrån stereotyper.
• Entydig kontext (disambiguated context): ett utvidgat scenario där en förtydligande detalj lagts till, vilket gör det möjligt att avgöra vilken av de två nämnda personerna som svarar på frågan. I detta fall är en av de två karaktärerna det entydigt korrekta svaret (och alternativet "okänt" är då felaktigt). Den entydiga kontexten används för att testa om modellen kan övervinna sin eventuella bias och välja det korrekta svaret, även om stereotypen antyder något annat.
• Negativ fråga (t.ex. "Vem av dem kan ämnet dåligt?" eller "Vem begick brottet?"). En sådan fråga i kombination med en tvetydig kontext testar om modellen tenderar att koppla en negativ handling till en viss grupp i frånvaro av faktaunderlag.
• Icke-negativ (kontrasiv) fråga (t.ex. "Vem av dem kan ämnet bra?" eller "Vem avhåller sig från det dåliga beteendet?"). Den icke-negativa frågan är formulerad så att den inte direkt bekräftar stereotypen, men ändå gör det möjligt att kontrollera balansen i modellens svar. En jämförelse av svaren på de negativa och neutrala versionerna avslöjar systematiska snedvridningar.

Vart och ett av dessa fyra exempel i klustret har tre svarsalternativ: två specifika (som namnger var och en av de två förekommande grupperna) och ett alternativ som anger att tillräcklig information saknas (märkt som "Unknown" och motsvarande formuleringar). Till exempel, i en scen med en kristen och en muslim är svarsalternativen: "kristen", "muslim" eller "okänt". Dessutom är ordet "okänt" inte alltid detsamma — tio synonyma uttryck används.

Därjämte ändras automatiskt ordningen i vilken de två grupperna nämns i varje mall. Detta görs för att neutralisera den så kallade positionseffekten — ett välkänt fenomen där modeller oftare väljer den först nämnda entiteten, oavsett innehållet.

Annotering och kvalitetskontroll

Varje exempel i BBQ utvärderades av crowdsourcade annotatorer: minst 5 oberoende personer besvarade frågorna, och i det slutliga datasetet inkluderades endast de exempel där minst 4 av 5 annotatorer var överens om det korrekta svaret (genom omröstning). Om en fråga inte nådde upp till detta tröskelvärde reviderades och redigerades hela mallen. Tack vare denna process är den mänskliga precisionen i BBQ mycket hög: enskilda annotatorer svarade korrekt på ~95,7 % av frågorna, och med hänsyn tagen till majoritetsbeslut uppnår guldstandardens precision 99,7 %. Krippendorffs alfa-koefficient för interbedömarreliabilitet uppgick till 0,883, vilket indikerar hög samstämmighet mellan människor avseende de korrekta svaren. Dessa åtgärder bekräftar att BBQ:s uppgifter är begripliga för människor och har objektivt korrekta svar; följaktligen kan modellernas fel på dessa exempel rimligen tolkas som uttryck för bias, snarare än som en följd av oklarheter i frågorna.

Utvärdering av modellernas fördomar

BBQ är utformat för en mångdimensionell utvärdering av modellers beteende i situationer som provocerar fram socialt bias. Vid testning tar QA-modellen emot en kontext och en fråga, och ska sedan välja ett av tre svarsalternativ. Analysens resultat granskas på två nivåer:

Fallet med tvetydig kontext

Det mäts hur ofta modellen svarar fel på frågor när nödvändig information saknas, det vill säga när den förlitar sig på stereotypen. I idealfallet ska modellen svara "okänt" på varje fråga med otillräcklig kontext, men om den väljer en av grupperna betraktas detta som en projektion av en inbyggd stereotyp. Frekvensen av sådana fel och deras fördelning per kategori ger en bild av modellens benägenhet att reproducera skadliga stereotyper.

Fallet med informativ kontext

Det utvärderas hur noggrant modellen svarar när kontexten innehåller ett tydligt korrekt svar. Här beräknas vanligtvis standardmåttet accuracy (andel korrekta svar) — det visar om modellen klarar av fråga-och-svar-uppgiften överhuvudtaget. Särskild uppmärksamhet ägnas dock åt de fall där det korrekta svaret strider mot stereotypen. BBQ:s utvecklare analyserar om modellens precision sjunker när det rätta svaret motstrider en djupt rotad stereotyp (och omvänt, om precisionen är högre när sanningen sammanfaller med det stereotypa förväntandet). En sådan effekt skulle tyda på att modellen kan göra fel på grund av bias, även när fakta finns tillgängliga.

Bias Score

För en kvantitativ bedömning av graden av fördomsfullhet introduceras ett särskilt mått — fördomspoängen (bias score). I allmänhet återspeglar bias score den andel av modellens svar (bland felaktiga eller alla svar, beroende på villkoret) som sammanfaller med stereotypen.

• Värdet +100 % skulle innebära att modellen i samtliga fall valde det svarsalternativ som stereotypiskt tillskriver målgruppen en negativ egenskap.
• 0 % — inga tecken på bias (modellen svarar antingen alltid korrekt/"okänt", eller gör fel i lika hög utsträckning åt båda hållen).
• Negativt score (ned till -100 %) — en omvänd tendens, där modellen alltid svarar mot det stereotypa förväntandet.

Poängen beräknas separat för tvetydiga och entydiga kontexter, eftersom felens karaktär skiljer sig åt i de båda fallen.

• För tvetydiga frågor definieras bias score som andelen fall där modellen i stället för "okänt" valde ett specifikt svar som sammanföll med den negativa stereotypen. Ju oftare sådana svar förekommer, desto högre positivt score. Härvid beaktas precisionen: om modellen i lika hög utsträckning svarar fel och rätt ("okänt"), blir score lägre än för en modell som alltid väljer det stereotypa svaret, även om en del stereotypa fel ändå förekommer. Således bestraffas både frekvensen och styrkan av bias-svaren (för tvetydiga kontexter skalas måttet med hänsyn till andelen korrekta svar av typen "okänt").
• För entydiga frågor beräknas bias score något annorlunda, eftersom det korrekta svaret här är en av grupperna. I dessa fall granskas modellens felaktiga svar: andelen fel där modellen inte valde det rätta alternativet utan det alternativa alternativ som sammanfaller med stereotypen. Med andra ord, om modellen begick ett fel till förmån för fördomen (till exempel inte trodde på fakta och svarade utifrån stereotypen), ökar det score.

Analysen av bias score i kombination med den övergripande precisionen möjliggör en detaljerad karakterisering av modellens beteende i BBQ. Författarna påpekar att en och samma accuracy kan dölja olika typer av fel. På så vis visar detta mått felens riktning och avslöjar subtila fall som inte är synliga utifrån precisionen allena.

Resultat och identifierade mönster

Inledande tester av flera populära QA-modeller på BBQ-datasetet uppvisade ett antal tydliga uttryck för bias. I studien av Parrish m.fl. (2022) testades både stora generalistmodeller (till exempel UnifiedQA — en generell QA-modell baserad på T5) och standardiserade multiple-choice-modeller (t.ex. RoBERTa finjusterad för QA).

Huvudsakliga slutsatser från experimenten:

• Starka stereotypa fel vid informationsbrist. I samtliga testade system observerades en tendens att svara i linje med stereotypen när kontexten inte gav de ledtrådar som krävdes. Med andra ord valde modellerna ofta inte alternativet "okänt", utan föredrog ett specifikt svar som stämde överens med ett eller annat stereotypt förväntande. Till exempel pekade modellerna i tvetydiga frågor om brott utan tydlig gärningsman ofta ut personer från en viss grupp (som svarar mot fördomen). Den beräknade bias score för tvetydiga kontexter var avsevärt högre än noll, och närmade sig ibland +100 % i enstaka kategorier för vissa modeller. En särskilt hög benägenhet för stereotypa svar uppvisade modellerna i scenarier kopplade till utseende (fetma med mera) — denna kategori gav ett märkbart högre bias än till exempel ras eller sexuell läggning. Detta tyder på att bias inte är enhetligt inom en modell — vissa typer av stereotyper är mer djupt inpräglade än andra.
• Förbättring vid tillgång till fakta, men kvarvarande dold bias. När modellerna fick en entydig kontext med en tydlig anvisning om det korrekta svaret ökade deras precision märkbart (jämfört med situationer av osäkerhet). En detaljerad analys avslöjade dock en subtil effekt: precisionen visade sig vara ojämn beroende på det korrekta svarets förhållande till stereotypen. I genomsnitt uppnådde modellerna 3–3,5 procentenheters högre precision i de exempel där det korrekta svaret sammanföll med en utbredd stereotyp, jämfört med exempel där det rätta svaret stred mot denna stereotyp. Med andra ord gav modellerna nästan felfria svar när fakta bekräftade fördomen; men om det krävdes att man angav ett alternativ som var "atypiskt" för stereotypen, ökade sannolikheten för fel. Denna prestationsskillnad var, om än inte enorm, statistiskt påvisbar i många kategorier. Den största skillnaden noterades för frågor som rörde könsstereotyper: upp till 5 procentenheters avvikelse. Således kan man spåra ett dolt inflytande av bias: modellerna presterar i genomsnitt något sämre "mot stereotypen".
• Jämförelse av kategorier och mallar. BBQ:s forskare analyserade bias score uppdelat på alla nio kategorier och konstaterade att poängen i tvetydiga kontexter är positiv i samtliga kategorier, men att dess storlek varierar. Som nämnts observerades de högsta bias-värdena i kategorierna fysiskt utseende, socioekonomisk status och vissa intersektionella kategorier. Lägre, om än fortfarande icke-noll, bias score noterades för kategorierna ras/etnicitet och sexuell läggning. I entydiga kontexter är bias score generellt sett närmre noll (eftersom modellen ofta svarar rätt), men kvarstår ändå positiv för vissa mallar, vilket återspeglar en märkbar snedvridning i karaktären hos de begångna felen. Till exempel var de flesta felen i kategorin religion åt ett håll — modellerna valde vid fel vanligtvis ett svar grundat på fördom.

Sammanfattningsvis visade BBQ att även starka moderna språkmodeller uppenbarligen inte är fria från sociala fördomar. De tenderar att reproducera stereotyper när de ställs inför osäkerhet, och kan uppvisa subtila bias även när de fakta som finns tillgängliga kräver ett motsatt svar. Storleken på dessa effekter är inte densamma för olika grupper: vissa stereotyper är mer djupt rotade i modellen. Författarna till BBQ understryker att de påvisade skillnaderna, om än märkbara, inte är katastrofalt stora — bias score för de flesta modeller når inte extrema värden, utan befinner sig ofta i intervallet några tiotal procent. Ändå är även små systematiska avvikelser i riktning mot stereotyper potentiellt farliga vid storskalig användning av LLM, varför identifiering och avhjälpande av sådana bias är en viktig uppgift. BBQ har gett forskarna ett tydligt och kvantitativt mätbart sätt att följa upp framstegen på detta område.

Inflytande och vidare forskning

BBQ fick snabbt erkännande som ett standardverktyg för utvärdering av fairness-egenskaper hos språkmodeller. Dess öppna källkod och data finns tillgängliga i ett arkiv (licens CC BY 4.0), vilket har gjort det möjligt för en bred forskargrupp att använda BBQ vid utveckling och testning av nya modeller. I ett antal översikter nämns BBQ vid sidan av andra benchmark (till exempel StereoSet, WinoBias, ToxiGen) som en viktig milstolpe i studiet av socialt bias inom NLP. Sedan BBQ publicerades har det tillkommit arbeten som vidareutvecklar dess idéer och anpassar dem till nya förhållanden:

• Utökning av frågeformat (Open-BBQ). Det ursprungliga BBQ erbjuder uppgifter i multiple-choice-format. År 2024 föreslogs en modifiering av BBQ för öppna svar, som inkluderar ifyllnadsuppgifter och korta textsvar. Denna version, som informellt kallas Open-BBQ, gör det möjligt att utvärdera bias i friare dialogsituationer där modellen inte har fasta svarsalternativ. Studien visade att LLM även vid generering av fri text uppvisar förhöjt bias mot ett antal grupper. Författarna till Open-BBQ experimenterade också med metoder för att minska fördomsfullheten, genom att kombinera zero-shot och few-shot-ledtrådar samt chain-of-thought (stegvisa resonemang). Dessa metoder ledde till en märkbar minskning av bias i svaren. Open-BBQ kompletterade det ursprungliga datasetet och gjorde det möjligt att testa generativa modeller i format som liknar verkliga användarförfrågningar.

• Kulturell anpassning (lokalisering). Eftersom BBQ är förankrat i de sociala förhållandena i USA har forskare intresserat sig för att anpassa det till andra språk och kulturer. År 2023 presenterade koreanska forskare datasetet KoBBQ (Korean BBQ) — en koreansk motsvarighet till Bias Benchmark. De utvecklade ett generellt tillvägagångssätt för lokalisering av BBQ: de delade in de ursprungliga mallarna i tre kategorier — sådana som kan översättas direkt, sådana som kräver att grupper ersätts med lokala motsvarigheter, och sådana som är helt otillämpliga i ett koreanskt sammanhang. Därutöver introducerade KoBBQ 4 nya kategorier av stereotyper specifika för det koreanska samhället, och ett antal icke-tillämpliga exempel togs bort. Resultatet blev ett dataset med 268 mallar och 76 048 exempel på koreanska, som täcker 12 kategorier av socialt bias (inklusive de ursprungliga och de nya). Testning av flerspråkiga modeller på KoBBQ visade på betydande skillnader i graden av fördomsfullhet jämfört med direkt maskinöversättning av det ursprungliga BBQ till koreanska. Detta understryker att direktöversättning inte räcker — kulturellt specifika benchmark behövs, som tar hänsyn till de unika stereotyperna och sammanhanget i varje land. Arbetet med KoBBQ visade att BBQ:s metodik kan skalas upp globalt.

BBQ har blivit en integrerad del av forskningen om etik inom artificiell intelligens. Dess inflytande syns i framväxten av nya metoder för debias-ing av modeller, konstruktion av mer inkluderande dataset och mätvärden för en nyanserad analys av bias. Forskare framhåller att en av BBQ:s styrkor är dess breda täckning och den noggrannhet med vilken exemplen är konstruerade. Som svar på de utmaningar som BBQ identifierat pågår det för närvarande ett aktivt arbete med att ta fram strategier för att minska bias — från filtrering av träningsdata till specialalgoritmer för efterbearbetning och finjustering av LLM mot rättvisa svar.

Sammanfattningsvis har BBQ (Bias Benchmark for QA) etablerat sig som ett värdefullt och tillförlitligt verktyg för att mäta sociala fördomar i språkmodeller. Det ger forskarsamhället en standarduppsättning av tester som gör det möjligt att jämföra modeller med avseende på stereotyper och att följa upp framstegen i förbättringen av deras opartiskhet. BBQ fortsätter att utvidgas och anpassas, vilket återspeglar det globala intresset för att skapa mer rättvisa och säkra AI-system, fria från omärkliga men väsentliga skadliga bias.

Referenser

• Originalartikel om BBQ (arXiv)
• BBQ:s arkiv på GitHub
• BBQ:s datasetsida på Papers With Code
• BBQ:s artikel i ACL Anthology
• Artikel om datasetet KoBBQ (arXiv)
• Artikel om datasetet Open-BBQ (arXiv)

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noter

</references>