BBQ (Bias Benchmark for Question Answering) (CS)

BBQ (Bias Benchmark for Question Answering) — je datová sada pro hodnocení sociálních předsudků (bias) v systémech typu otázka-odpověď (QA). Byla vyvinuta skupinou výzkumníků Newyorské univerzity pod vedením Alicie Parrish (Alicia Parrish) a publikována v roce 2022 na konferenci ACL Findings. Cílem BBQ je odhalit, jak velké jazykové modely (LLM) a jiné QA modely projevují stereotypy a předsudky v odpovědích na otázky, zejména v aplikovaných úlohách odpovídání na otázky v přirozeném jazyce. BBQ se stal jedním z nejkomplexnějších benchmarků pro hodnocení sociálního biasu v NLP, pokrývajícím široké spektrum stereotypů v rámci devíti sociálních kategorií.

Tato datová sada doplňuje předchozí práce, jako je dataset UnQover (2020), který měřil předpojatost podle omezeného počtu znaků (pohlaví-profese, národnost, etnická příslušnost, náboženství) a opíral se o pravděpodobnosti modelů, nikoli o samotné odpovědi. Na rozdíl od UnQover BBQ přímo analyzuje obsah odpovědí modelů a jejich volbu mezi nabízenými možnostmi, což umožňuje hodnotit předpojatost právě na úrovni produkovaných výsledků.

Autoři BBQ jej prezentují jako nástroj pro diagnostiku škodlivých sociálních stereotypů v modelech a snížení rizika negativního vlivu takových stereotypů na zranitelné skupiny obyvatelstva. Sada je zaměřena na stereotypy relevantní pro anglosaskou kulturu USA a nepokrývá všechny možné kulturní kontexty. Přesto BBQ položil základ pro následné práce zaměřené na měření a zmírňování sociálního biasu v NLP a stal se referenčním bodem při srovnávání modelů z hlediska jejich etické korektnosti.

Složení a struktura datové sady

BBQ obsahuje přibližně 58 500 otázek a odpovědí, seskupených do specializovaných sad zaměřených na odhalování konkrétních stereotypů. Všechny příklady byly ručně sestaveny autory na základě zdokumentovaných případů předsudků a stereotypů, které poškozují představitele různých sociálních skupin. Při vytváření scénářů byly využity údaje z vědeckých studií, mediálních článků, zpráv a dalších spolehlivých zdrojů potvrzujících existenci daného stereotypu a jeho škodlivé následky. Pro každou situaci autoři uvádějí odkaz na zdroj, kde je daný stereotyp popsán jako negativní nebo škodlivý (například vědecký článek nebo zpravodajská poznámka).

Sociální kategorie

BBQ pokrývá devět základních sociálně významných kategorií (ve většině odpovídajících chráněným skupinám ve smyslu definice Komise pro rovné pracovní příležitosti USA):

• Věk – předsudky vůči věkovým skupinám (například stereotyp o snižování kognitivních schopností u starších lidí).
• Zdravotní postižení – stereotypy o duševních schopnostech nebo jiných vlastnostech osob se zdravotním postižením (například představa, že fyzicky omezené osoby jsou méně intelektuálně kompetentní).
• Genderová identita – genderové stereotypy (například idea, že „dívky jsou špatné v matematice").
• Národnost – národnostně-etnické předsudky (například stereotyp o technické negramotnosti lidí pocházejících z Afriky).
• Vzhled – diskriminace na základě vzhledu a tělesné stavby (například názor, že lidé s obezitou jsou méně inteligentní nebo pracovití).
• Rasa/etnická příslušnost – rasové stereotypy (například předpojaté spojování určité rasy s kriminalitou nebo drogovou závislostí).
• Náboženství – náboženské stereotypy (například představa o Židech jako lakomých, o muslimech jako násilnických apod.).
• Socioekonomický status – předsudky vůči chudým nebo bohatým vrstvám společnosti (například přesvědčení, že lidé z chudých rodin budou špatnými rodiči).
• Sexuální orientace – homofobní stereotypy (například nepravdivé spojování homosexuality s HIV infekcí).

Kromě těchto devíti kategorií jsou v BBQ zastoupeny dvě průřezové kategorie (intersectional biases), kombinující hned dva znaky: (1) pohlaví v kombinaci s rasou/etnicitou a (2) socioekonomický status v kombinaci s rasou. Takovéto případy zohledňují stereotypy na průsečíku různých skupin (například předsudky konkrétně vůči černošským ženám nebo vůči určitým etnickým skupinám z nižší sociální třídy).

Šablony a generování příkladů

Pro každou kategorii tým sestavil šablony scénářů — krátké náčrty, v nichž vystupují dvě postavy lišící se cílovým znakem (například mladý a starý, muž a žena, bohatý a chudý atd.). Šablona zahrnuje situaci, která by mohla potvrdit nebo vyvrátit známý stereotyp. Ke každému scénáři jsou přiřazeny otázky a varianty odpovědí.

Celkem bylo vytvořeno 25 unikátních šablon pro každou z devíti základních kategorií, plus 25 dalších šablon pro kategorie rasy a pohlaví s použitím skutečných jmen (za účelem ověření biasu na úrovni vlastních jmen). Rovněž pro dva průřezové směry bylo vytvořeno po 25 šablonách. Celkový počet základních scénářů tak přesahuje 300.

Každá šablona obsahuje speciální sloty pro proměnné — názvy skupin nebo popisné výrazy — které jsou dosazovány do textu (například v šabloně o věku jsou místo „_letý člověk" dosazována různá čísla, nebo u vzhledu přídavná jména „tlustý"/„hubený" apod.). Díky dosazování různých hodnot a přehazování pořadí zmínek dvou postav se každá šablona rozrůstá do mnoha konkrétních příkladů (minimálně 8 až přibližně ~200 variací). Zpravidla z jedné šablony vzniká nejméně 100 finálních otázek, v některých případech až dvě stě. V součtu vznikl korpus 58 492 příkladů (unikátních kombinací scénáře, otázky a odpovědi).

Kontexty a typy otázek

Klíčovou vlastností BBQ je, že každá situace je prezentována ve dvou variantách kontextu a dvou formulacích otázky, čímž vzniká sada čtyř otázek (tzv. shluk čtyř). Cílem je oddělit vliv nedostatku informací od vlastních stereotypů modelu. V každém kvartetu:

• Nejednoznačný kontext (under-informative or ambiguous context): text popisující situaci se dvěma osobami z různých skupin, avšak neobsahující dostatek informací k jednoznačné odpovědi na položenou otázku. Správnou odpovědí v takovýchto případech je vždy varianta „nevím" (tedy absence dostatečných údajů). Tyto příklady slouží k ověření, zda model nebude vyvozovat závěry na základě stereotypu.
• Jednoznačný kontext (disambiguated context): rozšířený scénář, v němž je doplněn upřesňující detail umožňující určit, která ze dvou zmíněných osob odpovídá otázce. V tomto případě je jedna ze dvou postav jednoznačně správnou odpovědí (a varianta „nevím" je již nesprávná). Jednoznačný kontext slouží k ověření, zda je model schopen překonat případný bias a zvolit správnou odpověď, i když stereotyp napovídá opak.
• Negativní otázka (např. „Kdo z nich špatně zná předmět?", „Kdo spáchal zločin?"). Taková otázka v kombinaci s nejednoznačným kontextem prověřuje, zda má model sklon spojovat negativní jednání s určitou skupinou při absenci faktů.
• Nenegativní (kontrastní) otázka (např. „Kdo z nich dobře zná předmět?" nebo „Kdo se zdržuje špatného činu?"). Nenegativní otázka je formulována tak, aby nezněla jako přímé schválení stereotypu, přičemž zároveň umožňuje ověřit vyvážení odpovědí modelu. Porovnání odpovědí na negativní a neutrální verze odhaluje systematické odchylky.

Každý z těchto čtyř příkladů ve shluku má tři varianty odpovědi: dvě konkrétní (jmenující každou z obou figurujících skupin) a jednu variantu poukazující na nedostatek informací (označenou jako „Unknown" a ekvivalentní fráze). Například ve scéně, v níž vystupují fiktivní křesťan a muslim, budou varianty odpovědi: „křesťan", „muslim" nebo „nevím". Přičemž slovo „nevím" není vždy stejné — používá se 10 synonymních výrazů.

Navíc je v každé šabloně automaticky měněno pořadí, v němž jsou zmíněny obě skupiny. Je to provedeno za účelem eliminace efektu pořadí — známého faktoru, při němž modely mohou preferovat první zmíněnou entitu bez ohledu na obsah.

Anotace a kontrola kvality

Každý příklad BBQ byl hodnocen crowdsourcingovými anotátory: nejméně 5 nezávislých osob odpovídalo na otázky a do finálního datasetu byly zařazeny pouze ty příklady, u nichž minimálně 4 z 5 anotátorů souhlasily se správnou odpovědí (hlasováním). Pokud nějaká otázka nepřekročila tento práh, celá šablona byla přepracována a upravena. Díky tomuto procesu je lidská přesnost na BBQ velmi vysoká: individuální anotátoři správně odpovídali na ~95,7 % otázek, a s přihlédnutím k většinovému hlasování dosahuje přesnost zlatého standardu 99,7 %. Kappův koeficient shody (Krippendorffova alfa) dosáhl hodnoty 0,883, což ukazuje na vysokou míru shody mezi lidmi ohledně správných odpovědí. Tato opatření potvrzují, že úlohy BBQ jsou pro lidi srozumitelné a mají objektivně správné odpovědi; chyby modelů na těchto příkladech lze tudíž oprávněně interpretovat jako projevy biasu, nikoli jako nejednoznačnost samotných otázek.

Hodnocení předpojatosti modelů

BBQ je navržen pro vícerozměrné hodnocení chování modelů v podmínkách, které provokují sociální bias. Při testování obdrží QA model na vstup kontext a otázku, načež musí vybrat jednu ze tří variant odpovědi. Analýza výsledků probíhá na dvou úrovních:

Případ nejednoznačného kontextu

Měří se, jak často model nesprávně odpovídá na otázky při absenci potřebných informací, tedy opírá se o stereotyp. V ideálním případě by model měl odpovídat „nevím" na každou otázku s nedostatečným kontextem, avšak pokud zvolí jednu ze skupin, je to považováno za projekci zabudovaného stereotypu. Četnost takovýchto chyb a jejich rozložení podle kategorií poskytují představu o sklonu modelu reprodukovat škodlivé stereotypy.

Případ informativního kontextu

Hodnotí se, jak přesně model odpovídá, když kontext obsahuje jednoznačnou správnou odpověď. Zde se obvykle počítá standardní metrika accuracy (procento správných odpovědí) — ukazuje, zda model s úlohou otázka-odpověď vůbec dokáže pracovat. Zvláštní pozornost je však věnována případům, kdy správná odpověď jde proti stereotypu. Vývojáři BBQ analyzují, zda přesnost modelu neklesá, pokud správná odpověď odporuje zakořeněnému stereotypu (a naopak, zda není přesnost vyšší, když pravda odpovídá stereotypnímu očekávání). Takový efekt by naznačoval, že i při existenci faktů může model chybovat z důvodu biasu.

Bias Score

Pro kvantitativní hodnocení míry předpojatosti je zavedena speciální metrika — skóre předpojatosti (bias score). V obecném vyjádření bias score odráží procento odpovědí modelu (z nesprávných nebo všech, v závislosti na podmínce), které se shodují se stereotypem.

• Hodnota +100 % by znamenala, že model ve všech případech zvolil variantu odpovědi stereotypně přisuzující negativní vlastnost cílové skupině.
• 0 % — žádné projevy biasu (model buď vždy odpovídá správně/„nevím", nebo chybuje rovnoměrně oběma směry).
• Záporné skóre (až -100 %) — opačná tendence, kdy model vždy odpovídá proti očekávání stereotypu.

Ukazatele jsou počítány odděleně pro nejednoznačné a jednoznačné kontexty, neboť charakter chyb se v nich liší.

• Pro nejednoznačné otázky je bias score určen podílem případů, kdy model místo „nevím" zvolil konkrétní odpověď, přičemž tato odpověď se shodovala s negativním stereotypem. Čím častěji k takovým odpovědím dochází, tím vyšší je kladné skóre. Přitom se zohledňuje přesnost: pokud model chybuje rovnoměrně a část odpovídá správně („nevím"), bude skóre nižší než u modelu, který vždy volí stereotypní odpověď. Tím jsou penalizovány jak četnost, tak jistota bias-odpovědí (pro nejednoznačné kontexty je metrika škálována s přihlédnutím k procentu správných odpovědí „nevím").
• Pro jednoznačné otázky je bias score počítán poněkud jinak, neboť zde je správnou odpovědí jedna z konkrétních skupin. V těchto případech se sledují nesprávné odpovědi modelu: podíl chyb, v nichž model nezvolil správnou variantu, ale alternativní variantu shodující se se stereotypem. Jinými slovy, pokud model chyboval ve prospěch předsudku (například neuvěřil faktům a odpověděl podle stereotypu), skóre se zvyšuje.

Analýza bias score spolu s celkovou přesností umožňuje detailně charakterizovat chování modelu na BBQ. Autoři uvádějí, že stejné hodnoty accuracy mohou skrývat odlišný charakter chyb. Tento ukazatel tak ukazuje směřování chyb a odhaluje jemné případy, které nejsou patrné z pouhé přesnosti.

Výsledky a zjištěné zákonitosti

Prvotní testování několika populárních QA modelů na sadě BBQ prokázalo řadu zřetelných projevů biasu. Ve studii Parrish a kol. (2022) byly testovány jak velké univerzální modely (například UnifiedQA — obecný model pro QA na bázi T5), tak standardizované modely s výběrem z více možností (např. RoBERTa s doladěním na QA).

Hlavní závěry z výsledků experimentů:

• Silné stereotypní chyby při nedostatku informací. Ve všech testovaných systémech byla pozorována tendence odpovídat v duchu stereotypu, když kontext neposkytoval potřebné vodítko. Jinými slovy, modely často nezvolily variantu „nevím", ale preferovaly konkrétní odpověď korespondující s tím či oním stereotypním očekáváním. Například v nejednoznačných otázkách o zločinu bez jasného viníka modely nezřídka ukazovaly na osoby z určité skupiny (odpovídající předsudku). Vypočtené bias score pro nejednoznačné kontexty bylo výrazně vyšší než nula, a v některých kategoriích u některých modelů se přibližovalo k +100 %. Zvláště vysokou sklon ke stereotypním odpovědím vykazovaly modely ve scénách spojených s fyzickým vzhledem (obezita a podobně) — tato kategorie dosáhla znatelně vyššího biasu než například rasa nebo sexuální orientace. To svědčí o nehomogenitě biasu uvnitř modelu — některé druhy stereotypů jsou jím „vstřebány" silněji než jiné.
• Zlepšení při existenci faktů, ale přetrvávající skrytý bias. Když modely obdržely jednoznačný kontext s jasným určením správné odpovědi, jejich přesnost výrazně vzrostla (ve srovnání se situací nejistoty). Detailní analýza však odhalila jemný efekt: přesnost se ukázala být nerovnoměrná v závislosti na vztahu správné odpovědi ke stereotypu. V průměru dosahovaly modely o 3–3,5 procentních bodů vyšší přesnosti v těch příkladech, kde správná odpověď odpovídala rozšířenému stereotypu, ve srovnání s příklady, kde správná odpověď tomuto stereotypu odporovala. Jinými slovy, když fakta potvrzovala předsudek, modely odpovídaly téměř bezchybně; pokud bylo však třeba uvést variantu „atypickou" pro stereotyp, pravděpodobnost chyby se zvyšovala. Tento rozdíl ve výkonnosti, ačkoli ne obrovský, se statisticky projevil v mnoha kategoriích. Největší odchylka byla zaznamenána u otázek spojených s genderovými stereotypy: až 5 procentních bodů rozdílu. Tím pádem je skrytý vliv biasu patrný: modely v průměru pracují o něco hůře „proti stereotypu".
• Srovnání kategorií a šablon. Výzkumníci BBQ analyzovali bias score v rozložení podle všech devíti kategorií a zjistili, že v nejednoznačných kontextech je ukazatel kladný ve všech kategoriích, avšak jeho hodnota se liší. Jak bylo zmíněno, maximální bias byl zaznamenán v kategoriích fyzický vzhled, socioekonomický status a některých průřezových. Nižší, avšak rovněž nenulové bias score měly kategorie rasa/etnicita a sexuální orientace. V jednoznačných kontextech je bias score celkově blíže nule (protože model odpovídá správně), ale přesto u některých šablon zůstává kladný, odrážeje patrnou odchylku v charakteru spáchaných chyb. Například v kategorii náboženství byla většina chyb jednostranná — modely zpravidla při chybě volily odpověď na základě předsudku.

Celkově BBQ prokázal, že ani silné moderní jazykové modely zjevně nejsou prosty sociálních předsudků. Mají tendenci reprodukovat stereotypy, pokud jsou postaveny do podmínek nejistoty, a mohou projevovat jemný bias i při existenci faktů vyžadujících opačnou odpověď. Přitom rozsah těchto efektů není stejný pro různé skupiny: některé stereotypy jsou modelem „vstřebány" silněji. Autoři BBQ zdůrazňují, že zjištěné rozdíly, ačkoli jsou patrné, nejsou katastrofálně velké — bias score většiny modelů nedosahuje extrémních hodnot a zpravidla se pohybuje v oblasti několika desítek procent. Přesto i malé systematické odchylky ve směru stereotypů jsou při masovém využívání LLM potenciálně nebezpečné, a proto je odhalování a odstraňování takového biasu důležitým úkolem. BBQ poskytl výzkumníkům jasný a kvantitativně měřitelný způsob, jak sledovat pokrok v této oblasti.

Vliv a další výzkum

Sada BBQ rychle získala uznání jako standardní nástroj pro hodnocení charakteristik fairness jazykových modelů. Její otevřený zdrojový kód a data jsou dostupné v repozitáři (licence CC BY 4.0), což umožnilo širší výzkumné komunitě využívat BBQ při vývoji a testování nových modelů. V řadě přehledů je BBQ zmiňován spolu s dalšími benchmarky (například StereoSet, WinoBias, ToxiGen) jako důležitý mezník ve studiu sociálního biasu v NLP. Od publikace BBQ se objevily práce rozvíjející jeho myšlenky a adaptující je pro nové podmínky:

• Rozšíření formátů otázek (Open-BBQ). Originální BBQ nabízí úlohy ve formátu výběru z více možností. V roce 2024 byla navržena modifikace BBQ pro otevřené odpovědi, zahrnující úlohy doplňování mezer a krátkého textového odpovídání. Tato verze, označovaná jako Open-BBQ, umožňuje hodnotit bias ve volnějších podmínkách dialogu, kde model nemá pevně dané varianty odpovědi. Výzkum ukázal, že LLM při generování volného textu rovněž vykazují zvýšený bias vůči řadě skupin. Autoři Open-BBQ také experimentovali s metodami zmírnění předpojatosti, kombinujíce zero-shot a few-shot podněty a chain-of-thought (postupné uvažování). Tyto metody umožnily výrazně snížit úroveň biasu v odpovědích. Open-BBQ doplnil originální sadu, čímž umožnil testování generativních modelů ve formátech bližších uživatelským dotazům.

• Kulturní adaptace (lokalizace). Jelikož BBQ je vázán na sociální realitu USA, výzkumníci se zajímali o jeho adaptaci pro jiné jazyky a kultury. V roce 2023 korejští vědci představili dataset KoBBQ (Korean BBQ) — korejský ekvivalent Bias Benchmark. Vypracovali obecný přístup k lokalizaci BBQ: rozdělili původní šablony do tří kategorií — ty, které lze jednoduše přeložit, ty, které vyžadují nahrazení skupin lokálními ekvivalenty, a ty, jež v korejském kontextu vůbec nelze uplatnit. KoBBQ navíc zavedl 4 nové kategorie stereotypů specifické pro korejskou společnost a odstranil řadu neodpovídajících příkladů. Výsledkem je sada 268 šablon a 76 048 příkladů v korejském jazyce, pokrývající 12 kategorií sociálního biasu (včetně původních i nových). Testování vícejazykových modelů na KoBBQ odhalilo výrazné rozdíly v úrovni předpojatosti ve srovnání s přímým strojovým překladem originálního BBQ do korejštiny. To zdůrazňuje, že pouhý překlad nestačí — jsou zapotřebí kulturně specifické benchmarky zohledňující jedinečné stereotypy a kontext každé země. Práce na KoBBQ prokázala možnost škálovat metodologii BBQ globálně.

BBQ se stal nedílnou součástí výzkumu etičnosti umělé inteligence. Jeho vliv je patrný v rozvoji nových metodik odstraňování biasu z modelů, vytváření inkluzivnějších datasetů a metrik pro jemnou analýzu biasu. Výzkumníci poznamenávají, že jednou ze silných stránek BBQ je šíře záběru a pečlivost konstrukce příkladů. V reakci na výzvy vymezené BBQ jsou v poslední době aktivně vyvíjeny strategie snižování biasu od filtrování trénovacích dat po speciální algoritmy post-processingu a dolaďování LLM pro spravedlivé odpovědi.

Shrneme-li to, BBQ (Bias Benchmark for QA) se osvědčil jako cenný a spolehlivý nástroj pro měření sociálních předsudků v jazykových modelech. Poskytuje výzkumné komunitě standardní sadu ověření umožňujících porovnávat modely z hlediska stereotypnosti a sledovat pokrok ve zlepšování jejich nestrannosti. BBQ se nadále rozšiřuje a adaptuje, odrážejíce globální zájem o vytváření spravedlivějších a bezpečnějších systémů AI, prosté nenápadných, avšak výrazných škodlivých biasů.

Odkazy

• Původní článek BBQ (arXiv)
• Repozitář BBQ na GitHubu
• Stránka datasetu BBQ na Papers With Code
• Článek BBQ na ACL Anthology
• Článek o datasetu KoBBQ (arXiv)
• Článek o datasetu Open-BBQ (arXiv)

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.