BBQ (Bias Benchmark for Question Answering) (PL)

BBQ (Bias Benchmark for Question Answering) — to zbiór danych służący do oceny uprzedzeń społecznych (bias) w systemach pytań i odpowiedzi (QA). Został opracowany przez grupę badaczy z Uniwersytetu Nowojorskiego pod kierownictwem Alicii Parrish i opublikowany w 2022 roku na konferencji ACL Findings. Celem BBQ jest ujawnienie, w jaki sposób duże modele językowe (LLM) i inne modele QA przejawiają stereotypy i uprzedzenia w odpowiedziach na pytania, szczególnie w praktycznych zadaniach odpowiadania na pytania w języku naturalnym. BBQ stał się jednym z najbardziej kompleksowych benchmarków do oceny społecznego bias w NLP, obejmując szeroki zakres stereotypów w ramach dziewięciu kategorii społecznych.

Niniejszy zbiór danych uzupełnia wcześniejsze prace, takie jak dataset UnQover (2020), który mierzył uprzedzenia według ograniczonej liczby cech (płeć–zawód, narodowość, przynależność etniczna, religia) i opierał się na prawdopodobieństwach modeli, a nie na samych odpowiedziach. W odróżnieniu od UnQover, BBQ bezpośrednio analizuje treść odpowiedzi modeli i ich wybór spośród zaproponowanych opcji, co pozwala oceniać uprzedzenia właśnie na poziomie generowanych wyników.

Autorzy BBQ pozycjonują go jako narzędzie do diagnozowania szkodliwych stereotypów społecznych w modelach i zmniejszania ryzyka negatywnego wpływu takich stereotypów na grupy narażone. Zbiór skupia się na stereotypach aktualnych dla anglojęzycznej kultury Stanów Zjednoczonych i nie obejmuje wszystkich możliwych kontekstów kulturowych. Niemniej jednak BBQ położył podwaliny pod kolejne prace dotyczące pomiaru i łagodzenia społecznego bias w NLP i stał się punktem odniesienia przy porównywaniu modeli pod względem ich etycznej poprawności.

Skład i struktura zbioru danych

BBQ zawiera około 58,5 tysiąca pytań i odpowiedzi, pogrupowanych w specjalne zestawy ukierunkowane na ujawnianie konkretnych stereotypów. Wszystkie przykłady zostały ręcznie opracowane przez autorów na podstawie udokumentowanych przypadków uprzedzeń i stereotypów wyrządzających szkodę przedstawicielom różnych grup społecznych. Przy tworzeniu scenariuszy wykorzystano dane z badań naukowych, artykuły medialne, raporty i inne wiarygodne źródła potwierdzające istnienie danego stereotypu oraz jego szkodliwe konsekwencje. Dla każdej sytuacji autorzy podają odniesienie do źródła, w którym dany stereotyp opisywany jest jako negatywny lub szkodliwy (np. artykuł naukowy lub wzmianka prasowa).

Kategorie społeczne

BBQ obejmuje dziewięć podstawowych kategorii istotnych społecznie (w większości odpowiadających grupom chronionym w rozumieniu Komisji ds. Równych Szans Zatrudnienia USA):

• Wiek – uprzedzenia wobec grup wiekowych (np. stereotyp o spadku sprawności poznawczej u osób starszych).
• Niepełnosprawność – stereotypy dotyczące zdolności umysłowych lub innych cech osób z niepełnosprawnościami (np. przekonanie, że osoby z niepełnosprawnością fizyczną są mniej kompetentne intelektualnie).
• Tożsamość płciowa – stereotypy płciowe (np. pogląd, że „dziewczynki słabo radzą sobie z matematyką").
• Narodowość – uprzedzenia narodowo-etniczne (np. stereotyp o technicznym analfabetyzmie osób pochodzących z Afryki).
• Wygląd zewnętrzny – dyskryminacja ze względu na wygląd lub budowę ciała (np. przekonanie, że osoby z otyłością są mniej inteligentne lub pracowite).
• Rasa/przynależność etniczna – stereotypy rasowe (np. stronnicze łączenie określonej rasy z przestępczością lub narkotykami).
• Religia – stereotypy religijne (np. postrzeganie Żydów jako chciwych, muzułmanów jako skłonnych do przemocy itp.).
• Status społeczno-ekonomiczny – uprzedzenia wobec biednych lub bogatych warstw społeczeństwa (np. przekonanie, że osoby pochodzące z ubogich rodzin będą złymi rodzicami).
• Orientacja seksualna – stereotypy homofobiczne (np. fałszywe kojarzenie homoseksualności z zakażeniem HIV).

Oprócz tych dziewięciu kategorii, BBQ zawiera dwie kategorie przecięciowe (intersectional biases), łączące jednocześnie dwie cechy: (1) płeć w połączeniu z rasą/etnicznością oraz (2) status społeczno-ekonomiczny w połączeniu z rasą. Takie przypadki uwzględniają stereotypy na przecięciu różnych grup (np. uprzedzenia skierowane konkretnie przeciwko czarnoskórym kobietom lub przeciwko przedstawicielom określonych grup etnicznych z niższych klas społecznych).

Szablony i generowanie przykładów

Dla każdej kategorii zespół opracował szablony scenariuszy — krótkie scenki, w których pojawiają się dwie postacie różniące się pod względem docelowej cechy (np. młody i starszy, mężczyzna i kobieta, bogaty i biedny itp.). Szablon zawiera sytuację, która mogłaby potwierdzić lub obalić znany stereotyp. Do każdego scenariusza przypisane są pytania i warianty odpowiedzi.

Opracowano łącznie po 25 unikalnych szablonów dla każdej z dziewięciu głównych kategorii, a ponadto po 25 dodatkowych szablonów dla kategorii rasy i płci z wykorzystaniem prawdziwych imion i nazwisk (aby sprawdzić bias na poziomie nazw własnych). Dla dwóch kierunków przecięciowych utworzono również po 25 szablonów. W ten sposób łączna liczba bazowych scenariuszy przekracza 300.

Każdy szablon zawiera specjalne sloty na zmienne — nazwy grup lub opisy — które są wstawiane do tekstu (np. w szablonie dotyczącym wieku zamiast „_-letnia osoba" podstawiane są różne liczby, a w szablonie dotyczącym wyglądu — przymiotniki „gruby"/„chudy" itp.). Dzięki podstawianiu różnych wartości i zamianie kolejności wzmiankowania dwóch postaci, każdy szablon rozrasta się do wielu konkretnych przykładów (od minimum 8 do nawet ~200 wariantów). Na ogół z jednego szablonu generuje się co najmniej 100 finalnych pytań, a w niektórych przypadkach nawet do dwustu. W sumie powstał korpus złożony z 58 492 przykładów (unikalnych kombinacji scenariusza, pytania i odpowiedzi).

Konteksty i typy pytań

Kluczową cechą BBQ jest to, że każda sytuacja reprezentowana jest przez dwa warianty kontekstu i dwie formułowania pytania, tworząc zestaw czterech pytań (tzw. klaster z 4). Zostało to zrobione w celu oddzielenia wpływu braku informacji od własnych stereotypów modelu. W każdym kwartecie:

• Kontekst niejednoznaczny (under-informative or ambiguous context): tekst opisujący sytuację z udziałem dwóch osób z różnych grup, który nie zawiera wystarczających informacji, aby jednoznacznie odpowiedzieć na postawione pytanie. Prawidłową odpowiedzią w takich przypadkach jest zawsze wariant „nieznane" (czyli brak wystarczających danych). Te przykłady służą sprawdzeniu, czy model nie wyciąga wniosków opartych na stereotypie.
• Kontekst jednoznaczny (disambiguated context): rozszerzony scenariusz, w którym dodany jest szczegół uściślający pozwalający ustalić, która z dwóch wymienionych osób odpowiada pytaniu. W tym przypadku jedna z dwóch postaci jest zdecydowanie poprawną odpowiedzią (a wariant „nieznane" jest już nieprawidłowy). Kontekst jednoznaczny służy sprawdzeniu, czy model jest w stanie pokonać własny potencjalny bias i wybrać właściwą odpowiedź, nawet jeśli stereotyp sugeruje coś innego.
• Pytanie negatywne (np. „Kto z nich słabo zna przedmiot?", „Kto popełnił przestępstwo?"). Takie pytanie w połączeniu z niejednoznacznym kontekstem sprawdza, czy model ma skłonność do kojarzenia negatywnego działania z określoną grupą przy braku faktów.
• Pytanie nienegatywne (kontrastowe) (np. „Kto z nich dobrze zna przedmiot?" lub „Kto powstrzymuje się od złego czynu?"). Pytanie nienegatywne sformułowane jest tak, aby nie brzmiało jak bezpośrednia akceptacja stereotypu, ale jednocześnie umożliwiało sprawdzenie równowagi odpowiedzi modelu. Porównanie odpowiedzi na wersje negatywne i neutralne ujawnia systematyczne przekrzywienia.

Każdy z tych czterech przykładów w klastrze ma trzy warianty odpowiedzi: dwa konkretne (wymieniające każdą z dwóch figurujących grup) oraz jeden wariant wskazujący na brak wystarczających informacji (oznaczony jako „Unknown" i równoważne wyrażenia). Na przykład w scenie, w której uczestniczą umowny chrześcijanin i muzułmanin, warianty odpowiedzi to: „chrześcijanin", „muzułmanin" lub „nieznane". Przy czym słowo „nieznane" nie zawsze jest takie samo — stosuje się 10 synonimicznych wyrażeń.

Ponadto w każdym szablonie automatycznie zmienia się kolejność wzmiankowania dwóch grup. Służy to niwelowaniu efektu kolejności — znanego czynnika, przy którym modele mogą częściej wybierać pierwszą wymienioną jednostkę niezależnie od treści.

Anotowanie i kontrola jakości

Każdy przykład BBQ był oceniany przez crowdsourcingowych anotatorów: co najmniej 5 niezależnych osób odpowiadało na pytania, a do finalnego datasetu włączano tylko te przykłady, co do których co najmniej 4 z 5 anotatorów zgodziło się z poprawną odpowiedzią (w drodze głosowania). Jeśli jakiekolwiek pytanie nie osiągało tego progu, cały szablon był przeglądany i redagowany. Dzięki temu procesowi ludzka dokładność na BBQ jest bardzo wysoka: indywidualni anotatorzy poprawnie odpowiadali na ~95,7% pytań, a uwzględniając większość głosów, dokładność złotego standardu osiąga 99,7%. Współczynnik zgodności kappa (Krippendorff's alpha) wyniósł 0,883, co wskazuje na wysoką zgodność między ludźmi co do poprawnych odpowiedzi. Środki te potwierdzają, że zadania BBQ są zrozumiałe dla ludzi i mają obiektywnie poprawne odpowiedzi; w konsekwencji błędy modeli na tych przykładach można zasadnie interpretować jako przejawy bias, a nie jako niejednoznaczność samych pytań.

Ocena stronniczości modeli

BBQ zostało zaprojektowane do wieloaspektowej oceny zachowania modeli w warunkach prowokujących społeczny bias. Podczas testowania model QA otrzymuje na wejściu kontekst i pytanie, po czym musi wybrać jeden z trzech wariantów odpowiedzi. Analiza wyników prowadzona jest na dwóch poziomach:

Przypadek kontekstu niejednoznacznego

Mierzy się, jak często model odpowiada nieprawidłowo na pytania przy braku niezbędnych informacji, czyli opiera się na stereotypie. W idealnym przypadku model powinien odpowiadać „nieznane" na każde pytanie z niewystarczającym kontekstem, jednak jeśli wybiera jedną z grup, jest to traktowane jako projekcja wbudowanego stereotypu. Częstość takich błędów i ich rozkład według kategorii dają obraz skłonności modelu do powielania szkodliwych stereotypów.

Przypadek kontekstu informatywnego

Ocenia się, jak dokładnie model odpowiada, gdy kontekst zawiera wyraźną poprawną odpowiedź. Tutaj zazwyczaj oblicza się standardową metrykę accuracy (procent poprawnych odpowiedzi) — pokazuje, czy model radzi sobie z zadaniem pytanie–odpowiedź w ogóle. Szczególną uwagę zwraca się jednak na przypadki, gdy poprawna odpowiedź jest sprzeczna ze stereotypem. Twórcy BBQ analizują, czy dokładność modelu nie spada, gdy właściwa odpowiedź przeczy utrwalonemu stereotypowi (i odwrotnie, czy nie jest wyższa, gdy prawda pokrywa się ze stereotypowym oczekiwaniem). Taki efekt wskazywałby, że nawet przy dostępności faktów model może popełniać błędy z powodu bias.

Bias Score

Do ilościowej oceny stopnia stronniczości wprowadza się specjalną metrykę — wskaźnik stronniczości (bias score). Ogólnie rzecz biorąc, bias score odzwierciedla procent odpowiedzi modelu (spośród niepoprawnych lub wszystkich, w zależności od warunku), które są zgodne ze stereotypem.

• Wartość +100% oznaczałaby, że model we wszystkich przypadkach wybrał wariant odpowiedzi stereotypowo przypisujący negatywną cechę docelowej grupie.
• 0% — brak przejawów bias (model albo zawsze odpowiada poprawnie/„nieznane", albo myli się równomiernie w obie strony).
• Ujemny score (do -100%) — odwrotna tendencja, gdy model zawsze odpowiada wbrew oczekiwaniu stereotypu.

Wskaźniki obliczane są oddzielnie dla kontekstów niejednoznacznych i jednoznacznych, ponieważ charakter błędów w nich jest różny.

• Dla pytań niejednoznacznych bias score określany jest przez udział przypadków, w których model zamiast „nieznane" wybrał jakąś konkretną odpowiedź, przy czym odpowiedź ta pokrywała się z negatywnym stereotypem. Im częstsze takie odpowiedzi, tym wyższy dodatni score. Uwzględniana jest przy tym dokładność: jeśli model w równym stopniu myli się i odpowiada prawidłowo („nieznane"), to nawet przy części stereotypowych błędów score będzie niższy niż u modelu, który zawsze wybiera stereotypową odpowiedź. W ten sposób karana jest zarówno częstotliwość, jak i pewność odpowiedzi bias (dla niejednoznacznych kontekstów metrykę skaluje się z uwzględnieniem procentu poprawnych odpowiedzi „nieznane").
• Dla pytań jednoznacznych bias score obliczany jest nieco inaczej, gdyż tutaj poprawna odpowiedź to jedna z grup. W tych przypadkach analizuje się niepoprawne odpowiedzi modelu: udział błędów, w których model wybrał nie właściwy wariant, lecz alternatywny wariant pokrywający się ze stereotypem. Innymi słowy, jeśli model się mylił, preferując uprzedzenie (np. nie uwierzył faktom i odpowiedział zgodnie ze stereotypem), zwiększa to score.

Analiza bias score obok ogólnej dokładności pozwala szczegółowo scharakteryzować zachowanie modelu na BBQ. Autorzy wskazują, że ta sama accuracy może ukrywać różny charakter błędów. W ten sposób wskaźnik ten pokazuje kierunek błędów i ujawnia subtelne przypadki niewidoczne przy samej tylko dokładności.

Wyniki i zaobserwowane prawidłowości

Pierwsze testy kilku popularnych modeli QA na zbiorze BBQ ujawniły szereg wyraźnych przejawów bias. W badaniu Parrish i in. (2022) przetestowano zarówno duże modele ogólnego przeznaczenia (np. UnifiedQA — uogólniony model QA oparty na T5), jak i standardowe modele multiple-choice (np. RoBERTa z doustrojeniem na QA).

Główne wnioski z wyników eksperymentów:

• Silne błędy stereotypowe przy braku informacji. We wszystkich przetestowanych systemach zaobserwowano tendencję do odpowiadania zgodnie ze stereotypem, gdy kontekst nie dostarczał potrzebnych wskazówek. Innymi słowy, modele często nie wybierały wariantu „nieznane", lecz preferowały konkretną odpowiedź odpowiadającą temu lub innemu stereotypowemu oczekiwaniu. Na przykład w niejednoznacznych pytaniach o przestępstwo bez wyraźnego sprawcy modele nierzadko wskazywały osoby z określonej grupy (odpowiadającej uprzedzeniu). Obliczony bias score dla kontekstów niejednoznacznych okazał się znacznie wyższy od zera, a w niektórych kategoriach u pewnych modeli zbliżał się do +100%. Szczególnie wysoką skłonność do stereotypowych odpowiedzi wykazały modele na scenkach związanych z wyglądem zewnętrznym (otyłość itp.) — ta kategoria dała zauważalnie wyższy bias niż np. rasa czy orientacja seksualna. Świadczy to o niejednorodności bias wewnątrz modelu — jedne rodzaje stereotypów są przez niego „przyswojone" silniej niż inne.
• Poprawa przy dostępności faktów, ale utrzymanie ukrytego bias. Gdy modele otrzymywały jednoznaczny kontekst z wyraźnym wskazaniem poprawnej odpowiedzi, ich dokładność wyraźnie rosła (w porównaniu z sytuacją niepewności). Jednak szczegółowa analiza ujawniła subtelny efekt: dokładność okazała się nierównomierna w zależności od relacji między poprawną odpowiedzią a stereotypem. Średnio modele osiągały o 3–3,5 punktu procentowego wyższą dokładność w tych przykładach, gdzie poprawna odpowiedź pokrywała się z powszechnym stereotypem, w porównaniu z przykładami, gdzie właściwa odpowiedź temu stereotypowi przeczyła. Innymi słowy, gdy fakty potwierdzały uprzedzenie, modele niemal bezbłędnie udzielały odpowiedzi; lecz gdy wymagane było wskazanie wariantu „niestereotypowego", prawdopodobieństwo błędu wzrastało. Choć ta rozbieżność w wynikach nie jest ogromna, ujawniła się statystycznie w wielu kategoriach. Największa różnica została odnotowana w pytaniach związanych ze stereotypami płciowymi: do 5 punktów procentowych różnicy. Tym samym prześledza się ukryty wpływ bias: modele przeciętnie nieco gorzej radzą sobie działając „wbrew stereotypowi".
• Porównanie kategorii i szablonów. Badacze BBQ przeanalizowali bias score w rozbiciu na wszystkie dziewięć kategorii i stwierdzili, że w niejednoznacznych kontekstach wskaźnik jest dodatni we wszystkich kategoriach, lecz jego wartość jest zróżnicowana. Jak wspomniano, maksymalne bias odnotowano w kategoriach wygląd fizyczny, status społeczno-ekonomiczny oraz niektórych przecięciowych. Niższe, choć wciąż niezerowe, bias score miały kategorie rasa/etniczność i orientacja seksualna. W kontekstach jednoznacznych bias score jest ogólnie bliższy zeru (ponieważ model często odpowiada prawidłowo), lecz nadal dla niektórych szablonów pozostaje dodatni, odzwierciedlając zauważalne przekrzywienie w charakterze popełnianych błędów. Na przykład w kategorii religia większość błędów była jednostronna — modele przy błędnym odpowiadaniu na ogół wybierały odpowiedź opartą na uprzedzeniu.

Ogólnie BBQ wykazał, że nawet silne współczesne modele językowe wyraźnie nie są wolne od uprzedzeń społecznych. Mają skłonność do powielania stereotypów, gdy znajdą się w warunkach niepewności, i mogą przejawiać subtelny bias nawet przy dostępności faktów wymagających odwrotnej odpowiedzi. Przy tym skala tych efektów nie jest jednakowa dla różnych grup: niektóre stereotypy są przez model „przyswojone" silniej. Autorzy BBQ podkreślają, że wykryte różnice, choć zauważalne, nie są katastroficznie duże — bias score większości modeli nie osiąga ekstremalnych wartości, a często mieści się w granicach kilkudziesięciu procent. Niemniej jednak nawet niewielkie systematyczne odchylenia w kierunku stereotypów są potencjalnie niebezpieczne przy masowym stosowaniu LLM, dlatego identyfikowanie i usuwanie takich bias jest ważnym zadaniem. BBQ dostarczył badaczom czytelnego i mierzalnego ilościowo sposobu śledzenia postępów w tej dziedzinie.

Wpływ i dalsze badania

Zbiór BBQ szybko zyskał uznanie jako standardowe narzędzie do oceny cech fairness modeli językowych. Jego otwarty kod źródłowy i dane dostępne są w repozytorium (licencja CC BY 4.0), co pozwoliło szerokiemu środowisku badawczemu stosować BBQ przy tworzeniu i testowaniu nowych modeli. W szeregu przeglądów BBQ wymieniane jest obok innych benchmarków (np. StereoSet, WinoBias, ToxiGen) jako ważny punkt zwrotny w badaniu społecznego bias w NLP. Od czasu publikacji BBQ pojawiły się prace rozwijające jego idee i adaptujące je do nowych warunków:

• Rozszerzenie formatów pytań (Open-BBQ). Oryginalny BBQ oferuje zadania w formacie wielokrotnego wyboru. W 2024 roku zaproponowano modyfikację BBQ dla odpowiedzi otwartych, obejmującą zadania uzupełniania luk i krótkich odpowiedzi tekstowych. Ta wersja, umownie nazywana Open-BBQ, pozwala oceniać bias w swobodniejszych warunkach dialogu, gdzie model nie dysponuje stałymi wariantami odpowiedzi. Badanie wykazało, że LLM przy generowaniu swobodnego tekstu również wykazują zwiększony bias wobec niektórych grup. Autorzy Open-BBQ eksperymentowali także z metodami łagodzenia stronniczości, łącząc podpowiedzi zero-shot i few-shot oraz chain-of-thought (rozumowanie krok po kroku). Metody te pozwoliły znacząco obniżyć poziom bias w odpowiedziach. Open-BBQ uzupełnił oryginalny zbiór, umożliwiając testowanie modeli generatywnych w formatach bliższych zapytaniom użytkowników.

• Adaptacja kulturowa (lokalizacja). Ponieważ BBQ osadzone jest w społecznych realiach USA, badacze zainteresowali się jego adaptacją do innych języków i kultur. W 2023 roku koreańscy naukowcy zaprezentowali dataset KoBBQ (Korean BBQ) — koreański odpowiednik Bias Benchmark. Opracowali ogólne podejście do lokalizacji BBQ, dzieląc oryginalne szablony na trzy kategorie — te, które można po prostu przetłumaczyć, te wymagające zastąpienia grup lokalnymi odpowiednikami, oraz te, które w ogóle nie mają zastosowania w kontekście koreańskim. Dodatkowo KoBBQ wprowadził 4 nowe kategorie stereotypów specyficzne dla społeczeństwa koreańskiego i usunął szereg nieodpowiadających przykładów. W rezultacie powstał zbiór 268 szablonów i 76 048 przykładów w języku koreańskim, obejmujący 12 kategorii społecznego bias (w tym oryginalne i nowe). Testowanie wielojęzycznych modeli na KoBBQ ujawniło znaczące różnice w poziomie stronniczości w porównaniu z bezpośrednim maszynowym tłumaczeniem oryginalnego BBQ na koreański. Podkreśla to, że samo tłumaczenie jest niewystarczające — konieczne są kulturowo specyficzne benchmarki uwzględniające unikalne stereotypy i kontekst każdego kraju. Praca nad KoBBQ wykazała możliwość globalnego skalowania metodologii BBQ.

BBQ stało się nieodłączną częścią badań nad etyką sztucznej inteligencji. Jego wpływ widoczny jest w pojawianiu się nowych metod debiasingu modeli, tworzeniu bardziej inkluzywnych datasetów i metryk do subtelnej analizy bias. Badacze zwracają uwagę, że jedną z mocnych stron BBQ jest szerokość zakresu i staranność konstrukcji przykładów. W odpowiedzi na wyzwania wskazane przez BBQ aktywnie opracowywane są strategie redukcji bias — od filtrowania danych treningowych, przez specjalne algorytmy przetwarzania końcowego, aż po dostrajanie LLM pod kątem sprawiedliwych odpowiedzi.

Podsumowując, BBQ (Bias Benchmark for QA) ugruntował swoją pozycję jako wartościowe i niezawodne narzędzie do pomiaru uprzedzeń społecznych w modelach językowych. Dostarcza środowisku badawczemu standardowego zestawu testów umożliwiającego porównywanie modeli pod względem stereotypowości i śledzenie postępów w poprawie ich bezstronności. BBQ nadal się rozszerza i adaptuje, odzwierciedlając globalne zainteresowanie tworzeniem bardziej sprawiedliwych i bezpiecznych systemów AI, wolnych od niewidocznych, lecz istotnych szkodliwych bias.

Odniesienia

• Oryginalny artykuł BBQ (arXiv)
• Repozytorium BBQ na GitHub
• Strona datasetu BBQ na Papers With Code
• Artykuł BBQ w ACL Anthology
• Artykuł o datasecie KoBBQ (arXiv)
• Artykuł o datasecie Open-BBQ (arXiv)

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.