SafetyBench (NL)

SafetyBench — dit is de eerste uitgebreide benchmark voor een alomvattende evaluatie van de veiligheid van grote taalmodellen . Het werd ontwikkeld door een groep onderzoekers van de Tsinghua Universiteit en gepresenteerd in 2023.

Met de opkomst van grote taalmodellen (LLM's) (bijvoorbeeld de introductie van ChatGPT) en hun wijdverbreide toepassing is de aandacht voor veiligheidsproblemen van dergelijke systemen toegenomen. Onderzoek heeft aangetoond dat conversatiemodellen privé-informatie van gebruikers kunnen lekken of toxische uitspraken kunnen genereren. Daarmee is de veiligheidsevaluatie van LLM's een cruciaal vraagstuk geworden voor hun betrouwbare inzet in de praktijk. Tot voor kort ontbraken echter uitgebreide benchmarks (testsets) die alle belangrijke veiligheidsaspecten van een model bestreken; de beschikbare datasets toetsten slechts afzonderlijke aspecten (zoals toxiciteit of sociale vooroordelen) en gaven geen volledig beeld. Het ontbreken van een alomvattende evaluatiemethode bemoeilijkte zowel het opsporen van kwetsbaarheden als de ontwikkeling van veiligere taalmodellen. SafetyBench werd gecreëerd om deze leemte op te vullen.

Ontwikkeling en beschrijving van SafetyBench

SafetyBench bestaat uit een set van 11.435 meerkeuzevragen (multiple-choice), verdeeld over 7 verschillende categorieën van veelvoorkomende problemen of bedreigingen die verband houden met door AI gegenereerde inhoud. Een belangrijk kenmerk is de tweetaligheid: elke vraag is beschikbaar in het Engels en het Chinees, waardoor zowel Engelstalige als Chinese modellen op uniform materiaal kunnen worden geëvalueerd. In wezen werd SafetyBench het eerste grootschalige instrument dat het mogelijk maakt om automatisch en met hoge nauwkeurigheid te testen hoe goed een model vragen over veilig gedrag en inhoud begrijpt. Het formaat met één correct antwoord, vergelijkbaar met bekende benchmarks zoals MMLU, garandeert objectiviteit en efficiëntie bij de evaluatie en vermindert de afhankelijkheid van tijdrovende handmatige controle van modelantwoorden.

De ontwikkelaars van SafetyBench baseerden zich op een eerder voorgestelde taxonomie van typische scenario's in verband met onveilige inhoud. De categorieën van de benchmark werden in het bijzonder vastgesteld op basis van 8 scenario's beschreven in het werk van Sun et al. (2023), maar één categorie (politiek gevoelige onderwerpen) werd uitgesloten om onvergelijkbaarheid van antwoorden in de Chinese en Engelse context te vermijden. De uiteindelijke set omvat daarmee 7 veiligheidscategorieën die voor beide talen gemeenschappelijk zijn.

Veiligheidscategorieën in SafetyBench

Elke testvraag in SafetyBench behoort tot een van de zeven categorieën, die een breed spectrum van potentieel gevaarlijke of ongewenste aspecten bestrijken. Hieronder worden deze categorieën en een korte beschrijving ervan gegeven:

• Aanstootgevende inhoud (Offensiveness) – bedreigingen, beledigingen, grofheid, schuttingtaal, sarcasme en andere uitingen van onaanvaardbare toon. Het model moet dergelijke uitingen kunnen herkennen en weerstand bieden aan toxische of agressieve inhoud.
• Onrechtvaardigheid en vooroordeel (Unfairness and Bias) – uitingen van sociale bias en onrechtvaardigheid op grond van ras, geslacht, religie en andere kenmerken. Het model moet taalconstructies die vooroordelen of discriminatie uitdrukken identificeren en vermijden.
• Lichamelijke gezondheid (Physical Health) – situaties en uitspraken die de lichamelijke gezondheid van een persoon kunnen beïnvloeden. Het model moet correcte, veilige handelwijzen en adviezen kennen ter bevordering van de gezondheid in uiteenlopende levensomstandigheden.
• Geestelijke gezondheid (Mental Health) – vraagstukken die verband houden met psychologisch welzijn, emoties en mentale gezondheid. Het model moet de juiste manieren aanbieden om de geestelijke gezondheid te bevorderen en negatieve emotionele invloeden te voorkomen.
• Illegale activiteiten (Illegal Activities) – scenario's die onrechtmatige handelingen veronderstellen. Het model moet wettig en onwettig gedrag van elkaar onderscheiden, beschikken over basiskennis van wettelijke normen en niet aanzetten tot wetsovertreding.
• Ethiek en moraliteit (Ethics and Morality) – situaties die verband houden met onethisch of immoreel gedrag, ook als dit niet rechtstreeks onder de wet valt. Het model moet hoge ethische standaarden tonen en onethische handelingen of uitspraken afkeuren.
• Privacy en eigendom (Privacy and Property) – vraagstukken betreffende privé-informatie, eigendomsrecht, financiële risico's, enz. Het model moet de beginselen van vertrouwelijkheid en eigendomsrechten goed begrijpen en onbedoelde openbaarmaking van persoonsgegevens of het toebrengen van vermogensschade voorkomen.

Elke categorie is vertegenwoordigd door honderden of duizenden vragen, waardoor de kennis van het model van de betreffende normen en beginselen uitvoerig kan worden getoetst.

Dataverzameling en -voorbereiding

Om zo'n omvangrijke testset samen te stellen, maakten de auteurs van SafetyBench gebruik van uiteenlopende gegevensbronnen. In het onderzoek wordt vermeld dat de vragen werden verzameld uit drie hoofdbronnen:

• Bestaande datasets: Voor een aantal categorieën (met name beledigingen, vooroordelen, lichamelijke gezondheid en ethiek) werden publiek beschikbare datasets gebruikt. De auteurs namen de bronteksten uit dergelijke sets en zetten deze om naar het formaat van meerkeuzevragen. Zo werd voor de categorie Offensiveness gedeeltelijk gebruik gemaakt van het COLD-corpus (een dataset voor het detecteren van beledigingen in het Chinees); voor het Engels werden gegevens uit de Jigsaw Toxic Comment-competitie en andere bronnen gebruikt. Op vergelijkbare wijze werden voor Unfairness and Bias Chinese sets (COLD, CDial-Bias) en Engelstalige bronnen ingezet. Deze aanpak maakte het mogelijk vier categorieën te bestrijken door reeds gelabeld materiaal te hergebruiken.
• Examenvragen: Naast datasets selecteerden de onderzoekers handmatig geschikte opdrachten uit verschillende examenmateriaal en vragenlijsten over veiligheid en levensvaardigheden. Met name werden vragen ontleend aan educatieve examens over ethiek en rechtskennis (zoals schooltoetsen over basisveiligheid), die aansluiten bij de categorieën Illegale activiteiten, Ethiek en moraliteit en andere verwante onderwerpen. Elke dergelijke vraag werd eveneens omgezet naar het meerkeuzformaat en ingedeeld bij een van de categorieën.
• Generatie van nieuwe vragen: Voor bepaalde aspecten (zoals privacy of geestelijke gezondheid), waarvoor in openbare bronnen onvoldoende gevarieerde gegevens beschikbaar waren, maakten de auteurs gebruik van de generatie van aanvullende vragen met behulp van grote taalmodellen van hoog niveau (zoals ChatGPT). Er werden prompts geformuleerd om gevarieerde situaties over deze thema's te creëren, waarna de verkregen varianten zorgvuldig werden gefilterd en door experts gecontroleerd vóór opname in de benchmark. Deze gecontroleerde augmented aanpak maakte het mogelijk lacunes in de categoriedekking op te vullen.

Uiteindelijk werd elke vraag van SafetyBench tweetalig aangeboden — in het Chinees en in het Engels. Om de inhoudelijke equivalentie te waarborgen, vertaalden de auteurs alle verzamelde Engelstalige vragen naar het Chinees en vice versa met behulp van de commerciële machine translation API van Baidu. Het gebruik van deze vertaling was ingegeven doordat sommige geavanceerde LLM's (zoals ChatGPT zelf) weigerden potentieel gevaarlijke inhoud te verwerken of nauwkeurig te vertalen, en de formuleringen soms afzwakten bij het vertalen. De automatische vertalingen werden vervolgens handmatig nagelezen en gecorrigeerd om mogelijke onnauwkeurigheden of culturele nuances te verhelpen. In het algemeen ondergingen alle vragen een fase van kwaliteitscontrole door mensen, bedoeld om de correctheid van de formuleringen en de overeenstemming van de verwachte antwoorden in beide talen te garanderen.

De verdeling van bronnen in de uiteindelijke dataset is ongeveer als volgt: ongeveer de helft van de vragen is afkomstig uit open datasets, een aanzienlijk deel uit examenmateriaal, en het resterende deel is door modellen gegenereerd (na selectie). Deze aanpak zorgde voor zowel een brede themadekking als voldoende diepgang (veel voorbeelden per categorie).

Experimentele methode en resultaten

Na de voorbereiding van de SafetyBench-set voerden de auteurs een grootschalige test van hedendaagse taalmodellen uit om hun begrip van veiligheidskwesties te bepalen. De evaluatie van modellen verloopt automatisch: elk model krijgt achtereenvolgens alle vragen (in de betreffende taal) voorgelegd, en het percentage correcte antwoorden wordt geregistreerd (d.w.z. het percentage waarbij de door het model gekozen optie overeenkomt met het juiste antwoord). Dit percentage dient als indicator van hoe goed een model veiligheidsproblemen 'begrijpt' en antwoorden geeft die vanuit veiligheidsoogpunt correct zijn.

Aan de door de ontwikkelaars uitgevoerde tests namen 25 populaire LLM's van uiteenlopende herkomst deel (zowel open modellen als propriëtaire API-diensten) in beide talen. De tests werden in twee modi uitgevoerd: zero-shot (modellen beantwoorden vragen zonder enig voorbeeld) en few-shot (modellen krijgen vooraf enkele voorbeeldvragen met correcte antwoorden te zien om context te bieden). Dit protocol maakt het mogelijk zowel de basiscapaciteiten van het model als het vermogen om antwoorden te verbeteren bij aanwezigheid van voorbeeldaanwijzingen te beoordelen.

De belangrijkste conclusie van de tests is dat hedendaagse modellen sterk van elkaar verschillen wat betreft veiligheidskennis, en dat geen enkel beschikbaar LLM momenteel vlekkeloos presteert in alle categorieën. De koploper in de resultaten was het model GPT-4 (OpenAI): het behaalde de hoogste gemiddelde nauwkeurigheid en overtrof alle andere modellen aanzienlijk in talrijke categorieën. In de zero-shot modus overtrof GPT-4 de dichtstbijzijnde concurrent (het model GPT-3.5-turbo) met bijna 10 procentpunten in de algehele nauwkeurigheid. Het verschil is met name groot op specifieke gebieden; zo beantwoordde GPT-4 vragen over lichamelijke veiligheid en moreel-ethische dilemma's aanzienlijk vaker correct dan de concurrentie.

Tegelijkertijd werden zelfs bij GPT-4 zwakke punten vastgesteld. In de categorie 'Onrechtvaardigheid en vooroordeel' (Unfairness and Bias) presteerde dit model minder goed ten opzichte van zijn eigen resultaten in andere secties. Analyse van de antwoorden liet zien dat GPT-4 neutrale uitspraken over discriminatie soms ten onrechte als uiting van vooroordeel bestempelt of in de war raakt door specifieke uitdrukkingen en gebeurtenissen. Dergelijke fouten onderstrepen dat zelfs het meest geavanceerde model culturele of taalkundige nuances kan onderschatten die de beoordeling van de ethische aard van een uitspraak beïnvloeden.

De overige modellen bleven ver achter bij GPT-4. Gemiddeld scoorden de meeste open-source LLM's (waaronder verschillende versies van LLaMA, Falcon, nationale Chinese modellen, enz.) aanzienlijk lager, waarbij ze vaak niet verder kwamen dan 70-80% correcte antwoorden. Velen van hen presteren bijzonder slecht op afzonderlijke categorieën: zo scoorden een aantal modellen minder dan 70% op secties die verband houden met sociale vooroordelen of subtiele ethische kwesties. Geen enkel model (behalve GPT-4) haalde de informele drempel van 80% op de algemene veiligheidsscore, wat wijst op veel ruimte voor verdere verbetering van hun veilig gedrag. Dit verschil tussen GPT-4 en open-source modellen duidt op het effect van uitgebreidere training en gerichte alignment-afstemming bij gesloten modellen.

Opvallend is dat de prestaties van sommige systemen taalafhankelijk bleken. Modellen die in China zijn ontwikkeld (zoals Baidu Ernie, Alibaba Tongyi, enz.) beantwoordden de Chinese versie van de tests doorgaans beter dan de Engelse versie. Omgekeerd vertoonde de GPT-modelfamilie van OpenAI meer evenwichtige resultaten. Dit kan een weerspiegeling zijn van de verschillende omvang en kwaliteit van de training op de betreffende taalgegevens, evenals de aanwezigheid van ingebouwde filters of censuurmechanismen in sommige regionale modellen.

Bij het toevoegen van few-shot voorbeelden (enkele demonstratie-Q&A's vóór de test) werden uiteenlopende effecten waargenomen. Sommige modellen slaagden erin de nauwkeurigheid merkbaar te verhogen dankzij aanwijzingen: zo boekten grote taalmodellen van de vorige generatie zoals text-davinci-003 (GPT-3) of het Chinese InternLM een aanzienlijke kwaliteitswinst in de five-shot modus. Bij een aantal modellen verbeterde de extra context het resultaat nauwelijks, en in sommige gevallen verlaagde het zelfs de nauwkeurigheid. Met name voor GPT-3.5 constateerden de auteurs een kleine «negatieve winst» bij few-shot, wat zij in verband brengen met het verschijnsel van de «alignment tax». Gemiddeld genomen maakten de voorbeelden de antwoorden echter stabieler en verminderden ze het aandeel gevallen waarin het model weigert een duidelijk antwoord te geven.

Apart evalueerden de onderzoekers de prestaties van modellen op een gefilterde deelset van vragen die betrekking hebben op de Chinese taal. De API's van sommige grote Chinese modellen wijzen verzoeken met bepaalde 'gevoelige' woorden namelijk automatisch af. Daarom werd een beperkte steekproef van 2100 vragen zonder triggerwoorden samengesteld, en op basis daarvan werden een aantal modellen vergeleken in de five-shot modus. De resultaten toonden aan dat op deze vereenvoudigde versie het verschil tussen GPT-4 en de beste lokale modellen kleiner wordt: zo scoorde het Chinese model ChatGLM2 slechts ~3% minder dan GPT-4 en benaderde het daarmee de totaalscore. Ook Ernie Bot van Baidu presteerde overtuigend in de meeste categorieën (behalve de sectie over vooroordelen) en naderde de koplopers. Deze gegevens suggereren dat onder strikte filtercontrole (waarbij de gevaarlijkste verzoeken worden uitgesloten) sommige nationale modellen kunnen concurreren met de wereldleiders op het gebied van veilig gedrag.

Betekenis van de benchmark en conclusies van de ontwikkelaars

SafetyBench vertegenwoordigt een belangrijke stap naar de systematische meting en verbetering van de veiligheid van grote taalmodellen. In tegenstelling tot scenario's van directe interactie (waarbij gebruikers kunnen proberen het model te 'hacken' met instructies of provocaties), richt deze benchmark zich op het vermogen van AI om veilige en onveilige inhoud correct te begrijpen en van elkaar te onderscheiden. De auteurs benadrukken dat een dergelijk begrip een noodzakelijk fundament vormt opdat een model überhaupt veilige antwoorden kan genereren in open dialogen. Omgekeerd vergemakkelijkt een grondige assimilatie van morele normen, gedragsregels, kenmerken van toxiciteit e.d. de afstemming van het model zodanig dat het gevaarlijke uitspraken en beslissingen vermijdt. Hoge scores op SafetyBench kunnen dus worden beschouwd als een indicator van de gereedheid van een model voor veilige inzet, terwijl slechte prestaties in bepaalde categorieën wijzen op risicogebieden die verdere ontwikkeling behoeven.

Belangrijk is op te merken dat SafetyBench bewust bepaalde aspecten die verband houden met aanvallen op de instructies van het model zelf niet omvat (de zogeheten jailbreak-prompts, rolmanipulatie, enz.). De auteurs leggen uit dat problemen van het type instruction attacks een andere aard hebben, die verband houdt met het conflict tussen het uitvoeren van de gebruikersopdracht en het naleven van de ingebouwde veiligheidsregels. Deze aspecten worden aangepakt met andere methoden en vallen buiten het begrip van het model. Daarom is SafetyBench specifiek gericht op het inhoudelijke niveau van de kennis van het model over veilig gedrag. De gezamenlijke dekking van zeven sleutelcategorieën in de benchmark maakt het echter al mogelijk kwetsbaarheden van modellen op te sporen: zo is bekend dat GPT-4 relatief zwakker scoort op vragen over vooroordelen, terwijl sommige open-source modellen sterk achterblijven op secties die verband houden met moraliteit of de wet. Dergelijke informatie geeft ontwikkelaars concrete aanknopingspunten waaraan gewerkt moet worden bij verdere fine-tuning of filtering van antwoorden.

De SafetyBench-benchmark staat open voor de gemeenschap: de gegevens en methodologische materialen zijn vrij beschikbaar, en op een speciaal gecreëerd platform wordt een online leaderboard met resultaten van verschillende modellen bijgehouden. Onderzoekers worden uitgenodigd hun nieuwe modellen op deze set te testen en resultaten te publiceren, wat zal bijdragen aan een transparante vergelijking van systemen en het volgen van de voortgang in het verbeteren van AI-veiligheid.

Ten slotte benadrukken de auteurs dat het doel van SafetyBench is de verbetering van modellen te stimuleren, en niet louter een nieuwe ranglijst te creëren. Ze roepen ontwikkelaars op zich niet te beperken tot pogingen het model 'op de test af te stemmen', maar de geïdentificeerde probleempunten systematisch aan te pakken. Naarmate nieuwe versies van modellen worden getraind op meer gegevens, met complexere alignment-technieken, wordt een stijging van hun scores op SafetyBench verwacht. Op termijn kan deze benchmark een standaardinstrument worden voor het toetsen van de conformiteit van taalmodellen aan veiligheidseisen, en kan de methodologie ervan dienen als basis voor de ontwikkeling van nog geavanceerdere testsets op het gebied van verantwoorde AI.

Verwijzingen

• Origineel artikel SafetyBench (arXiv)
• SafetyBench-repository op GitHub
• SafetyBench-datasetpagina op Hugging Face
• SafetyBench-artikel op ACL Anthology

Literatuur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noten

</references>