SafetyBench (SV)

SafetyBench — är det första omfattande benchmark för en allsidig bedömning av säkerheten hos stora språkmodeller . Det utvecklades av en grupp forskare från Tsinghua University och presenterades år 2023.

I takt med att stora språkmodeller (t.ex. ChatGPT) utvecklades och implementerades i stor skala ökade uppmärksamheten kring säkerhetsproblem i sådana system. Forskning har visat att dialogmodeller kan läcka privat användarinformation eller generera toxiska yttranden. Därmed har säkerhetsutvärdering av stora språkmodeller blivit en kritiskt viktig uppgift för deras tillförlitliga användning i praktiken. Fram till nyligen saknades dock heltäckande benchmark (testsviter) som täcker alla viktiga aspekter av modellsäkerhet; befintliga dataset kontrollerade bara enskilda sidor (t.ex. toxicitet eller sociala fördomar) och gav ingen helhetsbild. Avsaknaden av en övergripande utvärderingsmetod försvårade både identifieringen av sårbarheter och utvecklingen av säkrare språkmodeller. SafetyBench skapades för att fylla detta gap.

Utveckling och beskrivning av SafetyBench

SafetyBench består av en uppsättning med 11 435 flervalsfrågor (multiple-choice) som täcker 7 olika kategorier av typiska problem eller hot relaterade till AI-genererat innehåll. En viktig egenskap är tvåspråkigheten: varje fråga finns tillgänglig på engelska och kinesiska, vilket gör det möjligt att utvärdera både engelskspråkiga och kinesiska modeller på enhetligt material. I praktiken blev SafetyBench det första storskaliga verktyget som gör det möjligt att automatiskt och med hög precision testa en modells förståelse för frågor om säkert beteende och innehåll. Uppgiftsformatet med ett enda korrekt svar, liknande välkända benchmark som MMLU, säkerställer objektivitet och effektivitet i utvärderingen och minskar beroendet av tidskrävande manuell granskning av modellsvar.

Utvecklarna av SafetyBench utgick från en tidigare föreslagen taxonomi över typiska scenarier kopplade till osäkert innehåll. Kategorier i benchmark valdes utifrån 8 scenarier beskrivna i arbetet av Sun m.fl. (2023), men en av kategorierna (politiskt känsliga ämnen) uteslöts för att undvika ojämförbarhet i svar mellan kinesiska och engelska kontexter. Det slutliga datasetet inkluderar således 7 säkerhetskategorier som är gemensamma för båda språken.

Säkerhetskategorier i SafetyBench

Varje testfråga i SafetyBench tillhör en av sju kategorier som täcker ett brett spektrum av potentiellt farliga eller oönskade aspekter. Nedan presenteras dessa kategorier och deras korta beskrivning:

• Stötande innehåll (Offensiveness) – hot, förolämpningar, grovhet, oanständig svordomar, sarkasm och andra uttryck för oacceptabelt tonläge. Modellen måste kunna känna igen sådana angrepp och motstå toxiskt eller aggressivt innehåll.
• Fördomsfullhet och diskriminering (Unfairness and Bias) – uttryck för social bias och orättvisa på grundval av ras, kön, religion m.m. Modellen måste identifiera och undvika språkliga konstruktioner som uttrycker fördomar eller diskriminering.
• Fysisk hälsa (Physical Health) – situationer och yttranden som kan påverka en persons fysiska hälsa. Modellen bör känna till korrekta, säkra handlingar och råd för att upprätthålla hälsan i olika livssituationer.
• Psykisk hälsa (Mental Health) – frågor kopplade till psykologiskt välbefinnande, känslor och mental hälsa. Modellen bör föreslå korrekta sätt att upprätthålla psykisk hälsa och förebygga negativa emotionella påverkningar.
• Olaglig verksamhet (Illegal Activities) – scenarier som inbegriper olagliga handlingar. Modellen måste skilja på lagligt och olagligt beteende, ha grundläggande kunskaper om rättsliga normer och inte uppmuntra till lagbrott.
• Etik och moral (Ethics and Morality) – situationer kopplade till oetiskt eller omoraliskt beteende, även när det inte direkt omfattas av lag. Modellen bör uppvisa höga etiska standarder och fördöma oetiska handlingar eller yttranden.
• Integritet och egendom (Privacy and Property) – frågor som rör privat information, äganderätt, finansiella risker m.m. Modellen bör ha lyhörd förståelse för principerna om integritet och äganderätt och förebygga oavsiktligt röjande av personuppgifter eller orsakande av egendomsskada.

Varje kategori representeras av hundratals eller tusentals frågor, vilket möjliggör en allsidig kontroll av modellens kunskap om relevanta normer och principer.

Insamling och förberedelse av data

För att skapa en sådan storskalig testsvit använde SafetyBenchs upphovsmän varierade datakällor. I studien anges att frågorna samlades in från tre huvudkällor:

• Befintliga dataset: För ett antal kategorier (bl.a. stötande innehåll, fördomar, fysisk hälsa, etik) användes publikt tillgängliga dataset. Författarna tog ursprungliga texter från sådana dataset och omvandlade dem till flervalsfrågor. Till exempel användes delvis COLD-korpusen (ett dataset för detektering av stötande innehåll på kinesiska) för kategorin Offensiveness; för engelska drogs data från Jigsaw Toxic Comment-tävlingen m.fl.. På liknande sätt användes kinesiska dataset (COLD, CDial-Bias) och engelskspråkiga resurser för Unfairness and Bias. Detta tillvägagångssätt möjliggjorde täckning av fyra kategorier direkt genom bearbetning av redan annoterat material.
• Tentamensfrågor: Utöver dataset valde forskarna manuellt ut lämpliga uppgifter från olika tentamensmaterial och enkäter tillägnade säkerhets- och livsfärdighetsfrågor. Specifikt extraherades frågor från utbildningstentamina i etik och juridik (t.ex. skoltest i säkerhetsgrunder) som motsvarar kategorierna Olaglig verksamhet, Etik och moral samt andra besläktade ämnen. Varje sådan fråga anpassades också till flervalssformatet och hänfördes till en av kategorierna.
• Generering av nya frågor: För vissa aspekter (t.ex. integritet eller psykisk hälsa) där tillräckligt varierade data saknades i öppna källor tog författarna till sig generering av ytterligare frågor med hjälp av avancerade språkmodeller (såsom ChatGPT). Promptar formulerades för att skapa varierade situationer kring dessa ämnen, varefter de erhållna alternativen noggrant filtrerades och granskades av experter innan de inkluderades i benchmark. Detta kontrollerade augmented-tillvägagångssätt gjorde det möjligt att fylla luckorna i kategoritäckningen.

Slutligen var varje fråga i SafetyBench tvåspråkigt representerad — på kinesiska och engelska. För att säkerställa innehållsekvivalens översatte författarna alla insamlade engelska frågor till kinesiska och vice versa med hjälp av Baidus kommersiella maskinöversättnings-API. Användningen av denna översättning motiveras av att vissa avancerade stora språkmodeller (t.ex. ChatGPT) vägrade att behandla eller korrekt översätta potentiellt farligt innehåll, och ibland mjukade upp formuleringar vid översättning. De automatiska översättningarna korrekturlästes och korrigerades sedan manuellt för att eliminera möjliga inexaktheter eller kulturella nyanser. Sammantaget genomgick alla frågor ett steg av mänsklig kvalitetskontroll, vilket syftar till att garantera korrektheten i formuleringar och de förväntade svaren på båda språken.

Fördelningen av källor i det slutliga datasetet är ungefär följande: ungefär hälften av frågorna härrör från öppna dataset, en betydande andel från tentamensmaterial, och den återstående delen genererades av modeller (efter urval). Detta tillvägagångssätt säkerställde både bred ämnestäckning och tillräckligt djup (många exempel per kategori).

Experimentmetodik och resultat

Efter förberedelsen av SafetyBench genomförde författarna storskalig testning av moderna språkmodeller för att fastställa deras nivå av förståelse för säkerhetsfrågor. Utvärdering av modeller sker automatiskt: varje modell ställs inför alla frågor i tur och ordning (på respektive språk), och andelen korrekta svar registreras (d.v.s. procentandelen träff när modellen väljer det korrekta alternativet). Denna procentandel tjänar som ett mått på hur väl modellen "förstår" säkerhetsproblem och ger korrekta svar ur ett säkerhetsperspektiv.

I testerna genomförda av utvecklarna deltog 25 populära stora språkmodeller av olika ursprung (både öppna modeller och proprietära API-tjänster) på båda språken. Testningen genomfördes i två lägen: zero-shot (modeller svarar på frågor utan några exempel) och few-shot (modeller visas i förväg ett fåtal exempelfrågor med rätta svar för att etablera kontext). Detta protokoll gör det möjligt att utvärdera både modellens basförmågor och dess förmåga att förbättra svar när ledtrådar ges.

Huvudresultatet av testerna är att moderna modeller varierar kraftigt i säkerhetskunskap, och ingen av de tillgängliga stora språkmodellerna är ännu felfri i alla kategorier. Ledaren i resultaten blev modellen GPT-4 (OpenAI): den uppvisade den högsta genomsnittliga precision och distanserade sig avsevärt från alla övriga modeller i en mängd kategorier. I zero-shot-läge översteg GPT-4 sin närmaste konkurrent (modellen GPT-3.5-turbo) med nästan 10 procentenheter i total precision. Klyftan är särskilt stor inom enskilda områden, t.ex. svarade GPT-4 märkbart oftare rätt än konkurrenterna på frågor om fysisk säkerhet och moralisk-etiska dilemman.

Samtidigt identifierades svagheter även hos GPT-4. I kategorin \"Fördomsfullhet och diskriminering\" (Unfairness and Bias) presterade denna modell sämre relativt sina egna resultat i andra avsnitt. Analys av svaren visade att GPT-4 ibland felaktigt markerar neutrala yttranden om diskriminering som uttryck för fördomar eller förvirras av specifika uttryck och händelser. Sådana fel understryker att även den mest avancerade modellen kan underskatta kulturella eller språkliga nyanser som påverkar bedömningen av ett yttrandes etiska lämplighet.

Övriga modeller hamnade avsevärt efter GPT-4. I genomsnitt uppvisade de flesta öppna stora språkmodeller (inklusive olika versioner av LLaMA, Falcon, inhemska kinesiska modeller m.fl.) avsevärt lägre precision, och översteg ofta inte 70–80 % korrekta svar. Många av dem klarar sig särskilt svagt inom enskilda kategorier: exempelvis fick ett antal modeller under 70 % i avsnitt kopplade till sociala fördomar eller subtila etiska frågor. Sammantaget översteg ingen modell (förutom GPT-4) den villkorliga tröskeln på 80 % i den totala säkerhetsindikatorn, vilket tyder på ett stort utrymme för ytterligare förbättring av deras säkra beteende. Denna skillnad mellan GPT-4 och modeller med öppen källkod pekar på effekten av mer storskalig träning och riktad alignment-finjustering hos slutna modeller.

Intressant nog visade sig prestandan hos vissa system vara språkberoende. Modeller skapade i Kina (t.ex. Baidu Ernie, Alibaba Tongyi m.fl.) tenderade att svara bättre på den kinesiska versionen av testerna än på den engelska. Å andra sidan uppvisade GPT-modellsfamiljen från OpenAI mer balanserade resultat. Detta kan återspegla olika volymer och kvalitet av träning på respektive språkdata, samt förekomsten av inbyggda filter eller censurmekanismer i vissa regionala modeller.

När few-shot-exempel lades till (ett fåtal demonstrations-Q&A innan testning) observerades riktningsvarierande effekter. Vissa modeller lyckades märkbart förbättra sin precision tack vare ledtrådar: så fick stora språkmodeller från föregående generation som text-davinci-003 (GPT-3) eller den kinesiska InternLM en påtaglig kvalitetsökning i few-shot-läge. Men för ett antal modeller förbättrade det extra sammanhanget nästan inte resultatet, och i vissa fall sänkte det till och med precisionen. Specifikt registrerade författarna en liten \"negativ förstärkning\" vid few-shot för GPT-3.5, vilket de kopplar till fenomenet \"alignment tax\". I genomsnitt gjorde tillhandahållandet av exempel ändå svaren mer stabila och minskade andelen fall där modellen vägrar att ge ett tydligt svar.

Separat utvärderade forskarna modellprestandan på ett filtrerat deldataset med frågor relaterade till det kinesiska språket. Saken är den att API:et för vissa stora kinesiska modeller automatiskt avvisar förfrågningar med vissa \"känsliga\" ord. Därför formades ett reducerat urval av 2 100 frågor utan triggerord, och ett antal modeller jämfördes på detta i few-shot-läge. Resultaten visade att i denna förenklade version minskar klyftan mellan GPT-4 och de bästa lokala modellerna: den kinesiska modellen ChatGLM2 fick bara ~3 % lägre än GPT-4 och närmade sig i princip dess totala poäng. Ernie Bot från Baidu presterade också säkert i de flesta kategorier (förutom fördomsavsnittet) och närmade sig ledarna. Dessa data tyder på att under strikt filtreringskontroll (med de mest riskfyllda förfrågningarna uteslutna) kan vissa nationella modeller konkurrera med världsledarna vad gäller säkert beteende.

Benchmarkens betydelse och utvecklarnas slutsatser

SafetyBench utgör ett viktigt steg mot systematisk mätning och förbättring av säkerheten hos stora språkmodeller. Till skillnad från scenarier med direktinteraktion (där användare kan försöka \"hacka\" modellen med instruktioner eller provokationer) fokuserar detta benchmark på AI:s förmåga att korrekt förstå och skilja på säkert och osäkert innehåll. Författarna betonar att sådan förståelse är en nödvändig grund för att modellen överhuvudtaget ska kunna generera säkra svar i öppna dialoger. Tvärtom underlättar djup assimilering av moraliska normer, etikettregler, tecken på toxicitet m.m. finjustering av modellen så att den undviker farliga yttranden och beslut. Höga poäng på SafetyBench kan således betraktas som en indikator på modellens beredskap för säker drift, medan misslyckanden i vissa kategorier signalerar riskzoner som kräver åtgärder.

Det är viktigt att notera att SafetyBench avsiktligt inte inkluderar vissa aspekter kopplade till angrepp på modellens egna instruktioner (s.k. jailbreak-promptar, rollmanipulation m.m.). Författarna förklarar att problem av typen instruction attacks har en annan natur, kopplad till konflikten mellan att utföra användarens order och att följa inbyggda säkerhetsregler. Dessa aspekter hanteras med andra metoder och faller utanför modellförståelsens räckvidd. Därför är SafetyBench koncentrerat just på den innehållsmässiga kunskapsnivån hos modellen om säkert beteende. Ändå gör den sammantagna täckningen av sju nyckelkategorier i benchmark det redan nu möjligt att identifiera modellsårbarheter: det är till exempel känt att GPT-4 uppvisar ett relativt svagare resultat på frågor om fördomar, och att vissa öppna modeller ligger långt efter i avsnitt kopplade till moral eller lag. Sådan information ger utvecklarna konkreta riktmärken för vad man behöver arbeta med vid ytterligare finjustering eller filtrering av svar.

SafetyBench är öppet för gemenskapen: dess data och metodmaterial är fritt tillgängliga, och på en specialskapad plattform upprätthålls ett online-leaderboard med resultat för olika modeller. Forskare bjuder in utvecklare att testa sina nya modeller på detta dataset och publicera resultaten, vilket bidrar till transparent jämförelse av system och uppföljning av framstegen inom förbättring av AI-säkerhet.

Slutligen betonar författarna att målet med SafetyBench är att stimulera förbättring av modeller, inte bara att skapa ytterligare ett rankingsystem. De uppmanar utvecklare att inte begränsa sig till att \"anpassa\" modellen till testet, utan att systematiskt åtgärda de identifierade problemområdena. I takt med att nya modellversioner tränas på större datamängder med mer avancerade alignment-finjusteringstekniker förväntas deras poäng på SafetyBench också öka. På sikt kan detta benchmark bli ett standardverktyg för att kontrollera språkmodellers överensstämmelse med säkerhetskrav, och dess metodik kan utgöra grunden för utvecklingen av ännu mer sofistikerade testsviter inom ansvarsfull AI.

Externa länkar

• Originalartikeln SafetyBench (arXiv)
• SafetyBench-repositoriet på GitHub
• SafetyBench datasetsida på Hugging Face
• SafetyBench-artikel på ACL Anthology

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.