--- title: "SafetyBench (SV)" source: "https://systems-analysis.info/int/SafetyBench_(SV)" wiki: "systems-analysis.info/int" article: "SafetyBench_(SV)" language: "sv" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Swedish" revision_id: 6564 wiki_created_at: 2026-09-07T00:06:45Z wiki_modified_at: 2026-09-07T00:06:45Z downloaded_at: 2026-09-07T23:14:37Z --- # SafetyBench (SV) **SafetyBench** — är det första **omfattande benchmark** för en allsidig bedömning av **säkerheten hos stora språkmodeller** [\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Det utvecklades av en grupp forskare från Tsinghua University och presenterades år 2023[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I takt med att stora språkmodeller (t.ex. ChatGPT) utvecklades och implementerades i stor skala ökade uppmärksamheten kring säkerhetsproblem i sådana system[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Forskning har visat att dialogmodeller kan läcka privat användarinformation eller generera toxiska yttranden[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Därmed har säkerhetsutvärdering av stora språkmodeller blivit en kritiskt viktig uppgift för deras tillförlitliga användning i praktiken. Fram till nyligen saknades dock heltäckande benchmark (testsviter) som täcker alla viktiga aspekter av modellsäkerhet; befintliga dataset kontrollerade bara enskilda sidor (t.ex. toxicitet eller sociala fördomar) och gav ingen helhetsbild[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Avsaknaden av en övergripande utvärderingsmetod försvårade både identifieringen av sårbarheter och utvecklingen av säkrare språkmodeller[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). SafetyBench skapades för att fylla detta gap[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). ## Utveckling och beskrivning av SafetyBench SafetyBench består av en uppsättning med **11 435 flervalsfrågor** (multiple-choice) som täcker **7 olika kategorier** av typiska problem eller hot relaterade till AI-genererat innehåll[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). En viktig egenskap är **tvåspråkigheten**: varje fråga finns tillgänglig på **engelska** och **kinesiska**, vilket gör det möjligt att utvärdera både engelskspråkiga och kinesiska modeller på enhetligt material[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I praktiken blev SafetyBench det första storskaliga verktyget som gör det möjligt att automatiskt och med hög precision testa en modells förståelse för frågor om säkert beteende och innehåll[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Uppgiftsformatet med ett enda korrekt svar, liknande välkända benchmark som MMLU, säkerställer objektivitet och effektivitet i utvärderingen och minskar beroendet av tidskrävande manuell granskning av modellsvar[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Utvecklarna av SafetyBench utgick från en tidigare föreslagen taxonomi över typiska scenarier kopplade till osäkert innehåll[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Kategorier i benchmark valdes utifrån 8 scenarier beskrivna i arbetet av Sun m.fl. (2023), men en av kategorierna (politiskt känsliga ämnen) uteslöts för att undvika ojämförbarhet i svar mellan kinesiska och engelska kontexter[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Det slutliga datasetet inkluderar således 7 säkerhetskategorier som är gemensamma för båda språken. ## Säkerhetskategorier i SafetyBench Varje testfråga i SafetyBench tillhör en av sju kategorier som täcker ett brett spektrum av potentiellt farliga eller oönskade aspekter[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Nedan presenteras dessa kategorier och deras korta beskrivning: - **Stötande innehåll** (Offensiveness) – hot, förolämpningar, grovhet, oanständig svordomar, sarkasm och andra uttryck för oacceptabelt tonläge[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modellen måste kunna känna igen sådana angrepp och motstå toxiskt eller aggressivt innehåll[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Fördomsfullhet och diskriminering** (Unfairness and Bias) – uttryck för social bias och orättvisa på grundval av ras, kön, religion m.m.[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1) Modellen måste identifiera och undvika språkliga konstruktioner som uttrycker fördomar eller diskriminering[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Fysisk hälsa** (Physical Health) – situationer och yttranden som kan påverka en persons fysiska hälsa[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modellen bör känna till korrekta, säkra handlingar och råd för att upprätthålla hälsan i olika livssituationer[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Psykisk hälsa** (Mental Health) – frågor kopplade till psykologiskt välbefinnande, känslor och mental hälsa[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modellen bör föreslå korrekta sätt att upprätthålla psykisk hälsa och förebygga negativa emotionella påverkningar[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Olaglig verksamhet** (Illegal Activities) – scenarier som inbegriper olagliga handlingar[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modellen måste skilja på lagligt och olagligt beteende, ha grundläggande kunskaper om rättsliga normer och inte uppmuntra till lagbrott[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Etik och moral** (Ethics and Morality) – situationer kopplade till oetiskt eller omoraliskt beteende, även när det inte direkt omfattas av lag[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modellen bör uppvisa höga etiska standarder och fördöma oetiska handlingar eller yttranden[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Integritet och egendom** (Privacy and Property) – frågor som rör privat information, äganderätt, finansiella risker m.m.[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1) Modellen bör ha lyhörd förståelse för principerna om integritet och äganderätt och förebygga oavsiktligt röjande av personuppgifter eller orsakande av egendomsskada[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Varje kategori representeras av hundratals eller tusentals frågor, vilket möjliggör en allsidig kontroll av modellens kunskap om relevanta normer och principer[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). ## Insamling och förberedelse av data För att skapa en sådan storskalig testsvit använde SafetyBenchs upphovsmän **varierade datakällor**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I studien anges att frågorna samlades in från tre huvudkällor[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1): - **Befintliga dataset**: För ett antal kategorier (bl.a. stötande innehåll, fördomar, fysisk hälsa, etik) användes publikt tillgängliga dataset[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Författarna tog ursprungliga texter från sådana dataset och omvandlade dem till flervalsfrågor[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Till exempel användes delvis COLD-korpusen (ett dataset för detektering av stötande innehåll på kinesiska) för kategorin Offensiveness[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1); för engelska drogs data från Jigsaw Toxic Comment-tävlingen m.fl.[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). På liknande sätt användes kinesiska dataset (COLD, CDial-Bias) och engelskspråkiga resurser för Unfairness and Bias[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Detta tillvägagångssätt möjliggjorde täckning av fyra kategorier direkt genom bearbetning av redan annoterat material[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Tentamensfrågor**: Utöver dataset valde forskarna manuellt ut lämpliga uppgifter från olika tentamensmaterial och enkäter tillägnade säkerhets- och livsfärdighetsfrågor[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Specifikt extraherades frågor från utbildningstentamina i etik och juridik (t.ex. skoltest i säkerhetsgrunder) som motsvarar kategorierna Olaglig verksamhet, Etik och moral samt andra besläktade ämnen[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Varje sådan fråga anpassades också till flervalssformatet och hänfördes till en av kategorierna[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). - **Generering av nya frågor**: För vissa aspekter (t.ex. integritet eller psykisk hälsa) där tillräckligt varierade data saknades i öppna källor tog författarna till sig generering av ytterligare frågor med hjälp av avancerade språkmodeller (såsom ChatGPT)[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Promptar formulerades för att skapa varierade situationer kring dessa ämnen, varefter de erhållna alternativen noggrant **filtrerades och granskades av experter** innan de inkluderades i benchmark[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Detta kontrollerade augmented-tillvägagångssätt gjorde det möjligt att fylla luckorna i kategoritäckningen[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Slutligen var varje fråga i SafetyBench **tvåspråkigt representerad** — på kinesiska och engelska[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). För att säkerställa innehållsekvivalens översatte författarna alla insamlade engelska frågor till kinesiska och vice versa med hjälp av Baidus kommersiella maskinöversättnings-API[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Användningen av denna översättning motiveras av att vissa avancerade stora språkmodeller (t.ex. ChatGPT) vägrade att behandla eller korrekt översätta potentiellt farligt innehåll, och ibland mjukade upp formuleringar vid översättning[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). De automatiska översättningarna korrekturlästes och korrigerades sedan manuellt för att eliminera möjliga inexaktheter eller kulturella nyanser[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Sammantaget genomgick alla frågor ett steg av **mänsklig kvalitetskontroll**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1), vilket syftar till att garantera korrektheten i formuleringar och de förväntade svaren på båda språken[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Fördelningen av källor i det slutliga datasetet är ungefär följande: ungefär hälften av frågorna härrör från öppna dataset, en betydande andel från tentamensmaterial, och den återstående delen genererades av modeller (efter urval)[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Detta tillvägagångssätt säkerställde både bred ämnestäckning och tillräckligt djup (många exempel per kategori). ## Experimentmetodik och resultat Efter förberedelsen av SafetyBench genomförde författarna storskalig testning av moderna språkmodeller för att fastställa deras nivå av förståelse för säkerhetsfrågor. Utvärdering av modeller sker **automatiskt**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1): varje modell ställs inför alla frågor i tur och ordning (på respektive språk), och andelen korrekta svar registreras (d.v.s. procentandelen träff när modellen väljer det korrekta alternativet)[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Denna procentandel tjänar som ett mått på hur väl modellen "förstår" säkerhetsproblem och ger korrekta svar ur ett säkerhetsperspektiv[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I testerna genomförda av utvecklarna deltog **25 populära stora språkmodeller** av olika ursprung (både öppna modeller och proprietära API-tjänster) på båda språken[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Testningen genomfördes i två lägen: **zero-shot** (modeller svarar på frågor utan några exempel) och **few-shot** (modeller visas i förväg ett fåtal exempelfrågor med rätta svar för att etablera kontext)[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Detta protokoll gör det möjligt att utvärdera både modellens basförmågor och dess förmåga att förbättra svar när ledtrådar ges. Huvudresultatet av testerna är att **moderna modeller varierar kraftigt i säkerhetskunskap, och ingen av de tillgängliga stora språkmodellerna är ännu felfri** i alla kategorier[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Ledaren i resultaten blev modellen **GPT-4** (OpenAI): den uppvisade den högsta genomsnittliga precision och distanserade sig avsevärt från alla övriga modeller i en mängd kategorier[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I zero-shot-läge översteg GPT-4 sin närmaste konkurrent (modellen GPT-3.5-turbo) med nästan **10 procentenheter** i total precision[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Klyftan är särskilt stor inom enskilda områden, t.ex. svarade GPT-4 märkbart oftare rätt än konkurrenterna på frågor om fysisk säkerhet och moralisk-etiska dilemman[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Samtidigt identifierades **svagheter** även hos GPT-4. I kategorin \\Fördomsfullhet och diskriminering\\ (Unfairness and Bias) presterade denna modell sämre relativt sina egna resultat i andra avsnitt[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Analys av svaren visade att GPT-4 ibland felaktigt markerar neutrala yttranden om diskriminering som uttryck för fördomar eller förvirras av specifika uttryck och händelser[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Sådana fel understryker att även den mest avancerade modellen kan underskatta kulturella eller språkliga nyanser som påverkar bedömningen av ett yttrandes etiska lämplighet[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Övriga modeller hamnade avsevärt efter GPT-4[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I genomsnitt uppvisade de flesta öppna stora språkmodeller (inklusive olika versioner av LLaMA, Falcon, inhemska kinesiska modeller m.fl.) **avsevärt lägre precision**, och översteg ofta inte 70–80 % korrekta svar[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Många av dem klarar sig särskilt svagt inom enskilda kategorier: exempelvis fick ett antal modeller under 70 % i avsnitt kopplade till sociala fördomar eller subtila etiska frågor[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Sammantaget översteg ingen modell (förutom GPT-4) den villkorliga tröskeln på 80 % i den totala säkerhetsindikatorn, vilket tyder på ett stort utrymme för ytterligare förbättring av deras säkra beteende[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Denna skillnad mellan GPT-4 och modeller med öppen källkod pekar på effekten av mer storskalig träning och riktad alignment-finjustering hos slutna modeller. Intressant nog visade sig prestandan hos vissa system vara **språkberoende**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Modeller skapade i Kina (t.ex. Baidu Ernie, Alibaba Tongyi m.fl.) tenderade att svara bättre på den kinesiska versionen av testerna än på den engelska[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Å andra sidan uppvisade GPT-modellsfamiljen från OpenAI mer balanserade resultat[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Detta kan återspegla olika volymer och kvalitet av träning på respektive språkdata, samt förekomsten av inbyggda filter eller censurmekanismer i vissa regionala modeller. När few-shot-exempel lades till (ett fåtal demonstrations-Q&A innan testning) observerades **riktningsvarierande effekter**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Vissa modeller lyckades märkbart förbättra sin precision tack vare ledtrådar: så fick stora språkmodeller från föregående generation som text-davinci-003 (GPT-3) eller den kinesiska InternLM en påtaglig kvalitetsökning i few-shot-läge[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Men för ett antal modeller förbättrade det extra sammanhanget nästan inte resultatet, och i vissa fall sänkte det till och med precisionen[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Specifikt registrerade författarna en liten **\\negativ förstärkning\\ vid few-shot** för GPT-3.5[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1), vilket de kopplar till fenomenet **\\alignment tax\\**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I genomsnitt gjorde tillhandahållandet av exempel ändå svaren mer stabila och minskade andelen fall där modellen vägrar att ge ett tydligt svar[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Separat utvärderade forskarna modellprestandan på ett **filtrerat deldataset med frågor** relaterade till det kinesiska språket[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Saken är den att API:et för vissa stora kinesiska modeller automatiskt avvisar förfrågningar med vissa \\känsliga\\ ord[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Därför formades ett reducerat urval av 2 100 frågor utan triggerord, och ett antal modeller jämfördes på detta i few-shot-läge[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Resultaten visade att i denna förenklade version minskar klyftan mellan GPT-4 och de bästa lokala modellerna: den kinesiska modellen ChatGLM2 fick bara ~3 % lägre än GPT-4 och närmade sig i princip dess totala poäng[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Ernie Bot från Baidu presterade också säkert i de flesta kategorier (förutom fördomsavsnittet) och närmade sig ledarna[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Dessa data tyder på att under strikt filtreringskontroll (med de mest riskfyllda förfrågningarna uteslutna) kan vissa nationella modeller konkurrera med världsledarna vad gäller säkert beteende. ## Benchmarkens betydelse och utvecklarnas slutsatser SafetyBench utgör ett viktigt steg mot systematisk mätning och förbättring av säkerheten hos stora språkmodeller[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Till skillnad från scenarier med direktinteraktion (där användare kan försöka \\hacka\\ modellen med instruktioner eller provokationer) fokuserar detta benchmark på AI:s förmåga att **korrekt förstå och skilja på säkert och osäkert innehåll**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Författarna betonar att sådan förståelse är en nödvändig grund för att modellen överhuvudtaget ska kunna generera säkra svar i öppna dialoger[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Tvärtom underlättar djup assimilering av moraliska normer, etikettregler, tecken på toxicitet m.m. finjustering av modellen så att den undviker farliga yttranden och beslut[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Höga poäng på SafetyBench kan således betraktas som en **indikator på modellens beredskap för säker drift**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1), medan misslyckanden i vissa kategorier signalerar riskzoner som kräver åtgärder[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Det är viktigt att notera att SafetyBench avsiktligt **inte inkluderar vissa aspekter kopplade till angrepp på modellens egna instruktioner** (s.k. jailbreak-promptar, rollmanipulation m.m.)[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Författarna förklarar att problem av typen instruction attacks har en annan natur, kopplad till konflikten mellan att utföra användarens order och att följa inbyggda säkerhetsregler[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Dessa aspekter hanteras med andra metoder och faller utanför modellförståelsens räckvidd[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Därför är SafetyBench koncentrerat just på den innehållsmässiga kunskapsnivån hos modellen om säkert beteende. Ändå gör den sammantagna täckningen av sju nyckelkategorier i benchmark det redan nu möjligt att identifiera modellsårbarheter: det är till exempel känt att GPT-4 uppvisar ett relativt svagare resultat på frågor om fördomar, och att vissa öppna modeller ligger långt efter i avsnitt kopplade till moral eller lag[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). Sådan information ger utvecklarna konkreta riktmärken för vad man behöver arbeta med vid ytterligare finjustering eller filtrering av svar. SafetyBench är **öppet för gemenskapen**[\[2\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-abs-2): dess data och metodmaterial är fritt tillgängliga[\[2\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-abs-2), och på en specialskapad plattform upprätthålls ett **online-leaderboard** med resultat för olika modeller[\[2\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-abs-2). Forskare bjuder in utvecklare att testa sina nya modeller på detta dataset och publicera resultaten, vilket bidrar till transparent jämförelse av system och uppföljning av framstegen inom förbättring av AI-säkerhet. Slutligen betonar författarna att målet med SafetyBench är att **stimulera förbättring av modeller**[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1), inte bara att skapa ytterligare ett rankingsystem[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). De uppmanar utvecklare att inte begränsa sig till att \\anpassa\\ modellen till testet, utan att systematiskt åtgärda de identifierade problemområdena[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). I takt med att nya modellversioner tränas på större datamängder med mer avancerade alignment-finjusteringstekniker förväntas deras poäng på SafetyBench också öka[\[1\]](https://systems-analysis.info/int/SafetyBench_(SV)#cite_note-arxiv-main-v2-1). På sikt kan detta benchmark bli ett standardverktyg för att kontrollera språkmodellers överensstämmelse med säkerhetskrav, och dess metodik kan utgöra grunden för utvecklingen av ännu mer sofistikerade testsviter inom ansvarsfull AI. ## Externa länkar - Originalartikeln SafetyBench (arXiv) - SafetyBench-repositoriet på GitHub - SafetyBench datasetsida på Hugging Face - SafetyBench-artikel på ACL Anthology ## Litteratur - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Noter 1. ↑ [1.00](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-0) [1.01](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-1) [1.02](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-2) [1.03](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-3) [1.04](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-4) [1.05](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-5) [1.06](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-6) [1.07](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-7) [1.08](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-8) [1.09](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-9) [1.10](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-10) [1.11](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-11) [1.12](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-12) [1.13](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-13) [1.14](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-14) [1.15](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-15) [1.16](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-16) [1.17](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-17) [1.18](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-18) [1.19](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-19) [1.20](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-20) [1.21](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-21) [1.22](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-22) [1.23](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-23) [1.24](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-24) [1.25](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-25) [1.26](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-26) [1.27](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-27) [1.28](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-28) [1.29](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-29) [1.30](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-30) [1.31](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-31) [1.32](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-32) [1.33](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-33) [1.34](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-34) [1.35](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-35) [1.36](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-36) [1.37](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-37) [1.38](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-38) [1.39](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-39) [1.40](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-40) [1.41](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-41) [1.42](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-42) [1.43](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-43) [1.44](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-44) [1.45](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-45) [1.46](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-46) [1.47](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-47) [1.48](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-48) [1.49](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-49) [1.50](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-50) [1.51](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-51) [1.52](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-52) [1.53](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-53) [1.54](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-54) [1.55](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-55) [1.56](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-56) [1.57](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-57) [1.58](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-58) [1.59](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-59) [1.60](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-60) [1.61](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-61) [1.62](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-62) [1.63](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-63) [1.64](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-64) [1.65](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-65) [1.66](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-66) [1.67](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-67) [1.68](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-68) [1.69](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-69) [1.70](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-70) [1.71](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-71) [1.72](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-72) [1.73](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-73) [1.74](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-74) [1.75](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-75) [1.76](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-76) [1.77](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-77) [1.78](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-78) [1.79](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-79) [1.80](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-80) [1.81](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-81) [1.82](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-82) [1.83](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-83) [1.84](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-84) [1.85](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-85) [1.86](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-86) [1.87](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-87) [1.88](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-88) [1.89](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-89) [1.90](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-90) [1.91](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-91) [1.92](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-92) [1.93](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-v2_1-93) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». *arXiv*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-abs_2-0) [2.1](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-abs_2-1) [2.2](https://systems-analysis.info/int/SafetyBench_(SV)#cite_ref-arxiv-main-abs_2-2) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». *arXiv*. [2]