SafetyBench (CS)

From Systems analysis Wiki
Jump to navigation Jump to search

SafetyBench — to je první komplexní benchmark pro všestranné hodnocení bezpečnosti velkých jazykových modelů [1]. Byl vyvinut skupinou výzkumníků z Univerzity Tsinghua a představen v roce 2023[1].

S rozvojem velkých jazykových modelů (například se vznikem ChatGPT) a jejich masovým nasazením se posílila pozornost věnovaná bezpečnostním problémům těchto systémů[1]. Výzkumy ukázaly, že dialogové modely mohou způsobovat úniky soukromých informací uživatelů nebo generovat toxické výroky[1]. Hodnocení bezpečnosti velkých jazykových modelů se tak stalo kriticky důležitým úkolem pro jejich spolehlivé praktické využití. Do nedávné doby však chyběly komplexní benchmarky (sady testů) pokrývající všechny hlavní aspekty bezpečnosti modelu; dostupné datasety prověřovaly jen dílčí stránky (například toxicitu nebo sociální předsudky) a neposkytovaly ucelený obraz[1]. Absence všezahrnující metody hodnocení ztěžovala jak odhalování zranitelností, tak vývoj bezpečnějších jazykových modelů[1]. SafetyBench byl vytvořen, aby tuto mezeru zaplnil[1].

Vývoj a popis SafetyBench

SafetyBench představuje sadu 11 435 otázek s výběrem odpovědi (multiple-choice), pokrývající 7 různých kategorií typických problémů nebo hrozeb spojených s obsahem generovaným AI[1]. Důležitou vlastností je dvojjazyčnost: každá otázka je dostupná v angličtině a čínštině, což umožňuje hodnotit jak anglicky mluvící, tak čínské modely na jednotném materiálu[1]. SafetyBench se v podstatě stal prvním rozsáhlým nástrojem umožňujícím automaticky a s vysokou přesností testovat porozumění modelu otázkám bezpečného chování a obsahu[1]. Formát úloh s jednou správnou odpovědí, analogický známým benchmarkům jako MMLU, zajišťuje objektivitu a efektivitu hodnocení a snižuje závislost na pracné ruční kontrole odpovědí modelu[1].

Vývojáři SafetyBench vycházeli z dříve navržené taxonomie typických scénářů spojených s nebezpečným obsahem[1]. Kategorie benchmarku byly konkrétně vymezeny na základě 8 scénářů popsaných v práci Sun et al. (2023), přičemž jedna kategorie (politicky citlivá témata) byla vypuštěna, aby se předešlo nesrovnatelnosti odpovědí v čínském a anglickém kontextu[1]. Výsledná sada tak zahrnuje 7 bezpečnostních kategorií společných oběma jazykům.

Bezpečnostní kategorie v SafetyBench

Každá testovací otázka v SafetyBench patří do jedné ze sedmi kategorií pokrývajících široké spektrum potenciálně nebezpečných nebo nežádoucích aspektů[1]. Níže jsou uvedeny tyto kategorie a jejich stručný popis:

  • Urážlivý obsah (Offensiveness) – hrozby, urážky, hrubost, vulgární výrazy, sarkasmus a jiné projevy nepřijatelného tónu[1]. Model musí umět rozpoznávat takovéto útoky a odolávat toxickému nebo agresivnímu obsahu[1].
  • Zaujatost a diskriminace (Unfairness and Bias) – projevy sociálního biasu a nespravedlnosti z důvodu rasy, pohlaví, náboženství apod.[1] Model musí identifikovat a vyhýbat se jazykovým konstrukcím vyjadřujícím předsudky nebo diskriminaci[1].
  • Fyzické zdraví (Physical Health) – situace a výroky, které mohou ovlivnit fyzické zdraví člověka[1]. Model musí znát správné a bezpečné postupy a rady pro zachování zdraví v různých životních situacích[1].
  • Duševní zdraví (Mental Health) – otázky spojené s psychologickou pohodou, emocemi a duševním zdravím[1]. Model musí nabízet správné způsoby péče o duševní zdraví a předcházení negativním emočním vlivům[1].
  • Nelegální činnosti (Illegal Activities) – scénáře předpokládající protiprávní jednání[1]. Model musí rozlišovat zákonné a nezákonné chování, mít základní znalosti o právních normách a nepodněcovat k porušování zákona[1].
  • Etika a morálka (Ethics and Morality) – situace spojené s neetickým nebo nemorálním chováním, i když nespadá přímo pod zákon[1]. Model musí prokazovat vysoké etické standardy a odsuzovat neetické činy nebo výroky[1].
  • Soukromí a majetek (Privacy and Property) – otázky týkající se soukromých informací, vlastnických práv, finančních rizik apod.[1] Model musí citlivě chápat zásady ochrany soukromí a majetkových práv a předcházet neúmyslnému vyzrazení osobních údajů nebo způsobení majetkové škody[1].

Každá kategorie je zastoupena stovkami nebo tisíci otázek, což umožňuje důkladně prověřit znalost modelu příslušných norem a principů[1].

Sběr a příprava dat

Pro sestavení tak rozsáhlé testovací sady přizvali autoři SafetyBench různorodé zdroje dat[1]. Výzkum uvádí, že otázky byly shromažďovány ze tří hlavních zdrojů[1]:

  • Existující datasety: Pro řadu kategorií (zejména urážky, předsudky, fyzické zdraví, etiku) byly využity veřejně dostupné datové sady[1]. Autoři převzali původní texty z těchto sad a převedli je do formátu otázek s variantami odpovědí[1]. Například pro kategorii Offensiveness byl částečně využit korpus COLD (dataset pro detekci urážek v čínštině)[1]; pro anglický jazyk byla využita data ze soutěže Jigsaw Toxic Comment aj.[1]. Obdobně pro Unfairness and Bias byly použity čínské sady (COLD, CDial-Bias) a anglické zdroje[1]. Tento přístup umožnil pokrýt hned čtyři kategorie zpracováním již anotovaného materiálu[1].
  • Zkušební otázky: Kromě datasetů výzkumníci ručně vybrali vhodné úlohy z různých zkušebních materiálů a dotazníků věnovaných otázkám bezpečnosti a životních dovedností[1]. Konkrétně byly čerpány otázky ze vzdělávacích zkoušek z etiky a práva (například školní testy základů bezpečnosti), které odpovídají kategoriím Nelegální činnosti, Etika a morálka a dalším příbuzným tématům[1]. Každá taková otázka byla rovněž převedena do formátu multiple-choice a přiřazena k jedné z kategorií[1].
  • Generování nových otázek: Pro některé aspekty (například soukromí nebo duševní zdraví), kde bylo v otevřených zdrojích nedostatek různorodých dat, přistoupili autoři ke generování dalších otázek pomocí samotných jazykových modelů vysoké úrovně (jako je ChatGPT)[1]. Byly formulovány prompty pro vytváření různorodých situací k těmto tématům, načež získané varianty prošly pečlivou filtrací a ověřením odborníky před zařazením do benchmarku[1]. Tento kontrolovaný augmented přístup umožnil zaplnit mezery v pokrytí kategorií[1].

Výsledně byla každá otázka SafetyBench dvojjazyčně zastoupena — v čínštině a v angličtině[1]. Pro zajištění ekvivalence obsahu autoři přeložili všechny shromážděné anglické otázky do čínštiny a naopak pomocí komerčního API strojového překladu Baidu[1]. Použití tohoto překladu bylo motivováno tím, že některé vysoce výkonné velké jazykové modely (například sám ChatGPT) odmítaly zpracovávat nebo přesně překládat potenciálně nebezpečný obsah, přičemž formulace při překladu někdy zmírňovaly[1]. Automatické překlady byly poté ručně pročteny a opraveny, aby se odstranily možné nepřesnosti nebo kulturní nuance[1]. Všechny otázky celkově prošly fází lidské kontroly kvality[1], která má zaručit správnost formulací a odpovídající očekávané odpovědi v obou jazycích[1].

Rozdělení zdrojů ve výsledném datasetu je přibližně následující: asi polovina otázek pochází z otevřených datasetů, značná část ze zkušebních materiálů a zbývající část byla generována modely (po selekci)[1]. Tento přístup zajistil jak šíři pokrytí témat, tak dostatečnou hloubku (mnoho příkladů pro každou kategorii).

Metodika experimentů a výsledky

Po přípravě sady SafetyBench provedli autoři rozsáhlé testování současných jazykových modelů, aby zjistili úroveň jejich porozumění bezpečnostním otázkám. Hodnocení modelů probíhá automaticky[1]: každému modelu jsou postupně zadávány všechny otázky (v příslušném jazyce) a zaznamenává se podíl správných odpovědí (tj. procento shody varianty zvolené modelem se správnou odpovědí)[1]. Toto procento slouží jako ukazatel toho, jak dobře model „rozumí" bezpečnostním problémům a poskytuje z hlediska bezpečnosti správné odpovědi[1].

V testech provedených vývojáři se účastnilo 25 populárních velkých jazykových modelů různého původu (jak otevřené modely, tak proprietární API služby) v obou jazycích[1]. Testování bylo prováděno ve dvou režimech: zero-shot (modely odpovídají na otázky bez jakýchkoli příkladů) a few-shot (modelům je předem ukázáno několik příkladů otázek se správnými odpověďmi pro nastavení kontextu)[1]. Tento protokol umožňuje hodnotit jak základní schopnosti modelu, tak schopnost zlepšovat odpovědi při dostupnosti demonstračních podnětů.

Hlavní závěr testů — současné modely se výrazně liší úrovní znalostí v oblasti bezpečnosti a žádný z dostupných velkých jazykových modelů zatím není bezchybný ve všech kategoriích[1]. Lídrem výsledků se stal model GPT-4 (OpenAI): dosáhl nejvyšší průměrné přesnosti a výrazně předstihl všechny ostatní modely v mnoha kategoriích[1]. V režimu zero-shot GPT-4 překonal nejbližšího soka (model GPT-3.5-turbo) o téměř 10 procentních bodů v celkové přesnosti[1]. Rozdíl je zvláště výrazný v určitých oblastech — například v otázkách fyzické bezpečnosti a morálně-etických dilemat GPT-4 odpovídal správně výrazně častěji než konkurenti[1].

Zároveň byly i u GPT-4 odhaleny slabá místa. V kategorii „Zaujatost a diskriminace" (Unfairness and Bias) si tento model vedl hůře v porovnání s vlastními výsledky v ostatních oddílech[1]. Analýza odpovědí ukázala, že GPT-4 někdy chybně označuje neutrální výroky o diskriminaci jako projev předsudku nebo se plete ve specifických výrazech a událostech[1]. Tyto chyby zdůrazňují, že i nejpokročilejší model může podceňovat kulturní nebo jazykové nuance ovlivňující posouzení etičnosti výroku[1].

Ostatní modely výrazně zaostaly za GPT-4[1]. V průměru vykazovala většina otevřených velkých jazykových modelů (včetně různých verzí LLaMA, Falcon, domácích čínských modelů atd.) výrazně nižší přesnost, často nepřesahující 70–80 % správných odpovědí[1]. Mnohé z nich si vedou zvláště špatně v určitých kategoriích: například některé modely dosáhly méně než 70 % v oddílech souvisejících se sociálními předsudky nebo jemnými etickými otázkami[1]. Celkově žádný model (kromě GPT-4) nepřekročil pomyslný práh 80 % v souhrnném ukazateli bezpečnosti, což svědčí o velkém prostoru pro další zlepšení jejich bezpečného chování[1]. Tento rozdíl mezi GPT-4 a modely s otevřeným kódem poukazuje na efekt rozsáhlejšího tréninku a cíleného alignment-doladění u uzavřených modelů.

Zajímavé je, že výkonnost některých systémů se ukázala být závislá na jazyce[1]. Modely vytvořené v Číně (například Baidu Ernie, Alibaba Tongyi aj.) zpravidla lépe odpovídaly na čínské verzi testů než na anglické[1]. Naopak rodina modelů GPT od OpenAI prokázala vyváženější výsledky[1]. To může odrážet různý objem a kvalitu tréninku na příslušných jazykových datech, jakož i přítomnost vestavěných filtrů nebo cenzurních mechanismů u některých regionálních modelů.

Při přidání few-shot příkladů (několika demonstračních Q&A před testováním) byly pozorovány různorodé efekty[1]. Některé modely dokázaly díky nápovědám výrazně zvýšit přesnost: například větší jazykové modely předchozí generace jako text-davinci-003 (GPT-3) nebo čínský InternLM zaznamenaly znatelný nárůst kvality v few-shot režimu[1]. U řady modelů však dodatečný kontext výsledek téměř nezlepšil a v některých případech přesnost dokonce snížil[1]. Konkrétně u GPT-3.5 autoři zaznamenali mírný „záporný přínos" při few-shot[1], což spojují s jevem zvaným „alignment tax"[1]. V průměru nicméně poskytnutí příkladů učinilo odpovědi stabilnějšími a snížilo podíl případů, kdy model odmítá podat jednoznačnou odpověď[1].

Výzkumníci samostatně hodnotili výkonnost modelů na filtrované podmnožině otázek týkajících se čínského jazyka[1]. API některých velkých čínských modelů totiž automaticky odmítají požadavky obsahující určitá „citlivá" slova[1]. Proto byl sestaven zkrácený vzorek 2100 otázek bez spouštěcích slov a na něm bylo porovnáno několik modelů v few-shot režimu[1]. Výsledky ukázaly, že na této odlehčené verzi se rozdíl mezi GPT-4 a nejlepšími lokálními modely zmenšuje: čínský model ChatGLM2 získal jen o ~3 % méně než GPT-4, čímž se mu v celkovém skóre téměř vyrovnal[1]. Také Ernie Bot od Baidu si jistě vedl ve většině kategorií (kromě oddílu zaujatosti) a přiblížil se lídrům[1]. Tato data naznačují, že pod přísnou filtrační kontrolou (po vyloučení nejnebezpečnějších dotazů) jsou některé národní modely schopny konkurovat světovým lídrům v oblasti bezpečného chování.

Význam benchmarku a závěry vývojářů

SafetyBench představuje důležitý krok k systematickému měření a zlepšování bezpečnosti velkých jazykových modelů[1]. Na rozdíl od scénářů přímé interakce (kde se uživatelé mohou pokoušet model „prolomit" instrukcemi nebo provokacemi) se tento benchmark zaměřuje na schopnost AI správně chápat a rozlišovat bezpečný a nebezpečný obsah[1]. Autoři zdůrazňují, že takové porozumění je nezbytným základem pro to, aby model vůbec mohl generovat bezpečné odpovědi v otevřených dialozích[1]. Naopak hluboké zvládnutí mravních norem, pravidel slušného chování, znaků toxicity apod. usnadňuje doladění modelu tak, aby se vyhýbal nebezpečným výrokům a rozhodnutím[1]. Vysoké výsledky na SafetyBench lze proto považovat za indikátor připravenosti modelu k bezpečnému nasazení[1], zatímco selhání v určitých kategoriích signalizují rizikové oblasti vyžadující dopracování[1].

Důležité je poznamenat, že SafetyBench záměrně nezahrnuje některé aspekty spojené s útoky na samotné instrukce modelu (tzv. jailbreak-prompty, manipulaci rolemi apod.)[1]. Autoři vysvětlují, že problémy typu instruction attacks mají jinou povahu, spojenou s konfliktem mezi plněním uživatelského příkazu a dodržováním zabudovaných bezpečnostních pravidel[1]. Tyto aspekty jsou řešeny jinými metodami a přesahují rámec porozumění modelu[1]. SafetyBench se proto soustředí právě na obsahovou úroveň znalostí modelu o bezpečném chování. Souhrnné pokrytí sedmi klíčových kategorií v benchmarku již nyní umožňuje odhalovat zranitelnosti modelů: například je známo, že GPT-4 vykazuje relativně slabší výsledky u otázek o zaujatosti, zatímco některé otevřené modely výrazně zaostávají v oddílech týkajících se morálky nebo práva[1]. Takové informace dávají vývojářům konkrétní orientační body, na čem je třeba pracovat při dalším dolaďování nebo filtrování odpovědí.

Benchmark SafetyBench je otevřen komunitě[2]: jeho data a metodické materiály jsou volně dostupné[2] a na speciálně vytvořené platformě je udržován online žebříček výsledků různých modelů[2]. Výzkumníci vyzývají vývojáře, aby testovali své nové modely na této sadě a zveřejňovali výsledky, což přispěje k transparentnímu srovnání systémů a sledování pokroku ve zvyšování bezpečnosti AI.

Autoři nakonec zdůrazňují, že cílem SafetyBench je stimulovat zlepšování modelů[1], a ne pouze vytvořit další žebříček[1]. Vyzývají vývojáře, aby se neomezovali na pokusy model „přizpůsobit" testu, ale systematicky odstraňovali zjištěné problematické aspekty[1]. Jak budou nové verze modelů trénovány na větším množství dat s pokročilejšími technikami alignment-doladění, očekává se růst jejich výsledků i na SafetyBench[1]. Do budoucna by se tento benchmark mohl stát standardním nástrojem pro ověřování souladu jazykových modelů s bezpečnostními požadavky a jeho metodologie základem pro vývoj ještě dokonalejších testovacích sad v oblasti odpovědné AI.

Odkazy

  • Původní článek SafetyBench (arXiv)
  • Repozitář SafetyBench na GitHubu
  • Stránka datasetu SafetyBench na Hugging Face
  • Článek SafetyBench na ACL Anthology

Literatura

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Poznámky

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 1.61 1.62 1.63 1.64 1.65 1.66 1.67 1.68 1.69 1.70 1.71 1.72 1.73 1.74 1.75 1.76 1.77 1.78 1.79 1.80 1.81 1.82 1.83 1.84 1.85 1.86 1.87 1.88 1.89 1.90 1.91 1.92 1.93 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». arXiv. [1]
  2. ↑ 2.0 2.1 2.2 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». arXiv. [2]
Retrieved from "https://systems-analysis.info/int/index.php?title=SafetyBench_(CS)&oldid=6548"