SafetyBench (PL)

SafetyBench — to pierwszy kompleksowy benchmark do wszechstronnej oceny bezpieczeństwa dużych modeli językowych . Został opracowany przez grupę badaczy z Uniwersytetu Tsinghua i zaprezentowany w 2023 roku.

Wraz z rozwojem dużych modeli językowych (np. pojawieniem się ChatGPT) i ich masowym wdrożeniem wzrosło zainteresowanie problemami bezpieczeństwa takich systemów. Badania wykazały, że modele konwersacyjne mogą dopuszczać do wycieków prywatnych informacji użytkowników lub generować toksyczne wypowiedzi. Tym samym ocena bezpieczeństwa dużych modeli językowych stała się krytycznie ważnym zadaniem dla ich niezawodnego zastosowania w praktyce. Jednak do niedawna brakowało kompleksowych benchmarków (zestawów testów) obejmujących wszystkie główne aspekty bezpieczeństwa modeli; dostępne datasety sprawdzały jedynie wybrane aspekty (np. toksyczność lub uprzedzenia społeczne) i nie dawały pełnego obrazu. Brak wszechstronnej metody oceny utrudniał zarówno wykrywanie podatności, jak i opracowywanie bezpieczniejszych modeli językowych. SafetyBench powstał, aby wypełnić tę lukę.

Opracowanie i opis SafetyBench

SafetyBench stanowi zbiór 11 435 pytań wielokrotnego wyboru (multiple-choice), obejmujących 7 różnych kategorii typowych problemów lub zagrożeń związanych z treściami generowanymi przez AI. Ważną cechą jest dwujęzyczność: każde pytanie dostępne jest w języku angielskim i chińskim, co pozwala oceniać zarówno modele anglojęzyczne, jak i chińskie na jednolitym materiale. SafetyBench stał się w istocie pierwszym narzędziem na dużą skalę, umożliwiającym automatyczne i precyzyjne testowanie rozumienia przez model kwestii bezpiecznego zachowania i treści. Format zadań z jedną poprawną odpowiedzią, analogiczny do znanych benchmarków takich jak MMLU, zapewnia obiektywność i efektywność oceny, zmniejszając zależność od pracochłonnej ręcznej weryfikacji odpowiedzi modelu.

Twórcy SafetyBench oparli się na wcześniej zaproponowanej taksonomii typowych scenariuszy związanych z niebezpiecznymi treściami. W szczególności kategorie benchmarku zostały wyodrębnione na podstawie 8 scenariuszy opisanych w pracy Sun i in. (2023), jednak jedna z kategorii (tematy politycznie wrażliwe) została wykluczona, aby uniknąć nieporównywalności odpowiedzi w kontekście chińskim i angielskim. W ten sposób ostateczny zestaw obejmuje 7 kategorii bezpieczeństwa wspólnych dla obu języków.

Kategorie bezpieczeństwa w SafetyBench

Każde pytanie testowe w SafetyBench należy do jednej z siedmiu kategorii, obejmujących szeroki zakres potencjalnie niebezpiecznych lub niepożądanych aspektów. Poniżej przedstawiono te kategorie wraz z krótkim opisem:

• Treści obraźliwe (Offensiveness) – groźby, obelgi, wulgaryzmy, przekleństwa, sarkazm i inne przejawy niedopuszczalnego tonu. Model powinien umieć rozpoznawać takie zachowania i przeciwstawiać się toksycznym lub agresywnym treściom.
• Stronniczość i dyskryminacja (Unfairness and Bias) – przejawy uprzedzeń społecznych i niesprawiedliwości ze względu na rasę, płeć, religię itp. Model powinien identyfikować i unikać konstrukcji językowych wyrażających uprzedzenia lub dyskryminację.
• Zdrowie fizyczne (Physical Health) – sytuacje i wypowiedzi mogące wpłynąć na zdrowie fizyczne człowieka. Model powinien znać właściwe, bezpieczne działania i porady dotyczące dbania o zdrowie w różnych okolicznościach życiowych.
• Zdrowie psychiczne (Mental Health) – kwestie związane z dobrostaniem psychologicznym, emocjami i zdrowiem mentalnym. Model powinien proponować właściwe sposoby dbania o zdrowie psychiczne i zapobiegania negatywnym oddziaływaniom emocjonalnym.
• Działalność nielegalna (Illegal Activities) – scenariusze zakładające zachowania niezgodne z prawem. Model powinien odróżniać zachowania legalne od nielegalnych, posiadać podstawową wiedzę o normach prawnych i nie nakłaniać do łamania prawa.
• Etyka i moralność (Ethics and Morality) – sytuacje związane z nieetycznym lub niemoralnym zachowaniem, nawet jeśli nie podpada ono bezpośrednio pod przepisy prawa. Model powinien demonstrować wysokie standardy etyczne i potępiać nieetyczne czyny lub wypowiedzi.
• Prywatność i własność (Privacy and Property) – kwestie dotyczące prywatnych informacji, prawa własności, ryzyk finansowych itp. Model powinien dobrze rozumieć zasady poufności i praw majątkowych oraz zapobiegać niezamierzonemu ujawnieniu danych osobowych lub wyrządzeniu szkody majątkowej.

Każda kategoria reprezentowana jest przez setki lub tysiące pytań, co pozwala wszechstronnie sprawdzić znajomość przez model odpowiednich norm i zasad.

Zbieranie i przygotowanie danych

Aby stworzyć tak obszerny zestaw testowy, autorzy SafetyBench skorzystali z różnorodnych źródeł danych. W badaniu wskazano, że pytania zbierano z trzech głównych źródeł:

• Istniejące datasety: Dla części kategorii (w szczególności obraźliwości, uprzedzeń, zdrowia fizycznego, etyki) wykorzystano publicznie dostępne zbiory danych. Autorzy pobrali oryginalne teksty z tych zbiorów i przekształcili je w format pytań z wariantami odpowiedzi. Na przykład dla kategorii Offensiveness częściowo wykorzystano korpus COLD (dataset do wykrywania obraźliwości w języku chińskim); dla języka angielskiego wykorzystano dane z konkursu Jigsaw Toxic Comment i in.. Analogicznie, dla kategorii Unfairness and Bias wykorzystano chińskie zbiory (COLD, CDial-Bias) oraz zasoby anglojęzyczne. Takie podejście pozwoliło pokryć od razu cztery kategorie dzięki przetworzeniu już otagowanego materiału.
• Pytania egzaminacyjne: Oprócz datasetów badacze ręcznie wyselekcjonowali odpowiednie zadania z różnych materiałów egzaminacyjnych i kwestionariuszy poświęconych kwestiom bezpieczeństwa i umiejętności życiowych. W szczególności wyodrębniono pytania z egzaminów szkolnych z etyki i wiedzy prawnej (np. szkolne testy z podstaw bezpieczeństwa), odpowiadające kategoriom Illegal Activities, Ethics and Morality i innym pokrewnym tematom. Każde takie pytanie zostało również dostosowane do formatu wielokrotnego wyboru i przypisane do jednej z kategorii.
• Generowanie nowych pytań: Dla niektórych aspektów (np. prywatności lub zdrowia psychicznego), gdzie w otwartych źródłach brakowało wystarczająco różnorodnych danych, autorzy sięgnęli po generowanie dodatkowych pytań za pomocą samych zaawansowanych modeli językowych (takich jak ChatGPT). Sformułowano prompty do tworzenia różnorodnych sytuacji z tych tematów, po czym uzyskane warianty zostały starannie przefiltrowane i zweryfikowane przez ekspertów przed włączeniem do benchmarku. Takie kontrolowane podejście z augmentacją pozwoliło wypełnić luki w pokryciu kategorii.

Ostatecznie każde pytanie SafetyBench zostało dwujęzycznie przedstawione — w języku chińskim i angielskim. Aby zapewnić równoważność treści, autorzy przetłumaczyli wszystkie zebrane pytania angielskie na chiński i odwrotnie, korzystając z komercyjnego API tłumaczenia maszynowego Baidu. Wybór tego narzędzia podyktowany był tym, że niektóre zaawansowane duże modele językowe (np. sam ChatGPT) odmawiały przetwarzania lub dokładnego tłumaczenia potencjalnie niebezpiecznych treści, niekiedy łagodząc sformułowania przy tłumaczeniu. Automatyczne tłumaczenia zostały następnie ręcznie sprawdzone i poprawione w celu wyeliminowania ewentualnych nieścisłości lub niuansów kulturowych. Ogólnie wszystkie pytania przeszły etap ręcznej kontroli jakości, co ma gwarantować poprawność sformułowań i zgodność oczekiwanych odpowiedzi w obu językach.

Rozkład źródeł w ostatecznym datasecie jest mniej więcej następujący: około połowa pytań pochodzi z otwartych datasetów, znaczna część — z materiałów egzaminacyjnych, a pozostała część została wygenerowana przez modele (po selekcji). Takie podejście zapewniło zarówno szerokość pokrycia tematów, jak i wystarczającą głębokość (wiele przykładów na każdą kategorię).

Metodyka eksperymentów i wyniki

Po przygotowaniu zestawu SafetyBench autorzy przeprowadzili szeroko zakrojone testy współczesnych modeli językowych, aby określić poziom ich rozumienia kwestii bezpieczeństwa. Ocena modeli odbywa się automatycznie: każdemu modelowi zadawane są kolejno wszystkie pytania (w odpowiednim języku) i rejestrowany jest odsetek poprawnych odpowiedzi (tj. procent zgodności wybranego przez model wariantu z odpowiedzią prawidłową). Taki odsetek służy jako wskaźnik tego, jak dobrze model „rozumie" problematykę bezpieczeństwa i udziela odpowiedzi poprawnych z punktu widzenia bezpieczeństwa.

W testach przeprowadzonych przez twórców wzięły udział 25 popularnych dużych modeli językowych różnego pochodzenia (zarówno modele otwarte, jak i własnościowe usługi API) w obu językach. Testowanie przeprowadzano w dwóch trybach: zero-shot (modele odpowiadają na pytania bez żadnych przykładów) i few-shot (modelom wcześniej pokazuje się kilka przykładowych pytań z poprawnymi odpowiedziami, aby nadać kontekst). Taki protokół pozwala ocenić zarówno podstawowe możliwości modelu, jak i zdolność do poprawy odpowiedzi przy dostępności przykładów.

Główny wniosek z testów — współczesne modele znacznie różnią się poziomem wiedzy o bezpieczeństwie i żaden z dostępnych dużych modeli językowych nie jest jeszcze doskonały we wszystkich kategoriach. Liderem wyników okazał się model GPT-4 (OpenAI): osiągnął najwyższą średnią dokładność i znacznie wyprzedził wszystkie pozostałe modele w wielu kategoriach. W trybie zero-shot GPT-4 przewyższył najbliższego rywala (model GPT-3.5-turbo) o prawie 10 punktów procentowych pod względem ogólnej dokładności. Różnica jest szczególnie duża w niektórych obszarach — na przykład w kwestiach bezpieczeństwa fizycznego i dylematów moralno-etycznych GPT-4 odpowiadał poprawnie zauważalnie częściej niż konkurenci.

Jednocześnie nawet u GPT-4 ujawniono słabe punkty. W kategorii „Stronniczość i dyskryminacja" (Unfairness and Bias) model ten wypadł słabiej w porównaniu z własnymi wynikami w innych sekcjach. Analiza odpowiedzi wykazała, że GPT-4 niekiedy błędnie oznacza neutralne wypowiedzi o dyskryminacji jako przejaw uprzedzenia lub myli się w specyficznych wyrażeniach i zdarzeniach. Takie błędy podkreślają, że nawet najbardziej zaawansowany model może niedoszacowywać niuansów kulturowych lub językowych wpływających na ocenę etyczności wypowiedzi.

Pozostałe modele znacznie odbiegały od GPT-4. Średnio większość otwartych dużych modeli językowych (w tym różne wersje LLaMA, Falcon, rodzime chińskie modele itp.) wykazała istotnie niższą dokładność, często nie przekraczającą 70-80% poprawnych odpowiedzi. Wiele z nich szczególnie słabo radzi sobie z poszczególnymi kategoriami: na przykład część modeli uzyskała mniej niż 70% w sekcjach dotyczących uprzedzeń społecznych lub subtelnych kwestii etycznych. Łącznie żaden model (poza GPT-4) nie przekroczył umownego progu 80% w ogólnym wskaźniku bezpieczeństwa, co świadczy o dużym polu do dalszego doskonalenia bezpiecznego zachowania modeli. Taka różnica między GPT-4 a modelami open-source wskazuje na efekt szerszego treningu i ukierunkowanego fine-tuningu pod kątem alignment w modelach zamkniętych.

Interesujące jest to, że wydajność niektórych systemów okazała się zależna od języka. Modele tworzone w Chinach (np. Baidu Ernie, Alibaba Tongyi i in.) z reguły lepiej odpowiadały na chińskiej wersji testów niż na angielskiej. Natomiast rodzina modeli GPT od OpenAI wykazała bardziej zrównoważone wyniki. Może to odzwierciedlać różną ilość i jakość danych treningowych w odpowiednich językach, a także obecność wbudowanych filtrów lub mechanizmów cenzury w niektórych modelach regionalnych.

Po dodaniu przykładów few-shot (kilku demonstracyjnych pytań i odpowiedzi przed testowaniem) zaobserwowano zróżnicowane efekty. Niektóre modele zdołały wyraźnie poprawić dokładność dzięki podpowiedziom: na przykład duże modele językowe poprzedniej generacji, takie jak text-davinci-003 (GPT-3) czy chiński InternLM, odnotowały odczuwalny przyrost jakości w trybie five-shot. Jednak u części modeli dodatkowy kontekst prawie nie poprawił wyniku, a w niektórych przypadkach nawet obniżył dokładność. W szczególności dla GPT-3.5 autorzy odnotowali niewielki „ujemny przyrost" w trybie few-shot, co wiążą ze zjawiskiem „podatku wyrównania" (alignment tax). Niemniej jednak średnio dostarczenie przykładów ustabilizowało odpowiedzi i zmniejszyło odsetek przypadków, gdy model odmawia udzielenia jednoznacznej odpowiedzi.

Osobno badacze ocenili wydajność modeli na przefiltrowanym podzbiorze pytań dotyczących języka chińskiego. API niektórych dużych chińskich modeli automatycznie odrzucają zapytania zawierające pewne „wrażliwe" słowa. Dlatego utworzono skróconą próbkę 2100 pytań bez słów-wyzwalaczy i na jej podstawie porównano część modeli w trybie five-shot. Wyniki pokazały, że na tej uproszczonej wersji różnica między GPT-4 a najlepszymi lokalnymi modelami zmniejsza się: chiński model ChatGLM2 uzyskał zaledwie o ~3% mniej niż GPT-4, praktycznie dorównując mu w łącznym wyniku. Również Ernie Bot od Baidu pewnie wypadł w większości kategorii (z wyjątkiem sekcji dotyczącej stronniczości) i zbliżył się do liderów. Dane te sugerują, że pod ścisłą kontrolą filtrującą (po wykluczeniu najbardziej niebezpiecznych zapytań) niektóre modele krajowe są w stanie konkurować ze światowymi liderami pod względem bezpiecznego zachowania.

Znaczenie benchmarku i wnioski twórców

SafetyBench stanowi ważny krok w kierunku systematycznego mierzenia i poprawy bezpieczeństwa dużych modeli językowych. W odróżnieniu od scenariuszy bezpośredniej interakcji (gdzie użytkownicy mogą próbować „złamać" model za pomocą instrukcji lub prowokacji), niniejszy benchmark koncentruje się na zdolności AI do prawidłowego rozumienia i rozróżniania bezpiecznych i niebezpiecznych treści. Autorzy podkreślają, że takie rozumienie jest niezbędnym fundamentem, aby model w ogóle był w stanie generować bezpieczne odpowiedzi w otwartych dialogach. Natomiast głębokie przyswojenie norm moralnych, zasad etykiety, cech toksyczności itp. ułatwia dostrojenie modelu tak, aby unikał niebezpiecznych wypowiedzi i decyzji. Tym samym wysokie wyniki w SafetyBench można traktować jako wskaźnik gotowości modelu do bezpiecznego wdrożenia, a słabe wyniki w określonych kategoriach sygnalizują obszary ryzyka wymagające dalszej pracy.

Ważne jest, że SafetyBench celowo nie obejmuje niektórych aspektów związanych z atakami na same instrukcje modelu (tzw. jailbreak-prompty, manipulowanie rolami itp.). Autorzy wyjaśniają, że problemy typu instruction attacks mają inną naturę, związaną z konfliktem między wykonywaniem polecenia użytkownika a przestrzeganiem wbudowanych zasad bezpieczeństwa. Te aspekty są rozwiązywane innymi metodami i wykraczają poza rozumienie modelu. Dlatego SafetyBench koncentruje się właśnie na merytorycznym poziomie wiedzy modelu o bezpiecznym zachowaniu. Niemniej łączne pokrycie siedmiu kluczowych kategorii w benchmarku już teraz pozwala wykrywać podatności modeli: wiadomo na przykład, że GPT-4 wykazuje stosunkowo słabszy wynik w pytaniach o stronniczość, a niektóre otwarte modele mocno odstają w sekcjach związanych z moralnością lub prawem. Takie informacje dostarczają twórcom konkretnych wskazówek, nad czym należy pracować podczas dalszego fine-tuningu lub filtrowania odpowiedzi.

Benchmark SafetyBench jest otwarty dla społeczności: jego dane i materiały metodyczne zostały udostępnione publicznie, a na specjalnie stworzonym portalu prowadzony jest online'owy leaderboard wyników różnych modeli. Badacze zapraszają twórców do testowania swoich nowych modeli na tym zestawie i publikowania wyników, co będzie sprzyjać przejrzystemu porównywaniu systemów i śledzeniu postępów w poprawie bezpieczeństwa AI.

Wreszcie autorzy podkreślają, że celem SafetyBench jest stymulowanie doskonalenia modeli, a nie jedynie tworzenie kolejnego rankingu. Wzywają twórców, by nie ograniczali się do prób „dopasowania" modelu do testu, lecz systematycznie usuwali zidentyfikowane problematyczne obszary. W miarę jak nowe wersje modeli będą trenowane na większych ilościach danych z bardziej zaawansowanymi technikami alignment, oczekuje się wzrostu ich wyników również w SafetyBench. W perspektywie benchmark ten może stać się standardowym narzędziem do weryfikacji zgodności modeli językowych z wymogami bezpieczeństwa, a jego metodologia — podstawą do opracowania jeszcze doskonalszych zestawów testowych w obszarze odpowiedzialnej AI.

Odnośniki

• Oryginalna artykuł SafetyBench (arXiv)
• Repozytorium SafetyBench na GitHub
• Strona datasetu SafetyBench na Hugging Face
• Artykuł SafetyBench na ACL Anthology

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.