--- title: "SafetyBench (PL)" source: "https://systems-analysis.info/int/SafetyBench_(PL)" wiki: "systems-analysis.info/int" article: "SafetyBench_(PL)" language: "pl" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Polish" revision_id: 6561 wiki_created_at: 2026-09-07T00:06:41Z wiki_modified_at: 2026-09-07T00:06:41Z downloaded_at: 2026-09-07T23:14:35Z --- # SafetyBench (PL) **SafetyBench** — to pierwszy **kompleksowy benchmark** do wszechstronnej oceny **bezpieczeństwa dużych modeli językowych** [\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Został opracowany przez grupę badaczy z Uniwersytetu Tsinghua i zaprezentowany w 2023 roku[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Wraz z rozwojem dużych modeli językowych (np. pojawieniem się ChatGPT) i ich masowym wdrożeniem wzrosło zainteresowanie problemami bezpieczeństwa takich systemów[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Badania wykazały, że modele konwersacyjne mogą dopuszczać do wycieków prywatnych informacji użytkowników lub generować toksyczne wypowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Tym samym ocena bezpieczeństwa dużych modeli językowych stała się krytycznie ważnym zadaniem dla ich niezawodnego zastosowania w praktyce. Jednak do niedawna brakowało kompleksowych benchmarków (zestawów testów) obejmujących wszystkie główne aspekty bezpieczeństwa modeli; dostępne datasety sprawdzały jedynie wybrane aspekty (np. toksyczność lub uprzedzenia społeczne) i nie dawały pełnego obrazu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Brak wszechstronnej metody oceny utrudniał zarówno wykrywanie podatności, jak i opracowywanie bezpieczniejszych modeli językowych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). SafetyBench powstał, aby wypełnić tę lukę[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). ## Opracowanie i opis SafetyBench SafetyBench stanowi zbiór **11 435 pytań wielokrotnego wyboru** (multiple-choice), obejmujących **7 różnych kategorii** typowych problemów lub zagrożeń związanych z treściami generowanymi przez AI[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Ważną cechą jest **dwujęzyczność**: każde pytanie dostępne jest w języku **angielskim** i **chińskim**, co pozwala oceniać zarówno modele anglojęzyczne, jak i chińskie na jednolitym materiale[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). SafetyBench stał się w istocie pierwszym narzędziem na dużą skalę, umożliwiającym automatyczne i precyzyjne testowanie rozumienia przez model kwestii bezpiecznego zachowania i treści[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Format zadań z jedną poprawną odpowiedzią, analogiczny do znanych benchmarków takich jak MMLU, zapewnia obiektywność i efektywność oceny, zmniejszając zależność od pracochłonnej ręcznej weryfikacji odpowiedzi modelu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Twórcy SafetyBench oparli się na wcześniej zaproponowanej taksonomii typowych scenariuszy związanych z niebezpiecznymi treściami[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W szczególności kategorie benchmarku zostały wyodrębnione na podstawie 8 scenariuszy opisanych w pracy Sun i in. (2023), jednak jedna z kategorii (tematy politycznie wrażliwe) została wykluczona, aby uniknąć nieporównywalności odpowiedzi w kontekście chińskim i angielskim[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W ten sposób ostateczny zestaw obejmuje 7 kategorii bezpieczeństwa wspólnych dla obu języków. ## Kategorie bezpieczeństwa w SafetyBench Każde pytanie testowe w SafetyBench należy do jednej z siedmiu kategorii, obejmujących szeroki zakres potencjalnie niebezpiecznych lub niepożądanych aspektów[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Poniżej przedstawiono te kategorie wraz z krótkim opisem: - **Treści obraźliwe** (Offensiveness) – groźby, obelgi, wulgaryzmy, przekleństwa, sarkazm i inne przejawy niedopuszczalnego tonu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Model powinien umieć rozpoznawać takie zachowania i przeciwstawiać się toksycznym lub agresywnym treściom[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Stronniczość i dyskryminacja** (Unfairness and Bias) – przejawy uprzedzeń społecznych i niesprawiedliwości ze względu na rasę, płeć, religię itp.[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1) Model powinien identyfikować i unikać konstrukcji językowych wyrażających uprzedzenia lub dyskryminację[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Zdrowie fizyczne** (Physical Health) – sytuacje i wypowiedzi mogące wpłynąć na zdrowie fizyczne człowieka[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Model powinien znać właściwe, bezpieczne działania i porady dotyczące dbania o zdrowie w różnych okolicznościach życiowych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Zdrowie psychiczne** (Mental Health) – kwestie związane z dobrostaniem psychologicznym, emocjami i zdrowiem mentalnym[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Model powinien proponować właściwe sposoby dbania o zdrowie psychiczne i zapobiegania negatywnym oddziaływaniom emocjonalnym[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Działalność nielegalna** (Illegal Activities) – scenariusze zakładające zachowania niezgodne z prawem[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Model powinien odróżniać zachowania legalne od nielegalnych, posiadać podstawową wiedzę o normach prawnych i nie nakłaniać do łamania prawa[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Etyka i moralność** (Ethics and Morality) – sytuacje związane z nieetycznym lub niemoralnym zachowaniem, nawet jeśli nie podpada ono bezpośrednio pod przepisy prawa[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Model powinien demonstrować wysokie standardy etyczne i potępiać nieetyczne czyny lub wypowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Prywatność i własność** (Privacy and Property) – kwestie dotyczące prywatnych informacji, prawa własności, ryzyk finansowych itp.[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1) Model powinien dobrze rozumieć zasady poufności i praw majątkowych oraz zapobiegać niezamierzonemu ujawnieniu danych osobowych lub wyrządzeniu szkody majątkowej[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Każda kategoria reprezentowana jest przez setki lub tysiące pytań, co pozwala wszechstronnie sprawdzić znajomość przez model odpowiednich norm i zasad[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). ## Zbieranie i przygotowanie danych Aby stworzyć tak obszerny zestaw testowy, autorzy SafetyBench skorzystali z **różnorodnych źródeł danych**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W badaniu wskazano, że pytania zbierano z trzech głównych źródeł[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1): - **Istniejące datasety**: Dla części kategorii (w szczególności obraźliwości, uprzedzeń, zdrowia fizycznego, etyki) wykorzystano publicznie dostępne zbiory danych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Autorzy pobrali oryginalne teksty z tych zbiorów i przekształcili je w format pytań z wariantami odpowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Na przykład dla kategorii Offensiveness częściowo wykorzystano korpus COLD (dataset do wykrywania obraźliwości w języku chińskim)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1); dla języka angielskiego wykorzystano dane z konkursu Jigsaw Toxic Comment i in.[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Analogicznie, dla kategorii Unfairness and Bias wykorzystano chińskie zbiory (COLD, CDial-Bias) oraz zasoby anglojęzyczne[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Takie podejście pozwoliło pokryć od razu cztery kategorie dzięki przetworzeniu już otagowanego materiału[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Pytania egzaminacyjne**: Oprócz datasetów badacze ręcznie wyselekcjonowali odpowiednie zadania z różnych materiałów egzaminacyjnych i kwestionariuszy poświęconych kwestiom bezpieczeństwa i umiejętności życiowych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W szczególności wyodrębniono pytania z egzaminów szkolnych z etyki i wiedzy prawnej (np. szkolne testy z podstaw bezpieczeństwa), odpowiadające kategoriom Illegal Activities, Ethics and Morality i innym pokrewnym tematom[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Każde takie pytanie zostało również dostosowane do formatu wielokrotnego wyboru i przypisane do jednej z kategorii[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). - **Generowanie nowych pytań**: Dla niektórych aspektów (np. prywatności lub zdrowia psychicznego), gdzie w otwartych źródłach brakowało wystarczająco różnorodnych danych, autorzy sięgnęli po generowanie dodatkowych pytań za pomocą samych zaawansowanych modeli językowych (takich jak ChatGPT)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Sformułowano prompty do tworzenia różnorodnych sytuacji z tych tematów, po czym uzyskane warianty zostały starannie **przefiltrowane i zweryfikowane przez ekspertów** przed włączeniem do benchmarku[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Takie kontrolowane podejście z augmentacją pozwoliło wypełnić luki w pokryciu kategorii[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Ostatecznie każde pytanie SafetyBench zostało **dwujęzycznie przedstawione** — w języku chińskim i angielskim[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Aby zapewnić równoważność treści, autorzy przetłumaczyli wszystkie zebrane pytania angielskie na chiński i odwrotnie, korzystając z komercyjnego API tłumaczenia maszynowego Baidu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Wybór tego narzędzia podyktowany był tym, że niektóre zaawansowane duże modele językowe (np. sam ChatGPT) odmawiały przetwarzania lub dokładnego tłumaczenia potencjalnie niebezpiecznych treści, niekiedy łagodząc sformułowania przy tłumaczeniu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Automatyczne tłumaczenia zostały następnie ręcznie sprawdzone i poprawione w celu wyeliminowania ewentualnych nieścisłości lub niuansów kulturowych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Ogólnie wszystkie pytania przeszły etap **ręcznej kontroli jakości**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1), co ma gwarantować poprawność sformułowań i zgodność oczekiwanych odpowiedzi w obu językach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Rozkład źródeł w ostatecznym datasecie jest mniej więcej następujący: około połowa pytań pochodzi z otwartych datasetów, znaczna część — z materiałów egzaminacyjnych, a pozostała część została wygenerowana przez modele (po selekcji)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Takie podejście zapewniło zarówno szerokość pokrycia tematów, jak i wystarczającą głębokość (wiele przykładów na każdą kategorię). ## Metodyka eksperymentów i wyniki Po przygotowaniu zestawu SafetyBench autorzy przeprowadzili szeroko zakrojone testy współczesnych modeli językowych, aby określić poziom ich rozumienia kwestii bezpieczeństwa. Ocena modeli odbywa się **automatycznie**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1): każdemu modelowi zadawane są kolejno wszystkie pytania (w odpowiednim języku) i rejestrowany jest odsetek poprawnych odpowiedzi (tj. procent zgodności wybranego przez model wariantu z odpowiedzią prawidłową)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Taki odsetek służy jako wskaźnik tego, jak dobrze model „rozumie" problematykę bezpieczeństwa i udziela odpowiedzi poprawnych z punktu widzenia bezpieczeństwa[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W testach przeprowadzonych przez twórców wzięły udział **25 popularnych dużych modeli językowych** różnego pochodzenia (zarówno modele otwarte, jak i własnościowe usługi API) w obu językach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Testowanie przeprowadzano w dwóch trybach: **zero-shot** (modele odpowiadają na pytania bez żadnych przykładów) i **few-shot** (modelom wcześniej pokazuje się kilka przykładowych pytań z poprawnymi odpowiedziami, aby nadać kontekst)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Taki protokół pozwala ocenić zarówno podstawowe możliwości modelu, jak i zdolność do poprawy odpowiedzi przy dostępności przykładów. Główny wniosek z testów — **współczesne modele znacznie różnią się poziomem wiedzy o bezpieczeństwie i żaden z dostępnych dużych modeli językowych nie jest jeszcze doskonały** we wszystkich kategoriach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Liderem wyników okazał się model **GPT-4** (OpenAI): osiągnął najwyższą średnią dokładność i znacznie wyprzedził wszystkie pozostałe modele w wielu kategoriach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W trybie zero-shot GPT-4 przewyższył najbliższego rywala (model GPT-3.5-turbo) o prawie **10 punktów procentowych** pod względem ogólnej dokładności[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Różnica jest szczególnie duża w niektórych obszarach — na przykład w kwestiach bezpieczeństwa fizycznego i dylematów moralno-etycznych GPT-4 odpowiadał poprawnie zauważalnie częściej niż konkurenci[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Jednocześnie nawet u GPT-4 ujawniono **słabe punkty**. W kategorii „Stronniczość i dyskryminacja" (Unfairness and Bias) model ten wypadł słabiej w porównaniu z własnymi wynikami w innych sekcjach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Analiza odpowiedzi wykazała, że GPT-4 niekiedy błędnie oznacza neutralne wypowiedzi o dyskryminacji jako przejaw uprzedzenia lub myli się w specyficznych wyrażeniach i zdarzeniach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Takie błędy podkreślają, że nawet najbardziej zaawansowany model może niedoszacowywać niuansów kulturowych lub językowych wpływających na ocenę etyczności wypowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Pozostałe modele znacznie odbiegały od GPT-4[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Średnio większość otwartych dużych modeli językowych (w tym różne wersje LLaMA, Falcon, rodzime chińskie modele itp.) wykazała **istotnie niższą dokładność**, często nie przekraczającą 70-80% poprawnych odpowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Wiele z nich szczególnie słabo radzi sobie z poszczególnymi kategoriami: na przykład część modeli uzyskała mniej niż 70% w sekcjach dotyczących uprzedzeń społecznych lub subtelnych kwestii etycznych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Łącznie żaden model (poza GPT-4) nie przekroczył umownego progu 80% w ogólnym wskaźniku bezpieczeństwa, co świadczy o dużym polu do dalszego doskonalenia bezpiecznego zachowania modeli[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Taka różnica między GPT-4 a modelami open-source wskazuje na efekt szerszego treningu i ukierunkowanego fine-tuningu pod kątem alignment w modelach zamkniętych. Interesujące jest to, że wydajność niektórych systemów okazała się **zależna od języka**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Modele tworzone w Chinach (np. Baidu Ernie, Alibaba Tongyi i in.) z reguły lepiej odpowiadały na chińskiej wersji testów niż na angielskiej[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Natomiast rodzina modeli GPT od OpenAI wykazała bardziej zrównoważone wyniki[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Może to odzwierciedlać różną ilość i jakość danych treningowych w odpowiednich językach, a także obecność wbudowanych filtrów lub mechanizmów cenzury w niektórych modelach regionalnych. Po dodaniu przykładów few-shot (kilku demonstracyjnych pytań i odpowiedzi przed testowaniem) zaobserwowano **zróżnicowane efekty**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Niektóre modele zdołały wyraźnie poprawić dokładność dzięki podpowiedziom: na przykład duże modele językowe poprzedniej generacji, takie jak text-davinci-003 (GPT-3) czy chiński InternLM, odnotowały odczuwalny przyrost jakości w trybie five-shot[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Jednak u części modeli dodatkowy kontekst prawie nie poprawił wyniku, a w niektórych przypadkach nawet obniżył dokładność[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W szczególności dla GPT-3.5 autorzy odnotowali niewielki **„ujemny przyrost" w trybie few-shot**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1), co wiążą ze zjawiskiem **„podatku wyrównania"** (alignment tax)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Niemniej jednak średnio dostarczenie przykładów ustabilizowało odpowiedzi i zmniejszyło odsetek przypadków, gdy model odmawia udzielenia jednoznacznej odpowiedzi[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Osobno badacze ocenili wydajność modeli na **przefiltrowanym podzbiorze pytań** dotyczących języka chińskiego[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). API niektórych dużych chińskich modeli automatycznie odrzucają zapytania zawierające pewne „wrażliwe" słowa[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Dlatego utworzono skróconą próbkę 2100 pytań bez słów-wyzwalaczy i na jej podstawie porównano część modeli w trybie five-shot[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Wyniki pokazały, że na tej uproszczonej wersji różnica między GPT-4 a najlepszymi lokalnymi modelami zmniejsza się: chiński model ChatGLM2 uzyskał zaledwie o ~3% mniej niż GPT-4, praktycznie dorównując mu w łącznym wyniku[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Również Ernie Bot od Baidu pewnie wypadł w większości kategorii (z wyjątkiem sekcji dotyczącej stronniczości) i zbliżył się do liderów[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Dane te sugerują, że pod ścisłą kontrolą filtrującą (po wykluczeniu najbardziej niebezpiecznych zapytań) niektóre modele krajowe są w stanie konkurować ze światowymi liderami pod względem bezpiecznego zachowania. ## Znaczenie benchmarku i wnioski twórców SafetyBench stanowi ważny krok w kierunku systematycznego mierzenia i poprawy bezpieczeństwa dużych modeli językowych[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W odróżnieniu od scenariuszy bezpośredniej interakcji (gdzie użytkownicy mogą próbować „złamać" model za pomocą instrukcji lub prowokacji), niniejszy benchmark koncentruje się na zdolności AI do **prawidłowego rozumienia i rozróżniania bezpiecznych i niebezpiecznych treści**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Autorzy podkreślają, że takie rozumienie jest niezbędnym fundamentem, aby model w ogóle był w stanie generować bezpieczne odpowiedzi w otwartych dialogach[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Natomiast głębokie przyswojenie norm moralnych, zasad etykiety, cech toksyczności itp. ułatwia dostrojenie modelu tak, aby unikał niebezpiecznych wypowiedzi i decyzji[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Tym samym wysokie wyniki w SafetyBench można traktować jako **wskaźnik gotowości modelu do bezpiecznego wdrożenia**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1), a słabe wyniki w określonych kategoriach sygnalizują obszary ryzyka wymagające dalszej pracy[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Ważne jest, że SafetyBench celowo **nie obejmuje niektórych aspektów związanych z atakami na same instrukcje modelu** (tzw. jailbreak-prompty, manipulowanie rolami itp.)[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Autorzy wyjaśniają, że problemy typu instruction attacks mają inną naturę, związaną z konfliktem między wykonywaniem polecenia użytkownika a przestrzeganiem wbudowanych zasad bezpieczeństwa[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Te aspekty są rozwiązywane innymi metodami i wykraczają poza rozumienie modelu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Dlatego SafetyBench koncentruje się właśnie na merytorycznym poziomie wiedzy modelu o bezpiecznym zachowaniu. Niemniej łączne pokrycie siedmiu kluczowych kategorii w benchmarku już teraz pozwala wykrywać podatności modeli: wiadomo na przykład, że GPT-4 wykazuje stosunkowo słabszy wynik w pytaniach o stronniczość, a niektóre otwarte modele mocno odstają w sekcjach związanych z moralnością lub prawem[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Takie informacje dostarczają twórcom konkretnych wskazówek, nad czym należy pracować podczas dalszego fine-tuningu lub filtrowania odpowiedzi. Benchmark SafetyBench jest **otwarty dla społeczności**[\[2\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-abs-2): jego dane i materiały metodyczne zostały udostępnione publicznie[\[2\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-abs-2), a na specjalnie stworzonym portalu prowadzony jest **online'owy leaderboard** wyników różnych modeli[\[2\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-abs-2). Badacze zapraszają twórców do testowania swoich nowych modeli na tym zestawie i publikowania wyników, co będzie sprzyjać przejrzystemu porównywaniu systemów i śledzeniu postępów w poprawie bezpieczeństwa AI. Wreszcie autorzy podkreślają, że celem SafetyBench jest **stymulowanie doskonalenia modeli**[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1), a nie jedynie tworzenie kolejnego rankingu[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). Wzywają twórców, by nie ograniczali się do prób „dopasowania" modelu do testu, lecz systematycznie usuwali zidentyfikowane problematyczne obszary[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W miarę jak nowe wersje modeli będą trenowane na większych ilościach danych z bardziej zaawansowanymi technikami alignment, oczekuje się wzrostu ich wyników również w SafetyBench[\[1\]](https://systems-analysis.info/int/SafetyBench_(PL)#cite_note-arxiv-main-v2-1). W perspektywie benchmark ten może stać się standardowym narzędziem do weryfikacji zgodności modeli językowych z wymogami bezpieczeństwa, a jego metodologia — podstawą do opracowania jeszcze doskonalszych zestawów testowych w obszarze odpowiedzialnej AI. ## Odnośniki - Oryginalna artykuł SafetyBench (arXiv) - Repozytorium SafetyBench na GitHub - Strona datasetu SafetyBench na Hugging Face - Artykuł SafetyBench na ACL Anthology ## Literatura - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Przypisy 1. ↑ [1.00](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-0) [1.01](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-1) [1.02](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-2) [1.03](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-3) [1.04](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-4) [1.05](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-5) [1.06](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-6) [1.07](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-7) [1.08](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-8) [1.09](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-9) [1.10](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-10) [1.11](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-11) [1.12](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-12) [1.13](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-13) [1.14](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-14) [1.15](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-15) [1.16](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-16) [1.17](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-17) [1.18](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-18) [1.19](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-19) [1.20](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-20) [1.21](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-21) [1.22](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-22) [1.23](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-23) [1.24](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-24) [1.25](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-25) [1.26](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-26) [1.27](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-27) [1.28](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-28) [1.29](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-29) [1.30](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-30) [1.31](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-31) [1.32](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-32) [1.33](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-33) [1.34](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-34) [1.35](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-35) [1.36](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-36) [1.37](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-37) [1.38](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-38) [1.39](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-39) [1.40](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-40) [1.41](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-41) [1.42](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-42) [1.43](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-43) [1.44](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-44) [1.45](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-45) [1.46](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-46) [1.47](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-47) [1.48](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-48) [1.49](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-49) [1.50](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-50) [1.51](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-51) [1.52](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-52) [1.53](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-53) [1.54](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-54) [1.55](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-55) [1.56](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-56) [1.57](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-57) [1.58](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-58) [1.59](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-59) [1.60](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-60) [1.61](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-61) [1.62](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-62) [1.63](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-63) [1.64](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-64) [1.65](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-65) [1.66](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-66) [1.67](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-67) [1.68](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-68) [1.69](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-69) [1.70](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-70) [1.71](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-71) [1.72](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-72) [1.73](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-73) [1.74](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-74) [1.75](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-75) [1.76](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-76) [1.77](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-77) [1.78](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-78) [1.79](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-79) [1.80](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-80) [1.81](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-81) [1.82](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-82) [1.83](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-83) [1.84](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-84) [1.85](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-85) [1.86](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-86) [1.87](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-87) [1.88](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-88) [1.89](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-89) [1.90](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-90) [1.91](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-91) [1.92](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-92) [1.93](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-v2_1-93) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». *arXiv*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-abs_2-0) [2.1](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-abs_2-1) [2.2](https://systems-analysis.info/int/SafetyBench_(PL)#cite_ref-arxiv-main-abs_2-2) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». *arXiv*. [2]