SafetyBench (BG)

SafetyBench — това е първият комплексен benchmark за всестранна оценка на безопасността на големи езикови модели . Той е разработен от група изследователи от Университета Цинхуа и представен през 2023 година.

С развитието на ГЕМ (например появата на ChatGPT) и масовото им внедряване се засили вниманието към проблемите с безопасността на такива системи. Изследванията показаха, че диалоговите модели могат да допускат изтичане на лична информация на потребителите или да генерират токсични изказвания. По този начин оценката на безопасността на ГЕМ се превърна в критично важна задача за надеждното им практическо приложение. Въпреки това до скоро липсваха комплексни benchmark-и (набори от тестове), обхващащи всички основни аспекти на безопасността на модела; наличните dataset-и проверяваха само отделни страни (например токсичност или социални предразсъдъци) и не даваха цялостна картина. Липсата на всеобхватен метод за оценка затрудняваше както разкриването на уязвимости, така и разработването на по-безопасни езикови модели. SafetyBench е създаден, за да запълни тази празнина.

Разработка и описание на SafetyBench

SafetyBench представлява набор от 11 435 въпроса с избор на отговор (multiple-choice), обхващащи 7 различни категории типични проблеми или заплахи, свързани със съдържанието, генерирано от ИИ. Важна особеност е двуезичността: всеки въпрос е наличен на английски и китайски език, което позволява оценяване както на англоезични, така и на китайски модели върху единен материал. По същество SafetyBench се превърна в първия мащабен инструмент, позволяващ автоматично и с висока точност да се тества разбирането на модела за въпросите на безопасно поведение и съдържание. Форматът на задачите с един верен отговор, аналогичен на известни benchmark-и като MMLU, осигурява обективност и ефективност на оценяването, намалявайки зависимостта от трудоемката ръчна проверка на отговорите на модела.

Разработчиците на SafetyBench са се опрели на предложена по-рано таксономия на типичните сценарии, свързани с небезопасно съдържание. По-конкретно, категориите на benchmark-а са обособени въз основа на 8 сценария, описани в работата на Sun и съавтори (2023), като обаче една от категориите (политически чувствителни теми) е изключена, за да се избегне несъпоставимост на отговорите в китайски и английски контекст. По този начин окончателният набор включва 7 категории на безопасност, общи за двата езика.

Категории на безопасност в SafetyBench

Всеки тестов въпрос в SafetyBench се отнася към една от седемте категории, обхващащи широк спектър от потенциално опасни или нежелателни аспекти. По-долу са представени тези категории и тяхното кратко описание:

• Обидно съдържание (Offensiveness) – заплахи, обиди, грубост, нецензурни изрази, сарказъм и други прояви на неприемлив тон. Моделът трябва да умее да разпознава подобни изпади и да противостои на токсично или агресивно съдържание.
• Предубеденост и дискриминация (Unfairness and Bias) – прояви на социален bias и несправедливост по признаци на раса, пол, религия и др. Моделът трябва да идентифицира и избягва езикови конструкции, изразяващи предразсъдъци или дискриминация.
• Физическо здраве (Physical Health) – ситуации и изказвания, способни да повлияят на физическото здраве на човека. Моделът трябва да познава коректните, безопасни действия и съвети за поддържане на здравето в различни житейски обстоятелства.
• Психично здраве (Mental Health) – въпроси, свързани с психологическото благополучие, емоциите и менталното здраве. Моделът трябва да предлага правилни начини за поддържане на психичното здраве и предотвратяване на негативни емоционални въздействия.
• Незаконна дейност (Illegal Activities) – сценарии, предполагащи противоправни действия. Моделът трябва да различава законното от незаконното поведение, да притежава базови познания за нормите на закона и да не подстрекава към нарушаването му.
• Етика и морал (Ethics and Morality) – ситуации, свързани с неетично или аморално поведение, дори когато то не попада пряко под закона. Моделът трябва да демонстрира високи етични стандарти и да осъжда неетични постъпки или изказвания.
• Поверителност и собственост (Privacy and Property) – въпроси, касаещи лична информация, право на собственост, финансови рискове и др. Моделът трябва да разбира чувствително принципите на поверителност и имуществените права и да предотвратява непреднамерено разкриване на лични данни или причиняване на имуществена вреда.

Всяка категория е представена от стотици или хиляди въпроси, което позволява всестранна проверка на познанията на модела за съответните норми и принципи.

Събиране и подготовка на данните

За формирането на такъв мащабен тестов набор авторите на SafetyBench са привлекли разнообразни източници на данни. В изследването е посочено, че въпросите са събирани от три основни източника:

• Съществуващи dataset-и: За редица категории (по-конкретно обиди, предразсъдъци, физическо здраве, етика) са използвани публично достъпни набори от данни. Авторите са взели изходните текстове от такива набори и са ги преобразували във формат на въпроси с варианти за отговор. Например, за категорията Offensiveness частично е използван корпусът COLD (dataset за детекция на обиди в китайски език); за английски език са привлечени данни от конкурса Jigsaw Toxic Comment и др.. Аналогично, за Unfairness and Bias са задействани китайски набори (COLD, CDial-Bias) и англоезични ресурси. Този подход позволи да се покрият веднага четири категории чрез преработка на вече анотиран материал.
• Изпитни въпроси: Освен dataset-и, изследователите са подбрали ръчно подходящи задания от различни изпитни материали и въпросници, посветени на въпроси за безопасност и житейски умения. По-конкретно са извлечени въпроси от учебни изпити по етика и право (например училищни тестове по основи на безопасността), съответстващи на категориите Незаконна дейност, Етика и морал и други сродни теми. Всеки такъв въпрос също е приведен към формат на множествен избор и отнесен към една от категориите.
• Генериране на нови въпроси: За някои аспекти (например поверителност или психично здраве), където в отворените източници се е оказало недостатъчно разнообразни данни, авторите са прибегнали до генериране на допълнителни въпроси с помощта на самите езикови модели от високо ниво (като ChatGPT). Формулирани са prompt-и за създаване на разнообразни ситуации по тези теми, след което получените варианти са внимателно филтрирани и проверени от експерти преди включване в benchmark-а. Този контролиран augmented подход позволи да се запълнят пропуските в покритието на категориите.

В крайна сметка всеки въпрос в SafetyBench е представен двуезично — на китайски и на английски език. За осигуряване на еквивалентност на съдържанието авторите са превели всички събрани английски въпроси на китайски и обратно, използвайки търговски API за машинен превод на Baidu. Използването на именно този превод се дължи на това, че някои висококачествени ГЕМ (например самият ChatGPT) отказваха да обработват или точно да превеждат потенциално опасно съдържание, понякога смекчавайки формулировките при превод. Автоматичните преводи след това са прочетени и коригирани ръчно, за да се отстранят евентуални неточности или културни нюанси. Като цяло всички въпроси са преминали етап на проверка на качеството от хора, което е призвано да гарантира коректността на формулировките и съответствието на очакваните отговори и в двата езика.

Разпределението на източниците в окончателния dataset е приблизително следното: около половината от въпросите са взети от отворени dataset-и, значителна дял — от изпитни материали, а останалата част е генерирана от модели (след подбор). Този подход осигури както широчина на покритието на темите, така и достатъчна дълбочина (множество примери за всяка категория).

Методика на експериментите и резултати

След подготовката на набора SafetyBench авторите са провели мащабно тестване на съвременни езикови модели, за да определят нивото на разбирането им на въпросите за безопасност. Оценката на моделите се осъществява автоматично: на всеки модел поред се задават всички въпроси (на съответния език) и се фиксира делът на верните отговори (т.е. процентът на съвпадение на избрания от модела вариант с верния отговор). Такъв процент служи за показател колко добре моделът „се ориентира" в проблемите на безопасното поведение и дава коректни от гледна точка на безопасността отговори.

В изпитанията, проведени от разработчиците, са участвали 25 популярни ГЕМ от различен произход (както отворени модели, така и проприетарни API-услуги) на двата езика. Тестването е изпълнено в два режима: zero-shot (моделите отговарят на въпросите без каквито и да е примери) и few-shot (на моделите предварително се показват няколко примерни въпроса с верни отговори, за да се зададе контекст). Такъв протокол позволява да се оценят както базовите възможности на модела, така и способността му да подобрява отговорите при наличие на обучаващи подсказки.

Главният извод от тестовете е, че съвременните модели се различават значително по нивото на познания за безопасност и нито един от наличните ГЕМ засега не е безупречен във всички категории. Лидер по резултати се оказа моделът GPT-4 (OpenAI): той показа най-висока средна точност и значително изпревари всички останали модели в множество категории. В режим zero-shot GPT-4 превъзхожда най-близкия преследвач (модела GPT-3.5-turbo) с почти 10 процентни пункта по обща точност. Разривът е особено голям в отделни области, например по въпросите на физическата безопасност и морално-етичните дилеми GPT-4 отговаряше правилно значително по-често от конкурентите.

В същото време дори при GPT-4 са установени слаби места. В категорията „Предубеденост и дискриминация" (Unfairness and Bias) този модел се справи по-слабо спрямо собствените си резултати по другите раздели. Анализът на отговорите показа, че GPT-4 понякога погрешно маркира неутрални изказвания за дискриминация като проява на предубеденост или се обърква в специфични изрази и събития. Такива грешки подчертават, че дори най-напредналият модел може да подценява културните или езиковите нюанси, влияещи на оценката на етичността на изказването.

Осталите модели значително изостанаха от GPT-4. Средно повечето отворени ГЕМ (включително различни версии на LLaMA, Falcon, местни китайски модели и др.) показаха съществено по-ниска точност, нерядко непревишаваща 70-80% верни отговори. Много от тях се справят особено слабо с отделни категории: например редица модели набраха под 70% по разделите, свързани с социални предразсъдъци или фини етични въпроси. Като цяло нито един модел (освен GPT-4) не преодоля условния праг от 80% по общия показател за безопасност, което говори за голям простор за по-нататъшно подобряване на безопасното им поведение. Такава разлика между GPT-4 и моделите с отворен код указва на ефекта от по-мащабното обучение и целенасочената alignment-настройка при затворените модели.

Интересно е, че производителността на някои системи се оказа езиковозависима. Моделите, създадени в Китай (например Baidu Ernie, Alibaba Tongyi и др.), като правило отговаряха по-добре на китайската версия на тестовете, отколкото на английската. Обратно, семейството GPT-модели на OpenAI демонстрира по-балансирани резултати. Това може да отразява различния обем и качество на обучението върху съответните езикови данни, както и наличието на вградени филтри или цензурни механизми в някои регионални модели.

При добавяне на few-shot примери (няколко демонстрационни Q&A преди тестването) се наблюдаваха разнопосочни ефекти. Някои модели успяха значително да повишат точността си благодарение на подсказките: така, по-старото поколение големи езикови модели като text-davinci-003 (GPT-3) или китайският InternLM получиха осезаем ръст на качеството в режим few-shot. Въпреки това при редица модели допълнителният контекст почти не подобри резултата, а в някои случаи дори намали точността. По-конкретно, за GPT-3.5 авторите са регистрирали малък „отрицателен ръст" при few-shot, което те свързват с явлението „alignment tax". При все това средно предоставянето на примери направи отговорите по-стабилни и намали дела на случаите, при които моделът отказва да даде ясен отговор.

Отделно изследователите са оценили производителността на моделите върху филтриран поднабор от въпроси, касаещи китайски език. Факт е, че API на някои крупни китайски модели автоматично отхвърлят заявки с определени „чувствителни" думи. Поради това е формирана съкратена извадка от 2100 въпроса без задействащи думи, и върху нея са сравнени редица модели в режим few-shot. Резултатите показаха, че върху тази облекчена версия разривът между GPT-4 и най-добрите локални модели се стеснява: така, китайският модел ChatGLM2 набра само с ~3% по-малко от GPT-4, практически изравнявайки се с него по съвкупен бал. Също така Ernie Bot на Baidu се представи уверено по повечето категории (освен раздела за предубеденост) и се доближи до лидерите. Тези данни говорят, че при стриктен филтриращ контрол (изключвайки най-опасните заявки) някои национални модели са способни да се конкурират с световните лидери по отношение на безопасното поведение.

Значение на benchmark-а и изводи на разработчиците

SafetyBench представлява важна крачка към систематичното измерване и подобряване на безопасността на големите езикови модели. За разлика от сценариите на пряко взаимодействие (при които потребителите могат да се опитват да „пробият" модела с инструкции или провокации), даденият benchmark се фокусира върху способността на ИИ да разбира и разграничава правилно безопасното от небезопасното съдържание. Авторите подчертават, че такова разбиране е необходима основа, за да може моделът изобщо да генерира безопасни отговори в открити диалози. Напротив, дълбокото усвояване на нормите на морала, правилата на етикета, признаците на токсичност и пр. улеснява настройката на модела така, че той да избягва опасни изказвания и решения. По този начин високите показатели на SafetyBench могат да се разглеждат като индикатор за готовността на модела за безопасна експлоатация, а провалите в определени категории сигнализират за зони на риск, изискващи доработка.

Важно е да се отбележи, че SafetyBench умишлено не включва някои аспекти, свързани с атака срещу самите инструкции на модела (т.нар. jailbreak-prompt-и, манипулиране с роли и т.н.). Авторите обясняват, че проблемите от типа instruction attacks имат различна природа, свързана с конфликта между изпълнението на потребителската заповед и спазването на вградените правила за безопасност. Тези аспекти се решават с други методи и излизат извън рамките на разбирането на модела. Поради това SafetyBench е съсредоточен именно върху съдържателното ниво на познанията на модела за безопасно поведение. При все това съвкупният обхват на седемте ключови категории в benchmark-а вече позволява да се разкриват уязвимости на моделите: например известно е, че GPT-4 показва сравнително по-слаб резултат по въпросите за предубеденост, а някои отворени модели силно изостават по разделите, свързани с морал или закон. Такава информация дава на разработчиците конкретни ориентири върху какво е необходимо да се работи при по-нататъшното дообучение или филтриране на отговорите.

Benchmark-ът SafetyBench е отворен за общността: неговите данни и методически материали са публикувани в свободен достъп, а на специално създадена платформа се поддържа онлайн лидерборд с резултатите на различни модели. Изследователите канят разработчиците да тестват своите нови модели върху този набор и да публикуват резултатите, което ще допринесе за прозрачно сравнение на системите и проследяване на напредъка в повишаването на безопасността на ИИ.

Накрая авторите подчертават, че целта на SafetyBench е да стимулира подобряването на моделите, а не просто да създаде поредна класация. Те призовават разработчиците да не се ограничават с опити да „пригодят" модела към теста, а системно да отстраняват установените проблемни моменти. С напредването на новите версии на моделите, обучавани върху по-голямо количество данни с по-сложни техники за alignment-настройка, се очаква ръст на показателите им и в SafetyBench. В перспектива този benchmark може да се превърне в стандартен инструмент за проверка на съответствието на езиковите модели с изискванията за безопасност, а неговата методология — в основа за разработване на още по-усъвършенствани тестови набори в областта на отговорния ИИ.

Препратки

• Оригинална статия SafetyBench (arXiv)
• Хранилище SafetyBench в GitHub
• Страница на dataset-а SafetyBench в Hugging Face
• Статия SafetyBench в ACL Anthology

Литература

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.