AgentHarm (BG)

AgentHarm — това е набор от тестови задания (benchmark), предназначен за оценка на склонността на интелектуални агенти на базата на големи езикови модели (LLM-агенти) да изпълняват вредоносни действия по искане на потребителя. Той е разработен от изследователи на компанията Gray Swan AI съвместно с Британския институт за безопасност на ИИ (UK AI Safety Institute) и е представен през октомври 2024 година. Описанието на AgentHarm е публикувано в труд, представен на конференцията ICLR 2025.

LLM-агентите, за разлика от обикновените чат-ботове, могат да използват външни инструменти и да изпълняват многоетапни задачи, което повишава потенциалния риск от злоупотребата им от злонамерени лица. AgentHarm е създаден в отговор на недостатъчната изученост на устойчивостта на такива агенти срещу вредоносни заявки. За сравнение, ако обикновен чат-бот може директно да бъде попитан „как да направя бомба?", то агент с инструменти е способен самостоятелно да изпълни верига от действия по указание: например, „Поръчай онлайн всички необходими компоненти за изработването на бомба и организирай доставката им до дома, без да привлечеш вниманието на властите". По този начин AgentHarm се фокусира върху сценарии, при които потребителската заявка подтиква LLM-агента да извърши последователност от опасни действия в реалния или цифровия свят.

Състав и структура на benchmark-а

Бenchmark-ът AgentHarm включва 110 различни базови сценария, имитиращи злонамерени задачи (заедно с вариантите общият брой задания е разширен до 440). Тези задания обхващат 11 категории на потенциално вредоносна активност, включително измами, киберпрестъпления и тормоз.

По-долу са изброени категориите, разглеждани в AgentHarm:

• Измами (fraud) – финансови и други схеми за заблуда;
• Киберпрестъпления (cybercrime) – незаконни действия в цифровата сфера (пробиване на системи, кражба на данни и т.н.);
• Подтикване към самонараняване (self-harm) – съвети или помощ, вредящи на собственото здраве и живот;
• Тормоз и преследване (harassment) – преследване, обиди, заплахи срещу хора;
• Сексуални нарушения (sexual) – задания с непристойен или противозаконен сексуален характер;
• Нарушаване на авторски права (copyright) – помощ при пиратство, незаконно разпространение на съдържание;
• Наркотици (drugs) – съдействие при продажба, производство или разпространение на незаконни вещества;
• Дезинформация (disinformation) – създаване и разпространение на съзнателно невярна информация;
• Разпалване на омраза (hate) – пропаганда на враждебност, екстремистки идеи спрямо групи хора;
• Насилие (violence) – подготовка или извършване на актове на физическо насилие;
• Тероризъм (terrorism) – планиране на терористични актове, създаване на заплахи за държавната сигурност.

Всяко задание представлява явно вредоносна многоетапна заявка към агента, изискваща използването на различни външни инструменти за постигане на целта. Например предлага се да се генерира убедителна пропагандна публикация с невярна информация за дискредитиране на политици (категория „Дезинформация") или да се напише изходен код на уебсайт за анонимна онлайн търговия с наркотици (категория „Наркотици"). В сценариите на AgentHarm агентът може да използва широк набор от интегрирани функции (така наречените инструменти), имитиращи реални действия: от уеб търсене и изпращане на електронни писма до изпълнение на програмен код. Общо в заданията се използват над 100 различни виртуални инструмента, обхващащи разнообразни домейни (социални мрежи, онлайн магазини, API на услуги и др.).

За да се оцени именно готовността на модела да извършва вредоносни действия, всяко вредоносно задание е придружено от сдвоен с него безопасен (benign) сценарий на същата тема. В такъв „безобиден" вариант се запазват общите условия и многоетапният формат на задачата, но липсва противозаконната или вредоносната съставка. Това позволява да се сравнят способностите на агента да решава задачата по същество (например да планира и използва инструменти в определена област), като се изключи влиянието на морално-етичните филтри върху резултата.

Оценка на моделите

За изпитването на AgentHarm авторите привлякоха редица водещи езикови модели от различни разработчици. Сред тях са модели на OpenAI (GPT-3.5 Turbo и GPT-4), системи на Anthropic (семейството Claude 3), експериментални модели Google Gemini, а също и един от най-мощните отворени модели Mistral 2. Всеки модел беше стартиран в режим на агент, способен да използва инструменти, върху всички сценарии на benchmark-а.

Основните показатели за ефективност, използвани в оценката: Harm score (букв. „резултат от вреда") и дял на откази. Harm score отразява степента на успешност при изпълнението на вредоносното задание (например процентът от максимално възможния резултат, който агентът е постигнал при изпълнението на поставената незаконна цел). Делът на откази е процентът от случаите, в които моделът е отказал да изпълни заявката (дал е забраняващ или уклончив отговор вместо да реши задачата). Висока стойност на Harm score в съчетание с нисък процент на откази означава, че агентът е изпълнил почти всички изисквани опасни действия по сценария.

Експериментите са проведени в няколко режима. На първо място е проверено поведението на моделите без каквито и да е атаки — тоест при директно подаване на вредоносни инструкции, такива каквито са. След това за всеки агент е приложен универсален шаблон на атакуващ prompt („джейлбрейк"), добавян към потребителската заявка. Този допълнителен скрит текст е предназначен за заобикаляне на вградените филтри на модела (например подтиква към игнориране на правилата за модерация). Шаблонът на атаката е разработен на базата на известна уязвимост на чат-ботовете и с малки изменения е адаптиран за многоетапен агент.

Сравнявайки резултатите преди и след джейлбрейка, изследователите оценяват доколко намалява делът на откази при всеки модел и дали агентът запазва функционалните си възможности под въздействието на атаката. Допълнително авторите провеждат експерименти с „принудително използване" на инструменти, за да изключат тривиалните откази. А за анализ на запазването на уменията на модела е въведена метриката non-refusal harm score — ефективността при изпълнение на задачите, изчислена само по случаите, в които агентът не е отказал. Сравнението на non-refusal harm score при вредоносните задачи (след успешен пробив) с аналогичния показател при безобидните задачи позволява да се установи доколко джейлбрейкът влошава когнитивните и практическите способности на агента.

Резултати и установени закономерности

Основните изводи, направени от авторите въз основа на оценката на AgentHarm:

1. Дори водещите модели често се съгласяват с явно противоправни заявки без какъвто и да е пробив. Вградените средства за филтриране на съдържание работят ненадеждно: LLM-агентите нерядко се опитват да изпълнят вредоносната задача на потребителя вместо да я отклонят.
2. Прости универсални prompt-ове за „джейлбрейк" ефективно заобикалят защитата на моделите. Специално подбран низ, добавен към потребителската заявка, е способен да потисне стандартните откази. Дори мощни актуални модели се поддават на такава атака и започват безпрепятствено да следват вредоносните инструкции.
3. Пробитите агенти запазват функционалните си способности и изпълняват опасните действия последователно. След джейлбрейка моделите могат последователно да осъществяват многоетапни вредоносни операции, почти без да отстъпват по отношение на уменията в обичайния режим на работа. С други думи, атаката премахва етичните ограничения на модела, но не и способността му да планира и решава задачи.

Практическите резултати потвърдиха тези положения количествено. Без каквито и да е атаки много модели изпълниха неочаквано голяма част от опасните задания. Така OpenAI GPT-4 (в стандартна конфигурация) успешно се справи с около половината от сценариите на AgentHarm, отказвайки само ~49% от явно вредоносните заявки. Моделът на Anthropic Claude 3.5 първоначално проявява значително по-строга модерация: той отклони ~85% от забранените заявки и изпълни едва около 13,5% от заданията. Напротив, отвореният модел Mistral Large 2 практически не познава откази (само ~1% откази) и успешно изпълни над 82% от вредоносните задачи. Тези цифри свидетелстват, че настоящите методи за „обучение с подкрепление от обратна връзка от хора" (RLHF) и другите средства за alignment, прилагани в проприетарните системи, не предотвратяват напълно опасното поведение, особено в режим на агент.

Прилагането на универсалния джейлбрейк-prompt рязко увеличи дела на изпълнените вредоносни действия при всички модели. Например при GPT-4 след атаката Harm score се повиши от ~48% до ~73%, тоест моделът започна да завършва почти три четвърти от забранените задачи; делът на откази при това намаля до ~14%. При Claude 3.5 аналогично делът на изпълнените вредоносни заявки нарасна от около 13,5% до 68,7%, а честотата на отказите спадна от ~85% до ~17%. Особено показателен е примерът с Google Gemini: при една от версиите на този модел при атака нивото на откази намаля от ~78% до едва ~3,5%, което демонстрира практически пълно снемане на ограниченията на филтрирането. По този начин дори там, където без атака моделите по-често отказваха на потребителя, простото добавяне на специална подсказка им позволи безпрепятствено да решат голяма част от вредоносните задачи.

Важно е, че пробивът практически не влоши способностите на агентите да решават задачи. Авторите сравниха успеваемостта на моделите при вредоносните сценарии (при минимум откази) с тяхната успеваемост при аналогични безопасни задачи. Оказа се, че показателите почти съвпадат. Например при Claude 3.5 след джейлбрейка средният резултат при изпълнението на сложни многоетапни мисии е ~81,9%, което е съпоставимо с резултата му ~82% при безобидните версии на същите задачи. При GPT-4 аналогично: при почти пълна липса на откази успеваемостта му при вредоносните задания достигна ~84,2%, тоест практически се изравни с показателя при безопасните задачи (~84%). С други думи, снемането на ограниченията не „оглупява" модела и не му пречи да използва инструментите — агентът просто започва да прилага пълните си възможности в ущърб на сигурността. Този извод подчертава, че рисковете от злоупотреба са най-големи именно при най-мощните LLM, които, при пробив, са способни да изпълнят опасното изискване с висока ефективност.

Значение и приложение

Изследването AgentHarm разкри сериозни проблеми в съвременните подходи към безопасната интеграция на големи езикови модели в агенти. Показано е, че мерките за сигурност, действени в режим на чат-бот, не гарантират защита при многоходови задания с използване на инструменти. Дори модели, смятани за относително надеждно „изравнени" (например Claude), са лесно уязвими за прости заобикалящи маневри, и затова не могат да бъдат напълно доверени при автономното изпълнение на потенциално опасни действия. Авторите на труда отбелязват необходимостта от разработване на по-съвършени протоколи за сигурност и обучение на модели. По-специално, преди широкото внедряване на LLM-агенти в критични области се изисква да се осигури тяхната устойчивост срещу вредоносни входни данни и способността им да отказват изпълнението на явно противоправни команди.

Бenchmark-ът AgentHarm е публикуван в отворен достъп и е предназначен за по-нататъшни изследвания в областта на безопасността на ИИ. Наборът от задачи е достъпен на платформата Hugging Face, което позволява на разработчиците да тестват своите модели и защитни методи върху единен набор от вредоносни сценарии. При това част от заданията е оставена непубликувана (скрита) с оглед използването им за независима оценка на нови модели в бъдеще и предотвратяване на изтичането на съдържанието на benchmark-а в обучителни данни на големи модели. По този начин AgentHarm служи като важен инструмент за обективно измерване на рисковете, свързани с LLM-агентите, и стимулира разработването на по-надеждни методи за противодействие на злонамерени атаки в системите за изкуствен интелект.

Връзки

• Оригинална статия AgentHarm (arXiv)
• Статия за AgentHarm на сайта на Gray Swan AI
• Страница на dataset-а AgentHarm в Hugging Face
• Преглед на AgentHarm в GitHub UK government
• Преглед на AgentHarm в Emergent Mind

Литература

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.