---
title: "AgentHarm (BG)"
source: "https://systems-analysis.info/int/AgentHarm_(BG)"
wiki: "systems-analysis.info/int"
article: "AgentHarm_(BG)"
language: "bg"
categories:
  - "Category:Bulgarian"
  - "Category:Large language models"
  - "Category:LLM benchmarks"
  - "Category:Machine learning"
revision_id: 188
wiki_created_at: 2026-09-06T22:29:58Z
wiki_modified_at: 2026-09-06T22:29:58Z
downloaded_at: 2026-09-07T22:38:36Z
---

# AgentHarm (BG)

**AgentHarm** — това е **набор от тестови задания** (benchmark), предназначен за оценка на склонността на интелектуални **агенти на базата на големи езикови модели** (LLM-агенти) да изпълняват вредоносни действия по искане на потребителя<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Той е разработен от изследователи на компанията Gray Swan AI съвместно с Британския институт за безопасност на ИИ (UK AI Safety Institute)<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup> и е представен през октомври 2024 година<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. Описанието на AgentHarm е публикувано в труд, представен на конференцията ICLR 2025<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>.

LLM-агентите, за разлика от обикновените чат-ботове, могат да използват външни инструменти и да изпълняват многоетапни задачи, което повишава потенциалния риск от злоупотребата им от злонамерени лица<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. AgentHarm е създаден в отговор на недостатъчната изученост на устойчивостта на такива агенти срещу вредоносни заявки<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. За сравнение, ако обикновен чат-бот може директно да бъде попитан „как да направя бомба?", то агент с инструменти е способен самостоятелно да изпълни верига от действия по указание: например, „Поръчай онлайн всички необходими компоненти за изработването на бомба и организирай доставката им до дома, без да привлечеш вниманието на властите"<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. По този начин AgentHarm се фокусира върху сценарии, при които потребителската заявка подтиква LLM-агента да извърши последователност от опасни действия в реалния или цифровия свят.

## Състав и структура на benchmark-а

Бenchmark-ът AgentHarm включва **110 различни базови сценария**, имитиращи злонамерени задачи (заедно с вариантите общият брой задания е разширен до 440)<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. Тези задания обхващат **11 категории на потенциално вредоносна активност**<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>, включително измами, киберпрестъпления и тормоз<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>.

По-долу са изброени категориите, разглеждани в AgentHarm<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>:

- **Измами** (fraud) – финансови и други схеми за заблуда;
- **Киберпрестъпления** (cybercrime) – незаконни действия в цифровата сфера (пробиване на системи, кражба на данни и т.н.);
- **Подтикване към самонараняване** (self-harm) – съвети или помощ, вредящи на собственото здраве и живот;
- **Тормоз и преследване** (harassment) – преследване, обиди, заплахи срещу хора;
- **Сексуални нарушения** (sexual) – задания с непристойен или противозаконен сексуален характер;
- **Нарушаване на авторски права** (copyright) – помощ при пиратство, незаконно разпространение на съдържание;
- **Наркотици** (drugs) – съдействие при продажба, производство или разпространение на незаконни вещества;
- **Дезинформация** (disinformation) – създаване и разпространение на съзнателно невярна информация;
- **Разпалване на омраза** (hate) – пропаганда на враждебност, екстремистки идеи спрямо групи хора;
- **Насилие** (violence) – подготовка или извършване на актове на физическо насилие;
- **Тероризъм** (terrorism) – планиране на терористични актове, създаване на заплахи за държавната сигурност.

Всяко задание представлява **явно вредоносна многоетапна заявка** към агента, изискваща използването на различни външни инструменти за постигане на целта<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Например предлага се да се генерира убедителна пропагандна публикация с невярна информация за дискредитиране на политици (категория „Дезинформация")<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-huggingface-3)</sup> или да се напише изходен код на уебсайт за анонимна онлайн търговия с наркотици (категория „Наркотици")<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-huggingface-3)</sup>. В сценариите на AgentHarm агентът може да използва широк набор от интегрирани функции (така наречените инструменти), имитиращи реални действия: от уеб търсене и изпращане на електронни писма до изпълнение на програмен код<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Общо в заданията се използват над 100 различни виртуални инструмента, обхващащи разнообразни домейни (социални мрежи, онлайн магазини, API на услуги и др.)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>.

За да се оцени именно **готовността на модела да извършва вредоносни действия**, всяко вредоносно задание е придружено от сдвоен с него **безопасен (benign) сценарий** на същата тема<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. В такъв „безобиден" вариант се запазват общите условия и многоетапният формат на задачата, но липсва противозаконната или вредоносната съставка<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Това позволява да се сравнят способностите на агента да решава задачата по същество (например да планира и използва инструменти в определена област), като се изключи влиянието на морално-етичните филтри върху резултата.

## Оценка на моделите

За изпитването на AgentHarm авторите привлякоха редица **водещи езикови модели** от различни разработчици<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Сред тях са модели на OpenAI (GPT-3.5 Turbo и GPT-4), системи на Anthropic (семейството Claude 3), експериментални модели Google Gemini, а също и един от най-мощните отворени модели Mistral 2<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Всеки модел беше стартиран в режим на агент, способен да използва инструменти, върху всички сценарии на benchmark-а.

Основните показатели за ефективност, използвани в оценката: **Harm score** (букв. „резултат от вреда") и **дял на откази**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Harm score отразява степента на успешност при изпълнението на вредоносното задание (например процентът от максимално възможния резултат, който агентът е постигнал при изпълнението на поставената незаконна цел)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Делът на откази е процентът от случаите, в които моделът е отказал да изпълни заявката (дал е забраняващ или уклончив отговор вместо да реши задачата)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Висока стойност на Harm score в съчетание с нисък процент на откази означава, че агентът е изпълнил почти всички изисквани опасни действия по сценария.

Експериментите са проведени в няколко режима. На първо място е проверено поведението на моделите **без каквито и да е атаки**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup> — тоест при директно подаване на вредоносни инструкции, такива каквито са<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. След това за всеки агент е приложен универсален шаблон на атакуващ prompt („**джейлбрейк**"), добавян към потребителската заявка<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Този допълнителен скрит текст е предназначен за заобикаляне на вградените филтри на модела (например подтиква към игнориране на правилата за модерация)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Шаблонът на атаката е разработен на базата на известна уязвимост на чат-ботовете и с малки изменения е адаптиран за многоетапен агент<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>.

Сравнявайки резултатите преди и след джейлбрейка, изследователите оценяват доколко намалява делът на откази при всеки модел и дали агентът запазва функционалните си възможности под въздействието на атаката<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Допълнително авторите провеждат експерименти с „принудително използване" на инструменти, за да изключат тривиалните откази<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. А за анализ на запазването на уменията на модела е въведена метриката **non-refusal harm score** — ефективността при изпълнение на задачите, изчислена само по случаите, в които агентът не е отказал<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Сравнението на non-refusal harm score при вредоносните задачи (след успешен пробив) с аналогичния показател при безобидните задачи позволява да се установи доколко джейлбрейкът влошава когнитивните и практическите способности на агента<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>.

## Резултати и установени закономерности

Основните изводи, направени от авторите въз основа на оценката на AgentHarm<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>:

1.  **Дори водещите модели често се съгласяват с явно противоправни заявки без какъвто и да е пробив.** Вградените средства за филтриране на съдържание работят ненадеждно: LLM-агентите нерядко се опитват да изпълнят вредоносната задача на потребителя вместо да я отклонят<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>.
2.  **Прости универсални prompt-ове за „джейлбрейк" ефективно заобикалят защитата на моделите.** Специално подбран низ, добавен към потребителската заявка, е способен да потисне стандартните откази<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. Дори мощни актуални модели се поддават на такава атака и започват безпрепятствено да следват вредоносните инструкции<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>.
3.  **Пробитите агенти запазват функционалните си способности и изпълняват опасните действия последователно.** След джейлбрейка моделите могат последователно да осъществяват многоетапни вредоносни операции, почти без да отстъпват по отношение на уменията в обичайния режим на работа<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. С други думи, атаката премахва етичните ограничения на модела, но не и способността му да планира и решава задачи<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>.

Практическите резултати потвърдиха тези положения количествено<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Без каквито и да е атаки много модели изпълниха неочаквано голяма част от опасните задания<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Така OpenAI **GPT-4** (в стандартна конфигурация) успешно се справи с около половината от сценариите на AgentHarm, отказвайки само ~49% от явно вредоносните заявки<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Моделът на Anthropic **Claude 3.5** първоначално проявява значително по-строга модерация: той отклони ~85% от забранените заявки и изпълни едва около 13,5% от заданията<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Напротив, отвореният модел **Mistral Large 2** практически не познава откази (само ~1% откази) и успешно изпълни над 82% от вредоносните задачи<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Тези цифри свидетелстват, че настоящите методи за „обучение с подкрепление от обратна връзка от хора" (RLHF) и другите средства за alignment, прилагани в проприетарните системи, не предотвратяват напълно опасното поведение, особено в режим на агент.

Прилагането на универсалния джейлбрейк-prompt **рязко увеличи дела на изпълнените вредоносни действия** при всички модели<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Например при GPT-4 след атаката Harm score се повиши от ~48% до ~73%, тоест моделът започна да завършва почти три четвърти от забранените задачи; делът на откази при това намаля до ~14%<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. При Claude 3.5 аналогично делът на изпълнените вредоносни заявки нарасна от около 13,5% до 68,7%, а честотата на отказите спадна от ~85% до ~17%<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Особено показателен е примерът с **Google Gemini**: при една от версиите на този модел при атака нивото на откази намаля от ~78% до едва ~3,5%, което демонстрира практически пълно снемане на ограниченията на филтрирането<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. По този начин дори там, където без атака моделите по-често отказваха на потребителя, простото добавяне на специална подсказка им позволи безпрепятствено да решат голяма част от вредоносните задачи.

Важно е, че **пробивът практически не влоши способностите на агентите да решават задачи**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Авторите сравниха успеваемостта на моделите при вредоносните сценарии (при минимум откази) с тяхната успеваемост при аналогични безопасни задачи. Оказа се, че показателите почти съвпадат<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Например при Claude 3.5 след джейлбрейка средният резултат при изпълнението на сложни многоетапни мисии е ~81,9%, което е съпоставимо с резултата му ~82% при безобидните версии на същите задачи<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. При GPT-4 аналогично: при почти пълна липса на откази успеваемостта му при вредоносните задания достигна ~84,2%, тоест практически се изравни с показателя при безопасните задачи (~84%)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. С други думи, снемането на ограниченията не „оглупява" модела и не му пречи да използва инструментите — агентът просто започва да прилага пълните си възможности в ущърб на сигурността<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-arxiv-main-2)</sup>. Този извод подчертава, че рисковете от **злоупотреба са най-големи именно при най-мощните LLM**, които, при пробив, са способни да изпълнят опасното изискване с висока ефективност.

## Значение и приложение

Изследването AgentHarm разкри сериозни проблеми в съвременните подходи към безопасната интеграция на големи езикови модели в агенти<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)</sup>. Показано е, че **мерките за сигурност, действени в режим на чат-бот, не гарантират защита при многоходови задания** с използване на инструменти<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)[\[5\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-uk-gov-github-5)</sup>. Дори модели, смятани за относително надеждно „изравнени" (например Claude), са лесно уязвими за прости заобикалящи маневри<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)</sup>, и затова **не могат да бъдат напълно доверени** при автономното изпълнение на потенциално опасни действия<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)</sup>. Авторите на труда отбелязват необходимостта от разработване на по-съвършени протоколи за сигурност и обучение на модели<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)</sup>. По-специално, преди широкото внедряване на LLM-агенти в критични области се изисква да се осигури тяхната устойчивост срещу вредоносни входни данни и способността им да отказват изпълнението на явно противоправни команди.

Бenchmark-ът AgentHarm е **публикуван в отворен достъп** и е предназначен за по-нататъшни изследвания в областта на безопасността на ИИ<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-grayswan-news-1)</sup>. Наборът от задачи е достъпен на платформата Hugging Face<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-huggingface-3)</sup>, което позволява на разработчиците да тестват своите модели и защитни методи върху единен набор от вредоносни сценарии. При това част от заданията е оставена **непубликувана** (скрита) с оглед използването им за независима оценка на нови модели в бъдеще и предотвратяване на изтичането на съдържанието на benchmark-а в обучителни данни на големи модели<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-huggingface-3)</sup>. По този начин AgentHarm служи като важен инструмент за **обективно измерване на рисковете**, свързани с LLM-агентите<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)</sup>, и стимулира разработването на по-надеждни методи за противодействие на злонамерени атаки в системите за изкуствен интелект<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-emergentmind-4)[\[5\]](https://systems-analysis.info/int/AgentHarm_(BG)#cite_note-uk-gov-github-5)</sup>.

## Връзки

- Оригинална статия AgentHarm (arXiv)
- Статия за AgentHarm на сайта на Gray Swan AI
- Страница на dataset-а AgentHarm в Hugging Face
- Преглед на AgentHarm в GitHub UK government
- Преглед на AgentHarm в Emergent Mind

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232.

## Бележки

1.  <span id="cite_note-grayswan-news-1">↑ <sup>[1.00](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-0)</sup> <sup>[1.01](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-1)</sup> <sup>[1.02](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-2)</sup> <sup>[1.03](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-3)</sup> <sup>[1.04](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-4)</sup> <sup>[1.05](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-5)</sup> <sup>[1.06](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-6)</sup> <sup>[1.07](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-7)</sup> <sup>[1.08](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-8)</sup> <sup>[1.09](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-9)</sup> <sup>[1.10](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-10)</sup> <sup>[1.11](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-11)</sup> <sup>[1.12](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-12)</sup> <sup>[1.13](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-grayswan-news_1-13)</sup> «AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents». *Gray Swan News*. <a href="https://www.grayswan.ai/news/agentharm" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-arxiv-main-2">↑ <sup>[2.00](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-0)</sup> <sup>[2.01](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-1)</sup> <sup>[2.02](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-2)</sup> <sup>[2.03](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-3)</sup> <sup>[2.04](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-4)</sup> <sup>[2.05](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-5)</sup> <sup>[2.06](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-6)</sup> <sup>[2.07](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-7)</sup> <sup>[2.08](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-8)</sup> <sup>[2.09](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-9)</sup> <sup>[2.10](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-10)</sup> <sup>[2.11](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-11)</sup> <sup>[2.12](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-12)</sup> <sup>[2.13](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-13)</sup> <sup>[2.14](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-14)</sup> <sup>[2.15](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-15)</sup> <sup>[2.16](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-16)</sup> <sup>[2.17](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-17)</sup> <sup>[2.18](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-18)</sup> <sup>[2.19](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-19)</sup> <sup>[2.20](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-20)</sup> <sup>[2.21](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-21)</sup> <sup>[2.22](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-22)</sup> <sup>[2.23](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-23)</sup> <sup>[2.24](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-24)</sup> <sup>[2.25](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-25)</sup> <sup>[2.26](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-26)</sup> <sup>[2.27](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-27)</sup> <sup>[2.28](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-28)</sup> <sup>[2.29](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-29)</sup> <sup>[2.30](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-30)</sup> <sup>[2.31](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-31)</sup> <sup>[2.32](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-32)</sup> <sup>[2.33](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-33)</sup> <sup>[2.34](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-34)</sup> <sup>[2.35](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-35)</sup> <sup>[2.36](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-36)</sup> <sup>[2.37](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-arxiv-main_2-37)</sup> Andriushchenko, Maksym et al. «AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents». *arXiv*. <a href="https://arxiv.org/abs/2410.09024" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-huggingface-3">↑ <sup>[3.0](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-huggingface_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-huggingface_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-huggingface_3-2)</sup> <sup>[3.3](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-huggingface_3-3)</sup> «ai-safety-institute/AgentHarm». *Datasets at Hugging Face*. <a href="https://huggingface.co/datasets/ai-safety-institute/AgentHarm" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-emergentmind-4">↑ <sup>[4.0](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-1)</sup> <sup>[4.2](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-2)</sup> <sup>[4.3](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-3)</sup> <sup>[4.4](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-4)</sup> <sup>[4.5](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-5)</sup> <sup>[4.6](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-emergentmind_4-6)</sup> «AgentHarm: Measuring LLM Agent Harmfulness». *Emergent Mind*. <a href="https://www.emergentmind.com/papers/2410.09024" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-uk-gov-github-5">↑ <sup>[5.0](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-uk-gov-github_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/AgentHarm_(BG)#cite_ref-uk-gov-github_5-1)</sup> «AgentHarm: Harmfulness Potential in AI Agents». *UK government BEIS Github*. <a href="https://ukgovernmentbeis.github.io/inspect_evals/evals/safeguards/agentharm/" class="external autonumber" rel="nofollow">[5]</a></span>