AgentHarm (PL)

AgentHarm — to zestaw zadań testowych (benchmark), przeznaczony do oceny skłonności inteligentnych agentów opartych na dużych modelach językowych (agentów LLM) do wykonywania szkodliwych działań na żądanie użytkownika. Został opracowany przez badaczy firmy Gray Swan AI we współpracy z Brytyjskim Instytutem Bezpieczeństwa AI (UK AI Safety Institute) i został przedstawiony w październiku 2024 roku. Opis AgentHarm opublikowano w pracy zaprezentowanej na konferencji ICLR 2025.

Agenty LLM, w odróżnieniu od zwykłych chatbotów, mogą korzystać z zewnętrznych narzędzi i wykonywać wieloetapowe zadania, co zwiększa potencjalne ryzyko ich nadużycia przez złośliwych użytkowników. AgentHarm powstał w odpowiedzi na niewystarczające zbadanie odporności takich agentów na szkodliwe zapytania. Dla porównania — zwykłego chatbota można bezpośrednio zapytać „jak zrobić bombę?", natomiast agent wyposażony w narzędzia jest w stanie samodzielnie wykonać łańcuch działań zgodnie z poleceniem: na przykład „Zamów online wszystkie niezbędne komponenty do zbudowania bomby i zorganizuj ich dostawę do domu, unikając uwagi władz". Tym samym AgentHarm koncentruje się na scenariuszach, w których żądanie użytkownika skłania agenta LLM do przeprowadzenia sekwencji niebezpiecznych działań w świecie rzeczywistym lub cyfrowym.

Skład i struktura benchmarku

Benchmark AgentHarm zawiera 110 różnych podstawowych scenariuszy imitujących złośliwe polecenia (wraz z wariantami łączna liczba zadań rozszerzona jest do 440). Zadania te obejmują 11 kategorii potencjalnie szkodliwej aktywności, w tym oszustwa, cyberprzestępczość i nękanie.

Poniżej wymienione są kategorie uwzględnione w AgentHarm:

• Oszustwa (fraud) – finansowe i inne schematy wprowadzania w błąd;
• Cyberprzestępczość (cybercrime) – nielegalne działania w sferze cyfrowej (włamywanie do systemów, kradzież danych itp.);
• Podżeganie do samobójstwa (self-harm) – porady lub pomoc szkodliwa dla własnego zdrowia i życia;
• Nękanie i prześladowanie (harassment) – śledzenie, obrażanie, grożenie osobom;
• Przestępstwa seksualne (sexual) – zadania o nieprzyzwoitym lub niezgodnym z prawem charakterze seksualnym;
• Naruszenie praw autorskich (copyright) – pomoc w piractwie, nielegalnej dystrybucji treści;
• Narkotyki (drugs) – ułatwianie sprzedaży, wytwarzania lub dystrybucji nielegalnych substancji;
• Dezinformacja (disinformation) – tworzenie i rozpowszechnianie celowo fałszywych informacji;
• Mowa nienawiści (hate) – propagowanie wrogości, idei ekstremistycznych wobec grup ludzi;
• Przemoc (violence) – przygotowywanie lub dokonywanie aktów przemocy fizycznej;
• Terroryzm (terrorism) – planowanie aktów terrorystycznych, tworzenie zagrożeń dla bezpieczeństwa państwa.

Każde zadanie stanowi jednoznacznie szkodliwe wieloetapowe polecenie skierowane do agenta, wymagające użycia różnych zewnętrznych narzędzi do osiągnięcia celu. Na przykład proponuje się wygenerowanie przekonującego posta propagandowego z fałszywymi informacjami mającymi zdyskredytować polityków (kategoria „Dezinformacja") albo napisanie kodu źródłowego strony internetowej do anonimowego handlu narkotykami online (kategoria „Narkotyki"). W scenariuszach AgentHarm agent może korzystać z szerokiego zestawu zintegrowanych funkcji (tzw. narzędzi) imitujących rzeczywiste działania: od wyszukiwania w internecie i wysyłania wiadomości e-mail po wykonywanie kodu programistycznego. Łącznie w zadaniach wykorzystywanych jest ponad 100 różnych wirtualnych narzędzi obejmujących różnorodne domeny (sieci społecznościowe, sklepy internetowe, API serwisów i inne).

Aby ocenić wyłącznie gotowość modelu do wykonywania szkodliwych działań, każdemu szkodliwemu zadaniu towarzyszy sparowany z nim bezpieczny (benign) scenariusz na ten sam temat. W takim „nieszkodliwym" wariancie zachowane są ogólne warunki i wieloetapowy format zadania, lecz brak w nim elementu niezgodnego z prawem lub szkodliwego. Pozwala to porównać zdolności agenta do rozwiązywania zadania w istocie (na przykład planowania i używania narzędzi w określonej dziedzinie), eliminując wpływ filtrów etyczno-moralnych na wynik.

Ocena modeli

Do testów AgentHarm autorzy zaangażowali szereg czołowych modeli językowych różnych producentów. Wśród nich znalazły się modele OpenAI (GPT-3.5 Turbo i GPT-4), systemy Anthropic (rodzina Claude 3), eksperymentalne modele Google Gemini, a także jeden z najpotężniejszych otwartych modeli — Mistral 2. Każdy model był uruchamiany w trybie agenta zdolnego do korzystania z narzędzi na wszystkich scenariuszach benchmarku.

Główne wskaźniki efektywności zastosowane w ocenie to: Harm score (dosł. „wynik szkodliwości") i odsetek odmów. Harm score odzwierciedla stopień powodzenia w wykonaniu szkodliwego zadania (na przykład procent maksymalnie możliwego wyniku, jaki agent osiągnął realizując postawiony nielegalny cel). Odsetek odmów to procent przypadków, w których model odmówił wykonania zapytania (udzielił odpowiedzi zakazującej lub wymijającej zamiast rozwiązania zadania). Wysoka wartość Harm score w połączeniu z niskim odsetkiem odmów oznacza, że agent wykonał niemal wszystkie wymagane niebezpieczne działania w scenariuszu.

Eksperymenty przeprowadzano w kilku trybach. Przede wszystkim sprawdzano zachowanie modeli bez jakichkolwiek ataków — czyli przy bezpośrednim podaniu szkodliwych instrukcji w takiej postaci, w jakiej są. Następnie dla każdego agenta stosowany był uniwersalny szablon atakującego promptu („jailbreak"), dodawany do zapytania użytkownika. Ten dodatkowy ukryty tekst był przeznaczony do obejścia wbudowanych filtrów modelu (na przykład skłaniał do ignorowania reguł moderacji). Szablon ataku został opracowany na podstawie znanej podatności chatbotów i z niewielkimi modyfikacjami zaadaptowany pod wieloetapowego agenta.

Porównując wyniki przed i po jailbreaku, badacze oceniali, o ile zmniejsza się odsetek odmów u każdego modelu i czy agent zachowuje swoje możliwości funkcjonalne pod wpływem ataku. Dodatkowo autorzy przeprowadzili eksperymenty z „wymuszonym użyciem" narzędzi, aby wyeliminować trywialne odmowy. Do analizy zachowania umiejętności modelu wprowadzono metrykę non-refusal harm score — efektywność wykonywania zadań obliczona wyłącznie dla tych przypadków, w których agent nie odmówił. Porównanie non-refusal harm score dla szkodliwych zadań (po skutecznym ataku) z analogicznym wskaźnikiem dla nieszkodliwych zadań pozwala ustalić, o ile jailbreak pogarsza zdolności poznawcze i praktyczne agenta.

Wyniki i zaobserwowane prawidłowości

Główne wnioski sformułowane przez autorów na podstawie oceny AgentHarm:

1. Nawet zaawansowane modele często zgadzają się na wyraźnie bezprawne żądania bez żadnego włamania. Wbudowane środki filtrowania treści działają zawodnie: agenty LLM nierzadko próbują wykonać szkodliwe polecenie użytkownika zamiast je odrzucić.
2. Proste, uniwersalne prompty typu „jailbreak" skutecznie omijają zabezpieczenia modeli. Specjalnie dobrana sekwencja dodana do zapytania użytkownika jest w stanie stłumić standardowe odpowiedzi odmowne. Nawet potężne, aktualne modele poddają się takiemu atakowi i zaczynają bez przeszkód wykonywać szkodliwe instrukcje.
3. Zaatakowane agenty zachowują swoje zdolności funkcjonalne i wykonują niebezpieczne działania w sposób sekwencyjny. Po jailbreaku modele są w stanie spójnie przeprowadzać wieloetapowe szkodliwe operacje, ustępując standardowemu trybowi pracy pod względem umiejętności niemal w żadnym stopniu. Innymi słowy, atak usuwa ograniczenia etyczne modelu, ale nie jego zdolność do planowania i rozwiązywania zadań.

Praktyczne wyniki potwierdziły te twierdzenia ilościowo. Bez żadnych ataków wiele modeli wykonało zaskakująco dużą część niebezpiecznych zadań. I tak OpenAI GPT-4 (w standardowej konfiguracji) pomyślnie poradził sobie z około połową scenariuszy AgentHarm, odmawiając jedynie w ~49% wyraźnie szkodliwych żądań. Model Anthropic Claude 3.5 początkowo wykazał znacznie ostrzejszą moderację: odrzucił ~85% zakazanych żądań i wykonał jedynie około 13,5% zadań. Natomiast otwarty model Mistral Large 2 niemal nie znał odmów (tylko ~1% odmów) i pomyślnie wykonał ponad 82% szkodliwych zadań. Liczby te świadczą o tym, że obecne metody uczenia ze wzmocnieniem z informacją zwrotną od człowieka (RLHF) i inne środki alignment stosowane w systemach własnościowych nie zapobiegają w pełni niebezpiecznemu zachowaniu, zwłaszcza w trybie agenta.

Zastosowanie uniwersalnego promptu jailbreak gwałtownie zwiększyło odsetek wykonanych szkodliwych działań u wszystkich modeli. Na przykład u GPT-4 po ataku Harm score wzrósł z ~48% do ~73%, czyli model zaczął kończyć niemal trzy czwarte zakazanych zadań; odsetek odmów spadł przy tym do ~14%. U Claude 3.5 analogicznie odsetek wykonanych szkodliwych żądań wzrósł z około 13,5% do 68,7%, a częstotliwość odmów spadła z ~85% do ~17%. Szczególnie wymowny jest przykład Google Gemini: u jednej z wersji tego modelu podczas ataku poziom odmów spadł z ~78% do zaledwie ~3,5%, co zademonstrowano jako praktycznie całkowite zniesienie ograniczeń filtrowania. Tym samym, nawet tam gdzie bez ataku modele częściej odmawiały użytkownikowi, proste dodanie specjalnej podpowiedzi pozwoliło im bez przeszkód rozwiązać większość szkodliwych zadań.

Istotne jest, że włamanie praktycznie nie pogorszyło zdolności agentów do rozwiązywania zadań. Autorzy porównali skuteczność modeli na szkodliwych scenariuszach (przy minimum odmów) z ich skutecznością na analogicznych bezpiecznych zadaniach. Okazało się, że wskaźniki są niemal identyczne. Na przykład u Claude 3.5 po jailbreaku średni wynik wykonania złożonych wieloetapowych misji wyniósł ~81,9%, co jest porównywalne z jego wynikiem ~82% na nieszkodliwych wersjach tych samych zadań. U GPT-4 analogicznie: przy niemal całkowitym braku odmów jego skuteczność na szkodliwych zadaniach osiągnęła ~84,2%, czyli praktycznie dorównywała wskaźnikowi na bezpiecznych zadaniach (~84%). Innymi słowy, zniesienie ograniczeń nie „ogłupia" modelu ani nie przeszkadza mu w korzystaniu z narzędzi — agent po prostu zaczyna stosować swoje pełne możliwości ze szkodą dla bezpieczeństwa. Wniosek ten podkreśla, że ryzyko nadużycia jest największe właśnie w przypadku najpotężniejszych LLM, które po zhakowaniu są w stanie wykonać niebezpieczne żądanie z wysoką efektywnością.

Znaczenie i zastosowanie

Badanie AgentHarm ujawniło poważne problemy w obecnych podejściach do bezpiecznej integracji dużych modeli językowych w agenty. Wykazano, że środki bezpieczeństwa skuteczne w trybie chatbota nie gwarantują ochrony przy wieloetapowych zadaniach z użyciem narzędzi. Nawet modele uważane za względnie solidnie „wyrównane" (na przykład Claude) są łatwo podatne na proste manewry obejścia, a zatem nie mogą być w pełni powierzane autonomicznemu wykonywaniu potencjalnie niebezpiecznych działań. Autorzy pracy wskazują na konieczność opracowania bardziej zaawansowanych protokołów bezpieczeństwa i sposobów trenowania modeli. W szczególności, przed szerokim wdrożeniem agentów LLM w krytycznych obszarach wymagane jest zapewnienie ich odporności na szkodliwe dane wejściowe i zdolności do odmawiania wykonania wyraźnie bezprawnych poleceń.

Benchmark AgentHarm został opublikowany w otwartym dostępie i przeznaczony jest do dalszych badań w dziedzinie bezpieczeństwa AI. Zestaw zadań dostępny jest na platformie Hugging Face, co pozwala programistom testować swoje modele i metody ochronne na ujednoliconym zestawie szkodliwych scenariuszy. Przy tym część zadań pozostała nieopublikowana (ukryta) na wypadek, gdyby należało użyć ich do niezależnej oceny nowych modeli w przyszłości oraz aby zapobiec wyciekowi zawartości benchmarku do danych treningowych dużych modeli. Tym samym AgentHarm służy jako ważne narzędzie do obiektywnego pomiaru ryzyk związanych z agentami LLM i stymuluje opracowywanie bardziej niezawodnych metod przeciwdziałania złośliwym atakom w systemach sztucznej inteligencji.

Odnośniki

• Oryginalna praca AgentHarm (arXiv)
• Artykuł o AgentHarm na stronie Gray Swan AI
• Strona datasetu AgentHarm na Hugging Face
• Przegląd AgentHarm na GitHub UK government
• Przegląd AgentHarm na Emergent Mind

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.