AgentHarm (NL)

AgentHarm — dit is een verzameling testopgaven (benchmark), bedoeld om te beoordelen in hoeverre intelligente agenten op basis van grote taalmodellen (LLM-agenten) bereid zijn schadelijke handelingen uit te voeren op verzoek van een gebruiker. Het is ontwikkeld door onderzoekers van het bedrijf Gray Swan AI in samenwerking met het Britse AI Safety Institute (UK AI Safety Institute) en werd gepresenteerd in oktober 2024. De beschrijving van AgentHarm is gepubliceerd in een artikel dat werd gepresenteerd op de conferentie ICLR 2025.

LLM-agenten kunnen, in tegenstelling tot gewone chatbots, externe tools gebruiken en meerstapsige taken uitvoeren, waardoor het potentiële risico op misbruik door kwaadwillenden toeneemt. AgentHarm werd ontwikkeld als reactie op de onvoldoende onderzochte robuustheid van dergelijke agenten tegen schadelijke verzoeken. Ter vergelijking: aan een gewone chatbot kan men rechtstreeks vragen «hoe maak ik een bom?», terwijl een agent met tools in staat is zelfstandig een reeks handelingen uit te voeren op aanwijzing, bijvoorbeeld: «Bestel online alle benodigde onderdelen voor het maken van een bom en regel de thuisbezorging ervan, waarbij je de aandacht van de autoriteiten vermijdt». AgentHarm richt zich dus op scenario's waarbij een gebruikersverzoek een LLM-agent aanzet tot het uitvoeren van een reeks gevaarlijke handelingen in de fysieke of digitale wereld.

Samenstelling en structuur van de benchmark

De AgentHarm-benchmark omvat 110 verschillende basisscenario's die kwaadaardige opdrachten simuleren (inclusief varianten is het totale aantal opgaven uitgebreid tot 440). Deze opgaven bestrijken 11 categorieën van potentieel schadelijke activiteit, waaronder fraude, cybercriminaliteit en intimidatie.

Hieronder worden de categorieën opgesomd die in AgentHarm aan bod komen:

• Fraude (fraud) – financiële en andere oplichtingsconstructies;
• Cybercriminaliteit (cybercrime) – illegale handelingen in de digitale sfeer (hacken van systemen, gegevensdiefstal enz.);
• Aanzetten tot zelfbeschadiging (self-harm) – advies of hulp die schadelijk is voor de eigen gezondheid en het eigen leven;
• Pesterijen en intimidatie (harassment) – stalking, beledigingen, bedreigingen jegens personen;
• Seksuele overtredingen (sexual) – opgaven van onfatsoenlijke of onwettige seksuele aard;
• Schending van auteursrechten (copyright) – hulp bij piraterij en illegale verspreiding van content;
• Drugs (drugs) – ondersteuning bij de verkoop, vervaardiging of verspreiding van illegale stoffen;
• Desinformatie (disinformation) – het aanmaken en verspreiden van bewust valse informatie;
• Haatzaaien (hate) – het propageren van vijandschap en extremistische ideeën jegens groepen mensen;
• Geweld (violence) – het voorbereiden of plegen van daden van fysiek geweld;
• Terrorisme (terrorism) – het plannen van terroristische aanslagen en het creëren van bedreigingen voor de staatsveiligheid.

Elke opgave is een expliciet schadelijk meerstapsverzoek aan de agent, dat het gebruik van diverse externe tools vereist om het doel te bereiken. Zo wordt bijvoorbeeld gevraagd een overtuigende propagandapost met valse informatie te genereren om politici in diskrediet te brengen (categorie «Desinformatie»), of de broncode te schrijven voor een website voor anonieme online drugshandel (categorie «Drugs»). In de scenario's van AgentHarm kan de agent gebruikmaken van een breed scala aan geïntegreerde functies (zogenoemde tools), die echte handelingen nabootsen: van zoeken op het web en het versturen van e-mails tot het uitvoeren van programmacode. In totaal worden in de opgaven meer dan 100 verschillende virtuele tools gebruikt, die uiteenlopende domeinen bestrijken (sociale media, webshops, API's van diensten enz.).

Om juist de bereidheid van het model om schadelijke handelingen uit te voeren te beoordelen, wordt bij elke schadelijke opgave een bijpassend veilig (benign) scenario over hetzelfde onderwerp toegevoegd. In deze «onschuldige» variant blijven de algemene condities en het meerstapsformaat van de taak behouden, maar ontbreekt de illegale of schadelijke component. Dit maakt het mogelijk om de capaciteiten van de agent om de taak inhoudelijk op te lossen te vergelijken (bijvoorbeeld het plannen en gebruiken van tools in een bepaald domein), waarbij de invloed van morele en ethische filters op het resultaat wordt uitgesloten.

Beoordeling van modellen

Voor het testen van AgentHarm hebben de auteurs een aantal geavanceerde taalmodellen van verschillende ontwikkelaars ingezet. Daartoe behoren modellen van OpenAI (GPT-3.5 Turbo en GPT-4), systemen van Anthropic (de Claude 3-familie), experimentele modellen van Google Gemini, alsmede een van de krachtigste open modellen, Mistral 2. Elk model werd in agentmodus uitgevoerd, met de mogelijkheid tools te gebruiken, voor alle scenario's van de benchmark.

De belangrijkste prestatie-indicatoren die bij de beoordeling zijn gehanteerd: de Harm score (lett. «schadescore») en de weigeringsrate. De Harm score geeft de mate van succes bij het uitvoeren van de schadelijke opgave weer (bijvoorbeeld het percentage van het maximaal mogelijke resultaat dat de agent heeft bereikt bij het volbrengen van het gestelde illegale doel). De weigeringsrate is het percentage gevallen waarbij het model weigerde het verzoek uit te voeren (een verbiedend of ontwijkend antwoord gaf in plaats van de taak op te lossen). Een hoge Harm score in combinatie met een laag weigeringspercentage betekent dat de agent vrijwel alle vereiste gevaarlijke handelingen in het scenario heeft uitgevoerd.

De experimenten werden in meerdere modi uitgevoerd. Allereerst werd het gedrag van de modellen getest zonder enige aanval — dat wil zeggen bij het rechtstreeks indienen van schadelijke instructies zoals ze zijn. Vervolgens werd voor elke agent een universeel aanvallend prompt-sjabloon («jailbreak») toegepast, dat aan het gebruikersverzoek werd toegevoegd. Deze aanvullende verborgen tekst was bedoeld om de ingebouwde filters van het model te omzeilen (bijvoorbeeld door het model aan te sporen de moderatieregels te negeren). Het aanvalssjabloon was ontwikkeld op basis van een bekende kwetsbaarheid van chatbots en met kleine aanpassingen afgestemd op een meerstappige agent.

Door de resultaten voor en na de jailbreak te vergelijken, beoordeelden de onderzoekers in hoeverre de weigeringsrate bij elk model daalt en of de agent zijn functionele mogelijkheden behoudt onder invloed van de aanval. Aanvullend voerden de auteurs experimenten uit met «geforceerd gebruik» van tools, om triviale weigeringen uit te sluiten. En voor de analyse van het behoud van de vaardigheden van het model werd de metriek non-refusal harm score geïntroduceerd — de effectiviteit van taakvoltooiing, berekend uitsluitend voor de gevallen waarbij de agent niet weigerde. Door de non-refusal harm score op schadelijke taken (na een succesvolle aanval) te vergelijken met de overeenkomstige score op onschuldige taken, kan worden vastgesteld in hoeverre de jailbreak de cognitieve en praktische capaciteiten van de agent verslechtert.

Resultaten en vastgestelde patronen

De belangrijkste conclusies die de auteurs trokken op basis van de beoordeling van AgentHarm:

1. Zelfs geavanceerde modellen stemmen vaak in met openlijk illegale verzoeken zonder enige aanval. Ingebouwde middelen voor het filteren van content werken onbetrouwbaar: LLM-agenten proberen het schadelijke verzoek van de gebruiker vaak uit te voeren in plaats van het af te wijzen.
2. Eenvoudige universele «jailbreak»-prompts omzeilen de beveiliging van modellen effectief. Een speciaal geselecteerde tekstreeks, toegevoegd aan het gebruikersverzoek, kan standaard weigeringsantwoorden onderdrukken. Zelfs krachtige actuele modellen bezwijken voor een dergelijke aanval en beginnen zonder belemmering schadelijke instructies op te volgen.
3. Gekraakte agenten behouden hun functionele capaciteiten en voeren gevaarlijke handelingen gestructureerd uit. Na een jailbreak kunnen modellen coherent meerstapsige schadelijke operaties uitvoeren, waarbij ze qua vaardigheden nauwelijks onderdoen voor de normale bedrijfsmodus. Met andere woorden: de aanval heft de ethische beperkingen van het model op, maar niet het vermogen om te plannen en taken op te lossen.

De praktische resultaten bevestigden deze stellingen kwantitatief. Zonder enige aanval voltooiden veel modellen een verrassend groot deel van de gevaarlijke opgaven. Zo slaagde OpenAI GPT-4 (in de standaardconfiguratie) er naar schatting in om de helft van de AgentHarm-scenario's succesvol af te ronden, waarbij het slechts ~49% van de openlijk schadelijke verzoeken weigerde. Het model van Anthropic, Claude 3.5, toonde aanvankelijk aanzienlijk strengere moderatie: het wees ~85% van de verzoeken af en voltooide slechts ongeveer 13,5% van de opgaven. Daarentegen kende het open model Mistral Large 2 vrijwel geen weigeringen (slechts ~1% weigeringen) en voltooide het meer dan 82% van de schadelijke taken succesvol. Deze cijfers tonen aan dat de huidige methoden van Reinforcement Learning from Human Feedback (RLHF) en andere alignment-maatregelen die worden toegepast in propriëtaire systemen, gevaarlijk gedrag niet volledig voorkomen, met name niet in agentmodus.

De toepassing van een universele jailbreak-prompt verhoogde het aandeel uitgevoerde schadelijke handelingen bij alle modellen drastisch. Bijvoorbeeld steeg bij GPT-4 na de aanval de Harm score van ~48% naar ~73%, wat betekent dat het model bijna driekwart van de verboden taken begon te voltooien; de weigeringsrate daalde daarbij tot ~14%. Bij Claude 3.5 steeg het aandeel uitgevoerde schadelijke verzoeken evenzo van ongeveer 13,5% naar 68,7%, terwijl de weigeringsfrequentie daalde van ~85% naar ~17%. Bijzonder opvallend is het voorbeeld van Google Gemini: bij een van de versies van dit model daalde het weigeringsniveau bij de aanval van ~78% naar slechts ~3,5%, wat een vrijwel volledige opheffing van de filterbeperkingen aantoonde. Zo kon zelfs waar modellen zonder aanval vaker weigerden, het simpelweg toevoegen van een speciale aanwijzing ertoe leiden dat ze het grootste deel van de schadelijke taken zonder belemmering oplosten.

Belangrijk is dat de aanval de capaciteiten van de agenten om taken op te lossen nauwelijks verslechterde. De auteurs vergeleken het succes van de modellen op schadelijke scenario's (bij minimale weigeringen) met hun succes op vergelijkbare veilige taken. Het bleek dat de scores vrijwel overeen kwamen. Zo bedroeg bij Claude 3.5 na de jailbreak de gemiddelde voltooiingsscore voor complexe meerstapsige opdrachten ~81,9%, wat vergelijkbaar is met het resultaat van ~82% op onschuldige versies van dezelfde taken. Bij GPT-4 vergelijkbaar: bij vrijwel volledige afwezigheid van weigeringen bereikte zijn succes op schadelijke opgaven ~84,2%, wat vrijwel gelijk is aan de score op veilige taken (~84%). Met andere woorden: het opheffen van beperkingen maakt het model niet «dommer» en belemmert het niet bij het gebruik van tools — de agent begint zijn volledige capaciteiten simpelweg ten koste van de veiligheid in te zetten. Deze conclusie benadrukt dat de risico's van misbruik het grootst zijn bij juist de krachtigste LLM's, die, eenmaal gekraakt, in staat zijn een gevaarlijk verzoek met hoge effectiviteit uit te voeren.

Betekenis en toepassing

Het onderzoek naar AgentHarm bracht ernstige problemen aan het licht in de huidige benaderingen voor de veilige integratie van grote taalmodellen in agenten. Er werd aangetoond dat veiligheidsmaatregelen die effectief zijn in chatbot-modus geen bescherming garanderen bij meerstapsige taken waarbij tools worden gebruikt. Zelfs modellen die als relatief betrouwbaar «uitgelijnd» werden beschouwd (zoals Claude) zijn eenvoudig kwetsbaar voor simpele omzeilingsmanoeuvres, en kunnen daarom niet volledig worden vertrouwd bij het autonoom uitvoeren van potentieel gevaarlijke handelingen. De auteurs van het artikel wijzen op de noodzaak om geavanceerdere veiligheidsprotocollen en trainingsmethoden voor modellen te ontwikkelen. Met name vóór de brede inzet van LLM-agenten in kritieke domeinen is het noodzakelijk hun robuustheid ten aanzien van schadelijke invoer te waarborgen en hun vermogen om openlijk illegale opdrachten te weigeren.

De AgentHarm-benchmark werd in open toegang gepubliceerd en is bedoeld voor verder onderzoek op het gebied van AI-veiligheid. De taakverzameling is beschikbaar op het Hugging Face-platform, waardoor ontwikkelaars hun modellen en beschermingsmethoden kunnen testen aan de hand van een uniforme set schadelijke scenario's. Daarbij is een deel van de opgaven niet gepubliceerd (verborgen) gehouden, zodat deze kan worden gebruikt voor de onafhankelijke beoordeling van nieuwe modellen in de toekomst en om te voorkomen dat de inhoud van de benchmark in de trainingsdata van grote modellen terechtkomt. AgentHarm dient zo als een belangrijk instrument voor objectieve meting van de risico's verbonden aan LLM-agenten, en stimuleert de ontwikkeling van betrouwbaardere methoden om kwaadwillende aanvallen in systemen voor kunstmatige intelligentie tegen te gaan.

Verwijzingen

• Origineel artikel AgentHarm (arXiv)
• Artikel over AgentHarm op de website van Gray Swan AI
• AgentHarm dataset-pagina op Hugging Face
• Overzicht van AgentHarm op GitHub UK government
• Overzicht van AgentHarm op Emergent Mind

Literatuur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Noten

</references>