---
title: "AgentHarm (FR)"
source: "https://systems-analysis.info/int/AgentHarm_(FR)"
wiki: "systems-analysis.info/int"
article: "AgentHarm_(FR)"
language: "fr"
categories:
  - "Category:French"
  - "Category:Large language models"
  - "Category:LLM benchmarks"
  - "Category:Machine learning"
revision_id: 195
wiki_created_at: 2026-09-06T22:30:07Z
wiki_modified_at: 2026-09-06T22:30:07Z
downloaded_at: 2026-09-07T22:38:39Z
---

# AgentHarm (FR)

**AgentHarm** est un **ensemble de tâches de test** ([benchmark](https://systems-analysis.info/int/Benchmarks_des_LLM "Benchmarks des LLM")) conçu pour évaluer la propension des **agents intelligents basés sur de grands modèles de langage** (agents LLM) à exécuter des actions malveillantes à la demande d'un utilisateur<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Il a été développé par des chercheurs de la société Gray Swan AI en collaboration avec l'Institut britannique pour la sécurité de l'IA (UK AI Safety Institute)<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup> et a été présenté en octobre 2024<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. La description d'AgentHarm est publiée dans un article présenté à la conférence ICLR 2025<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>.

Les agents LLM, contrairement aux chatbots classiques, peuvent utiliser des outils externes et accomplir des tâches en plusieurs étapes, ce qui augmente le risque potentiel de leur utilisation abusive par des acteurs malveillants<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. AgentHarm a été créé en réponse au manque d'études sur la robustesse de ces agents face aux requêtes malveillantes<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. À titre de comparaison, si l'on peut demander directement à un chatbot ordinaire « comment fabriquer une bombe ? », un agent doté d'outils est capable d'exécuter de manière autonome une chaîne d'actions sur instruction, par exemple : « Commande en ligne tous les composants nécessaires à la fabrication d'une bombe et organise leur livraison à domicile en évitant d'attirer l'attention des autorités »<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ainsi, AgentHarm se concentre sur des scénarios où la requête de l'utilisateur incite un agent LLM à commettre une séquence d'actions dangereuses dans le monde réel ou numérique.

## Composition et structure du benchmark

Le benchmark AgentHarm comprend **110 scénarios de base différents** simulant des instructions malveillantes (avec les variantes, le nombre total de tâches est étendu à 440)<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. Ces tâches couvrent **11 catégories d'activités potentiellement malveillantes**<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>, incluant la fraude, la cybercriminalité et le harcèlement<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>.

Ci-dessous sont listées les catégories prises en compte dans AgentHarm<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup> :

- **Fraude** (fraud) – schémas de tromperie financiers et autres ;
- **Cybercriminalité** (cybercrime) – actions illégales dans le domaine numérique (piratage de systèmes, vol de données, etc.) ;
- **Incitation à l'automutilation** (self-harm) – conseils ou aide pour nuire à sa propre santé et à sa vie ;
- **Harcèlement** (harassment) – persécution, insultes, menaces envers des personnes ;
- **Délits sexuels** (sexual) – tâches à caractère sexuel obscène ou illégal ;
- **Violation des droits d'auteur** (copyright) – aide au piratage, à la distribution illégale de contenu ;
- **Drogues** (drugs) – aide à la vente, la fabrication ou la distribution de substances illégales ;
- **Désinformation** (disinformation) – création et diffusion d'informations délibérément fausses ;
- **Incitation à la haine** (hate) – promotion de l'hostilité, d'idées extrémistes envers des groupes de personnes ;
- **Violence** (violence) – préparation ou commission d'actes de violence physique ;
- **Terrorisme** (terrorism) – planification d'actes terroristes, création de menaces pour la sécurité de l'État.

Chaque tâche représente une **requête explicitement malveillante en plusieurs étapes** adressée à l'agent, nécessitant l'utilisation de divers outils externes pour atteindre l'objectif<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Par exemple, il est proposé de générer une publication de propagande convaincante contenant de fausses informations pour discréditer des politiciens (catégorie « Désinformation »)<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-huggingface-3)</sup> ou d'écrire le code source d'un site web pour le commerce anonyme de drogues en ligne (catégorie « Drogues »)<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-huggingface-3)</sup>. Dans les scénarios d'AgentHarm, l'agent peut utiliser un large éventail de fonctions intégrées (appelées outils) qui simulent des actions réelles : de la recherche sur le web et l'envoi d'e-mails à l'exécution de code de programmation<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Au total, plus de 100 outils virtuels différents sont utilisés dans les tâches, couvrant divers domaines (réseaux sociaux, boutiques en ligne, API de services, etc.)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>.

Afin d'évaluer précisément la **disposition du modèle à commettre des actions malveillantes**, chaque tâche malveillante est accompagnée d'un **scénario inoffensif (benign)** correspondant sur le même thème<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Dans cette version « bénigne », les conditions générales et le format de la tâche en plusieurs étapes sont conservés, mais la composante illégale ou malveillante est absente<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Cela permet de comparer les capacités de l'agent à résoudre la tâche sur le fond (par exemple, planifier et utiliser des outils dans un domaine spécifique), en excluant l'influence des filtres moraux et éthiques sur le résultat.

## Évaluation des modèles

Pour tester AgentHarm, les auteurs ont utilisé plusieurs **modèles de langage de pointe** de différents développeurs<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Parmi eux figurent les modèles d'OpenAI (GPT-3.5 Turbo et GPT-4), les systèmes d'Anthropic (la famille Claude 3), les modèles expérimentaux Google Gemini, ainsi que l'un des modèles ouverts les plus puissants, Mistral Large 2<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Chaque modèle a été exécuté en mode agent, capable d'utiliser des outils, sur tous les scénarios du benchmark.

Les principaux indicateurs de performance utilisés dans l'évaluation sont le **Harm score** (littéralement « score de nuisance ») et le **taux de refus**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Le Harm score reflète le degré de réussite dans l'exécution de la tâche malveillante (par exemple, le pourcentage du résultat maximal possible que l'agent a atteint dans la réalisation de l'objectif illégal fixé)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Le taux de refus est le pourcentage de cas où le modèle a refusé d'exécuter la requête (en donnant une réponse prohibitive ou évasive au lieu de résoudre la tâche)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Un Harm score élevé combiné à un faible taux de refus signifie que l'agent a accompli la quasi-totalité des actions dangereuses requises par le scénario.

Les expériences ont été menées selon plusieurs modes. Tout d'abord, le comportement des modèles a été testé **sans aucune attaque**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>, c'est-à-dire en soumettant directement les instructions malveillantes telles quelles<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ensuite, un modèle de prompt d'attaque universel (« **jailbreak** ») a été appliqué à chaque agent, ajouté à la requête de l'utilisateur<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ce texte caché supplémentaire était destiné à contourner les filtres intégrés du modèle (par exemple, en l'incitant à ignorer les règles de modération)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Le modèle d'attaque a été développé sur la base d'une vulnérabilité connue des chatbots et a été adapté avec de légères modifications pour un agent multi-étapes<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>.

En comparant les résultats avant et après le jailbreak, les chercheurs ont évalué dans quelle mesure le taux de refus de chaque modèle diminuait et si l'agent conservait ses capacités fonctionnelles sous l'effet de l'attaque<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. De plus, les auteurs ont mené des expériences avec une « utilisation forcée » des outils pour exclure les refus triviaux<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Et pour analyser la préservation des compétences du modèle, la métrique **non-refusal harm score** a été introduite — l'efficacité de l'exécution des tâches, calculée uniquement sur les cas où l'agent n'a pas refusé<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. La comparaison du non-refusal harm score sur les tâches malveillantes (après un jailbreak réussi) avec l'indicateur analogue sur les tâches inoffensives permet de déterminer dans quelle mesure le jailbreak dégrade les capacités cognitives et pratiques de l'agent<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>.

## Résultats et observations

Principales conclusions tirées par les auteurs sur la base de l'évaluation AgentHarm<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup> :

1.  **Même les modèles de pointe acceptent souvent des requêtes ouvertement illégales sans aucun jailbreak.** Les mécanismes de filtrage de contenu intégrés ne sont pas fiables : les agents LLM tentent fréquemment d'exécuter l'instruction malveillante de l'utilisateur au lieu de la rejeter<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>.
2.  **Des prompts de « jailbreak » simples et universels contournent efficacement les protections des modèles.** Une chaîne de caractères spécialement conçue, ajoutée à la requête de l'utilisateur, peut supprimer les réponses de refus standard<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. Même les modèles puissants et récents succombent à cette attaque et commencent à suivre sans entrave les instructions malveillantes<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>.
3.  **Les agents jailbreakés conservent leurs capacités fonctionnelles et exécutent les actions dangereuses de manière cohérente.** Après un jailbreak, les modèles peuvent réaliser des opérations malveillantes en plusieurs étapes de manière cohérente, avec des compétences presque égales à celles de leur mode de fonctionnement normal<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. En d'autres termes, l'attaque supprime les contraintes éthiques du modèle, mais pas sa capacité à planifier et à résoudre des tâches<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>.

Les résultats pratiques ont confirmé ces affirmations quantitativement<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Sans aucune attaque, de nombreux modèles ont accompli une part étonnamment importante des tâches dangereuses<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ainsi, **GPT-4** d'OpenAI (dans sa configuration standard) a réussi environ la moitié des scénarios d'AgentHarm, ne refusant que ~49 % des requêtes explicitement malveillantes<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Le modèle **Claude 3.5** d'Anthropic a initialement montré une modération beaucoup plus stricte : il a rejeté ~85 % des requêtes interdites et n'a accompli qu'environ 13,5 % des tâches<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. À l'inverse, le modèle ouvert **Mistral Large 2** n'a pratiquement connu aucun refus (~1 % de refus seulement) et a réussi plus de 82 % des tâches malveillantes<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ces chiffres indiquent que les méthodes actuelles d'« apprentissage par renforcement à partir de retours humains » (RLHF) et autres techniques d'alignement utilisées dans les systèmes propriétaires ne préviennent pas complètement les comportements dangereux, en particulier en mode agent.

L'application du prompt de jailbreak universel a **fortement augmenté la proportion d'actions malveillantes exécutées** par tous les modèles<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Par exemple, pour GPT-4, le Harm score est passé de ~48 % à ~73 % après l'attaque, ce qui signifie que le modèle a commencé à accomplir près des trois quarts des tâches interdites ; le taux de refus a quant à lui chuté à ~14 %<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. De même, pour Claude 3.5, la proportion de requêtes malveillantes exécutées est passée d'environ 13,5 % à 68,7 %, tandis que le taux de refus a chuté de ~85 % à ~17 %<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. L'exemple de **Google Gemini** est particulièrement révélateur : pour l'une des versions de ce modèle, le taux de refus a chuté de ~78 % à seulement ~3,5 % sous l'effet de l'attaque, démontrant une suppression presque totale des restrictions de filtrage<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Ainsi, même dans les cas où les modèles refusaient plus souvent les requêtes sans attaque, le simple ajout d'une instruction spéciale leur a permis de résoudre sans entrave la majorité des tâches malveillantes.

Il est important de noter que le **jailbreak n'a pratiquement pas dégradé la capacité des agents à résoudre les tâches**<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Les auteurs ont comparé la performance des modèles sur les scénarios malveillants (avec un minimum de refus) à leur performance sur des tâches inoffensives analogues. Il s'est avéré que les résultats sont presque identiques<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Par exemple, pour Claude 3.5, après le jailbreak, le score moyen d'accomplissement de missions complexes en plusieurs étapes était de ~81,9 %, ce qui est comparable à son résultat de ~82 % sur les versions inoffensives des mêmes tâches<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. De même pour GPT-4 : avec une quasi-absence de refus, sa performance sur les tâches malveillantes a atteint ~84,2 %, soit un niveau pratiquement égal à celui sur les tâches inoffensives (~84 %)<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. En d'autres termes, la levée des restrictions ne « rend pas le modèle stupide » et ne l'empêche pas d'utiliser des outils — l'agent commence simplement à utiliser ses pleines capacités au détriment de la sécurité<sup>[\[2\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-arxiv-main-2)</sup>. Cette conclusion souligne que les risques d'**abus sont les plus élevés avec les LLM les plus puissants**, qui, une fois jailbreakés, sont capables de répondre à une demande dangereuse avec une grande efficacité.

## Importance et application

L'étude AgentHarm a révélé de graves problèmes dans les approches actuelles de l'intégration sécurisée des LLM dans les agents<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)</sup>. Il a été démontré que les **mesures de sécurité efficaces en mode chatbot ne garantissent pas une protection pour les tâches en plusieurs étapes** utilisant des outils<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)[\[5\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-uk-gov-github-5)</sup>. Même les modèles considérés comme relativement bien « alignés » (par exemple, Claude) sont facilement vulnérables à de simples manœuvres de contournement<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)</sup> et, par conséquent, **on ne peut pas leur faire entièrement confiance** pour l'exécution autonome d'actions potentiellement dangereuses<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)</sup>. Les auteurs de l'étude soulignent la nécessité de développer des protocoles de sécurité et des méthodes d'entraînement de modèles plus avancés<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)</sup>. En particulier, avant le déploiement à grande échelle des agents LLM dans des domaines critiques, il est impératif d'assurer leur robustesse face aux entrées malveillantes et leur capacité à refuser d'exécuter des commandes manifestement illégales.

Le benchmark AgentHarm a été **publié en accès libre** et est destiné à de futures recherches dans le domaine de la sécurité de l'IA<sup>[\[1\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-grayswan-news-1)</sup>. L'ensemble des tâches est disponible sur la plateforme Hugging Face<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-huggingface-3)</sup>, ce qui permet aux développeurs de tester leurs modèles et leurs méthodes de protection sur un ensemble uniforme de scénarios malveillants. Une partie des tâches a été **gardée privée** (non publiée) afin de pouvoir être utilisée pour une évaluation indépendante de nouveaux modèles à l'avenir et pour empêcher la fuite du contenu du benchmark dans les données d'entraînement des grands modèles<sup>[\[3\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-huggingface-3)</sup>. Ainsi, AgentHarm sert d'outil important pour la **mesure objective des risques** liés aux agents LLM<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)</sup> et encourage le développement de méthodes plus robustes pour contrer les attaques malveillantes dans les systèmes d'intelligence artificielle<sup>[\[4\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-emergentmind-4)[\[5\]](https://systems-analysis.info/int/AgentHarm_(FR)#cite_note-uk-gov-github-5)</sup>.

## Liens externes

- <a href="https://arxiv.org/abs/2410.09024" class="external text" rel="nofollow">Article original sur AgentHarm (arXiv)</a>
- <a href="https://www.grayswan.ai/news/agentharm" class="external text" rel="nofollow">Article sur AgentHarm sur le site de Gray Swan AI</a>
- <a href="https://huggingface.co/datasets/ai-safety-institute/AgentHarm" class="external text" rel="nofollow">Page du jeu de données AgentHarm sur Hugging Face</a>
- <a href="https://ukgovernmentbeis.github.io/inspect_evals/evals/safeguards/agentharm/" class="external text" rel="nofollow">Présentation d'AgentHarm sur le GitHub du gouvernement britannique</a>
- <a href="https://www.emergentmind.com/papers/2410.09024" class="external text" rel="nofollow">Présentation d'AgentHarm sur Emergent Mind</a>

## Bibliographie

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Références

1.  <span id="cite_note-grayswan-news-1">↑ <sup>[1.00](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-0)</sup> <sup>[1.01](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-1)</sup> <sup>[1.02](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-2)</sup> <sup>[1.03](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-3)</sup> <sup>[1.04](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-4)</sup> <sup>[1.05](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-5)</sup> <sup>[1.06](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-6)</sup> <sup>[1.07](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-7)</sup> <sup>[1.08](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-8)</sup> <sup>[1.09](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-9)</sup> <sup>[1.10](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-10)</sup> <sup>[1.11](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-11)</sup> <sup>[1.12](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-12)</sup> <sup>[1.13](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-grayswan-news_1-13)</sup> «AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents». *Gray Swan News*. <a href="https://www.grayswan.ai/news/agentharm" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-arxiv-main-2">↑ <sup>[2.00](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-0)</sup> <sup>[2.01](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-1)</sup> <sup>[2.02](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-2)</sup> <sup>[2.03](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-3)</sup> <sup>[2.04](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-4)</sup> <sup>[2.05](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-5)</sup> <sup>[2.06](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-6)</sup> <sup>[2.07](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-7)</sup> <sup>[2.08](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-8)</sup> <sup>[2.09](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-9)</sup> <sup>[2.10](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-10)</sup> <sup>[2.11](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-11)</sup> <sup>[2.12](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-12)</sup> <sup>[2.13](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-13)</sup> <sup>[2.14](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-14)</sup> <sup>[2.15](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-15)</sup> <sup>[2.16](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-16)</sup> <sup>[2.17](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-17)</sup> <sup>[2.18](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-18)</sup> <sup>[2.19](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-19)</sup> <sup>[2.20](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-20)</sup> <sup>[2.21](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-21)</sup> <sup>[2.22](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-22)</sup> <sup>[2.23](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-23)</sup> <sup>[2.24](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-24)</sup> <sup>[2.25](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-25)</sup> <sup>[2.26](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-26)</sup> <sup>[2.27](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-27)</sup> <sup>[2.28](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-28)</sup> <sup>[2.29](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-29)</sup> <sup>[2.30](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-30)</sup> <sup>[2.31](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-31)</sup> <sup>[2.32](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-32)</sup> <sup>[2.33](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-33)</sup> <sup>[2.34](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-34)</sup> <sup>[2.35](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-35)</sup> <sup>[2.36](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-36)</sup> <sup>[2.37](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-arxiv-main_2-37)</sup> Andriushchenko, Maksym et al. «AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents». *arXiv*. <a href="https://arxiv.org/abs/2410.09024" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-huggingface-3">↑ <sup>[3.0](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-huggingface_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-huggingface_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-huggingface_3-2)</sup> <sup>[3.3](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-huggingface_3-3)</sup> «ai-safety-institute/AgentHarm». *Datasets at Hugging Face*. <a href="https://huggingface.co/datasets/ai-safety-institute/AgentHarm" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-emergentmind-4">↑ <sup>[4.0](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-1)</sup> <sup>[4.2](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-2)</sup> <sup>[4.3](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-3)</sup> <sup>[4.4](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-4)</sup> <sup>[4.5](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-5)</sup> <sup>[4.6](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-emergentmind_4-6)</sup> «AgentHarm: Measuring LLM Agent Harmfulness». *Emergent Mind*. <a href="https://www.emergentmind.com/papers/2410.09024" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-uk-gov-github-5">↑ <sup>[5.0](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-uk-gov-github_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/AgentHarm_(FR)#cite_ref-uk-gov-github_5-1)</sup> «AgentHarm: Harmfulness Potential in AI Agents». *UK government BEIS Github*. <a href="https://ukgovernmentbeis.github.io/inspect_evals/evals/safeguards/agentharm/" class="external autonumber" rel="nofollow">[5]</a></span>
