SafetyBench (FR)

SafetyBench est le premier benchmark complet pour une évaluation approfondie de la sécurité des grands modèles de langage . Il a été développé par un groupe de chercheurs de l'Université Tsinghua et présenté en 2023.

Avec le développement des LLM (par exemple, l'apparition de ChatGPT) et leur adoption massive, l'attention portée aux problèmes de sécurité de ces systèmes s'est accrue. Des recherches ont montré que les modèles conversationnels peuvent provoquer des fuites d'informations privées d'utilisateurs ou générer des propos toxiques. Par conséquent, l'évaluation de la sécurité des LLM est devenue une tâche d'une importance capitale pour leur application fiable en pratique. Cependant, jusqu'à récemment, il n'existait pas de benchmarks complets (ensembles de tests) couvrant tous les aspects principaux de la sécurité d'un modèle ; les datasets disponibles ne vérifiaient que des aspects isolés (par exemple, la toxicité ou les préjugés sociaux) et ne donnaient pas une vue d'ensemble. L'absence d'une méthode d'évaluation exhaustive compliquait à la fois l'identification des vulnérabilités et le développement de modèles de langage plus sûrs. SafetyBench a été créé pour combler cette lacune.

Développement et description de SafetyBench

SafetyBench se compose d'un ensemble de 11 435 questions à choix multiples, couvrant 7 catégories différentes de problèmes ou de menaces typiques liées au contenu généré par l'IA. Une caractéristique importante est son aspect bilingue : chaque question est disponible en anglais et en chinois, ce qui permet d'évaluer les modèles anglophones et sinophones sur un matériel uniforme. Essentiellement, SafetyBench est devenu le premier outil à grande échelle permettant de tester automatiquement et avec une grande précision la compréhension par un modèle des questions de comportement et de contenu sécuritaires. Le format des tâches avec une seule bonne réponse, similaire à des benchmarks connus comme MMLU, assure l'objectivité et l'efficacité de l'évaluation, réduisant la dépendance à une vérification manuelle laborieuse des réponses du modèle.

Les développeurs de SafetyBench se sont appuyés sur une taxonomie de scénarios typiques liés aux contenus dangereux, proposée antérieurement. En particulier, les catégories du benchmark ont été définies sur la base de 8 scénarios décrits dans les travaux de Sun et al. (2023), mais l'une des catégories (les sujets politiquement sensibles) a été exclue pour éviter l'incomparabilité des réponses dans les contextes chinois et anglais. Ainsi, l'ensemble final comprend 7 catégories de sécurité communes aux deux langues.

Catégories de sécurité dans SafetyBench

Chaque question de test dans SafetyBench appartient à l'une des sept catégories, couvrant un large éventail d'aspects potentiellement dangereux ou indésirables. Vous trouverez ci-dessous ces catégories et leur brève description :

• Contenu offensant (Offensiveness) – menaces, insultes, grossièretés, langage obscène, sarcasme et autres manifestations d'un ton inapproprié. Le modèle doit être capable de reconnaître de telles attaques et de résister au contenu toxique ou agressif.
• Partialité et discrimination (Unfairness and Bias) – manifestations de biais social et d'injustice fondées sur la race, le sexe, la religion, etc.. Le modèle doit identifier et éviter les constructions linguistiques exprimant des préjugés ou de la discrimination.
• Santé physique (Physical Health) – situations et déclarations susceptibles d'affecter la santé physique d'une personne. Le modèle doit connaître les actions et conseils corrects et sûrs pour maintenir la santé dans diverses circonstances de la vie.
• Santé mentale (Mental Health) – questions liées au bien-être psychologique, aux émotions et à la santé mentale. Le modèle doit proposer des moyens corrects pour maintenir la santé mentale et prévenir les impacts émotionnels négatifs.
• Activités illégales (Illegal Activities) – scénarios impliquant des actes illégaux. Le modèle doit distinguer les comportements légaux et illégaux, posséder des connaissances de base sur les normes juridiques et ne pas inciter à la violation de la loi.
• Éthique et morale (Ethics and Morality) – situations liées à un comportement non éthique ou immoral, même s'il n'est pas directement illégal. Le modèle doit faire preuve de normes éthiques élevées et condamner les actes ou propos non éthiques.
• Confidentialité et propriété (Privacy and Property) – questions concernant les informations privées, le droit de propriété, les risques financiers, etc. Le modèle doit comprendre avec sensibilité les principes de confidentialité et les droits de propriété et empêcher la divulgation involontaire de données personnelles ou la cause de dommages matériels.

Chaque catégorie est représentée par des centaines ou des milliers de questions, ce qui permet de vérifier de manière exhaustive la connaissance par le modèle des normes et principes correspondants.

Collecte et préparation des données

Pour constituer un ensemble de tests aussi vaste, les auteurs de SafetyBench ont fait appel à des sources de données variées. L'étude indique que les questions ont été collectées à partir de trois sources principales :

• Datasets existants : Pour plusieurs catégories (notamment l'offense, les préjugés, la santé physique, l'éthique), des ensembles de données publiquement accessibles ont été utilisés. Les auteurs ont pris les textes sources de ces ensembles et les ont transformés en format de questions à choix multiples. Par exemple, pour la catégorie Offensiveness, le corpus COLD (un dataset de détection d'insultes en chinois) a été partiellement utilisé ; pour l'anglais, des données du concours Jigsaw Toxic Comment et d'autres ont été mobilisées. De même, pour Unfairness and Bias, des ensembles de données chinois (COLD, CDial-Bias) et des ressources anglophones ont été employés. Cette approche a permis de couvrir quatre catégories en réutilisant du matériel déjà annoté.
• Questions d'examen : En plus des datasets, les chercheurs ont sélectionné manuellement des questions appropriées à partir de divers supports d'examen et questionnaires consacrés aux questions de sécurité et aux compétences de vie. En particulier, des questions ont été extraites d'examens scolaires sur l'éthique et le droit (par exemple, des tests scolaires sur les principes de base de la sécurité), qui correspondent aux catégories Activités illégales, Éthique et morale et autres sujets connexes. Chacune de ces questions a également été mise au format de choix multiples et assignée à l'une des catégories.
• Génération de nouvelles questions : Pour certains aspects (par exemple, la confidentialité ou la santé mentale), où les sources ouvertes ne fournissaient pas suffisamment de données variées, les auteurs ont eu recours à la génération de questions supplémentaires à l'aide de modèles de langage de haut niveau (tels que ChatGPT). Des prompts ont été formulés pour créer diverses situations sur ces thèmes, après quoi les variantes obtenues ont été soigneusement filtrées et vérifiées par des experts avant d'être incluses dans le benchmark. Cette approche augmentée et contrôlée a permis de combler les lacunes dans la couverture des catégories.

Finalement, chaque question de SafetyBench a été présentée de manière bilingue — en chinois et en anglais. Pour garantir l'équivalence du contenu, les auteurs ont traduit toutes les questions anglaises collectées en chinois et vice versa à l'aide de l'API de traduction automatique commerciale de Baidu. L'utilisation de cette traduction s'explique par le fait que certains LLM de haut niveau (comme ChatGPT lui-même) refusaient de traiter ou de traduire avec précision du contenu potentiellement dangereux, atténuant parfois les formulations lors de la traduction. Les traductions automatiques ont ensuite été relues et corrigées manuellement pour éliminer les éventuelles inexactitudes ou nuances culturelles. Dans l'ensemble, toutes les questions ont passé une étape de vérification humaine de la qualité, ce qui vise à garantir la justesse des formulations et la correspondance des réponses attendues dans les deux langues.

La répartition des sources dans le dataset final est approximativement la suivante : environ la moitié des questions provient de datasets ouverts, une part importante des supports d'examen, et le reste a été généré par des modèles (après sélection). Cette approche a assuré à la fois une large couverture des thèmes et une profondeur suffisante (de nombreux exemples pour chaque catégorie).

Méthodologie expérimentale et résultats

Après avoir préparé l'ensemble de données SafetyBench, les auteurs ont mené des tests à grande échelle sur des modèles de langage modernes pour déterminer leur niveau de compréhension des questions de sécurité. L'évaluation des modèles est effectuée automatiquement : chaque modèle se voit poser successivement toutes les questions (dans la langue appropriée), et la proportion de réponses correctes est enregistrée (c'est-à-dire le pourcentage de correspondance entre l'option choisie par le modèle et la bonne réponse). Ce pourcentage sert d'indicateur de la capacité du modèle à "comprendre" les problèmes de sécurité et à fournir des réponses correctes de ce point de vue.

Les essais menés par les développeurs ont inclus 25 LLM populaires d'origines diverses (des modèles open source ainsi que des services API propriétaires) dans les deux langues. Les tests ont été effectués en deux modes : zero-shot (les modèles répondent aux questions sans aucun exemple) et few-shot (quelques exemples de questions avec les bonnes réponses sont montrés aux modèles au préalable pour définir le contexte). Ce protocole permet d'évaluer à la fois les capacités de base du modèle et sa capacité à améliorer ses réponses avec des indices d'apprentissage.

La principale conclusion des tests est que les modèles modernes varient considérablement en termes de connaissances en matière de sécurité, et aucun des LLM disponibles n'est encore parfait dans toutes les catégories. Le leader des résultats est le modèle GPT-4 (OpenAI) : il a montré la précision moyenne la plus élevée et a largement devancé tous les autres modèles dans de nombreuses catégories. En mode zero-shot, GPT-4 a surpassé son plus proche concurrent (le modèle GPT-3.5-turbo) de près de 10 points de pourcentage en précision globale. L'écart est particulièrement important dans certains domaines ; par exemple, sur les questions de sécurité physique et les dilemmes moraux et éthiques, GPT-4 a répondu correctement beaucoup plus souvent que ses concurrents.

Même GPT-4 a cependant révélé des points faibles. Dans la catégorie « Partialité et discrimination » (Unfairness and Bias), ce modèle a obtenu des résultats inférieurs à ses propres performances dans d'autres sections. L'analyse des réponses a montré que GPT-4 qualifie parfois à tort des déclarations neutres sur la discrimination comme des manifestations de préjugés, ou se trompe sur des expressions et des événements spécifiques. De telles erreurs soulignent que même le modèle le plus avancé peut sous-estimer les nuances culturelles ou linguistiques qui influencent l'évaluation de l'éthique d'une déclaration.

Les autres modèles sont loin derrière GPT-4. En moyenne, la plupart des LLM open source (y compris différentes versions de LLaMA, Falcon, des modèles chinois locaux, etc.) ont montré une précision nettement inférieure, ne dépassant souvent pas 70-80 % de réponses correctes. Beaucoup d'entre eux sont particulièrement faibles dans certaines catégories : par exemple, plusieurs modèles ont obtenu moins de 70 % dans les sections liées aux préjugés sociaux ou aux questions éthiques subtiles. Globalement, aucun modèle (à l'exception de GPT-4) n'a franchi le seuil conditionnel de 80 % sur l'indicateur global de sécurité, ce qui indique une grande marge de progression pour améliorer leur comportement sécuritaire. Cette différence entre GPT-4 et les modèles open source met en évidence l'effet d'un entraînement plus massif et d'un alignement ciblé sur les modèles fermés.

Il est intéressant de noter que la performance de certains systèmes s'est avérée dépendante de la langue. Les modèles créés en Chine (par exemple, Baidu Ernie, Alibaba Tongyi, etc.) ont généralement mieux répondu à la version chinoise des tests qu'à la version anglaise. En revanche, la famille de modèles GPT d'OpenAI a montré des résultats plus équilibrés. Cela peut refléter des volumes et une qualité différents de données d'entraînement dans les langues respectives, ainsi que la présence de filtres intégrés ou de mécanismes de censure dans certains modèles régionaux.

L'ajout d'exemples few-shot (quelques questions-réponses de démonstration avant le test) a produit des effets variés. Certains modèles ont pu améliorer considérablement leur précision grâce aux indices : par exemple, les grands modèles de langage de la génération précédente comme text-davinci-003 (GPT-3) ou le modèle chinois InternLM ont connu une augmentation notable de la qualité en mode cinq-shot. Cependant, pour plusieurs modèles, le contexte supplémentaire n'a presque pas amélioré le résultat, et dans certains cas, il a même diminué la précision. En particulier, pour GPT-3.5, les auteurs ont enregistré une légère « augmentation négative » en few-shot, qu'ils attribuent au phénomène de la « taxe d'alignement » (alignment tax). Néanmoins, en moyenne, la fourniture d'exemples a rendu les réponses plus stables et a réduit la proportion de cas où le modèle refuse de donner une réponse claire.

Les chercheurs ont également évalué séparément la performance des modèles sur un sous-ensemble filtré de questions concernant la langue chinoise. Le fait est que l'API de certains grands modèles chinois rejette automatiquement les requêtes contenant certains mots « sensibles ». Par conséquent, un échantillon réduit de 2100 questions sans mots déclencheurs a été formé, et sur lequel plusieurs modèles ont été comparés en mode cinq-shot. Les résultats ont montré que sur cette version allégée, l'écart entre GPT-4 et les meilleurs modèles locaux se réduit : par exemple, le modèle chinois ChatGLM2 n'a obtenu que ~3 % de moins que GPT-4, le rattrapant presque en termes de score total. De même, Ernie Bot de Baidu a bien performé dans la plupart des catégories (sauf la section sur la partialité) et s'est rapproché des leaders. Ces données suggèrent que sous un contrôle de filtrage strict (en excluant les requêtes les plus dangereuses), certains modèles nationaux sont capables de rivaliser avec les leaders mondiaux en matière de comportement sécuritaire.

Importance du benchmark et conclusions des développeurs

SafetyBench représente une étape importante vers la mesure systématique et l'amélioration de la sécurité des grands modèles de langage. Contrairement aux scénarios d'interaction directe (où les utilisateurs peuvent tenter de « pirater » le modèle avec des instructions ou des provocations), ce benchmark se concentre sur la capacité de l'IA à comprendre et distinguer correctement le contenu sûr du contenu dangereux. Les auteurs soulignent qu'une telle compréhension est un fondement nécessaire pour que le modèle puisse générer des réponses sûres dans des dialogues ouverts. Au contraire, une assimilation profonde des normes morales, des règles de l'étiquette, des signes de toxicité, etc., facilite l'ajustement du modèle pour qu'il évite les déclarations et les décisions dangereuses. Ainsi, des scores élevés sur SafetyBench peuvent être considérés comme un indicateur de la préparation du modèle à une exploitation sûre, tandis que les échecs dans certaines catégories signalent des zones de risque nécessitant des améliorations.

Il est important de noter que SafetyBench n'inclut délibérément pas certains aspects liés à l'attaque des instructions mêmes du modèle (les prompts dits de "jailbreak", la manipulation des rôles, etc.). Les auteurs expliquent que les problèmes de type "instruction attacks" ont une nature différente, liée au conflit entre l'exécution de la commande de l'utilisateur et le respect des règles de sécurité intégrées. Ces aspects sont traités par d'autres méthodes et dépassent le cadre de la compréhension du modèle. Par conséquent, SafetyBench se concentre spécifiquement sur le niveau de connaissance du modèle en matière de comportement sûr. Néanmoins, la couverture globale des sept catégories clés du benchmark permet déjà d'identifier les vulnérabilités des modèles : par exemple, il est connu que GPT-4 obtient des résultats relativement plus faibles sur les questions de partialité, et que certains modèles open source sont très en retard dans les sections liées à la morale ou à la loi. De telles informations donnent aux développeurs des orientations concrètes sur les aspects à améliorer lors de la formation continue ou du filtrage des réponses.

Le benchmark SafetyBench est ouvert à la communauté : ses données et ses supports méthodologiques sont disponibles en libre accès, et une plateforme spécialement créée maintient un classement en ligne (leaderboard) des résultats des différents modèles. Les chercheurs invitent les développeurs à tester leurs nouveaux modèles sur cet ensemble de données et à publier leurs résultats, ce qui contribuera à une comparaison transparente des systèmes et au suivi des progrès dans l'amélioration de la sécurité de l'IA.

Enfin, les auteurs soulignent que l'objectif de SafetyBench est de stimuler l'amélioration des modèles, et non simplement de créer un autre classement. Ils appellent les développeurs à ne pas se limiter à essayer d'« ajuster » le modèle au test, mais à éliminer systématiquement les problèmes identifiés. Au fur et à mesure que les nouvelles versions des modèles seront entraînées sur davantage de données, avec des techniques d'alignement plus complexes, on s'attend à une augmentation de leurs performances sur SafetyBench. À l'avenir, ce benchmark pourrait devenir un outil standard pour vérifier la conformité des modèles de langage aux exigences de sécurité, et sa méthodologie pourrait servir de base pour le développement d'ensembles de tests encore plus avancés dans le domaine de l'IA responsable.

Liens externes

• Article original de SafetyBench (arXiv)
• Dépôt SafetyBench sur GitHub
• Page du dataset SafetyBench sur Hugging Face
• Article SafetyBench sur ACL Anthology

Bibliographie

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.