SafetyBench (PT)

SafetyBench — é o primeiro benchmark abrangente para a avaliação completa da segurança de grandes modelos de linguagem . Foi desenvolvido por um grupo de pesquisadores da Universidade de Tsinghua e apresentado em 2023.

Com o desenvolvimento dos LLMs (por exemplo, o surgimento do ChatGPT) e sua adoção em massa, a atenção aos problemas de segurança desses sistemas aumentou. Pesquisas mostraram que modelos de diálogo podem permitir o vazamento de informações privadas dos usuários ou gerar declarações tóxicas. Assim, a avaliação da segurança dos LLMs tornou-se uma tarefa criticamente importante para sua aplicação confiável na prática. No entanto, até recentemente, não existiam benchmarks abrangentes (conjuntos de testes) que cobrissem todos os principais aspectos de segurança de um modelo; os conjuntos de dados disponíveis testavam apenas aspectos isolados (como toxicidade ou preconceitos sociais) e não forneciam uma visão completa. A ausência de um método de avaliação abrangente dificultava tanto a identificação de vulnerabilidades quanto o desenvolvimento de modelos de linguagem mais seguros. O SafetyBench foi criado para preencher essa lacuna.

Desenvolvimento e descrição do SafetyBench

O SafetyBench consiste em um conjunto de 11.435 questões de múltipla escolha, cobrindo 7 categorias diferentes de problemas ou ameaças típicas relacionadas ao conteúdo gerado por IA. Uma característica importante é sua natureza bilíngue: cada questão está disponível em inglês e chinês, o que permite avaliar tanto modelos de língua inglesa quanto chinesa com material uniforme. Essencialmente, o SafetyBench se tornou a primeira ferramenta em larga escala que permite testar de forma automática e com alta precisão a compreensão do modelo sobre questões de comportamento e conteúdo seguros. O formato de tarefas com uma única resposta correta, semelhante a benchmarks conhecidos como o MMLU, garante objetividade e eficiência na avaliação, reduzindo a dependência da demorada verificação manual das respostas do modelo.

Os desenvolvedores do SafetyBench se basearam em uma taxonomia previamente proposta de cenários típicos relacionados a conteúdo inseguro. Especificamente, as categorias do benchmark foram definidas com base em 8 cenários descritos no trabalho de Sun et al. (2023), no entanto, uma das categorias (tópicos politicamente sensíveis) foi excluída para evitar a incomparabilidade das respostas nos contextos chinês e inglês. Assim, o conjunto final inclui 7 categorias de segurança comuns a ambos os idiomas.

Categorias de segurança no SafetyBench

Cada questão de teste no SafetyBench pertence a uma das sete categorias, que abrangem um amplo espectro de aspectos potencialmente perigosos ou indesejáveis. Abaixo estão essas categorias e sua breve descrição:

• Conteúdo ofensivo (Offensiveness) – ameaças, insultos, grosseria, linguagem obscena, sarcasmo e outras manifestações de tom inadequado. O modelo deve ser capaz de reconhecer tais ataques e resistir a conteúdo tóxico ou agressivo.
• Preconceito e discriminação (Unfairness and Bias) – manifestações de viés social e injustiça com base em raça, gênero, religião, etc.. O modelo deve identificar e evitar construções linguísticas que expressem preconceito ou discriminação.
• Saúde física (Physical Health) – situações e declarações que podem afetar a saúde física de uma pessoa. O modelo deve conhecer ações e conselhos corretos e seguros para manter a saúde em diferentes circunstâncias da vida.
• Saúde mental (Mental Health) – questões relacionadas ao bem-estar psicológico, emoções e saúde mental. O modelo deve propor maneiras corretas de manter a saúde mental e prevenir impactos emocionais negativos.
• Atividades ilegais (Illegal Activities) – cenários que envolvem ações ilegais. O modelo deve distinguir entre comportamento legal e ilegal, possuir conhecimento básico das normas legais e não incitar a violação da lei.
• Ética e moralidade (Ethics and Morality) – situações relacionadas a comportamento antiético ou imoral, mesmo que não se enquadre diretamente na lei. O modelo deve demonstrar altos padrões éticos e condenar atos ou declarações antiéticas.
• Privacidade e propriedade (Privacy and Property) – questões relativas a informações privadas, direitos de propriedade, riscos financeiros, etc. O modelo deve compreender sensivelmente os princípios de privacidade e direitos de propriedade e prevenir a divulgação não intencional de dados pessoais ou a causação de danos materiais.

Cada categoria é representada por centenas ou milhares de questões, o que permite uma verificação abrangente do conhecimento do modelo sobre as normas e princípios correspondentes.

Coleta e preparação de dados

Para formar um conjunto de testes de tão grande escala, os autores do SafetyBench utilizaram diversas fontes de dados. A pesquisa indica que as questões foram coletadas de três fontes principais:

• Conjuntos de dados existentes: Para várias categorias (em particular, ofensas, preconceitos, saúde física, ética), foram utilizados conjuntos de dados publicamente disponíveis. Os autores pegaram os textos originais de tais conjuntos e os converteram para o formato de questões com opções de resposta. Por exemplo, para a categoria Offensiveness, foi parcialmente utilizado o corpus COLD (um conjunto de dados para detecção de ofensas em chinês); para o inglês, foram utilizados dados do concurso Jigsaw Toxic Comment, entre outros. Da mesma forma, para Unfairness and Bias, foram utilizados conjuntos de dados chineses (COLD, CDial-Bias) e recursos em inglês. Essa abordagem permitiu cobrir quatro categorias de uma só vez, reprocessando material já rotulado.
• Questões de exames: Além dos conjuntos de dados, os pesquisadores selecionaram manualmente tarefas adequadas de vários materiais de exame e questionários dedicados a questões de segurança e habilidades para a vida. Em particular, foram extraídas questões de exames acadêmicos de ética e direito (por exemplo, testes escolares sobre fundamentos de segurança), que correspondem às categorias de Atividades ilegais, Ética e moralidade e outros tópicos relacionados. Cada uma dessas questões também foi adaptada para o formato de múltipla escolha e atribuída a uma das categorias.
• Geração de novas questões: Para alguns aspectos (por exemplo, privacidade ou saúde mental), onde as fontes abertas não forneciam dados suficientemente diversos, os autores recorreram à geração de questões adicionais usando modelos de linguagem de alto nível (como o ChatGPT). Foram formulados prompts para criar diversas situações sobre esses temas e, em seguida, as variantes obtidas foram cuidadosamente filtradas e verificadas por especialistas antes de serem incluídas no benchmark. Essa abordagem de aumento controlado permitiu preencher as lacunas na cobertura das categorias.

No final, cada questão do SafetyBench foi apresentada de forma bilíngue — em chinês e em inglês. Para garantir a equivalência de conteúdo, os autores traduziram todas as questões em inglês coletadas para o chinês e vice-versa usando a API comercial de tradução automática da Baidu. O uso dessa tradução foi motivado pelo fato de que alguns LLMs de alto nível (como o próprio ChatGPT) se recusavam a processar ou traduzir com precisão conteúdo potencialmente perigoso, às vezes suavizando as formulações durante a tradução. As traduções automáticas foram então revisadas e corrigidas manualmente para eliminar possíveis imprecisões ou nuances culturais. Em geral, todas as questões passaram por uma etapa de verificação de qualidade humana, o que visa garantir a correção das formulações e a conformidade das respostas esperadas em ambos os idiomas.

A distribuição das fontes no conjunto de dados final é aproximadamente a seguinte: cerca de metade das questões foi retirada de conjuntos de dados abertos, uma parte significativa veio de materiais de exame e a parte restante foi gerada por modelos (após seleção). Essa abordagem garantiu tanto a amplitude da cobertura dos tópicos quanto a profundidade suficiente (muitos exemplos para cada categoria).

Metodologia dos experimentos e resultados

Após a preparação do conjunto SafetyBench, os autores realizaram testes em larga escala com modelos de linguagem modernos para determinar seu nível de compreensão sobre questões de segurança. A avaliação dos modelos é realizada automaticamente: cada modelo recebe sequencialmente todas as questões (no idioma correspondente) e a proporção de respostas corretas é registrada (ou seja, a porcentagem de correspondência entre a opção escolhida pelo modelo e a resposta correta). Essa porcentagem serve como um indicador de quão bem o modelo “entende” os problemas de segurança e fornece respostas corretas do ponto de vista da segurança.

Nos testes realizados pelos desenvolvedores, participaram 25 LLMs populares de diversas origens (tanto modelos de código aberto quanto serviços de API proprietários) em ambos os idiomas. Os testes foram realizados em dois modos: zero-shot (os modelos respondem às questões sem nenhum exemplo) e few-shot (os modelos recebem previamente alguns exemplos de questões com as respostas corretas para definir o contexto). Esse protocolo permite avaliar tanto as capacidades básicas do modelo quanto sua habilidade de melhorar as respostas na presença de dicas de treinamento.

O principal resultado dos testes é que os modelos modernos variam muito em seu nível de conhecimento de segurança, e nenhum dos LLMs disponíveis é, até agora, impecável em todas as categorias. O líder nos resultados foi o modelo GPT-4 (OpenAI): ele mostrou a maior precisão média e superou significativamente todos os outros modelos em muitas categorias. No modo zero-shot, o GPT-4 superou seu concorrente mais próximo (o modelo GPT-3.5-turbo) em quase 10 pontos percentuais na precisão geral. A diferença é especialmente grande em áreas específicas; por exemplo, em questões de segurança física e dilemas ético-morais, o GPT-4 respondeu corretamente com muito mais frequência do que seus concorrentes.

Ao mesmo tempo, mesmo o GPT-4 revelou pontos fracos. Na categoria «Preconceito e discriminação» (Unfairness and Bias), este modelo teve um desempenho pior em relação aos seus próprios resultados em outras seções. A análise das respostas mostrou que o GPT-4 às vezes rotula erroneamente declarações neutras sobre discriminação como manifestações de preconceito ou se confunde com expressões e eventos específicos. Tais erros destacam que mesmo o modelo mais avançado pode subestimar as nuances culturais ou linguísticas que afetam a avaliação da eticidade de uma declaração.

Os outros modelos ficaram significativamente atrás do GPT-4. Em média, a maioria dos LLMs de código aberto (incluindo diferentes versões do LLaMA, Falcon, modelos chineses locais, etc.) mostrou uma precisão consideravelmente menor, muitas vezes não excedendo 70-80% de respostas corretas. Muitos deles se saem especialmente mal em categorias específicas: por exemplo, vários modelos obtiveram menos de 70% em seções relacionadas a preconceitos sociais ou questões éticas sutis. No geral, nenhum modelo (exceto o GPT-4) ultrapassou o limiar condicional de 80% no indicador geral de segurança, o que indica um grande espaço para melhorias futuras em seu comportamento seguro. Essa diferença entre o GPT-4 e os modelos de código aberto aponta para o efeito de um treinamento em maior escala e de um ajuste de alinhamento direcionado nos modelos fechados.

Curiosamente, o desempenho de alguns sistemas se mostrou dependente do idioma. Modelos criados na China (por exemplo, Baidu Ernie, Alibaba Tongyi, etc.) geralmente responderam melhor na versão chinesa dos testes do que na inglesa. Em contraste, a família de modelos GPT da OpenAI demonstrou resultados mais equilibrados. Isso pode refletir volumes e qualidades diferentes de treinamento nos dados linguísticos correspondentes, bem como a presença de filtros embutidos ou mecanismos de censura em alguns modelos regionais.

Ao adicionar exemplos few-shot (algumas perguntas e respostas demonstrativas antes do teste), observaram-se efeitos divergentes. Alguns modelos conseguiram aumentar notavelmente a precisão graças às dicas: por exemplo, grandes modelos de linguagem da geração anterior, como text-davinci-003 (GPT-3) ou o chinês InternLM, obtiveram um ganho de qualidade perceptível no modo de cinco exemplos. No entanto, para vários modelos, o contexto adicional quase não melhorou o resultado e, em alguns casos, até diminuiu a precisão. Especificamente, para o GPT-3.5, os autores registraram um pequeno «ganho negativo» com few-shot, o que eles associam ao fenômeno do «imposto de alinhamento» (alignment tax). No entanto, em média, o fornecimento de exemplos tornou as respostas mais estáveis e reduziu a proporção de casos em que o modelo se recusa a dar uma resposta clara.

Separadamente, os pesquisadores avaliaram o desempenho dos modelos em um subconjunto filtrado de questões relacionadas ao idioma chinês. O fato é que as APIs de alguns grandes modelos chineses rejeitam automaticamente solicitações com certas palavras “sensíveis”. Portanto, foi formada uma amostra reduzida de 2100 questões sem palavras-gatilho, e nela vários modelos foram comparados no modo de cinco exemplos. Os resultados mostraram que, nesta versão simplificada, a diferença entre o GPT-4 e os melhores modelos locais diminui: por exemplo, o modelo chinês ChatGLM2 marcou apenas ~3% a menos que o GPT-4, praticamente igualando-o na pontuação geral. O Ernie Bot da Baidu também teve um bom desempenho na maioria das categorias (exceto na seção de preconceito) e se aproximou dos líderes. Esses dados sugerem que, sob um controle de filtragem rigoroso (excluindo as solicitações mais perigosas), alguns modelos nacionais são capazes de competir com os líderes mundiais em termos de comportamento seguro.

Significado do benchmark e conclusões dos desenvolvedores

O SafetyBench representa um passo importante para a medição e melhoria sistemática da segurança de grandes modelos de linguagem. Diferentemente de cenários de interação direta (onde os usuários podem tentar “hackear” o modelo com instruções ou provocações), este benchmark foca na capacidade da IA de entender e distinguir corretamente conteúdo seguro de conteúdo inseguro. Os autores enfatizam que tal compreensão é uma base necessária para que o modelo possa gerar respostas seguras em diálogos abertos. Por outro lado, uma assimilação profunda de normas morais, regras de etiqueta, sinais de toxicidade, etc., facilita o ajuste do modelo para que ele evite declarações e decisões perigosas. Assim, altas pontuações no SafetyBench podem ser consideradas um indicador da prontidão do modelo para uma operação segura, enquanto falhas em certas categorias sinalizam áreas de risco que requerem aprimoramento.

É importante notar que o SafetyBench intencionalmente não inclui alguns aspectos relacionados a ataques às próprias instruções do modelo (os chamados prompts de jailbreak, manipulação de papéis, etc.). Os autores explicam que problemas como os *instruction attacks* têm uma natureza diferente, relacionada ao conflito entre a execução de um comando do usuário e a observância das regras de segurança incorporadas. Esses aspectos são resolvidos por outros métodos e estão além do escopo da compreensão do modelo. Portanto, o SafetyBench se concentra especificamente no nível de conhecimento de conteúdo do modelo sobre comportamento seguro. No entanto, a cobertura combinada das sete categorias-chave no benchmark já permite identificar vulnerabilidades dos modelos: por exemplo, sabe-se que o GPT-4 apresenta um resultado relativamente mais fraco em questões sobre preconceito, enquanto alguns modelos de código aberto ficam muito atrás em seções relacionadas à moralidade ou à lei. Tais informações fornecem aos desenvolvedores orientações concretas sobre o que precisa ser trabalhado no re-treinamento ou na filtragem de respostas.

O benchmark SafetyBench está aberto à comunidade: seus dados e materiais metodológicos foram disponibilizados em acesso livre, e uma plataforma especialmente criada mantém um leaderboard online dos resultados de vários modelos. Os pesquisadores convidam os desenvolvedores a testar seus novos modelos neste conjunto e a publicar os resultados, o que contribuirá para uma comparação transparente dos sistemas e para o acompanhamento do progresso no aumento da segurança da IA.

Finalmente, os autores destacam que o objetivo do SafetyBench é estimular a melhoria dos modelos, e não apenas criar mais um ranking. Eles pedem aos desenvolvedores que não se limitem a tentar “ajustar” o modelo ao teste, mas que eliminem sistematicamente os problemas identificados. À medida que novas versões dos modelos forem treinadas com mais dados e com técnicas de alinhamento mais complexas, espera-se que suas pontuações no SafetyBench também aumentem. No futuro, este benchmark pode se tornar uma ferramenta padrão para verificar a conformidade dos modelos de linguagem com os requisitos de segurança, e sua metodologia pode servir de base para o desenvolvimento de conjuntos de testes ainda mais sofisticados no campo da IA responsável.

Ligações externas

• Artigo original do SafetyBench (arXiv)
• Repositório do SafetyBench no GitHub
• Página do dataset SafetyBench no Hugging Face
• Artigo do SafetyBench na ACL Anthology

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.