PromptRobust (benchmark) (PT)

PromptRobust (também conhecido como PromptBench) é um benchmark abrangente para avaliar a robustez de modelos de linguagem grandes (LLMs) a modificações adversárias no prompt — pequenas distorções na formulação da tarefa que não alteram seu significado. O benchmark foi desenvolvido em 2023 por um grupo de pesquisadores (Kaijie Zhu et al.) da Microsoft Research Asia. O surgimento do PromptRobust é motivado pela observação de que os LLMs modernos são sensíveis aos detalhes da formulação: até mesmo alterações insignificantes (por exemplo, erros de digitação ou paráfrases) podem afetar notavelmente as respostas dos modelos. O benchmark visa medir quantitativamente essa vulnerabilidade e promover o desenvolvimento de métodos mais confiáveis para interagir com LLMs.

Metodologia de Avaliação

No âmbito da pesquisa do PromptBench, foi criado um corpus de 4.788 prompts modificados que preservam o sentido original das tarefas. Esses prompts adversários foram gerados em quatro níveis de complexidade de modificação:

• Nível de caractere: Introdução de erros de digitação, substituição ou permutação de caracteres (simulando erros de entrada aleatórios).
• Nível de palavra: Substituição de algumas palavras por sinônimos, introdução de palavras de "ruído" ou outras pequenas alterações lexicais.
• Nível de sentença: Parafraseamento da estrutura das sentenças, adição ou reorganização de partes da frase sem alterar o tema geral.
• Nível semântico: Reformulação mais profunda do prompt, mantendo sua tarefa (por exemplo, formulações alternativas da mesma pergunta).

O objetivo de tais "ataques" é verificar como pequenos desvios (por exemplo, erros de digitação aleatórios ou o uso de formulações sinônimas) afetam a capacidade do modelo de executar a tarefa corretamente, embora a tarefa em si não tenha mudado. Cada prompt adversário gerado foi aplicado a uma série de tarefas padrão de NLP, incluindo análise de sentimento, identificação de correção gramatical, detecção de sentenças duplicadas, inferência lógica (NLI), compreensão de leitura, tradução automática e resolução de problemas matemáticos. Para os experimentos, foram selecionados 8 tipos diferentes de tarefas em 13 conjuntos de dados — desde os conjuntos clássicos GLUE (por exemplo, SST-2 para sentimento, MNLI para NLI) até testes matemáticos e multilíngues especializados.

É importante notar que a robustez de diferentes formatos de prompt foi testada:

• Prompts diretos sem exemplos (zero-shot, apenas a instrução).
• Prompts com alguns exemplos (few-shot, quando o prompt fornece exemplos de solução).
• Prompts com papéis (in-context roles, por exemplo, "Você é um sistema de análise de sentimento, determine...").
• Prompts que descrevem a tarefa (task-oriented, descrição direta da tarefa).

Também foram testados vários modelos de linguagem de grande escala, desde o relativamente pequeno Flan-T5-large e o modelo UL2 até os avançados ChatGPT e GPT-4, bem como modelos de código aberto da família LLaMA 2 e seu derivado Vicuna. Para gerar os ataques, foram utilizados métodos existentes da área de NLP adversário (como TextBugger, DeepWordBug, TextFooler, etc.), adaptados para modificar os prompts em vez dos dados de entrada. A correção dos prompts "distorcidos" resultantes foi verificada por métodos automáticos e manuais; segundo o relatório, pelo menos 85% das variações adversárias mantêm a semântica correta e são compreensíveis para um ser humano. Assim, o impacto dos ataques reflete falhas do modelo na percepção da tarefa parafraseada, e não a perda do significado da tarefa em si.

Resultados e Conclusões

Os testes mostraram que os LLMs modernos não são suficientemente robustos a pequenas alterações na formulação do prompt. Para todos os modelos testados, observou-se uma queda significativa na qualidade das respostas sob a influência dos ataques gerados. Em particular, mesmo casos simples — como um erro de digitação no texto de um problema matemático ou a substituição de uma palavra-chave por seu sinônimo — levaram o modelo a dar uma resposta incorreta, embora ele a resolvesse corretamente sem a distorção. A conclusão geral dos autores é: "os modelos de linguagem grandes modernos não são robustos a prompts adversários", ou seja, pequenos desvios na formulação podem sistematicamente induzi-los ao erro.

Ao analisar os diferentes tipos de ataques, descobriu-se que as modificações no nível de palavra foram as que mais prejudicaram o desempenho dos LLMs. A substituição de palavras por sinônimos ou pequenas distorções morfológicas levaram à maior queda de qualidade — em média, ≈33% em relação ao resultado original nas mesmas tarefas. Ataques no nível de caractere (erros de digitação, caracteres aleatórios) causaram uma redução média de ~20% na precisão. Por outro lado, a alteração qualitativa ou a adição de sentenças inteiras ao prompt tiveram um efeito muito mais fraco, quase não confundindo o modelo. O parafraseamento semântico (recontar o prompt de forma profunda e diferente) mostrou-se comparável em termos de dano a simples erros de digitação. Esses fatos destacam que os LLMs são especialmente vulneráveis a sutis alterações lexicais e erros em palavras-chave. É característico que distorções gramaticais (erros de digitação) possam, teoricamente, ser filtradas por ferramentas padrão de verificação ortográfica, enquanto alterações no nível de palavra e de significado exigem que o modelo tenha uma compreensão semântica desenvolvida, algo que frequentemente falta nos modelos atuais.

A análise do desempenho de diferentes modelos mostrou uma variação significativa em sua robustez. GPT-4 e UL2 demonstraram a melhor resistência a prompts adversários. Um pouco menos suscetíveis a falhas foram o modelo Flan-T5-large e o modelo de diálogo ChatGPT. Os modelos da família LLaMA 2 ficaram em uma posição intermediária, enquanto o Vicuna (13B) se destacou como o mais vulnerável a todos os tipos de ataques. Curiosamente, o tamanho do modelo não se mostrou um fator decisivo para a robustez: o relativamente pequeno T5-large teve uma estabilidade de resposta praticamente igual à do modelo muito maior ChatGPT. Os autores sugerem que os métodos de treinamento e de ajuste fino dos modelos desempenham um papel fundamental, e não apenas a escala. Por exemplo, UL2 e T5-large passaram por um pré-treinamento extenso em grandes corpos de dados, e o ChatGPT foi treinado com reforço a partir do feedback humano (RLHF), o que pode ter fortalecido sua robustez. Em contraste, o Vicuna foi treinado em um conjunto de dados comparativamente limitado (como uma réplica de código aberto), o que provavelmente explica sua alta sensibilidade a mudanças na formulação. Esses resultados indicam que a melhoria dos métodos de ajuste fino (fine-tuning) pode aumentar a confiabilidade dos modelos mais do que simplesmente aumentar seus tamanhos.

Influência do formato do prompt

O formato de apresentação do prompt também afeta a confiabilidade da resposta. Foi estabelecido que prompts com exemplos (few-shot) aumentam significativamente a robustez do modelo em comparação com instruções de uma etapa sem exemplos (zero-shot). A presença de vários exemplos demonstrativos da tarefa no prompt ajuda o modelo a interpretar a tarefa com mais precisão, mesmo com a presença de alterações ruidosas. Prompts com papéis e os descritivos (task-oriented) mostraram um nível de robustez comparável em geral, embora sua eficácia variasse de tarefa para tarefa. Por exemplo, nos dados de análise de sentimento e de sentenças duplicadas, o formato de papel foi um pouco mais confiável, enquanto nas tarefas de compreensão de leitura e tradução, as instruções explícitas da tarefa funcionaram melhor. Essas observações podem servir como um guia ao projetar prompts: adicionar exemplos detalhados e contexto de papel reduz a probabilidade de erro do modelo em formulações não padronizadas.

Transferibilidade de ataques entre modelos

A transferibilidade (transfer) de ataques entre modelos mostrou-se limitada. Prompts adversários, especialmente criados contra um modelo, nem sempre são igualmente eficazes contra outro. Foi observado, por exemplo, que prompts "armadilha" gerados para as vulnerabilidades do ChatGPT têm um efeito muito mais fraco no GPT-4. Este último se saiu melhor, provavelmente porque os ataques não se transferiram diretamente para sua arquitetura — o que confunde um modelo pode não afetar um modelo mais avançado com um treinamento diferente. No entanto, alguns tipos de distorções simples (como erros de digitação) tiveram um efeito negativo em vários modelos simultaneamente, o que sugere pontos fracos semelhantes em sua base linguística.

Recomendações práticas

Durante o trabalho no PromptBench, foram identificadas recomendações práticas para usuários e desenvolvedores de LLMs. A conclusão simples é: a estabilidade da formulação importa. É necessário evitar erros de digitação e formulações descuidadas no prompt. Os autores mostram que corrigir até mesmo pequenos erros (ortografia, capitalização aleatória, espaços extras) pode aumentar significativamente a confiabilidade da resposta do modelo. Além disso, a escolha das palavras na instrução afeta sua robustez. A análise da frequência de termos em prompts robustos vs. vulneráveis revelou que algumas palavras aparecem mais frequentemente em prompts "confiáveis", enquanto outras são encontradas naqueles em que o modelo falhou. Por exemplo, prompts contendo palavras como "acting", "provided", "detection", etc., resultaram em falhas com menos frequência, enquanto palavras como "respond" ("responda"), "following" ("seguinte") ou "examine" ("examine") foram encontradas em casos mais problemáticos. Isso indica que um certo estilo e léxico de prompts podem mitigar ou, ao contrário, provocar as vulnerabilidades do modelo. Em geral, recomenda-se formular o prompt da forma mais clara, inequívoca e em termos familiares ao modelo possível, especialmente para aplicações de missão crítica.

Um efeito colateral interessante, notado pelos pesquisadores, foi o impacto da adição de fragmentos de texto sem sentido ou irrelevantes ao prompt. Descobriu-se que a inserção de uma sequência aleatória de caracteres (por exemplo, "LKF0FZxMZ4") no final ou no meio do prompt pode desviar a atenção do modelo e reduzir a precisão de sua resposta. Por outro lado, adicionar uma frase neutra, mas gramaticalmente correta (por exemplo, "and true is true" — "e verdadeiro é verdadeiro"), em alguns casos, pelo contrário, melhorava a resposta, como se focasse o modelo nas partes significativas da pergunta. Esse fenômeno destaca o quão imprevisivelmente os LLMs reagem a detalhes de entrada aparentemente insignificantes. Ele também testemunha a complexidade da estrutura interna dos modelos: as menores mudanças no contexto podem prejudicar ou melhorar seu desempenho, dependendo de como a atenção do modelo é redistribuída.

Significado e desenvolvimento futuro

PromptRobust/PromptBench contribuiu significativamente para a compreensão da confiabilidade dos LLMs. O benchmark proposto e os dados coletados estão abertos à comunidade: o código e os conjuntos de prompts adversários estão disponíveis no repositório. Isso permite que outros pesquisadores testem novos modelos quanto à robustez a variações de prompts e comparem os resultados. O próximo passo é o desenvolvimento de métodos de proteção dos modelos contra tais ataques — por exemplo, algoritmos de treinamento aprimorados que levem em conta possíveis erros de digitação e paráfrases, ou sistemas integrados de normalização da entrada de texto. O PromptBench já é considerado uma base para tais pesquisas sobre o aumento da robustez (robustness) dos modelos de linguagem a dados de entrada imprecisos do mundo real.

Em última análise, o trabalho de Zhu e colegas demonstra a importância de considerar a robustez aos prompts ao implementar LLMs em aplicações práticas: os modelos não devem apenas apresentar alta precisão em dados "limpos", mas também manter a correção diante de pequenos desvios na entrada, sejam eles erros acidentais do usuário ou ataques intencionais.

Ligações externas

• Artigo original do PromptBench (arXiv)
• Repositório do PromptBench no GitHub
• Artigo "Prompt Robustness: How to Measure and How to Enhance" (Towards AI)

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.