SWE-bench (benchmark) (PT)

SWE-bench — é um benchmark (conjunto de tarefas de teste) em larga escala para avaliar as capacidades de modelos de linguagem grandes (LLMs) no campo do desenvolvimento automatizado e depuração de software. Foi desenvolvido por um grupo de pesquisadores da Universidade de Princeton e outras organizações e apresentado na conferência ICLR 2024. O SWE-bench se diferencia dos benchmarks de código tradicionais por utilizar tarefas reais da prática de desenvolvimento: o conjunto de testes inclui 2.294 tarefas baseadas em issues fechadas e pull requests correspondentes de 12 repositórios Python populares de código aberto no GitHub. Cada tarefa contém a descrição do problema (issue) e fornece ao modelo acesso ao código-fonte do projeto correspondente; o objetivo do modelo é gerar as mínimas alterações na base de código (um patch) que corrijam o problema especificado.

Metodologia e Características da Avaliação

O SWE-bench modela o processo real de desenvolvimento de software. Para cada tarefa, o modelo recebe o texto do issue original do GitHub (descrição do problema) e um snapshot do código do repositório na versão anterior à correção. O modelo (ou um agente baseado no modelo) precisa analisar o código-fonte, entender a natureza do erro ou da alteração necessária e fazer as edições nos arquivos de código correspondentes para resolver o problema. A validação da solução é automatizada: cada tarefa está associada a testes unitários reais do pull request que fechou o problema. Entre eles, há tanto testes “falha-para-passar” (fail-to-pass, que não passam no código original, mas devem passar após a aplicação da correção correta) quanto testes de regressão (pass-to-pass, que passam inicialmente e devem continuar passando após as alterações). O patch proposto pelo modelo é aplicado ao código, e em seguida os testes correspondentes são executados: se todos os testes fail-to-pass começarem a passar e, ao mesmo tempo, os testes pass-to-pass não forem quebrados, a tarefa é considerada resolvida corretamente. Essa abordagem de avaliação permite verificar não apenas a capacidade do modelo de gerar código sintaticamente correto, mas também sua habilidade de resolver efetivamente o problema proposto sem quebrar a funcionalidade existente. Para isso, o modelo precisa operar com um contexto grande (um repositório de código inteiro), entender as interdependências entre os componentes e coordenar alterações em vários arquivos simultaneamente — tudo isso é significativamente mais complexo do que as tarefas típicas de escrever uma função a partir de uma descrição.

Em avaliações do SWE-bench, geralmente não participam apenas os LLMs em si, mas sistemas de agentes que envolvem o modelo com ferramentas auxiliares (por exemplo, para navegar por arquivos, executar código, usar um depurador, etc.). Tal sistema imita o ciclo real de desenvolvimento: o modelo pode visualizar arquivos sequencialmente, executar testes ou scripts e melhorar a solução passo a passo até alcançar um resultado bem-sucedido. É notável que a eficácia na resolução das tarefas do SWE-bench depende em grande parte da qualidade desse “scaffolding” (infraestrutura do agente): os mesmos modelos base podem apresentar resultados diferentes dependendo de como a interação com o repositório e as ferramentas é organizada. Assim, o SWE-bench serve como uma medida das capacidades do conjunto modelo e sua estratégia de resolução de problemas, aproximando a avaliação das condições reais de trabalho de um desenvolvedor de IA autônomo.

Variantes do Conjunto de Tarefas

Os autores do SWE-bench e a comunidade subsequentemente apresentaram vários conjuntos derivados para diferentes propósitos de avaliação:

• SWE-bench Lite — uma versão simplificada do benchmark, incluindo ~300 tarefas, selecionadas para reduzir a complexidade e os custos computacionais dos testes de modelos. Este subconjunto foi criado para experimentação rápida com modelos e exclui as validações mais trabalhosas, mantendo a representatividade dos problemas principais. Essencialmente, o Lite contém tarefas mais simples e curtas de correção de bugs, e os resultados dos modelos no Lite são geralmente mais altos do que no conjunto completo, devido à exclusão dos casos mais complexos.
• SWE-bench Verified — um subconjunto filtrado por verificação manual, apresentado em agosto de 2024 em colaboração com a OpenAI. Os pesquisadores contrataram 93 desenvolvedores profissionais para analisar cada tarefa do benchmark original e excluíram os casos em que a descrição do problema era muito vaga ou o comportamento exigido pelos testes não decorria explicitamente da declaração do problema. Também foram removidas tarefas que, na prática, eram impossíveis de resolver devido a problemas de ambiente ou testes incorretos. O resultado foi um conjunto de 500 tarefas garantidamente solucionáveis e corretamente formuladas. O SWE-bench Verified visa fornecer uma avaliação mais confiável das capacidades dos modelos, eliminando casos em que até mesmo uma solução correta é rejeitada devido à inadequação dos testes ou da tarefa. Este conjunto substituiu as amostras de teste originais do SWE-bench (completa e Lite) como a principal referência para comparação de modelos. Além disso, junto com o Verified, foram publicadas avaliações de dificuldade das tarefas (por exemplo, destacando tarefas “fáceis”, que um humano resolve em <15 minutos, e “difíceis”, que exigem >1 hora), e um novo framework de ferramentas baseado em Docker foi lançado para uma execução de testes mais estável e reprodutível.
• SWE-bench Multimodal — uma extensão do benchmark, apresentada em janeiro de 2025, que inclui tarefas onde a descrição do problema contém não apenas texto, mas também elementos visuais (por exemplo, imagens de interface, capturas de tela de erros, etc.). Este conjunto (517 tarefas) testa a capacidade dos modelos e agentes de entender e utilizar informações visuais ao resolver problemas de programação. A avaliação no conjunto multimodal é organizada de forma semelhante, mas requer que o modelo tenha capacidades multimodais (por exemplo, reconhecimento de texto em imagens). A parte de teste do SWE-bench Multimodal é mantida fechada (oculta) para evitar o ajuste de soluções a respostas conhecidas; os desenvolvedores podem enviar soluções para um placar de líderes remoto para avaliar seus modelos nessas tarefas.

Além dessas variações principais, um ecossistema de ferramentas se formou em torno do SWE-bench: SWE-agent — um “agente” solucionador de software de código aberto que demonstra resultados de ponta nas tarefas do benchmark; SWE-smith — um framework para treinar modelos de desenvolvedores próprios; SWE-REX — uma ferramenta para extração e processamento avançado de informações de repositórios, entre outros. Esses projetos visam simplificar a reprodutibilidade dos resultados e promover a pesquisa no campo de sistemas de programação autônomos.

Resultados e Progresso dos Modelos

Quando o SWE-bench apareceu pela primeira vez, revelou uma lacuna significativa entre os LLMs modernos e as habilidades de programadores experientes. Os autores relataram que mesmo os modelos mais poderosos do início de 2023 resolviam apenas alguns pontos percentuais das tarefas: por exemplo, o modelo Claude 2 da Anthropic resolveu com sucesso menos de 2% das tarefas do conjunto completo. Um modelo especialmente treinado pelos autores do benchmark (baseado no LLaMA, chamado SWE-Llama) e modelos proprietários como o GPT-4 conseguiam resolver principalmente apenas os erros mais simples. Essas métricas iniciais baixas destacaram a complexidade do SWE-bench e serviram de estímulo para o desenvolvimento de novas abordagens.

Ao longo de 2024, com o surgimento de modelos mais avançados e esquemas de agentes, os resultados melhoraram significativamente. Pesquisadores de Princeton apresentaram o sistema SWE-agent, que combina o GPT-4 com busca de código, planejamento e outras ferramentas; ele alcançou cerca de 12,5% de tarefas resolvidas no conjunto completo, estabelecendo uma nova referência para modelos acadêmicos. Em meados de 2024, no placar de líderes oficial do SWE-bench, as melhores soluções (incluindo as proprietárias) alcançaram cerca de 20% de resoluções bem-sucedidas no benchmark completo e até 43% no conjunto simplificado Lite. Esse crescimento está associado à melhoria dos modelos (por exemplo, o surgimento do GPT-4, Claude 2 e 3) e especialmente ao desenvolvimento do “scaffolding” — estratégias externas que permitem ao modelo dividir eficientemente a tarefa em etapas, ler documentação, iniciar sessões de depuração, etc..

Após a introdução do conjunto Verified no final de 2024 (limpo de tarefas incorretas), o desempenho medido aumentou ainda mais. O modelo GPT-4 (variante GPT-4o) mostrou imediatamente cerca de 33% de soluções bem-sucedidas no Verified, em comparação com ~16% anteriormente no conjunto original. Os melhores frameworks de agentes de código aberto (por exemplo, Agentless) dobraram seu resultado de ~16% para 32% no Verified. Isso confirmou a suposição de que o benchmark original estava subestimando os indicadores devido à presença de casos insolúveis. Ao mesmo tempo, a melhoria nos resultados do Verified em comparação com o Lite não foi tão dramática (os melhores modelos já atingiam ~43% no Lite), o que é lógico: o Lite selecionava inicialmente exemplos mais fáceis, enquanto o Verified removeu os impossíveis, mas manteve as tarefas complexas. É importante notar que o aumento nos indicadores ao passar para o Verified ocorreu em todas as categorias de dificuldade das tarefas, e não apenas pela eliminação das mais difíceis — ou seja, a filtragem também removeu do conjunto os casos secretamente impossíveis entre as tarefas relativamente simples.

No início de 2025, os sistemas de IA líderes já demonstram uma eficácia próxima à humana no conjunto de tarefas verificado, embora o teto de 100% ainda esteja distante. Em janeiro de 2025, a Anthropic informou que seu novo modelo Claude 3.5 Sonnet, em conjunto com um agente aprimorado, resolveu 49% das tarefas do SWE-bench Verified, assumindo temporariamente o primeiro lugar. Grandes empresas de tecnologia e equipes independentes também participam ativamente de competições não oficiais neste benchmark. Por exemplo, a equipe CodeStory desenvolveu uma abordagem multi-modelo com tentativa e erro de variantes (“Midwit Agent”), que alcançou um recorde de 62,2% de tarefas resolvidas no Verified (dados do início de 2025). Foi observado que, para isso, foi necessário aumentar substancialmente os custos de recursos computacionais na fase de inferência do modelo (o chamado inference time scaling), executando múltiplas tentativas de solução e selecionando o melhor resultado. Por sua vez, materiais da OpenAI mencionaram um sistema experimental GPT-03 que, com escalonamento suficiente de computação, supostamente ultrapassou a marca de 70% no Verified (dados não oficiais). No entanto, não há verificação independente desses resultados, e um indicador tão alto permanece mais como uma referência para pesquisas futuras do que um marco alcançado.

De acordo com um estudo da Microsoft Research (2025), mesmo os modelos mais recentes, quando equipados com ferramentas de depuração, ainda não ultrapassam a marca de 50% de correções de bugs bem-sucedidas do SWE-bench Lite. Neste teste, o melhor desempenho foi do Claude 3.7 Sonnet, com ~48,4% das tarefas resolvidas, enquanto um sistema baseado no GPT-4 (OpenAI 01) resolveu cerca de 30%, e o modelo mais leve 03-mini, apenas 22%. Esses resultados destacam que, apesar do rápido progresso, as IAs modernas ainda estão aquém dos programadores experientes: para um ser humano, resolver tarefas semelhantes (com compreensão do código) não apresenta dificuldades, enquanto o modelo muitas vezes não sabe como aplicar ferramentas de depuração de forma eficaz ou sofre com a falta de dados de treinamento que reflitam o processo de correção de erros em várias etapas.

Limitações e Perspectivas

O SWE-bench tornou-se uma plataforma padronizada para avaliar agentes de código inteligentes, no entanto, pesquisas também revelaram algumas de suas limitações. O principal problema é a incompletude dos testes: o conjunto de testes de verificação para cada tarefa é retirado de um pull request específico e geralmente inclui apenas os testes unitários que foram alterados durante a correção do erro. Como mostrou uma análise de um grupo de cientistas da Universidade de Zhejiang e da Universidade de Stuttgart (Wang et al. 2025), ignorar os outros testes do projeto pode ocultar a incorreção de algumas soluções. A re-verificação das soluções no conjunto completo de testes do repositório revelou que, em média, 7,8% dos patches marcados como bem-sucedidos no SWE-bench, na verdade, não passam em outros testes do projeto. Isso leva a uma superestimação da métrica “tarefas resolvidas” em cerca de 4-6 pontos percentuais. Um caso ainda mais sutil é quando o patch gerado passa em todos os testes originais, mas não é equivalente à solução do desenvolvedor e altera o comportamento do programa de forma diferente do esperado. Usando a geração de casos de teste adicionais (método PatchDiff), os pesquisadores descobriram que quase 30% das correções propostas pela IA se comportam de maneira diferente dos patches de referência, e cerca de 11% são inequivocamente erradas, embora não sejam detectadas pelos testes existentes. Assim, as capacidades reais dos modelos podem ser superestimadas se nos basearmos apenas na passagem de um conjunto limitado de testes. Os criadores do SWE-bench reconhecem essa vulnerabilidade e enfatizam que o benchmark deve evoluir com o tempo: a cobertura de testes deve ser melhorada, verificações para a ausência de efeitos colaterais indesejados devem ser adicionadas, e a variedade de tipos de tarefas deve ser expandida. O desenvolvimento de tais ferramentas de avaliação é uma parte importante da preparação para o surgimento de desenvolvedores de IA cada vez mais autônomos e poderosos, e a experiência com o SWE-bench mostra a necessidade de uma atenção cuidadosa à qualidade dos benchmarks.

O SWE-bench, sendo apenas um conjunto estático de tarefas, não cobre absolutamente todos os aspectos da programação, mas já se tornou o padrão de fato para a análise comparativa de modelos de código. Ele é usado em trabalhos científicos para demonstrar novos métodos e algoritmos, bem como por grupos de pesquisa industriais para avaliar o potencial de sistemas destinados a automatizar a programação. O crescimento constante dos resultados no SWE-bench entre 2023-2025 demonstra vividamente a rápida melhoria das capacidades dos LLMs na resolução de tarefas práticas de desenvolvimento. Ao mesmo tempo, ele serve como um barômetro de complexidade: mesmo aproximando-se de 50-60% de tarefas resolvidas, os modelos ainda estão longe de substituir completamente um ser humano, especialmente em condições de informação limitada e da necessidade de uma compreensão sutil dos requisitos. No entanto, o progresso não para — graças a iniciativas como o SWE-bench, a comunidade vê claramente seus objetivos e limitações, e continua avançando em direção à criação de um desenvolvedor de IA completo, capaz de entender e corrigir código de programação de forma autônoma no nível de um especialista humano.

Ligações externas

• SWE-bench no GitHub
• Placar de líderes oficial do SWE-bench

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.