Modelos de IA

SWE-bench Verified: ranking de modelos de IA

31 modelos no ranking. A maior nota no SWE-bench Verified é a do Claude Opus 4.7, com 83,5%, segundo a Epoch AI, e 4 ficam em empate técnico com ele.

O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas. Aqui estão os 31 modelos desta área com nota no SWE-bench Verified, segundo a Epoch AI. A posição aparece como faixa, porque notas dentro da margem ficam em empate técnico.

SWE-bench Verified

83,5%

Claude Opus 4.7

modelos

31

01

Modelo%Fonte
Claude Opus 4.7Anthropic · fechado83,5% 1º de 31 maior notaEpoch AI
GPT-5.5OpenAI · fechado80,6% 2º de 31 Epoch AI
Gemini 3.5 FlashGoogle · fechado79,3% entre 3º e 5º de 31 Epoch AI
Claude Opus 4.6Anthropic · fechado78,7% entre 3º e 5º de 31 Epoch AI
GLM-5.2Zhipu AI (Z.ai) · aberto78,7% entre 3º e 5º de 31 Epoch AI
DeepSeek V4 ProDeepSeek · aberto77,6% entre 6º e 11º de 31 Epoch AI
Qwen3.7 MaxAlibaba · fechado77,3% entre 6º e 11º de 31 Epoch AI
GPT-5.4OpenAI · fechado76,9% entre 6º e 11º de 31 Epoch AI
Claude Opus 4.5Anthropic · fechado76,7% entre 6º e 11º de 31 Epoch AI
Kimi K2.6Moonshot AI · aberto76,7% entre 6º e 11º de 31 Epoch AI
Qwen 3.6 Max (Preview)Alibaba · não informados76,7% entre 6º e 11º de 31 Epoch AI
Gemini 3.1 ProGoogle · fechado75,6% entre 12º e 15º de 31 Epoch AI
Gemini 3 FlashGoogle · fechado75,4% entre 12º e 15º de 31 Epoch AI
Claude Sonnet 4.6Anthropic · fechado75,2% entre 12º e 16º de 31 Epoch AI
GPT-5.3-CodexOpenAI · fechado74,8% entre 12º e 18º de 31 Epoch AI
GLM 5.1Zhipu AI (Z.ai) · aberto74,2% entre 14º e 20º de 31 Epoch AI
GPT-5.2OpenAI · fechado73,8% entre 15º e 21º de 31 Epoch AI
Kimi K2.5Moonshot AI · aberto73,8% entre 15º e 21º de 31 Epoch AI
GPT-5OpenAI · fechado73,6% entre 16º e 21º de 31 Epoch AI
Claude Opus 4.1Anthropic · fechado73,3% entre 16º e 21º de 31 Epoch AI
Gemini 3 ProGoogle · fechado72,9% entre 17º e 22º de 31 Epoch AI
GLM 5Zhipu AI (Z.ai) · aberto72,1% entre 21º e 23º de 31 Epoch AI
Claude Sonnet 4.5Anthropic · fechado71,3% entre 22º e 24º de 31 Epoch AI
Claude Opus 4Anthropic · fechado70,7% entre 23º e 24º de 31 Epoch AI
GPT-5.1OpenAI · fechado68% 25º de 31 Epoch AI
GPT-5 MiniOpenAI · fechado64,7% 26º de 31 Epoch AI
o3OpenAI · fechado62,3% 27º de 31 Epoch AI
Claude 3.7 SonnetAnthropic · fechado61% 28º de 31 Epoch AI
Qwen3.6 PlusAlibaba · fechado57,9% entre 29º e 30º de 31 Epoch AI
Gemini 2.5 ProGoogle · fechado57,6% entre 29º e 30º de 31 Epoch AI
GPT-4.1OpenAI · fechado48,5% 31º de 31 Epoch AI

Perguntas frequentes

Qual modelo tem a maior nota no SWE-bench Verified?

A maior nota no SWE-bench Verified é a do Claude Opus 4.7, com 83,5%, segundo a Epoch AI, e 4 modelos ficam em empate técnico com ele.

O que o SWE-bench Verified mede?

O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas.

O que quer dizer “empate técnico com a maior nota”?

Quer dizer que a diferença para a maior nota fica dentro da margem de 95%, que nunca é menor que 1 ponto. No SWE-bench Verified, perto de 90%, essa margem é de cerca de 3,8 pontos. Por isso a posição aparece como faixa, «entre Xº e Yº de N»: entre modelos empatados, a ordem pode ser ruído de medição.

Quais modelos entram neste ranking?

Os 31 modelos desta área com nota publicada no SWE-bench Verified, segundo a Epoch AI. Nenhuma versão herda a nota de outra.

Como ler

  1. As notas de benchmark são percentuais, e o maior valor é o melhor.
  2. A posição aparece como faixa, «entre 1º e 5º de 31». Dentro da faixa, a diferença para os vizinhos fica dentro da margem do benchmark. O selo «maior nota» marca o modelo com a maior nota do benchmark, e o selo «empate técnico com a maior nota» marca os modelos cuja diferença para ela fica dentro da margem.
  3. Em benchmark saturado, a tabela mostra o placar com o selo e sem ordem de posição.

Fontes

  • Epoch AI, CC BY 4.0, versão mais recente consultada.
  • OpenRouter Benchmarks, CC BY 4.0, versão mais recente consultada.
  • OpenRouter, dados públicos da API; exports de benchmarks e rankings em CC BY 4.0, versão mais recente consultada.

Datas vêm das fontes: entrada no OpenRouter ou criação do repositório no Hugging Face, que podem não coincidir com o lançamento oficial. Família e versão foram agrupadas por regra a partir do nome.

Como citar

Se usar estes dados, cite a página e a data em que você a consultou.

Adriano Meirinho. «SWE-bench Verified: ranking de modelos de IA». meirinho.com.br. https://meirinho.com.br/ia/modelos/benchmark/swe-bench-verified/. Acesso em 21 de novembro de 2026.

Os dados de terceiros seguem a licença de cada fonte. A tabela completa está em CSV e em JSON.

Markdown