Modelos de IA
SWE-bench Verified: ranking de modelos de IA
31 modelos no ranking. A maior nota no SWE-bench Verified é a do Claude Opus 4.7, com 83,5%, segundo a Epoch AI, e 4 ficam em empate técnico com ele.
O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas. Aqui estão os 31 modelos desta área com nota no SWE-bench Verified, segundo a Epoch AI. A posição aparece como faixa, porque notas dentro da margem ficam em empate técnico.
SWE-bench Verified
83,5%
Claude Opus 4.7
modelos
31
01
| Modelo | % | Fonte |
|---|---|---|
| Claude Opus 4.7Anthropic · fechado | 83,5% 1º de 31 maior nota | Epoch AI |
| GPT-5.5OpenAI · fechado | 80,6% 2º de 31 | Epoch AI |
| Gemini 3.5 FlashGoogle · fechado | 79,3% entre 3º e 5º de 31 | Epoch AI |
| Claude Opus 4.6Anthropic · fechado | 78,7% entre 3º e 5º de 31 | Epoch AI |
| GLM-5.2Zhipu AI (Z.ai) · aberto | 78,7% entre 3º e 5º de 31 | Epoch AI |
| DeepSeek V4 ProDeepSeek · aberto | 77,6% entre 6º e 11º de 31 | Epoch AI |
| Qwen3.7 MaxAlibaba · fechado | 77,3% entre 6º e 11º de 31 | Epoch AI |
| GPT-5.4OpenAI · fechado | 76,9% entre 6º e 11º de 31 | Epoch AI |
| Claude Opus 4.5Anthropic · fechado | 76,7% entre 6º e 11º de 31 | Epoch AI |
| Kimi K2.6Moonshot AI · aberto | 76,7% entre 6º e 11º de 31 | Epoch AI |
| Qwen 3.6 Max (Preview)Alibaba · não informados | 76,7% entre 6º e 11º de 31 | Epoch AI |
| Gemini 3.1 ProGoogle · fechado | 75,6% entre 12º e 15º de 31 | Epoch AI |
| Gemini 3 FlashGoogle · fechado | 75,4% entre 12º e 15º de 31 | Epoch AI |
| Claude Sonnet 4.6Anthropic · fechado | 75,2% entre 12º e 16º de 31 | Epoch AI |
| GPT-5.3-CodexOpenAI · fechado | 74,8% entre 12º e 18º de 31 | Epoch AI |
| GLM 5.1Zhipu AI (Z.ai) · aberto | 74,2% entre 14º e 20º de 31 | Epoch AI |
| GPT-5.2OpenAI · fechado | 73,8% entre 15º e 21º de 31 | Epoch AI |
| Kimi K2.5Moonshot AI · aberto | 73,8% entre 15º e 21º de 31 | Epoch AI |
| GPT-5OpenAI · fechado | 73,6% entre 16º e 21º de 31 | Epoch AI |
| Claude Opus 4.1Anthropic · fechado | 73,3% entre 16º e 21º de 31 | Epoch AI |
| Gemini 3 ProGoogle · fechado | 72,9% entre 17º e 22º de 31 | Epoch AI |
| GLM 5Zhipu AI (Z.ai) · aberto | 72,1% entre 21º e 23º de 31 | Epoch AI |
| Claude Sonnet 4.5Anthropic · fechado | 71,3% entre 22º e 24º de 31 | Epoch AI |
| Claude Opus 4Anthropic · fechado | 70,7% entre 23º e 24º de 31 | Epoch AI |
| GPT-5.1OpenAI · fechado | 68% 25º de 31 | Epoch AI |
| GPT-5 MiniOpenAI · fechado | 64,7% 26º de 31 | Epoch AI |
| o3OpenAI · fechado | 62,3% 27º de 31 | Epoch AI |
| Claude 3.7 SonnetAnthropic · fechado | 61% 28º de 31 | Epoch AI |
| Qwen3.6 PlusAlibaba · fechado | 57,9% entre 29º e 30º de 31 | Epoch AI |
| Gemini 2.5 ProGoogle · fechado | 57,6% entre 29º e 30º de 31 | Epoch AI |
| GPT-4.1OpenAI · fechado | 48,5% 31º de 31 | Epoch AI |
Perguntas frequentes
Qual modelo tem a maior nota no SWE-bench Verified?
A maior nota no SWE-bench Verified é a do Claude Opus 4.7, com 83,5%, segundo a Epoch AI, e 4 modelos ficam em empate técnico com ele.
O que o SWE-bench Verified mede?
O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas.
O que quer dizer “empate técnico com a maior nota”?
Quer dizer que a diferença para a maior nota fica dentro da margem de 95%, que nunca é menor que 1 ponto. No SWE-bench Verified, perto de 90%, essa margem é de cerca de 3,8 pontos. Por isso a posição aparece como faixa, «entre Xº e Yº de N»: entre modelos empatados, a ordem pode ser ruído de medição.
Quais modelos entram neste ranking?
Os 31 modelos desta área com nota publicada no SWE-bench Verified, segundo a Epoch AI. Nenhuma versão herda a nota de outra.
Como ler
- As notas de benchmark são percentuais, e o maior valor é o melhor.
- A posição aparece como faixa, «entre 1º e 5º de 31». Dentro da faixa, a diferença para os vizinhos fica dentro da margem do benchmark. O selo «maior nota» marca o modelo com a maior nota do benchmark, e o selo «empate técnico com a maior nota» marca os modelos cuja diferença para ela fica dentro da margem.
- Em benchmark saturado, a tabela mostra o placar com o selo e sem ordem de posição.
Fontes
- Epoch AI, CC BY 4.0, versão mais recente consultada.
- OpenRouter Benchmarks, CC BY 4.0, versão mais recente consultada.
- OpenRouter, dados públicos da API; exports de benchmarks e rankings em CC BY 4.0, versão mais recente consultada.
Datas vêm das fontes: entrada no OpenRouter ou criação do repositório no Hugging Face, que podem não coincidir com o lançamento oficial. Família e versão foram agrupadas por regra a partir do nome.
Como citar
Se usar estes dados, cite a página e a data em que você a consultou.
Adriano Meirinho. «SWE-bench Verified: ranking de modelos de IA». meirinho.com.br. https://meirinho.com.br/ia/modelos/benchmark/swe-bench-verified/. Acesso em 21 de novembro de 2026.
Os dados de terceiros seguem a licença de cada fonte. A tabela completa está em CSV e em JSON.