Glossário
SWE-bench Verified
O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas.
O que mede
O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas.
Quando importa
É a régua de código que esta tabela usa. Eu penso nela como corrigir um bug de verdade no repositório da empresa, não como escrever uma função isolada. Compare sempre com a mesma configuração de agente, porque essa configuração muda a nota.
Como ler
A nota é o percentual de problemas resolvidos, com os testes passando, no quadro da Epoch AI, na versão mais recente consultada. Este teste reúne 500 problemas, então 1 ponto percentual corresponde a 5 problemas. Compare sempre com a mesma configuração de agente.
Quem lidera
- Claude Opus 4.7 Anthropic83,5%
- GPT-5.5 OpenAI80,6%
- Gemini 3.5 Flash Google79,3%
- GLM-5.2 Zhipu AI (Z.ai)78,7%
- Claude Opus 4.6 Anthropic78,7%
- DeepSeek V4 Pro DeepSeek77,6%
- Qwen3.7 Max Alibaba77,3%
- GPT-5.4 OpenAI76,9%
- Kimi K2.6 Moonshot AI76,7%
- Claude Opus 4.5 Anthropic76,7%
Fonte: Epoch AI, versão mais recente consultada.