Caso de uso dado provisório
Melhores modelos de IA para código: comparação com benchmarks
Corrigir bugs reais e escrever código que passa nos testes. O SWE-bench Verified é a régua mais usada, mas a configuração do agente muda muito o resultado.
Resposta direta: No SWE-bench Verified, a maior nota entre os modelos desta página é de Claude Opus 4.7, com 83,5%, segundo Epoch AI.
Como ler esta tabela
- Cada linha é um modelo. CliqueToque no nome para abrir a ficha, com fontes e histórico. CliqueToque no cabeçalho para ordenar.
- As notas de benchmark são percentuais, e o maior valor é o melhor. Eu comparo sempre a mesma métrica, com a mesma fonte, na versão mais recente consultada. Nesta área, na faixa de 90% a 100%, eu trato uma diferença de 1 ou 2 pontos como possível ruído de medição.
- O "?" ao lado de cada coluna explica o que ela mede e quando importa. "Sem dado" quer dizer que não há medição nas fontes abertas que esta área usa. "Dado provisório" marca um campo derivado por regra, como o caso de uso.
- Preço de entrada e de saída é o preço de lista no OpenRouter, em dólar por 1 milhão de tokens, e os dois podem ser bem diferentes. O selo "a conferir" marca um valor estranho na fonte, que não entra nas recomendações. Uso é a fatia de tokens no ranking público do OpenRouter, no último dia publicado nessa fonte. Downloads são a janela de 30 dias do repositório oficial no Hugging Face. O GPQA Diamond da Epoch e o do OpenRouter medem o mesmo teste, mas podem divergir.
| ?o que é | ? | ? | ? | ? | ? | ? | ? | ? | ? | |
|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 4.7Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 90,2% | 83,5% | 77,8% | 51,7% | sem dado | sem dado |
| GPT-5.5OpenAI | fechado | US$ 5,00 | US$ 30,00 | 1.050.000 | 94% | 80,6% | 74,7% | 63% | sem dado | sem dado |
| Gemini 3.5 FlashGoogle | fechado | US$ 1,50 | US$ 9,00 | 1.048.576 | 92,8% | 79,3% | 73% | 66,2% | sem dado | sem dado |
| GLM-5.2Zhipu AI (Z.ai) | aberto | US$ 0,007 a conferir | US$ 6,80 | 1.048.576 | 91,9% | 78,7% | 76,7% | 34,2% | 0,43% | sem dado |
| Claude Opus 4.6Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 90,5% | 78,7% | 75,8% | 47% | sem dado | sem dado |
| DeepSeek V4 ProDeepSeek | aberto | US$ 0,96 | US$ 1,91 | 1.048.576 | 91,7% | 77,6% | 78,6% | 52,9% | 0,66% | sem dado |
| Qwen3.7 MaxAlibaba | fechado | US$ 1,48 | US$ 4,42 | 1.000.000 | 90,9% | 77,3% | 72% | 55,8% | sem dado | sem dado |
| GPT-5.4OpenAI | fechado | US$ 2,50 | US$ 15,00 | 1.050.000 | 93,3% | 76,9% | 75% | 45,1% | sem dado | sem dado |
| Kimi K2.6Moonshot AI | aberto | US$ 0,65 | US$ 3,41 | 262.144 | 90,8% | 76,7% | 74,9% | 34,9% | sem dado | sem dado |
| Claude Opus 4.5Anthropic | fechado | US$ 5,00 | US$ 25,00 | 200.000 | 86% | 76,7% | 76,6% | 45,7% | sem dado | sem dado |
| Qwen 3.6 Max (Preview)Alibaba | não informados | sem dado | sem dado | sem dado | 87,4% | 76,7% | sem dado | 52% | sem dado | sem dado |
| Gemini 3.1 ProGoogle | fechado | US$ 2,00 | US$ 12,00 | 1.048.576 | 94,4% | 75,6% | 77% | 73,5% | sem dado | sem dado |
| Gemini 3 FlashGoogle | fechado | sem dado | sem dado | sem dado | 89,4% | 75,4% | sem dado | 66,8% | sem dado | sem dado |
| Claude Sonnet 4.6Anthropic | fechado | US$ 3,00 | US$ 15,00 | 1.000.000 | 87,4% | 75,2% | 74,8% | 35,5% | sem dado | sem dado |
| GPT-5.3-CodexOpenAI | fechado | US$ 1,75 | US$ 14,00 | 400.000 | sem dado | 74,8% | 75,3% | sem dado | sem dado | sem dado |
| GLM 5.1Zhipu AI (Z.ai) | aberto | US$ 1,40 | US$ 4,40 | 204.800 | 89,9% | 74,2% | 75,8% | 34% | sem dado | 867.145 |
| GPT-5.2OpenAI | fechado | US$ 1,75 | US$ 14,00 | 400.000 | 91,4% | 73,8% | sem dado | 37,1% | sem dado | sem dado |
| Kimi K2.5Moonshot AI | aberto | US$ 0,53 | US$ 3,33 | 262.144 | 87,6% | 73,8% | 73,8% | 34,3% | sem dado | 393.277 |
| GPT-5OpenAI | fechado | US$ 1,25 | US$ 10,00 | 400.000 | 86,2% | 73,6% | 70,7% | 50,1% | sem dado | sem dado |
| Claude Opus 4.1Anthropic | fechado | US$ 15,00 | US$ 75,00 | 200.000 | 77,3% | 73,3% | sem dado | sem dado | sem dado | sem dado |
| Gemini 3 ProGoogle | fechado | sem dado | sem dado | sem dado | 92,6% | 72,9% | sem dado | sem dado | sem dado | sem dado |
| GLM 5Zhipu AI (Z.ai) | aberto | US$ 1,00 | US$ 3,20 | 204.800 | 87,8% | 72,1% | 76,9% | sem dado | sem dado | 1.370.207 |
| Claude Sonnet 4.5Anthropic | fechado | US$ 3,00 | US$ 15,00 | 1.000.000 | 82,3% | 71,3% | 74,9% | 30,7% | sem dado | sem dado |
| Claude Opus 4Anthropic | fechado | sem dado | sem dado | sem dado | 76,3% | 70,7% | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1OpenAI | fechado | US$ 1,25 | US$ 10,00 | 400.000 | 87,6% | 68% | 80% | 48% | sem dado | sem dado |
| GPT-5 MiniOpenAI | fechado | US$ 0,25 | US$ 2,00 | 400.000 | 75% | 64,7% | 72,4% | 21,6% | sem dado | sem dado |
| o3OpenAI | fechado | US$ 2,00 | US$ 8,00 | 200.000 | 81,8% | 62,3% | sem dado | 49,4% | sem dado | sem dado |
| Claude 3.7 SonnetAnthropic | fechado | sem dado | sem dado | sem dado | 79,7% | 61% | sem dado | sem dado | sem dado | sem dado |
| Qwen3.6 PlusAlibaba | fechado | US$ 0,33 | US$ 1,95 | 1.000.000 | 88,4% | 57,9% | sem dado | 44,1% | sem dado | sem dado |
| Gemini 2.5 ProGoogle | fechado | US$ 1,25 | US$ 10,00 | 1.048.576 | 85,3% | 57,6% | 60% | sem dado | sem dado | sem dado |
| GPT-4.1OpenAI | fechado | US$ 2,00 | US$ 8,00 | 1.047.576 | 66,9% | 48,5% | 52,3% | 31,1% | sem dado | sem dado |
| GPT-4oOpenAI | fechado | US$ 2,50 | US$ 10,00 | 128.000 | 49,2% | 31% | 43,2% | 26% | sem dado | sem dado |
| Qwen3-CoderAlibaba | aberto | US$ 0,30 | US$ 1,00 | 262.144 | sem dado | sem dado | 48% | sem dado | sem dado | 58.791 |
| Seed-2.0-CodeByteDance | não informados | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Codestral 2508Mistral AI | não informados | US$ 0,30 | US$ 0,90 | 256.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Devstral 2 2512Mistral AI | aberto | US$ 0,40 | US$ 2,00 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 6.656 |
| Kimi K2.7 CodeMoonshot AI | aberto | US$ 0,60 | US$ 3,50 | 262.144 | 87,9% | sem dado | 77,3% | 36,5% | sem dado | 91.687 |
| GPT-5.1-CodexOpenAI | não informados | US$ 1,25 | US$ 10,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1-Codex-MaxOpenAI | não informados | US$ 1,25 | US$ 10,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1-Codex-MiniOpenAI | não informados | US$ 0,25 | US$ 2,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.2-CodexOpenAI | não informados | US$ 1,75 | US$ 14,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen2.5 Coder 32B InstructAlibaba | aberto | US$ 0,66 | US$ 1,00 | 32.768 | sem dado | sem dado | sem dado | sem dado | sem dado | 547.627 |
| Qwen3 Coder 30B A3B InstructAlibaba | aberto | US$ 0,15 | US$ 0,60 | 262.144 | sem dado | sem dado | 46% | sem dado | sem dado | 1.679.625 |
| Qwen3 Coder FlashAlibaba | não informados | US$ 0,20 | US$ 0,97 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3 Coder NextAlibaba | aberto | US$ 0,12 | US$ 0,80 | 262.144 | sem dado | sem dado | 60,7% | sem dado | sem dado | 425.899 |
Qual modelo usar para quê
Esta indicação acompanha os dados e muda quando eles mudam.
Código
- Regra: Maior nota em SWE-bench VerifiedClaude Opus 4.7 83,5%
- Regra: Maior nota com pesos abertos em SWE-bench VerifiedGLM-5.2 78,7%
- Regra: Mais barato por 1M tokens de entrada entre os 5 com maior nota em SWE-bench VerifiedGemini 3.5 Flash US$ 1,50
SWE-bench Verified ?
O que isso significa?
O que mede: O SWE-bench Verified, no quadro da Epoch AI (CC BY 4.0, versão mais recente consultada), reúne 500 problemas reais de repositórios Python no GitHub. O modelo precisa gerar a correção e passar nos testes automatizados. A nota é o percentual de tarefas resolvidas.
Quando importa: É a régua de código que esta tabela usa. Eu penso nela como corrigir um bug de verdade no repositório da empresa, não como escrever uma função isolada. Compare sempre com a mesma configuração de agente, porque essa configuração muda a nota.
Compare com
Fontes
- Epoch AI, CC BY 4.0, versão mais recente consultada.
- OpenRouter Benchmarks, CC BY 4.0, versão mais recente consultada.
- OpenRouter, dados públicos da API; exports de benchmarks e rankings em CC BY 4.0, versão mais recente consultada.
- Hugging Face Hub, metadados públicos do Hub; licença de cada modelo no repositório, versão mais recente consultada.
Datas vêm das fontes: entrada no OpenRouter ou criação do repositório no Hugging Face, que podem não coincidir com o lançamento oficial. Família e versão foram agrupadas por regra a partir do nome.