Glosario
SWE-bench Verified
SWE-bench Verified, en el cuadro de Epoch AI (CC BY 4.0, última versión consultada), reúne 500 problemas reales de repositorios Python en GitHub. El modelo debe generar la corrección y pasar las pruebas automatizadas. La nota es el porcentaje de tareas resueltas.
Qué mide
SWE-bench Verified, en el cuadro de Epoch AI (CC BY 4.0, última versión consultada), reúne 500 problemas reales de repositorios Python en GitHub. El modelo debe generar la corrección y pasar las pruebas automatizadas. La nota es el porcentaje de tareas resueltas.
Cuándo importa
Es la regla de código que usa esta tabla. Yo la pienso como corregir un bug de verdad en el repositorio de la empresa, no como escribir una función suelta. Compara siempre con la misma configuración de agente, porque esa configuración cambia la nota.
Cómo leerlo
La nota es el porcentaje de problemas resueltos, con las pruebas pasando, en el cuadro de Epoch AI, en la última versión consultada. Esta prueba reúne 500 problemas, así que 1 punto porcentual corresponde a 5 problemas. Compara siempre con la misma configuración de agente.
Quién lidera
- Claude Opus 4.7 Anthropic83,5%
- GPT-5.5 OpenAI80,6%
- Gemini 3.5 Flash Google79,3%
- GLM-5.2 Zhipu AI (Z.ai)78,7%
- Claude Opus 4.6 Anthropic78,7%
- DeepSeek V4 Pro DeepSeek77,6%
- Qwen3.7 Max Alibaba77,3%
- GPT-5.4 OpenAI76,9%
- Kimi K2.6 Moonshot AI76,7%
- Claude Opus 4.5 Anthropic76,7%
Fuente: Epoch AI, versión más reciente consultada.