Cómo leer benchmarks · Guía

Código

Para código, miro SWE-bench Pro, Terminal-Bench 2.x siempre con el harness y el límite de tiempo a la vista, y LiveCodeBench cuando quiero lógica en problemas publicados después de la fecha de corte del modelo. SWE-bench Verified aislado y HumanEval quedan fuera: el primero ya saturado y muy dependiente del harness, el segundo lejos de la ingeniería del día a día.

En esta pasada, no leí con éxito el leaderboard oficial de SWE-bench Pro ni el de Terminal-Bench, que en el sitio oficial ya estaba en la versión 4.1, mientras Qwen y MiniMax todavía citan la 2.1. Sin esa lectura, no publico una posición independiente como si estuviera cerrada.

Lo que existe con fuente es el recorte de los propios laboratorios, en condiciones distintas. En la tabla de Qwen, con harness Claude Code, Fable 5 aparece con 80,0 en SWE-bench Pro y Qwen3.8-Max con 67,7, además de 86,6 en Terminal Bench 2.1. MiniMax declara 59,0 en SWE-bench Pro (Claude Code) y 66,0 en Terminal-Bench 2.1, con Terminus 2, sandbox 8C16G, 2 horas y 128K de salida. Los 86,6 de Qwen, con Claude Code y 5 horas, no se comparan con los 66,0 de MiniMax. Ni siquiera dentro de la misma familia la cuenta cierra sola: Qwen3.8-27B declara 73,0 en Terminal Bench 2.1 con harness Terminus, mientras el Max usa Claude Code. MiniMax también declara 80,5 en SWE-bench Verified, con el prompt de sistema cambiado y un promedio de 4 rondas: transparencia parcial, y un motivo más para no decidir por ese recorte aislado.

El Qwen Code CLI es Apache 2.0, tenía 29.157 estrellas y estaba en la release v0.27.1, según la API de GitHub. El plan gratuito por OAuth se cerró, en el PR #3291. El código sensible sigue pidiendo una conversación sobre dónde corre el dato, inclusive la opción de correrlo en local.

Cuadro de fuentes abiertas

Este caso queda sin cuadro numérico. El archivo versionado todavía no tiene una medición de fuente abierta aquí.