Cada semana llega una tabla nueva. El laboratorio publica un recorte, el número sube a una diapositiva y, en poco tiempo, se vuelve argumento de elección. Ya gasté demasiado tiempo tratando ese recorte como si cerrara la conversación.
Un benchmark mide el desempeño de un modelo en una tarea específica, en una condición específica, en una fecha específica. Cambia el programa que dirige el modelo, cambia la versión del índice o el límite de tiempo, y el número se mueve con ellos. La lectura que me sirve empieza por el caso de uso: lo que esa métrica captura, lo que deja fuera, y si el dato vino del propio laboratorio o de un cuadro independiente.
Qué mirar en cualquier comparación
Antes de abrir la tabla, paso por una lista corta.
Quién midió. Una tabla del propio laboratorio, lo que se llama self reported, es un recorte con metodología, útil para ver la evolución de una misma familia. Un ranking independiente, como Arena o τ-bench, pesa más entre rivales, y aun así carga un sesgo de método, de idioma y de recorte.
En qué condición. El mismo benchmark con otro harness (el programa que conduce el modelo), otro límite de tiempo u otro esfuerzo de razonamiento produce otro resultado. Más abajo, Qwen y MiniMax publican Terminal-Bench 2.1 con harness y plazos distintos, y esos números no se comparan.
Qué versión. "Qwen3.8 Max" aparece como preview, como 0902 y en configuraciones de esfuerzo distintas. Los índices también cambian de versión, y el número viejo no cabe en la escala nueva.
Costo por tarea, no solo el precio por token. Un modelo barato en la lista que piensa durante mucho tiempo puede salir más caro en cada trabajo terminado.
Latencia, licencia y lo que el cuadro no ve. El tiempo hasta el primer token importa en la atención en vivo. La licencia importa antes de que el modelo se vuelva producto: los pesos abiertos no equivalen a un uso irrestricto, y Qwen3.8 Max tiene licencia propia con un límite de ingresos para MaaS y AI Work Assistant. El portugués de Brasil, la residencia del dato, la LGPD y el SLA casi nunca entran en el ranking.
Lo que muestra la tabla
Cada celda de "referencia hoy" trae fuente. Donde el leaderboard oficial no se leyó con éxito en esta pasada, eso queda explícito. Artificial Analysis no entra en esta tabla; un punto aislado en el texto va con crédito y, si es el Index, la versión.
| Caso de uso | Qué medir | Benchmarks de referencia | Referencia hoy | Alternativa abierta | Fuente y fecha |
|---|---|---|---|---|---|
| Texto | Preferencia humana con intervalo, techo de conocimiento, costo y latencia en tu uso | Arena texto (Elo y franja), HLE, prueba propia en PT-BR | Gemini 4 Carbon (High), Elo 1526, 1.º en Arena texto con style control | En el mismo cuadro, GLM-5.3 (Max), MIT, Elo 1483; Qwen3.8-27B, Apache 2.0, Elo 1433 | Arena texto, en la última versión consultada |
| Código | Issues reales, terminal con harness y plazo declarados, lógica en problemas nuevos | SWE-bench Pro, Terminal-Bench 2.x, LiveCodeBench | Los leaderboards oficiales no se leyeron con éxito en esta pasada. En la tabla de Qwen, self reported, Fable 5 con 80,0 en SWE-bench Pro | Qwen3.8-27B declara 61,7 en SWE-bench Pro (model card); Qwen Code CLI es Apache 2.0 | Blog de Qwen; intento oficial en swebench.com y tbench.ai |
| Agentes | Éxito repetido (pass^k), uso de herramientas, estabilidad | τ-bench, BFCL, Toolathlon, MCP Atlas, prueba propia | En τ² (retail, aerolíneas, telecom), Qwen3.5-397B-A17B con 87,9%. En τ³ Banking, Qwen 3.8 Max con 55,2% pass^1 | En el replay de ZenML de 40 tareas de τ² Telecom, Qwen3.8 27B con 36 de 40, detrás de GLM-5.3 con 39 de 40 | taubench.com; ZenML |
| Imagen | Preferencia humana ciega con intervalo, texto dentro de la imagen, edición, derecho de uso comercial | Arena texto a imagen (Elo) | GPT-Image-2.5 Sunburst, Elo 1429, 1.º | Qwen-Image (2512), Apache 2.0, Elo 1124, la mejor opción abierta de Qwen en ese cuadro | Arena imagen, en la última versión consultada |
| Video | Preferencia humana, con y sin audio en cuadros separados, precio por segundo, duración máxima | Arena texto a video (Elo) | Gemini Omni 1.2 Flash, Elo 1540 (resultado preliminar), 1.º. Wan 3.0 aparece en 8.º, con 1476 | MiniMax H3, licencia community, Elo 1456 | Arena video, en la última versión consultada |
| Voz | Preferencia humana, precio, latencia en streaming, voces en PT-BR, consentimiento en la clonación | Arenas de TTS; el Open TTS Leaderboard existe, números no recolectados en esta pasada | Cita puntual de Artificial Analysis, en la última versión consultada: Eleven v4 al frente, Elo 1338; Qwen-Audio-3.1-TTS-Plus en 3.º, con 1299. Source: Artificial Analysis (artificialanalysis.ai) | Revisa precio y política de clonación; los números de Open TTS no se recolectaron aquí | AA TTS, cita puntual, en la última versión consultada |
| Transcripción | Error de palabra en audio en PT-BR, velocidad, precio, diarización | WER con metodología; el Open ASR Leaderboard existe, números no recolectados en esta pasada | Cita puntual de Artificial Analysis, en la última versión consultada: Fun-Realtime-ASR-preview (Alibaba), AA-WER 1,7%, base mayoritariamente en inglés. Source: Artificial Analysis (artificialanalysis.ai) | La prueba con audio brasileño pesa más que la posición en un cuadro en inglés | AA STT y metodología, en la última versión consultada |
Esta tabla vive solo en este hub y debe leerse con la fecha a la vista. El historial de cambios queda al final de la página.
Texto y razonamiento
Para escritura, análisis y razonamiento, miro la Arena de texto con la franja de posición, el HLE cuando quiero un techo de conocimiento, y una prueba mía en portugués. MMLU, MMLU-Pro y GPQA quedan fuera de la elección entre modelos de punta: ya saturaron en la cima, y de 1 a 2 puntos suelen ser ruido. En la tabla de Qwen, Qwen3.8-Max marca 92,6 en GPQA Diamond, en el mismo recorte en el que los rivales de ese cuadro van de 92,0 a 94,1.
En la Arena de texto con style control, en la última versión consultada, Gemini 4 Carbon (High) lideraba con Elo 1526. Qwen3.8-Max aparecía en 23.º, con 1484 y una franja de 13 a 37, en el mismo pelotón estadístico de decenas de modelos. En el mismo cuadro, GLM-5.3 (Max) llegaba con 1483 y licencia MIT, y Qwen3.8-27B, Apache 2.0, con 1433.
Dos cuidados completan esa lectura. Ninguno de los grandes rankings mide el portugués de Brasil de forma central; la prueba que más vale, para mi uso, es con texto y tareas de aquí. Y el precio de lista por millón de tokens no cierra la cuenta. Qwen3.8-max, en el Model Studio de Singapur, sale a US$ 2 de entrada y US$ 6 de salida por millón. En una cita puntual de Artificial Analysis, en el Index v5, Qwen3.8 Max (0902) aparece a US$ 10,02 por tarea y tarda 56,8 minutos, con 114 segundos hasta el primer token en la configuración 0902. Source: Artificial Analysis (artificialanalysis.ai). Ese costo depende del proveedor y de la configuración que ellos usaron; un precio por token bajo, con mucho razonamiento, puede encarecer el trabajo.
También está el episodio del índice que cambia de escala. En el comunicado de Apsara, Alibaba dijo que Qwen3.8-Max había subido de 40 a 45 en Artificial Analysis. Qwen3.8 Max (0902) aparecía con 34 en el Index vigente (v5). Source: Artificial Analysis (artificialanalysis.ai). El cambio de versión del Index basta para rechazar cualquier número "del Index" citado sin la versión al lado.
Código
Para código, miro SWE-bench Pro, Terminal-Bench 2.x siempre con el harness y el límite de tiempo a la vista, y LiveCodeBench cuando quiero lógica en problemas publicados después de la fecha de corte del modelo. SWE-bench Verified aislado y HumanEval quedan fuera: el primero ya saturado y muy dependiente del harness, el segundo lejos de la ingeniería del día a día.
En esta pasada, no leí con éxito el leaderboard oficial de SWE-bench Pro ni el de Terminal-Bench, que en el sitio oficial ya estaba en la versión 4.1, mientras Qwen y MiniMax todavía citan la 2.1. Sin esa lectura, no publico una posición independiente como si estuviera cerrada.
Lo que existe con fuente es el recorte de los propios laboratorios, en condiciones distintas. En la tabla de Qwen, con harness Claude Code, Fable 5 aparece con 80,0 en SWE-bench Pro y Qwen3.8-Max con 67,7, además de 86,6 en Terminal Bench 2.1. MiniMax declara 59,0 en SWE-bench Pro (Claude Code) y 66,0 en Terminal-Bench 2.1, con Terminus 2, sandbox 8C16G, 2 horas y 128K de salida. Los 86,6 de Qwen, con Claude Code y 5 horas, no se comparan con los 66,0 de MiniMax. Ni siquiera dentro de la misma familia la cuenta cierra sola: Qwen3.8-27B declara 73,0 en Terminal Bench 2.1 con harness Terminus, mientras el Max usa Claude Code. MiniMax también declara 80,5 en SWE-bench Verified, con el prompt de sistema cambiado y un promedio de 4 rondas: transparencia parcial, y un motivo más para no decidir por ese recorte aislado.
El Qwen Code CLI es Apache 2.0, tenía 29.157 estrellas y estaba en la release v0.27.1, según la API de GitHub. El plan gratuito por OAuth se cerró, en el PR #3291. El código sensible sigue pidiendo una conversación sobre dónde corre el dato, inclusive la opción de correrlo en local.
Agentes y herramientas
Para agentes, miro τ-bench con pass^k (acertar varias veces seguidas, no solo una), BFCL cuando la pregunta es la llamada a una función, y recortes más nuevos como Toolathlon y MCP Atlas, todavía con poca medición independiente. La demo de lanzamiento y un Automation-Bench sin pass^k quedan fuera de la decisión.
En el τ-bench oficial de Sierra, en la última versión consultada, Qwen3.5-397B-A17B lideraba τ² (retail, aerolíneas, telecom) con 87,9%, por delante de Gemini 3.0 Pro (85,4%) y de Claude Opus 4.5 (85,3%). En el recorte τ³ Banking, un agente que consulta unos 700 documentos y aplica política, Qwen 3.8 Max lideraba con 55,2% pass^1, por delante de Claude Opus 5 (48,7%) y de Grok 4.5 (47,9%). El cuadro no trae todos los modelos del período, el usuario simulado es otro modelo, y 55% todavía significa errar casi la mitad de las tareas de ese recorte.
Un replay independiente ayuda a calibrar el ruido. ZenML corrió 40 tareas de τ² Telecom: GLM-5.3 con 39 aciertos de 40, Qwen3.8 27B con 36, DeepSeek V4.1 Flash con 35, GPT-5.6 Sol con 33 y GPT-5.2 con 27. GPT-5.2, corrido dos veces, repitió el total y, aun así, ganó 6 y perdió 6 tareas distintas. Todo cambio de modelo tiene que caber dentro de ese tipo de variación.
El BFCL oficial no se leyó en esta pasada. Lo que hay, self reported, es Qwen3.8-Max con 72,5 en Toolathlon, en la tabla de Qwen, y MiniMax M3 con 74,2 en MCP Atlas: indicio, no veredicto. La prueba que decide sigue siendo la tuya, con tus herramientas, tu auditoría y tu sandbox.
Imagen
Para imagen, miro la Arena de texto a imagen, con Elo e intervalo, además de precio, licencia y lo que la foto de lanzamiento no muestra: texto en portugués dentro de la imagen, edición y fondo transparente. Las galerías elegidas a dedo quedan fuera.
En la Arena de imagen, GPT-Image-2.5 Sunburst lideraba con Elo 1429. Qwen-Image-3.0-Pro aparecía en 14.º, con 1254, y la mejor opción abierta de Qwen en ese cuadro era Qwen-Image (2512), Apache 2.0, con 1124. En el Model Studio de Singapur, wan2.6-t2i sale a US$ 0,03 por imagen.
Video
Para video, miro Arena, el precio por segundo y la duración máxima, y separo el cuadro con audio del cuadro sin audio cuando existen los dos. Un solo ranking no alcanza: dos cuadros serios pueden disentir.
En la Arena de video, Gemini Omni 1.2 Flash lideraba con Elo 1540, todavía como resultado preliminar. Seedance 2.0 llegaba con 1483 y Wan 3.0 aparecía en 8.º, con 1476. MiniMax H3, con pesos abiertos y licencia community, marcaba 1456.
En una cita puntual de Artificial Analysis, en la última versión consultada, en el recorte de texto a video sin audio, Wan 3.0 aparecía al frente, con Elo 1175. Source: Artificial Analysis (artificialanalysis.ai). El mismo modelo, en Arena, estaba en octavo. Decir "Wan 3.0 es el número 1" solo se sostiene si el cuadro y la presencia o no de audio van junto a la frase.
El precio de lista de Wan 3.0 en el Model Studio de Singapur es US$ 0,10 por segundo en 720p y US$ 0,20 en 1080p, con una promoción del 30% en esta pasada.
Voz y clonación
Para voz, miro la preferencia humana, el precio por millón de caracteres, la latencia en streaming y la existencia de voces en PT-BR. Las muestras de demo y el MOS declarado por el proveedor quedan fuera. La clonación exige consentimiento y una lectura de la política de uso; el acento brasileño y los derechos entran en esa conversación antes de la posición en el ranking.
No encontré, en esta pasada, una arena independiente solo de clonación de voz.
Lo que cito es un punto aislado de Artificial Analysis, en la última versión consultada: Eleven v4 lideraba la Speech Arena con Elo 1338, a US$ 80 por millón de caracteres, y Qwen-Audio-3.1-TTS-Plus aparecía en 3.º, con 1299. Source: Artificial Analysis (artificialanalysis.ai). Hay una divergencia de precio que no reconcilié: la misma lectura lista a Qwen a US$ 19,31 por millón, mientras el Model Studio en Singapur lista qwen-audio-3.1-tts-plus a US$ 0,3 por 10 mil caracteres, el equivalente a US$ 30 por millón. Puede ser una región o un recorte distinto.
Transcripción
Para transcripción, lo que decide en mi uso es el error de palabra en el audio en portugués de Brasil, junto con la velocidad, el precio por mil minutos y la diarización. El WER de LibriSpeech, saturado y en inglés leído, no sirve para esa elección.
El Open ASR Leaderboard de Hugging Face existe, pero los números de ese cuadro no se recolectaron en esta pasada.
En una cita puntual de Artificial Analysis, en la última versión consultada, Fun-Realtime-ASR-preview de Alibaba aparece con AA-WER de 1,7%, a US$ 2,82 por mil minutos. Source: Artificial Analysis (artificialanalysis.ai). La métrica pondera AgentTalk en 50%, VoxPopuli en 25% y Earnings22 en 25%, una base mayoritariamente en inglés, y el propio sello "preview" puede cambiar. Para una reunión, una entrevista o la atención en PT-BR, la prueba con tu audio sigue delante de ese recorte.
Multimodal, documentos y embeddings
Para visión y documentos, miro MMMU-Pro con la variante declarada (4 o 10 alternativas cambian el número), Video-MME, pruebas de OCR y un ensayo con tus propios papeles. El MMMU original, ya saturado, queda fuera. MiniMax declara 78,1 en MMMU-Pro y 85,4 en Video-MME en el blog del M3, self reported, y el propio material registra duda sobre la variante de MMMU-Pro. En esta pasada, no recolecté una tabla oficial actual de Qwen-VL o Qwen-Omni.
Para búsqueda y RAG, el camino es la columna de retrieval de un cuadro multilingual como MMTEB, el tamaño del vector, la licencia, el precio y una prueba con preguntas reales sobre tus documentos. El promedio aislado del MTEB en inglés no decide, y no republico puntajes que vinieron de un espejo de terceros. En el Model Studio de Singapur, text-embedding-v4 aparece a US$ 0,07 por millón y qwen3-rerank a US$ 0,10. Qwen3-Embedding-8B es Apache 2.0; un puntaje de ranking solo entra en este hub cuando venga de la página oficial, con fecha.
Trampas que se repiten
La primera es comparar lo que no se midió en la misma condición. El harness, el límite de tiempo, el número de rondas y el prompt de sistema cambiado mueven el resultado con la misma etiqueta de benchmark.
La segunda es tratar la tabla de lanzamiento como una fotografía permanente. La comparación de Qwen en la tabla de lanzamiento usa Opus 4.8, Fable 5 y GPT 5.6. Después ya estaban Fable 5.2, Opus 5.5 y la línea GPT-6. Ese tipo de tabla envejece en semanas.
La tercera es el benchmark de la casa, creado por quien está siendo medido. Recortes como QwenSWEBench, QwenQoderBench y QwenReactBench merecen una desconfianza extra.
La cuarta es la afirmación sin tabla. El comunicado de SenseNova 6.8 Flashdice que el modelo superó a algunos líderes internacionales en colaboración de agentes, análisis de datos y generación de presentaciones, sin publicar nombres de benchmark ni números. Sirve como señal de posicionamiento, no como evidencia.
La quinta es confundir uso con calidad. En los rankings de uso de OpenRouter, en la última versión consultada, DeepSeek aparecía con el 31,8% de las solicitudes. Source: OpenRouter (openrouter.ai/rankings). El volumen de tokens mide lo que la gente está llamando, no lo que acierta tu tarea.
La sexta es olvidar el intervalo: un 23.º lugar con una franja de 13 a 37 es un empate amplio. La séptima es repetir un índice sin la versión, como en el caso del 45 y del 34 en Qwen3.8 Max.
Cómo vengo usando estos cuadros
No elijo un modelo por una celda aislada, y tampoco descarto los cuadros. Me ayudan a dejar de lado lo que ya saturó, a ver cuándo la condición de prueba no se compara, y a llegar más rápido a una prueba mía, en el idioma en el que trabajo, con el costo y la latencia del uso real. Lo que el trabajo pide casi siempre está fuera de la tabla, y es hacia ese punto que llevo la conversación.
La tabla completa, por caso de uso, queda en este hub.
Los episodios de abajo profundizan cada caso. Rutas; el slug, en estos borradores, es el mismo en los tres idiomas:
Versiones en portugués e inglés: /ia/como-ler-benchmarks/ y /en/ia/como-ler-benchmarks/.
Preguntas frecuentes
¿Qué es un benchmark de modelo de IA? Es una prueba estandarizada que mide el desempeño de un modelo en una tarea, en una condición y en una fecha. Fuera de ese recorte, la comparación pide la versión del modelo, el harness, la fuente y lo que la prueba no cubre, como el portugués de Brasil o la residencia del dato.
¿Cómo leer un ranking de modelos de IA sin perderse en el número? Empieza por quién midió, por la fecha y por la versión. Mira si el cuadro es independiente o self reported, si la condición es la misma entre los rivales, y si la métrica tiene que ver con tu caso de uso. Solo entonces mira la posición, de preferencia con el intervalo.
¿Por qué dos rankings señalan ganadores distintos para el mismo modelo? Porque miden cosas distintas, en condiciones distintas. Arena captura preferencia humana; un SWE-bench captura issues de repositorio; un recorte de video con audio no es el mismo recorte sin audio. En video, Wan 3.0 aparecía en 8.º en Arena y, en una cita puntual de Artificial Analysis, en la última versión consultada, al frente en el cuadro sin audio. Source: Artificial Analysis (artificialanalysis.ai). La frase honesta lleva el nombre del cuadro junto.
¿Puedo comparar el número de un laboratorio con el de otro? Solo cuando la condición sea la misma, o cuando el texto deje claro que no lo es. El Terminal-Bench 2.1 de Qwen, con Claude Code y 5 horas, no se compara con el de MiniMax con Terminus 2 y 2 horas, aunque la etiqueta del benchmark sea la misma.
¿Cuál es el mejor modelo de IA hoy? Depende de la tarea, del costo por trabajo terminado, de la latencia, de la licencia y del idioma. En la última versión consultada, Gemini 4 Carbon (High) lideraba la Arena de texto. GPT-Image-2.5 Sunburst lideraba la de imagen y Gemini Omni 1.2 Flash, todavía preliminar, la de video. En τ-bench, la referencia cambia de τ² a τ³. No hay un ganador único para todos los casos.
¿Por qué el precio por token no cierra la cuenta? Porque un modelo barato en la lista puede gastar muchos tokens de razonamiento en cada tarea, o tardar hasta la primera respuesta. La cuenta útil es la del trabajo terminado, en el proveedor y en la región en la que vas a correr, inclusive con caché, batch y tramos de contexto. En Model Studio, el batch tiene 50% de descuento y el precio de Qwen3.8-max cambia entre Singapur, Pekín, Fráncfort y Hong Kong.
¿Los rankings internacionales miden el portugués de Brasil? De forma central, no. Los grandes cuadros de esta pasada son mayoritariamente en inglés. Para texto, voz, transcripción y búsqueda, la prueba con material brasileño sigue siendo la más valiosa.
Actualización
Primera versión de este hub.
Historial de cambios de la tabla
- Borrador con Arena (texto, imagen y video), τ-bench, tablas de Qwen y de MiniMax, y citas puntuales de Artificial Analysis. Sin números, en esta pasada, de los leaderboards oficiales de SWE-bench Pro, Terminal-Bench 4.1, BFCL, Open TTS, Open ASR y MMTEB.