Cómo leer benchmarks · Guía

Texto y razonamiento

Para escritura, análisis y razonamiento, miro la Arena de texto con la franja de posición, el HLE cuando quiero un techo de conocimiento, y una prueba mía en portugués. MMLU, MMLU-Pro y GPQA quedan fuera de la elección entre modelos de punta: ya saturaron en la cima, y de 1 a 2 puntos suelen ser ruido. En la tabla de Qwen, Qwen3.8-Max marca 92,6 en GPQA Diamond, en el mismo recorte en el que los rivales de ese cuadro van de 92,0 a 94,1.

En la Arena de texto con style control, en la última versión consultada, Gemini 4 Carbon (High) lideraba con Elo 1526. Qwen3.8-Max aparecía en 23.º, con 1484 y una franja de 13 a 37, en el mismo pelotón estadístico de decenas de modelos. En el mismo cuadro, GLM-5.3 (Max) llegaba con 1483 y licencia MIT, y Qwen3.8-27B, Apache 2.0, con 1433.

Dos cuidados completan esa lectura. Ninguno de los grandes rankings mide el portugués de Brasil de forma central; la prueba que más vale, para mi uso, es con texto y tareas de aquí. Y el precio de lista por millón de tokens no cierra la cuenta. Qwen3.8-max, en el Model Studio de Singapur, sale a US$ 2 de entrada y US$ 6 de salida por millón. En una cita puntual de Artificial Analysis, en el Index v5, Qwen3.8 Max (0902) aparece a US$ 10,02 por tarea y tarda 56,8 minutos, con 114 segundos hasta el primer token en la configuración 0902. Source: Artificial Analysis (artificialanalysis.ai). Ese costo depende del proveedor y de la configuración que ellos usaron; un precio por token bajo, con mucho razonamiento, puede encarecer el trabajo.

También está el episodio del índice que cambia de escala. En el comunicado de Apsara, Alibaba dijo que Qwen3.8-Max había subido de 40 a 45 en Artificial Analysis. Qwen3.8 Max (0902) aparecía con 34 en el Index vigente (v5). Source: Artificial Analysis (artificialanalysis.ai). El cambio de versión del Index basta para rechazar cualquier número "del Index" citado sin la versión al lado.

Cuadro de fuentes abiertas

GPQA Diamond, mejor ejecución por modelo. Fuente: Epoch AI, licencia CC BY 4.0.

GPQA Diamond, mejor ejecución por modelo. Fuente: Epoch AI, licencia CC BY 4.0.
Modelo Valor Laboratorio Quién midió Fuente
Gemini 4 Argon 96,4% Google DeepMind Epoch AI Fuente
GPT-6 Astra 95,8% OpenAI Epoch AI Fuente
Claude Sonnet 5.5 95,6% Anthropic Epoch AI Fuente
Gemini 3.8 Flash 95,4% Google DeepMind Epoch AI Fuente
Gemini 3.7 Flash 94,8% Google DeepMind Epoch AI Fuente
GPT-5.4 Pro 94,6% OpenAI Epoch AI Fuente
Gemini 3.1 Pro 94,4% Google DeepMind Epoch AI Fuente
Kimi K3.1 Pro 94,2% Moonshot Epoch AI Fuente
Claude Opus 5 93,9% Anthropic Epoch AI Fuente
GPT-5.4 93,3% OpenAI Epoch AI Fuente
DeepSeek V4.1 Flash 1017 93,2% DeepSeek Epoch AI Fuente
Kimi K3 93,1% Moonshot Epoch AI Fuente
Qwen 3.8 Max 92,7% Alibaba Epoch AI Fuente
Gemini 3 Pro 92,6% Google DeepMind Epoch AI Fuente
Qwen3.8 Max (0902) 92,3% Alibaba Epoch AI Fuente
GLM-5.2 91,9% Z.ai (Zhipu AI) Epoch AI Fuente
DeepSeek V4 Pro 0813 91,7% DeepSeek Epoch AI Fuente
GPT-5.2 91,4% OpenAI Epoch AI Fuente
Claude Opus 4.8 91% Anthropic Epoch AI Fuente
DeepSeek V4 Flash 0731 91% DeepSeek Epoch AI Fuente
DeepSeek-V4-Pro 90,9% DeepSeek Epoch AI Fuente
GLM-5.3 90,9% Z.ai (Zhipu AI) Epoch AI Fuente
Qwen3.7-Max 90,9% Alibaba Epoch AI Fuente
Kimi K2.6 90,8% Moonshot Epoch AI Fuente
Claude Opus 4.6 90,5% Anthropic Epoch AI Fuente
GLM-5.3-Flash 90,2% Z.ai (Zhipu AI) Epoch AI Fuente
GLM-5.1 89,9% Z.ai (Zhipu AI) Epoch AI Fuente
DeepSeek V4.1 Flash 89,8% DeepSeek Epoch AI Fuente
Qwen 3.6 Plus 88,4% Alibaba Epoch AI Fuente
Kimi K2.7 Code 87,9% Moonshot Epoch AI Fuente
GLM-5 87,8% Z.ai (Zhipu AI) Epoch AI Fuente
GPT-5.1 87,6% OpenAI Epoch AI Fuente
Kimi K2.5 87,6% Moonshot Epoch AI Fuente
Qwen 3.6 Max (Preview) 87,4% Alibaba Epoch AI Fuente
Qwen3.5 397B-A17B 86,4% Alibaba Epoch AI Fuente
GPT-5 86,2% OpenAI Epoch AI Fuente
Claude Opus 4.5 86% Anthropic Epoch AI Fuente
Gemini 2.5 Pro (Jun 2025) 85,3% Google DeepMind Epoch AI Fuente
Kimi K2 Thinking 84,2% Moonshot Epoch AI Fuente
Gemini 2.5 Pro (Mar 2025) 83,8% Google DeepMind Epoch AI Fuente
DeepSeek-V3.2 83,4% DeepSeek Epoch AI Fuente
GLM-4.7 83,3% Z.ai (Zhipu AI) Epoch AI Fuente
Claude Sonnet 4.5 82,3% Anthropic Epoch AI Fuente
o3 81,8% OpenAI Epoch AI Fuente
Qwen3-235B-A22B (Jul 2025) 80,1% Alibaba Epoch AI Fuente
Claude 3.7 Sonnet 79,7% Anthropic Epoch AI Fuente
o4-mini 79,6% OpenAI Epoch AI Fuente
o3-mini 77% OpenAI Epoch AI Fuente
o1 76,8% OpenAI Epoch AI Fuente
DeepSeek-R1 (May 2025) 76,3% DeepSeek Epoch AI Fuente
Qwen3-Max 72,6% Alibaba Epoch AI Fuente
DeepSeek-R1 71,7% DeepSeek Epoch AI Fuente
Qwen3-235B-A22B 70,7% Alibaba Epoch AI Fuente
DeepSeek-V3 (Mar 2025) 67,6% DeepSeek Epoch AI Fuente
Gemini 2.0 Pro 65,7% Google DeepMind Epoch AI Fuente
Qwen3-32B 65,7% Alibaba Epoch AI Fuente
QWQ-Plus 65,4% Alibaba Epoch AI Fuente
QwQ-32B 65,3% Alibaba Epoch AI Fuente
DeepSeek-R1-Distill-Qwen-32B 64,1% DeepSeek Epoch AI Fuente
o1-mini 62,4% OpenAI Epoch AI Fuente
Gemini 1.5 Pro 57,2% Google DeepMind Epoch AI Fuente
DeepSeek-V3 56,5% DeepSeek Epoch AI Fuente
Qwen2.5-Max 56,1% Alibaba Epoch AI Fuente
Claude 3.5 Sonnet (October 2024) 55,3% Anthropic Epoch AI Fuente
Claude 3.5 Sonnet 54% Anthropic Epoch AI Fuente
o1-preview 50,3% OpenAI Epoch AI Fuente
GPT-4o 49,2% OpenAI Epoch AI Fuente
Qwen2.5-72B 49,1% Alibaba Epoch AI Fuente
Gemini 1.5 Flash 47,3% Google DeepMind Epoch AI Fuente
Claude 3 Opus 47,2% Anthropic Epoch AI Fuente
GPT-4 Turbo (Apr 2024) 46,6% OpenAI Epoch AI Fuente
Qwen2.5-32B 46,1% Alibaba Epoch AI Fuente
Qwen2-72B 40,8% Alibaba Epoch AI Fuente
Claude 3 Sonnet 40,6% Anthropic Epoch AI Fuente
Gemma 2 27B 36,5% Google DeepMind Epoch AI Fuente
Qwen1.5-32B 30,7% Alibaba Epoch AI Fuente
Qwen1.5-72B 28,8% Alibaba Epoch AI Fuente
Gemma 2 9B 27,5% Google DeepMind Epoch AI Fuente