Como ler benchmarks · Guia

Texto e raciocínio

Para escrita, análise e raciocínio, eu olho a Arena de texto com a faixa de posição, o HLE quando quero um teto de conhecimento, e um teste meu em português. MMLU, MMLU-Pro e GPQA ficam de lado na escolha entre modelos de ponta: já saturaram no topo, e 1 a 2 pontos costumam ser ruído. Na tabela da Qwen, o Qwen3.8-Max marca 92,6 no GPQA Diamond, no mesmo recorte em que os rivais daquele quadro vão de 92,0 a 94,1.

Na Arena texto com style control, na versão mais recente consultada, o Gemini 4 Carbon (High) liderava com Elo 1526. O Qwen3.8-Max aparecia em 23º, com 1484 e faixa de 13 a 37, no mesmo pelotão estatístico de dezenas de modelos. No mesmo quadro, o GLM-5.3 (Max) vinha com 1483 e licença MIT, e o Qwen3.8-27B, Apache 2.0, com 1433.

Dois cuidados completam essa leitura. Nenhum dos grandes rankings mede português do Brasil de forma central; o teste que mais vale, para o meu uso, é com texto e tarefas daqui. E o preço de lista por milhão de tokens não fecha a conta. O Qwen3.8-max, no Model Studio em Singapura, sai a US$ 2 de entrada e US$ 6 de saída por milhão. Numa citação pontual da Artificial Analysis, no Index v5, o Qwen3.8 Max (0902) aparece a US$ 10,02 por tarefa e leva 56,8 minutos, com 114 segundos até o primeiro token na configuração 0902. Source: Artificial Analysis (artificialanalysis.ai). Aquele custo depende do provedor e da configuração usados por eles; preço por token baixo, com muito raciocínio, pode encarecer o trabalho.

Há também o episódio do índice que muda de escala. No comunicado da Apsara, a Alibaba disse que o Qwen3.8-Max subiu de 40 para 45 no Artificial Analysis. O Qwen3.8 Max (0902) aparecia com 34 no Index vigente (v5). Source: Artificial Analysis (artificialanalysis.ai). A troca de versão do Index basta para recusar qualquer número "do Index" citado sem a versão ao lado.

Quadro de fontes abertas

GPQA Diamond, melhor execução por modelo. Fonte: Epoch AI, licença CC BY 4.0.

GPQA Diamond, melhor execução por modelo. Fonte: Epoch AI, licença CC BY 4.0.
Modelo Valor Laboratório Quem mediu Fonte
Gemini 4 Argon 96,4% Google DeepMind Epoch AI Fonte
GPT-6 Astra 95,8% OpenAI Epoch AI Fonte
Claude Sonnet 5.5 95,6% Anthropic Epoch AI Fonte
Gemini 3.8 Flash 95,4% Google DeepMind Epoch AI Fonte
Gemini 3.7 Flash 94,8% Google DeepMind Epoch AI Fonte
GPT-5.4 Pro 94,6% OpenAI Epoch AI Fonte
Gemini 3.1 Pro 94,4% Google DeepMind Epoch AI Fonte
Kimi K3.1 Pro 94,2% Moonshot Epoch AI Fonte
Claude Opus 5 93,9% Anthropic Epoch AI Fonte
GPT-5.4 93,3% OpenAI Epoch AI Fonte
DeepSeek V4.1 Flash 1017 93,2% DeepSeek Epoch AI Fonte
Kimi K3 93,1% Moonshot Epoch AI Fonte
Qwen 3.8 Max 92,7% Alibaba Epoch AI Fonte
Gemini 3 Pro 92,6% Google DeepMind Epoch AI Fonte
Qwen3.8 Max (0902) 92,3% Alibaba Epoch AI Fonte
GLM-5.2 91,9% Z.ai (Zhipu AI) Epoch AI Fonte
DeepSeek V4 Pro 0813 91,7% DeepSeek Epoch AI Fonte
GPT-5.2 91,4% OpenAI Epoch AI Fonte
Claude Opus 4.8 91% Anthropic Epoch AI Fonte
DeepSeek V4 Flash 0731 91% DeepSeek Epoch AI Fonte
DeepSeek-V4-Pro 90,9% DeepSeek Epoch AI Fonte
GLM-5.3 90,9% Z.ai (Zhipu AI) Epoch AI Fonte
Qwen3.7-Max 90,9% Alibaba Epoch AI Fonte
Kimi K2.6 90,8% Moonshot Epoch AI Fonte
Claude Opus 4.6 90,5% Anthropic Epoch AI Fonte
GLM-5.3-Flash 90,2% Z.ai (Zhipu AI) Epoch AI Fonte
GLM-5.1 89,9% Z.ai (Zhipu AI) Epoch AI Fonte
DeepSeek V4.1 Flash 89,8% DeepSeek Epoch AI Fonte
Qwen 3.6 Plus 88,4% Alibaba Epoch AI Fonte
Kimi K2.7 Code 87,9% Moonshot Epoch AI Fonte
GLM-5 87,8% Z.ai (Zhipu AI) Epoch AI Fonte
GPT-5.1 87,6% OpenAI Epoch AI Fonte
Kimi K2.5 87,6% Moonshot Epoch AI Fonte
Qwen 3.6 Max (Preview) 87,4% Alibaba Epoch AI Fonte
Qwen3.5 397B-A17B 86,4% Alibaba Epoch AI Fonte
GPT-5 86,2% OpenAI Epoch AI Fonte
Claude Opus 4.5 86% Anthropic Epoch AI Fonte
Gemini 2.5 Pro (Jun 2025) 85,3% Google DeepMind Epoch AI Fonte
Kimi K2 Thinking 84,2% Moonshot Epoch AI Fonte
Gemini 2.5 Pro (Mar 2025) 83,8% Google DeepMind Epoch AI Fonte
DeepSeek-V3.2 83,4% DeepSeek Epoch AI Fonte
GLM-4.7 83,3% Z.ai (Zhipu AI) Epoch AI Fonte
Claude Sonnet 4.5 82,3% Anthropic Epoch AI Fonte
o3 81,8% OpenAI Epoch AI Fonte
Qwen3-235B-A22B (Jul 2025) 80,1% Alibaba Epoch AI Fonte
Claude 3.7 Sonnet 79,7% Anthropic Epoch AI Fonte
o4-mini 79,6% OpenAI Epoch AI Fonte
o3-mini 77% OpenAI Epoch AI Fonte
o1 76,8% OpenAI Epoch AI Fonte
DeepSeek-R1 (May 2025) 76,3% DeepSeek Epoch AI Fonte
Qwen3-Max 72,6% Alibaba Epoch AI Fonte
DeepSeek-R1 71,7% DeepSeek Epoch AI Fonte
Qwen3-235B-A22B 70,7% Alibaba Epoch AI Fonte
DeepSeek-V3 (Mar 2025) 67,6% DeepSeek Epoch AI Fonte
Gemini 2.0 Pro 65,7% Google DeepMind Epoch AI Fonte
Qwen3-32B 65,7% Alibaba Epoch AI Fonte
QWQ-Plus 65,4% Alibaba Epoch AI Fonte
QwQ-32B 65,3% Alibaba Epoch AI Fonte
DeepSeek-R1-Distill-Qwen-32B 64,1% DeepSeek Epoch AI Fonte
o1-mini 62,4% OpenAI Epoch AI Fonte
Gemini 1.5 Pro 57,2% Google DeepMind Epoch AI Fonte
DeepSeek-V3 56,5% DeepSeek Epoch AI Fonte
Qwen2.5-Max 56,1% Alibaba Epoch AI Fonte
Claude 3.5 Sonnet (October 2024) 55,3% Anthropic Epoch AI Fonte
Claude 3.5 Sonnet 54% Anthropic Epoch AI Fonte
o1-preview 50,3% OpenAI Epoch AI Fonte
GPT-4o 49,2% OpenAI Epoch AI Fonte
Qwen2.5-72B 49,1% Alibaba Epoch AI Fonte
Gemini 1.5 Flash 47,3% Google DeepMind Epoch AI Fonte
Claude 3 Opus 47,2% Anthropic Epoch AI Fonte
GPT-4 Turbo (Apr 2024) 46,6% OpenAI Epoch AI Fonte
Qwen2.5-32B 46,1% Alibaba Epoch AI Fonte
Qwen2-72B 40,8% Alibaba Epoch AI Fonte
Claude 3 Sonnet 40,6% Anthropic Epoch AI Fonte
Gemma 2 27B 36,5% Google DeepMind Epoch AI Fonte
Qwen1.5-32B 30,7% Alibaba Epoch AI Fonte
Qwen1.5-72B 28,8% Alibaba Epoch AI Fonte
Gemma 2 9B 27,5% Google DeepMind Epoch AI Fonte