Como ler benchmarks de IA em cada caso de uso

Toda semana chega uma tabela nova. O laboratório publica um recorte, o número sobe num slide e, em pouco tempo, vira argumento de escolha. Eu já gastei tempo demais tratando esse recorte como se ele encerrasse a conversa.

Um benchmark mede o desempenho de um modelo numa tarefa específica, numa condição específica, numa data específica. Muda o programa que dirige o modelo, muda a versão do índice ou o tempo limite, e o número muda com eles. A leitura que me serve começa pelo caso de uso: o que aquela métrica captura, o que ela deixa de fora, e se o dado veio do próprio laboratório ou de um quadro independente.

O que olhar em qualquer comparação

Antes de abrir a tabela, eu passo por um checklist curto.

Quem mediu. Uma tabela do próprio laboratório, o chamado self reported, é um recorte com metodologia, útil para ver a evolução de uma mesma família. Um ranking independente, como a Arena ou o τ-bench, pesa mais entre rivais, e mesmo assim carrega viés de método, de idioma e de recorte.

Em que condição. O mesmo benchmark com outro harness (o programa que conduz o modelo), outro tempo limite ou outro esforço de raciocínio produz outro resultado. Mais abaixo, Qwen e MiniMax publicam Terminal-Bench 2.1 com harness e prazos diferentes, e esses números não se comparam.

Qual versão. "Qwen3.8 Max" aparece como preview, como 0902 e em configurações de esforço distintas. Índices também mudam de versão, e o número antigo não cabe na escala nova.

Custo por tarefa, não só o preço por token. Um modelo barato na lista que pensa por muito tempo pode sair mais caro em cada trabalho concluído.

Latência, licença e o que o quadro não vê. O tempo até o primeiro token importa em atendimento ao vivo. A licença importa antes de o modelo virar produto: pesos abertos não equivalem a uso irrestrito, e o Qwen3.8 Max tem licença própria com limite de receita para MaaS e AI Work Assistant. Português do Brasil, residência do dado, LGPD e SLA quase nunca entram no ranking.

O que a tabela mostra

Cada célula de "referência hoje" traz fonte. Onde o leaderboard oficial não foi lido com sucesso nesta passada, isso fica explícito. A Artificial Analysis não entra nesta tabela; um ponto isolado no texto vai com crédito e, se for o Index, a versão.

Esta tabela vive só neste hub e deve ser lida com a data à vista. O histórico de mudanças fica no final da página.

Texto e raciocínio

Para escrita, análise e raciocínio, eu olho a Arena de texto com a faixa de posição, o HLE quando quero um teto de conhecimento, e um teste meu em português. MMLU, MMLU-Pro e GPQA ficam de lado na escolha entre modelos de ponta: já saturaram no topo, e 1 a 2 pontos costumam ser ruído. Na tabela da Qwen, o Qwen3.8-Max marca 92,6 no GPQA Diamond, no mesmo recorte em que os rivais daquele quadro vão de 92,0 a 94,1.

Na Arena texto com style control, na versão mais recente consultada, o Gemini 4 Carbon (High) liderava com Elo 1526. O Qwen3.8-Max aparecia em 23º, com 1484 e faixa de 13 a 37, no mesmo pelotão estatístico de dezenas de modelos. No mesmo quadro, o GLM-5.3 (Max) vinha com 1483 e licença MIT, e o Qwen3.8-27B, Apache 2.0, com 1433.

Dois cuidados completam essa leitura. Nenhum dos grandes rankings mede português do Brasil de forma central; o teste que mais vale, para o meu uso, é com texto e tarefas daqui. E o preço de lista por milhão de tokens não fecha a conta. O Qwen3.8-max, no Model Studio em Singapura, sai a US$ 2 de entrada e US$ 6 de saída por milhão. Numa citação pontual da Artificial Analysis, no Index v5, o Qwen3.8 Max (0902) aparece a US$ 10,02 por tarefa e leva 56,8 minutos, com 114 segundos até o primeiro token na configuração 0902. Source: Artificial Analysis (artificialanalysis.ai). Aquele custo depende do provedor e da configuração usados por eles; preço por token baixo, com muito raciocínio, pode encarecer o trabalho.

Há também o episódio do índice que muda de escala. No comunicado da Apsara, a Alibaba disse que o Qwen3.8-Max subiu de 40 para 45 no Artificial Analysis. O Qwen3.8 Max (0902) aparecia com 34 no Index vigente (v5). Source: Artificial Analysis (artificialanalysis.ai). A troca de versão do Index basta para recusar qualquer número "do Index" citado sem a versão ao lado.

Código

Para código, eu olho o SWE-bench Pro, o Terminal-Bench 2.x sempre com harness e tempo limite à mostra, e o LiveCodeBench quando quero lógica em problemas publicados depois da data de corte do modelo. SWE-bench Verified isolado e HumanEval ficam de fora: o primeiro já saturado e muito dependente do harness, o segundo distante da engenharia do dia a dia.

Nesta passada, eu não li com sucesso o leaderboard oficial do SWE-bench Pro nem o do Terminal-Bench, que no site oficial já estava na versão 4.1, enquanto Qwen e MiniMax ainda citam a 2.1. Sem essa leitura, não publico uma posição independente como se fosse fechada.

O que existe com fonte é o recorte dos próprios laboratórios, em condições diferentes. Na tabela da Qwen, com harness Claude Code, o Fable 5 aparece com 80,0 no SWE-bench Pro e o Qwen3.8-Max com 67,7, além de 86,6 no Terminal Bench 2.1. A MiniMax declara 59,0 no SWE-bench Pro (Claude Code) e 66,0 no Terminal-Bench 2.1, com Terminus 2, sandbox 8C16G, 2 horas e 128K de saída. Os 86,6 da Qwen, com Claude Code e 5 horas, não se comparam aos 66,0 da MiniMax. Nem dentro da mesma família a conta fecha no automático: o Qwen3.8-27B declara 73,0 no Terminal Bench 2.1 com harness Terminus, enquanto o Max usa Claude Code. A MiniMax também declara 80,5 no SWE-bench Verified, com prompt de sistema trocado e média de 4 rodadas: transparência parcial, e um motivo a mais para não decidir por esse recorte isolado.

O Qwen Code CLI é Apache 2.0, tinha 29.157 estrelas e estava na release v0.27.1, segundo a API do GitHub. O plano gratuito por OAuth foi encerrado, no PR #3291. Código sensível continua pedindo uma conversa sobre onde o dado roda, inclusive a opção de rodar local.

Agentes e ferramentas

Para agentes, eu olho o τ-bench com pass^k (acertar várias vezes seguidas, não só uma), o BFCL quando a pergunta é chamada de função, e recortes mais novos como Toolathlon e MCP Atlas, ainda com pouca medição independente. Demo de lançamento e um Automation-Bench sem pass^k ficam de fora da decisão.

No τ-bench oficial da Sierra, na versão mais recente consultada, o Qwen3.5-397B-A17B liderava o τ² (varejo, aéreo, telecom) com 87,9%, à frente do Gemini 3.0 Pro (85,4%) e do Claude Opus 4.5 (85,3%). No recorte τ³ Banking, um agente que consulta cerca de 700 documentos e aplica política, o Qwen 3.8 Max liderava com 55,2% pass^1, à frente do Claude Opus 5 (48,7%) e do Grok 4.5 (47,9%). O quadro não traz todos os modelos do período, o usuário simulado é outro modelo, e 55% ainda significa errar quase metade das tarefas daquele recorte.

Um replay independente ajuda a calibrar o ruído. A ZenML rodou 40 tarefas do τ² Telecom: GLM-5.3 com 39 acertos em 40, Qwen3.8 27B com 36, DeepSeek V4.1 Flash com 35, GPT-5.6 Sol com 33 e GPT-5.2 com 27. O GPT-5.2, rodado duas vezes, repetiu o total e, ainda assim, ganhou 6 e perdeu 6 tarefas diferentes. Toda troca de modelo precisa caber dentro desse tipo de variação.

O BFCL oficial não foi lido nesta passada. O que há, self reported, é o Qwen3.8-Max com 72,5 no Toolathlon, na tabela da Qwen, e o MiniMax M3 com 74,2 no MCP Atlas: indício, não veredito. O teste que decide continua sendo o seu, com as suas ferramentas, a sua auditoria e o seu sandbox.

Imagem

Para imagem, eu olho a Arena de texto para imagem, com Elo e intervalo, além de preço, licença e o que a foto de lançamento não mostra: texto em português dentro da imagem, edição e fundo transparente. Galerias escolhidas a dedo ficam de fora.

Na Arena de imagem, o GPT-Image-2.5 Sunburst liderava com Elo 1429. O Qwen-Image-3.0-Pro aparecia em 14º, com 1254, e a melhor opção aberta da Qwen naquele quadro era o Qwen-Image (2512), Apache 2.0, com 1124. No Model Studio em Singapura, o wan2.6-t2i sai a US$ 0,03 por imagem.

Vídeo

Para vídeo, eu olho a Arena, o preço por segundo e a duração máxima, e separo o quadro com áudio do quadro sem áudio quando os dois existirem. Um único ranking não basta: dois quadros sérios podem discordar.

Na Arena de vídeo, o Gemini Omni 1.2 Flash liderava com Elo 1540, ainda como resultado preliminar. O Seedance 2.0 vinha com 1483 e o Wan 3.0 aparecia em 8º, com 1476. O MiniMax H3, com pesos abertos e licença community, marcava 1456.

Numa citação pontual da Artificial Analysis, na versão mais recente consultada, no recorte de texto para vídeo sem áudio, o Wan 3.0 aparecia na frente, com Elo 1175. Source: Artificial Analysis (artificialanalysis.ai). O mesmo modelo, na Arena, estava em oitavo. Dizer "o Wan 3.0 é o número 1" só se sustenta se o quadro e a presença ou não de áudio forem junto da frase.

O preço de lista do Wan 3.0 no Model Studio em Singapura é US$ 0,10 por segundo em 720p e US$ 0,20 em 1080p, com promoção de 30% nesta passada.

Voz e clonagem

Para voz, eu olho preferência humana, preço por milhão de caracteres, latência em streaming e a existência de vozes em PT-BR. Amostras de demo e MOS declarado pelo fornecedor ficam de fora. Clonagem exige consentimento e uma leitura da política de uso; sotaque brasileiro e direitos entram nessa conversa antes da posição no ranking.

Não achei, nesta passada, uma arena independente só de clonagem de voz.

O que cito é um ponto isolado da Artificial Analysis, na versão mais recente consultada: a Eleven v4 liderava a Speech Arena com Elo 1338, a US$ 80 por milhão de caracteres, e o Qwen-Audio-3.1-TTS-Plus aparecia em 3º, com 1299. Source: Artificial Analysis (artificialanalysis.ai). Há uma divergência de preço que eu não reconciliei: a mesma leitura lista o Qwen a US$ 19,31 por milhão, enquanto o Model Studio em Singapura lista o qwen-audio-3.1-tts-plus a US$ 0,3 por 10 mil caracteres, o equivalente a US$ 30 por milhão. Pode ser região ou recorte diferente.

Transcrição

Para transcrição, o que decide no meu uso é o erro de palavra no áudio em português do Brasil, junto de velocidade, preço por mil minutos e diarização. WER de LibriSpeech, saturado e em inglês lido, não serve para essa escolha.

O Open ASR Leaderboard da Hugging Face existe, mas os números desse quadro não foram coletados nesta passada.

Numa citação pontual da Artificial Analysis, na versão mais recente consultada, o Fun-Realtime-ASR-preview da Alibaba aparece com AA-WER de 1,7%, a US$ 2,82 por mil minutos. Source: Artificial Analysis (artificialanalysis.ai). A métrica pondera AgentTalk em 50%, VoxPopuli em 25% e Earnings22 em 25%, uma base majoritariamente em inglês, e o próprio selo "preview" pode mudar. Para reunião, entrevista ou atendimento em PT-BR, o teste com o seu áudio continua na frente desse recorte.

Multimodal, documentos e embeddings

Para visão e documentos, eu olho o MMMU-Pro com a variante declarada (4 ou 10 alternativas mudam o número), o Video-MME, provas de OCR e um teste com os seus próprios papéis. O MMMU original já saturado fica de fora. A MiniMax declara 78,1 no MMMU-Pro e 85,4 no Video-MME no blog do M3, self reported, e o próprio material registra dúvida sobre a variante do MMMU-Pro. Nesta passada, não coletei tabela oficial atual de Qwen-VL ou Qwen-Omni.

Para busca e RAG, o caminho é a coluna de retrieval de um quadro multilingual como o MMTEB, o tamanho do vetor, a licença, o preço e um teste com perguntas reais sobre os seus documentos. A média isolada do MTEB em inglês não decide, e eu não republico escores vindos de espelho de terceiros. No Model Studio em Singapura, o text-embedding-v4 aparece a US$ 0,07 por milhão e o qwen3-rerank a US$ 0,10. O Qwen3-Embedding-8B é Apache 2.0; um escore de ranking só entra neste hub quando vier da página oficial, com data.

Armadilhas que se repetem

A primeira é comparar o que não foi medido na mesma condição. Harness, tempo limite, número de rodadas e prompt de sistema trocado mudam o resultado com a mesma etiqueta de benchmark.

A segunda é tratar tabela de lançamento como fotografia permanente. A comparação da Qwen na tabela de lançamento usa Opus 4.8, Fable 5 e GPT 5.6. Depois já havia Fable 5.2, Opus 5.5 e a linha GPT-6. Esse tipo de tabela envelhece em semanas.

A terceira é o benchmark da casa, criado por quem está sendo medido. Recortes como QwenSWEBench, QwenQoderBench e QwenReactBench merecem desconfiança extra.

A quarta é a afirmação sem tabela. O comunicado do SenseNova 6.8 Flash, diz que o modelo superou alguns líderes internacionais em colaboração de agentes, análise de dados e geração de apresentações, sem publicar nomes de benchmark nem números. Serve como sinal de posicionamento, não como evidência.

A quinta é confundir uso com qualidade. Nos rankings de uso do OpenRouter, na versão mais recente consultada, o DeepSeek aparecia com 31,8% das requisições. Source: OpenRouter (openrouter.ai/rankings). Volume de tokens mede o que as pessoas estão chamando, não o que acerta a sua tarefa.

A sexta é esquecer o intervalo: um 23º lugar com faixa de 13 a 37 é um empate largo. A sétima é repetir um índice sem a versão, como no caso do 45 e do 34 no Qwen3.8 Max.

Como eu tenho usado esses quadros

Eu não escolho modelo por uma célula isolada, e também não descarto os quadros. Eles me ajudam a deixar de lado o que já saturado, a ver quando a condição de teste não se compara, e a chegar mais rápido a um teste meu, no idioma em que eu trabalho, com o custo e a latência do uso real. O que o trabalho pede quase sempre está fora da tabela, e é para esse ponto que eu levo a conversa.

A tabela completa, por caso de uso, fica neste hub.

Os episódios abaixo aprofundam cada caso. Caminhos; o slug, nestes rascunhos, é o mesmo nos três idiomas:

• Texto
• Código
• Agentes
• Imagem
• Vídeo
• Voz
• Transcrição

Versões em inglês e espanhol: /en/ia/como-ler-benchmarks/ e /es/ia/como-ler-benchmarks/.

Perguntas frequentes

O que é um benchmark de modelo de IA? É uma prova padronizada que mede o desempenho de um modelo numa tarefa, numa condição e numa data. Fora desse recorte, a comparação pede a versão do modelo, o harness, a fonte e o que a prova não cobre, como português do Brasil ou residência do dado.

Como ler um ranking de modelos de IA sem se perder no número? Comece por quem mediu, pela data e pela versão. Veja se o quadro é independente ou self reported, se a condição é a mesma entre os rivais, e se a métrica tem a ver com o seu caso de uso. Só então olhe a posição, de preferência com o intervalo.

Por que dois rankings apontam vencedores diferentes no mesmo modelo? Porque medem coisas distintas, em condições distintas. A Arena captura preferência humana; um SWE-bench captura issues de repositório; um recorte de vídeo com áudio não é o mesmo recorte sem áudio. No vídeo, o Wan 3.0 aparecia em 8º na Arena e, numa citação pontual da Artificial Analysis, na versão mais recente consultada, na frente no quadro sem áudio. Source: Artificial Analysis (artificialanalysis.ai). A frase honesta leva o nome do quadro junto.

Posso comparar o número de um laboratório com o número de outro? Só quando a condição for a mesma, ou quando o texto deixar claro que não é. O Terminal-Bench 2.1 da Qwen, com Claude Code e 5 horas, não se compara ao da MiniMax com Terminus 2 e 2 horas, embora a etiqueta do benchmark seja a mesma.

Qual é o melhor modelo de IA hoje? Depende da tarefa, do custo por trabalho concluído, da latência, da licença e do idioma. Na versão mais recente consultada, o Gemini 4 Carbon (High) liderava a Arena de texto. O GPT-Image-2.5 Sunburst liderava a de imagem e o Gemini Omni 1.2 Flash, ainda preliminar, a de vídeo. No τ-bench, a referência muda do τ² para o τ³. Não há um vencedor único para todos os casos.

Por que o preço por token não fecha a conta? Porque um modelo barato na lista pode gastar muitos tokens de raciocínio em cada tarefa, ou demorar até a primeira resposta. A conta útil é a do trabalho concluído, no provedor e na região em que você vai rodar, inclusive com cache, batch e faixas de contexto. No Model Studio, o batch tem 50% de desconto e o preço do Qwen3.8-max muda entre Singapura, Pequim, Frankfurt e Hong Kong.

Os rankings internacionais medem português do Brasil? De forma central, não. Os grandes quadros desta passada são majoritariamente em inglês. Para texto, voz, transcrição e busca, o teste com material brasileiro continua sendo o mais valioso.

Atualização

Primeira versão deste hub.

Histórico de mudanças da tabela

• Rascunho com Arena (texto, imagem e vídeo), τ-bench, tabelas da Qwen e da MiniMax, e citações pontuais da Artificial Analysis. Sem números, nesta passada, dos leaderboards oficiais de SWE-bench Pro, Terminal-Bench 4.1, BFCL, Open TTS, Open ASR e MMTEB.