Como ler benchmarks · Guia

Código

Para código, eu olho o SWE-bench Pro, o Terminal-Bench 2.x sempre com harness e tempo limite à mostra, e o LiveCodeBench quando quero lógica em problemas publicados depois da data de corte do modelo. SWE-bench Verified isolado e HumanEval ficam de fora: o primeiro já saturado e muito dependente do harness, o segundo distante da engenharia do dia a dia.

Nesta passada, eu não li com sucesso o leaderboard oficial do SWE-bench Pro nem o do Terminal-Bench, que no site oficial já estava na versão 4.1, enquanto Qwen e MiniMax ainda citam a 2.1. Sem essa leitura, não publico uma posição independente como se fosse fechada.

O que existe com fonte é o recorte dos próprios laboratórios, em condições diferentes. Na tabela da Qwen, com harness Claude Code, o Fable 5 aparece com 80,0 no SWE-bench Pro e o Qwen3.8-Max com 67,7, além de 86,6 no Terminal Bench 2.1. A MiniMax declara 59,0 no SWE-bench Pro (Claude Code) e 66,0 no Terminal-Bench 2.1, com Terminus 2, sandbox 8C16G, 2 horas e 128K de saída. Os 86,6 da Qwen, com Claude Code e 5 horas, não se comparam aos 66,0 da MiniMax. Nem dentro da mesma família a conta fecha no automático: o Qwen3.8-27B declara 73,0 no Terminal Bench 2.1 com harness Terminus, enquanto o Max usa Claude Code. A MiniMax também declara 80,5 no SWE-bench Verified, com prompt de sistema trocado e média de 4 rodadas: transparência parcial, e um motivo a mais para não decidir por esse recorte isolado.

O Qwen Code CLI é Apache 2.0, tinha 29.157 estrelas e estava na release v0.27.1, segundo a API do GitHub. O plano gratuito por OAuth foi encerrado, no PR #3291. Código sensível continua pedindo uma conversa sobre onde o dado roda, inclusive a opção de rodar local.

Quadro de fontes abertas

Este caso fica sem quadro numérico. O arquivo versionado ainda não tem medição de fonte aberta aqui.