No τ-bench oficial da Sierra, na versão mais recente consultada, o Qwen3.5-397B-A17B liderava o τ² (varejo, aéreo, telecom) com 87,9%, à frente do Gemini 3.0 Pro (85,4%) e do Claude Opus 4.5 (85,3%). No recorte τ³ Banking, um agente que consulta cerca de 700 documentos e aplica política, o Qwen 3.8 Max liderava com 55,2% pass^1, à frente do Claude Opus 5 (48,7%) e do Grok 4.5 (47,9%). O quadro não traz todos os modelos do período, o usuário simulado é outro modelo, e 55% ainda significa errar quase metade das tarefas daquele recorte.
Um replay independente ajuda a calibrar o ruído. A ZenML rodou 40 tarefas do τ² Telecom: GLM-5.3 com 39 acertos em 40, Qwen3.8 27B com 36, DeepSeek V4.1 Flash com 35, GPT-5.6 Sol com 33 e GPT-5.2 com 27. O GPT-5.2, rodado duas vezes, repetiu o total e, ainda assim, ganhou 6 e perdeu 6 tarefas diferentes. Toda troca de modelo precisa caber dentro desse tipo de variação.
O BFCL oficial não foi lido nesta passada. O que há, self reported, é o Qwen3.8-Max com 72,5 no Toolathlon, na tabela da Qwen, e o MiniMax M3 com 74,2 no MCP Atlas: indício, não veredito. O teste que decide continua sendo o seu, com as suas ferramentas, a sua auditoria e o seu sandbox.