Cómo leer benchmarks · Guía

Agentes y herramientas

Para agentes, miro τ-bench con pass^k (acertar varias veces seguidas, no solo una), BFCL cuando la pregunta es la llamada a una función, y recortes más nuevos como Toolathlon y MCP Atlas, todavía con poca medición independiente. La demo de lanzamiento y un Automation-Bench sin pass^k quedan fuera de la decisión.

En el τ-bench oficial de Sierra, en la última versión consultada, Qwen3.5-397B-A17B lideraba τ² (retail, aerolíneas, telecom) con 87,9%, por delante de Gemini 3.0 Pro (85,4%) y de Claude Opus 4.5 (85,3%). En el recorte τ³ Banking, un agente que consulta unos 700 documentos y aplica política, Qwen 3.8 Max lideraba con 55,2% pass^1, por delante de Claude Opus 5 (48,7%) y de Grok 4.5 (47,9%). El cuadro no trae todos los modelos del período, el usuario simulado es otro modelo, y 55% todavía significa errar casi la mitad de las tareas de ese recorte.

Un replay independiente ayuda a calibrar el ruido. ZenML corrió 40 tareas de τ² Telecom: GLM-5.3 con 39 aciertos de 40, Qwen3.8 27B con 36, DeepSeek V4.1 Flash con 35, GPT-5.6 Sol con 33 y GPT-5.2 con 27. GPT-5.2, corrido dos veces, repitió el total y, aun así, ganó 6 y perdió 6 tareas distintas. Todo cambio de modelo tiene que caber dentro de ese tipo de variación.

El BFCL oficial no se leyó en esta pasada. Lo que hay, self reported, es Qwen3.8-Max con 72,5 en Toolathlon, en la tabla de Qwen, y MiniMax M3 con 74,2 en MCP Atlas: indicio, no veredicto. La prueba que decide sigue siendo la tuya, con tus herramientas, tu auditoría y tu sandbox.

Cuadro de fuentes abiertas

Este caso queda sin cuadro numérico. El archivo versionado todavía no tiene una medición de fuente abierta aquí.