Mercado · IA en la práctica
Deepnote publica el Agent Initiative Benchmark, con el costo por tarea y la dificultad de quedarse callado
Deepnote publicó el Agent Initiative Benchmark: 12 modelos, 50 situaciones y 180 segundos. GPT-6.1 Sol, 8,65 a US$ 0,11 por tarea. En el conjunto, cuando lo correcto era el silencio, se callaron solo 6 de 10 veces.
Lo que registran las fuentes
El costo por tarea y la dificultad de quedarse callado aparecen juntos en el Agent Initiative Benchmark, publicado por Deepnote. La prueba reunió 12 modelos y 50 situaciones de trabajo, dentro de PageMantle, una empresa sintética creada para el propio benchmark.
Cada modelo recibió las mismas instrucciones, las mismas herramientas, el mismo snapshot de la empresa y el mismo presupuesto de 180 segundos. Esta versión compara modelos, no harnesses. El dataset y el código están abiertos.
GPT-6 Astra obtuvo 8,97. GPT-6.1 Sol obtuvo 8,65, a US$ 0,11 por tarea. Claude Fable 5.2 obtuvo 8,17, a US$ 1,87 por tarea.
En el conjunto de la prueba, cuando hacía falta ayuda, el mensaje salió 9 de cada 10 veces. Cuando lo correcto era el silencio, los modelos se callaron solo 6 de cada 10 veces.
Mi lectura
Me interesa ver si, al elegir un modelo para un agente en el trabajo, esos dos recortes pesan de verdad: el costo por tarea y la capacidad de quedarse callado cuando la ayuda no hace falta.