Mercado · IA en la práctica

Deepnote publica el Agent Initiative Benchmark, con el costo por tarea y la dificultad de quedarse callado

Deepnote publicó el Agent Initiative Benchmark: 12 modelos, 50 situaciones y 180 segundos. GPT-6.1 Sol, 8,65 a US$ 0,11 por tarea. En el conjunto, cuando lo correcto era el silencio, se callaron solo 6 de 10 veces.

Empresa o temaDeepnote

Lo que registran las fuentes

El costo por tarea y la dificultad de quedarse callado aparecen juntos en el Agent Initiative Benchmark, publicado por Deepnote. La prueba reunió 12 modelos y 50 situaciones de trabajo, dentro de PageMantle, una empresa sintética creada para el propio benchmark.

Cada modelo recibió las mismas instrucciones, las mismas herramientas, el mismo snapshot de la empresa y el mismo presupuesto de 180 segundos. Esta versión compara modelos, no harnesses. El dataset y el código están abiertos.

GPT-6 Astra obtuvo 8,97. GPT-6.1 Sol obtuvo 8,65, a US$ 0,11 por tarea. Claude Fable 5.2 obtuvo 8,17, a US$ 1,87 por tarea.

En el conjunto de la prueba, cuando hacía falta ayuda, el mensaje salió 9 de cada 10 veces. Cuando lo correcto era el silencio, los modelos se callaron solo 6 de cada 10 veces.

Mi lectura

Me interesa ver si, al elegir un modelo para un agente en el trabajo, esos dos recortes pesan de verdad: el costo por tarea y la capacidad de quedarse callado cuando la ayuda no hace falta.

Autor

Adriano Meirinho · Cofundador y CAIO (Chief AI Officer) de Celcoin. Sobre mí

Todas las notas