Mercado · IA na prática
A Deepnote publica o Agent Initiative Benchmark, com o custo por tarefa e a falha em ficar quieto
A Deepnote publicou o Agent Initiative Benchmark: 12 modelos, 50 situações, 180 segundos. O GPT-6.1 Sol fez 8,65 a US$ 0,11 por tarefa. No conjunto, quando o certo era silêncio, os modelos se calaram só 6 em 10 vezes.
O que as fontes registram
A Deepnote publicou o Agent Initiative Benchmark, um teste para ver se um agente no trabalho sabe quando ajudar, o que dizer e quando ficar quieto. Foram 12 modelos e 50 situações, dentro da PageMantle, uma empresa sintética montada para o próprio benchmark.
Cada modelo recebeu as mesmas instruções, as mesmas ferramentas, o mesmo snapshot da empresa e o mesmo orçamento de 180 segundos. Esta versão compara modelos, não harnesses. O dataset e o código estão abertos.
O GPT-6 Astra ficou com 8,97, o GPT-6.1 Sol com 8,65, a US$ 0,11 por tarefa, e o Claude Fable 5.2 com 8,17, a US$ 1,87 por tarefa.
No conjunto do teste, quando a ajuda era necessária, a mensagem saiu 9 em 10 vezes. Quando o certo era silêncio, os modelos se calaram só 6 em 10 vezes.
Minha leitura
Quero ver esse recorte na escolha de um modelo para um agente que acompanha o trabalho: o custo por tarefa e a capacidade de ficar quieto quando a ajuda não faz falta.