Mercado · IA na prática
Com o modelo fixo, o harness aparece no custo e na velocidade
Em avaliação aberta de 4 de novembro de 2026, Garry Tan manteve modelo e tarefas iguais e trocou só o harness; as taxas de acerto ficaram estatisticamente indistinguíveis, e o custo por tarefa resolvida divergiu.
O que as fontes registram
Garry Tan abriu o repositório g-harness-evals e, em 8 de novembro de 2026, apontou no X para a matriz. O desenho segura o modelo e as tarefas e troca system prompt, ferramentas e memória. Em 20 tarefas públicas, as taxas de acerto ficaram na faixa de cerca de 71% a 79%, sem diferença mensurável entre harnesses. Custo e tempo divergiram.
No Opus 5.5, o custo por tarefa resolvida ficou entre cerca de US$ 0,19 e US$ 0,24 para QM, Claude Code e Hermes, e US$ 0,44 para o OpenClaw, também o mais lento (99,4 s por trial). No GPT-6.1 Sol, o Codex entrou a US$ 0,17 e 30,1 s. Cerca de 81% do custo extra do OpenClaw sobre o Claude Code no Opus veio de cache writes: system prompt maior e resultados de ferramentas reenviados a cada turno. O README registra conflitos de interesse e deixa claro que os resultados são de desenvolvimento em tarefas públicas, sem held-out.
Leitura do Adriano
A tese: em escala, o harness vira linha de custo operacional. Eu colocaria custo por tarefa resolvida no mesmo painel da taxa de acerto — e trataria cache e tamanho de prompt/ferramenta como decisão de engenharia com dono de orçamento.