Mercado · IA en la práctica
Con el modelo fijo, el harness aparece en el costo y la velocidad
En una evaluación abierta del 4 de noviembre de 2026, Garry Tan mantuvo modelo y tareas fijos y cambió solo el harness; las tasas de acierto quedaron estadísticamente indistinguibles, y el costo por tarea resuelta divergió.
Lo que registran las fuentes
Garry Tan abrió el repositorio g-harness-evals y, el 8 de noviembre de 2026, apuntó en X a la matriz. El diseño fija el modelo y las tareas y cambia system prompt, herramientas y memoria. En 20 tareas públicas, las tasas de acierto quedaron en una franja de cerca del 71% al 79%, sin diferencia medible entre harnesses. Costo y tiempo divergieron.
En Opus 5.5, el costo por tarea resuelta quedó entre unos US$ 0,19 y US$ 0,24 para QM, Claude Code y Hermes, y US$ 0,44 para OpenClaw, también el más lento (99,4 s por trial). En GPT-6.1 Sol, Codex entró a US$ 0,17 y 30,1 s. Cerca del 81% del costo extra de OpenClaw sobre Claude Code en Opus vino de cache writes: system prompt más grande y resultados de herramientas reenviados en cada turno. El README registra conflictos de interés y aclara que los resultados son de desarrollo en tareas públicas, sin held-out.
Lectura de Adriano
La tesis: a escala, el harness se vuelve línea de costo operativo. Yo pondría el costo por tarea resuelta en el mismo panel que la tasa de acierto — y trataría caché y tamaño de prompt/herramienta como decisión de ingeniería con dueño de presupuesto.