τ-bench Verified (companhia aérea)

O que mede

O τ-bench Verified (companhia aérea), no quadro do OpenRouter Benchmarks (CC BY 4.0, versão mais recente consultada), simula um atendente de companhia aérea que usa sistemas e precisa seguir as políticas da empresa até o fim da conversa. A nota é o percentual de tarefas concluídas dentro da regra.

Quando importa

Importa para agentes que executam tarefas com ferramentas. Mostra se o modelo segue a política ao longo de vários passos, como um assistente que consulta um regulamento interno e termina o pedido sem inventar uma exceção.

Como ler

A nota é o percentual de conversas em que o agente terminou a tarefa dentro da regra, no quadro do OpenRouter Benchmarks, na versão mais recente consultada. Em um atendimento real, furar uma política no meio do caminho custa caro.