Caso de uso dado provisório
Melhores modelos de IA para agentes: comparação com benchmarks
Usar ferramentas, seguir políticas e terminar tarefas de várias etapas. O τ-bench simula um atendimento de companhia aérea com regras e sistemas.
Resposta direta: No τ-bench Verified (companhia aérea), a maior nota entre os modelos desta página é de Claude Fable 5, com 82%, segundo OpenRouter Benchmarks.
Como ler esta tabela
- Cada linha é um modelo. CliqueToque no nome para abrir a ficha, com fontes e histórico. CliqueToque no cabeçalho para ordenar.
- As notas de benchmark são percentuais, e o maior valor é o melhor. Eu comparo sempre a mesma métrica, com a mesma fonte, na versão mais recente consultada. Nesta área, na faixa de 90% a 100%, eu trato uma diferença de 1 ou 2 pontos como possível ruído de medição.
- O "?" ao lado de cada coluna explica o que ela mede e quando importa. "Sem dado" quer dizer que não há medição nas fontes abertas que esta área usa. "Dado provisório" marca um campo derivado por regra, como o caso de uso.
- Preço de entrada e de saída é o preço de lista no OpenRouter, em dólar por 1 milhão de tokens, e os dois podem ser bem diferentes. O selo "a conferir" marca um valor estranho na fonte, que não entra nas recomendações. Uso é a fatia de tokens no ranking público do OpenRouter, no último dia publicado nessa fonte. Downloads são a janela de 30 dias do repositório oficial no Hugging Face. O GPQA Diamond da Epoch e o do OpenRouter medem o mesmo teste, mas podem divergir.
| ?o que é | ? | ? | ? | ? | ? | ? | ? | ? | ? | |
|---|---|---|---|---|---|---|---|---|---|---|
| Claude Fable 5Anthropic | fechado | US$ 10,00 | US$ 50,00 | 1.000.000 | 85,9% | sem dado | 82% | 70,7% | sem dado | sem dado |
| DeepSeek V4 Flash 0423DeepSeek | aberto | US$ 0,09 | US$ 0,18 | 1.048.576 | sem dado | sem dado | 81,7% | sem dado | 2,85% | 1.168.829 |
| Gemini 3.7 FlashGoogle | fechado | US$ 0,75 | US$ 3,75 | 1.048.576 | 94,8% | sem dado | 80,7% | 69,2% | sem dado | sem dado |
| Qwen3.5 397B A17BAlibaba | aberto | US$ 0,60 | US$ 3,60 | 262.144 | 86,4% | sem dado | 80,2% | sem dado | sem dado | 826.220 |
| GPT-5.1OpenAI | fechado | US$ 1,25 | US$ 10,00 | 400.000 | 87,6% | 68% | 80% | 48% | sem dado | sem dado |
| Ling 3.1 FlashAnt Group | não informados | US$ 0,045 | US$ 0,14 | 1.000.000 | sem dado | sem dado | 79,3% | sem dado | sem dado | sem dado |
| Claude Fable 5.1Anthropic | fechado | US$ 10,00 | US$ 50,00 | 1.000.000 | sem dado | sem dado | 79,2% | 70,8% | sem dado | sem dado |
| Qwen3.6 27BAlibaba | aberto | US$ 0,32 | US$ 3,20 | 262.144 | 85,9% | sem dado | 79% | sem dado | sem dado | 2.365.084 |
| MiMo V2.6 ProXiaomi | aberto | US$ 0,43 | US$ 0,87 | 1.050.000 | sem dado | sem dado | 78,9% | sem dado | 0,54% | sem dado |
| GLM-5.3Zhipu AI (Z.ai) | aberto | US$ 0,07 | US$ 1,40 | 1.048.576 | 90,9% | sem dado | 78,8% | 41% | 1,55% | sem dado |
| Claude Sonnet 5.5Anthropic | fechado | US$ 2,00 | US$ 10,00 | 1.000.000 | 95,6% | sem dado | 78,8% | 46,5% | 1,18% | sem dado |
| Kimi K3.1 ProMoonshot AI | aberto | US$ 2,00 | US$ 10,00 | 1.048.576 | 94,2% | sem dado | 78,7% | 62,2% | 2,51% | sem dado |
| Gemini 4 ArgonGoogle | fechado | US$ 2,00 | US$ 10,00 | 1.048.576 | 96,4% | sem dado | 78,7% | 76% | 0,54% | sem dado |
| Claude Opus 5Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 93,9% | sem dado | 78,7% | 59,9% | sem dado | sem dado |
| Qwen3.5-35B-A3BAlibaba | aberto | US$ 0,14 | US$ 1,00 | 262.144 | 83,5% | sem dado | 78,7% | sem dado | sem dado | 1.582.689 |
| DeepSeek V4 ProDeepSeek | aberto | US$ 0,96 | US$ 1,91 | 1.048.576 | 91,7% | 77,6% | 78,6% | 52,9% | 0,66% | sem dado |
| Gemini 3.5 Flash LiteGoogle | fechado | US$ 0,30 | US$ 2,50 | 1.048.576 | 83,3% | sem dado | 78,3% | sem dado | sem dado | sem dado |
| MiMo-V2.6-FlashXiaomi | aberto | US$ 0,14 | US$ 0,28 | 1.050.000 | sem dado | sem dado | 78,2% | sem dado | 2,22% | 76.859 |
| Qwen3.8 27BAlibaba | aberto | US$ 0,15 | US$ 1,88 | 1.048.575 | sem dado | sem dado | 78% | sem dado | 0,34% | 7.443.748 |
| DeepSeek V4.1 FlashDeepSeek | aberto | US$ 0,022 | US$ 0,40 | 1.048.576 | 93,2% | sem dado | 77,8% | 42,9% | 32,17% | sem dado |
| Claude Opus 4.7Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 90,2% | 83,5% | 77,8% | 51,7% | sem dado | sem dado |
| Qwen3.5-122B-A10BAlibaba | aberto | US$ 0,26 | US$ 2,08 | 262.144 | sem dado | sem dado | 77,7% | sem dado | sem dado | 880.973 |
| Hy4Tencent | aberto | US$ 0,42 | US$ 1,25 | 1.048.576 | sem dado | sem dado | 77,6% | sem dado | 10,74% | sem dado |
| Claude Opus 4.8Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 91% | sem dado | 77,5% | 53% | sem dado | sem dado |
| Qwen3.8 2.4T A95BAlibaba | aberto | US$ 2,00 | US$ 6,00 | 1.048.576 | sem dado | sem dado | 77,4% | sem dado | sem dado | 26.226 |
| Kimi K2.7 CodeMoonshot AI | aberto | US$ 0,60 | US$ 3,50 | 262.144 | 87,9% | sem dado | 77,3% | 36,5% | sem dado | 91.687 |
| Muse Glimmer 30BMeta | aberto | US$ 0,30 | US$ 1,20 | 131.072 | sem dado | sem dado | 77,2% | sem dado | sem dado | sem dado |
| Gemma 4 31BGoogle | aberto | US$ 0,20 | US$ 0,40 | 262.144 | 75,8% | sem dado | 77% | 10,4% | 0,22% | sem dado |
| Gemini 3.1 ProGoogle | fechado | US$ 2,00 | US$ 12,00 | 1.048.576 | 94,4% | 75,6% | 77% | 73,5% | sem dado | sem dado |
| GLM 5Zhipu AI (Z.ai) | aberto | US$ 1,00 | US$ 3,20 | 204.800 | 87,8% | 72,1% | 76,9% | sem dado | sem dado | 1.370.207 |
| Gemini 3.8 FlashGoogle | fechado | US$ 0,82 | US$ 4,12 | 1.048.576 | 95,4% | sem dado | 76,7% | 69,7% | 0,82% | sem dado |
| GLM-5.2Zhipu AI (Z.ai) | aberto | US$ 0,007 a conferir | US$ 6,80 | 1.048.576 | 91,9% | 78,7% | 76,7% | 34,2% | 0,43% | sem dado |
| Nova Micro 1.0Amazon | não informados | US$ 0,035 | US$ 0,14 | 128.000 | sem dado | sem dado | 76,7% | sem dado | sem dado | sem dado |
| DeepSeek V4 Flash Vision ExpDeepSeek | aberto | US$ 0,44 | US$ 1,32 | 1.048.576 | sem dado | sem dado | 76,7% | sem dado | sem dado | 148.215 |
| Claude Opus 4.5Anthropic | fechado | US$ 5,00 | US$ 25,00 | 200.000 | 86% | 76,7% | 76,6% | 45,7% | sem dado | sem dado |
| Qwen3.8 FlashAlibaba | aberto | US$ 0,15 | US$ 0,47 | 1.000.000 | sem dado | sem dado | 76,4% | sem dado | 0,7% | sem dado |
| GLM-5.3-FlashZhipu AI (Z.ai) | aberto | US$ 0,04 | US$ 0,078 | 1.048.576 | 90,2% | sem dado | 76,3% | sem dado | 5,09% | sem dado |
| MiniMax M3MiniMax | aberto | US$ 0,30 | US$ 1,20 | 1.048.576 | 90,9% | sem dado | 76,3% | sem dado | 0,3% | sem dado |
| Gemini 3.6 FlashGoogle | fechado | US$ 0,75 | US$ 3,75 | 1.048.576 | 94,1% | sem dado | 76,3% | 66,2% | sem dado | sem dado |
| Kimi K3Moonshot AI | aberto | US$ 0,19 a conferir | US$ 16,00 | 1.048.576 | 93,1% | sem dado | 76,2% | 50,6% | 0,5% | sem dado |
| Qwen3.6 35B A3BAlibaba | aberto | US$ 0,10 | US$ 0,90 | 262.144 | 84,8% | sem dado | 76,2% | sem dado | sem dado | 4.177.044 |
| GLM 4.7Zhipu AI (Z.ai) | aberto | US$ 0,60 | US$ 2,20 | 204.800 | 83,3% | sem dado | 76% | 32,2% | sem dado | 47.416 |
| Claude Opus 4.6Anthropic | fechado | US$ 5,00 | US$ 25,00 | 1.000.000 | 90,5% | 78,7% | 75,8% | 47% | sem dado | sem dado |
| GLM 5.1Zhipu AI (Z.ai) | aberto | US$ 1,40 | US$ 4,40 | 204.800 | 89,9% | 74,2% | 75,8% | 34% | sem dado | 867.145 |
| Muse Spark OpenMeta | aberto | US$ 1,25 | US$ 4,25 | 1.048.576 | 88,6% | sem dado | 75,7% | 56,6% | sem dado | sem dado |
| Qwen3.5-9BAlibaba | aberto | US$ 0,052 | US$ 0,077 | 262.144 | 79% | sem dado | 75,7% | sem dado | sem dado | 6.370.574 |
| Claude Sonnet 5Anthropic | fechado | US$ 2,00 | US$ 10,00 | 1.000.000 | 90,5% | sem dado | 75,4% | 33,7% | 0,25% | sem dado |
| Claude Opus 5.5Anthropic | fechado | US$ 4,00 | US$ 20,00 | 1.000.000 | 90,6% | sem dado | 75,3% | 72,2% | 3,21% | sem dado |
| Grok 4.7xAI | fechado | US$ 2,00 | US$ 6,00 | 500.000 | 92,7% | sem dado | 75,3% | 56% | 0,22% | sem dado |
| Grok 4.6xAI | fechado | US$ 2,00 | US$ 6,00 | 500.000 | 94% | sem dado | 75,3% | 49,3% | sem dado | sem dado |
| GPT-5.3-CodexOpenAI | fechado | US$ 1,75 | US$ 14,00 | 400.000 | sem dado | 74,8% | 75,3% | sem dado | sem dado | sem dado |
| GPT-5.4OpenAI | fechado | US$ 2,50 | US$ 15,00 | 1.050.000 | 93,3% | 76,9% | 75% | 45,1% | sem dado | sem dado |
| Nemotron 3.5 Super VLNVIDIA | aberto | US$ 0,15 | US$ 0,47 | 1.048.576 | sem dado | sem dado | 74,9% | sem dado | 1,49% | sem dado |
| Claude Sonnet 4.5Anthropic | fechado | US$ 3,00 | US$ 15,00 | 1.000.000 | 82,3% | 71,3% | 74,9% | 30,7% | sem dado | sem dado |
| Kimi K2.6Moonshot AI | aberto | US$ 0,65 | US$ 3,41 | 262.144 | 90,8% | 76,7% | 74,9% | 34,9% | sem dado | sem dado |
| Claude Sonnet 4.6Anthropic | fechado | US$ 3,00 | US$ 15,00 | 1.000.000 | 87,4% | 75,2% | 74,8% | 35,5% | sem dado | sem dado |
| MiniMax M3.1 FlashMiniMax | aberto | US$ 0,15 | US$ 0,60 | 1.048.576 | sem dado | sem dado | 74,7% | sem dado | 1,89% | 55.087 |
| GPT-5.5OpenAI | fechado | US$ 5,00 | US$ 30,00 | 1.050.000 | 94% | 80,6% | 74,7% | 63% | sem dado | sem dado |
| DeepSeek V3.2DeepSeek | aberto | US$ 0,26 | US$ 0,38 | 163.840 | 83,4% | sem dado | 74,7% | sem dado | sem dado | sem dado |
| MiMo-V2.5Xiaomi | aberto | US$ 0,40 | US$ 2,00 | 1.000.000 | sem dado | sem dado | 74,7% | sem dado | sem dado | 100.669 |
| GPT-5.6 SolOpenAI | fechado | US$ 4,40 | US$ 22,00 | 1.050.000 | 93,5% | sem dado | 74,2% | 69,7% | sem dado | sem dado |
| MiMo-V2.5-ProXiaomi | aberto | US$ 0,48 | US$ 1,80 | 1.024.000 | sem dado | sem dado | 74,1% | sem dado | sem dado | 9.642 |
| Claude Haiku 5.5Anthropic | fechado | US$ 0,10 a conferir | US$ 0,50 | 1.000.000 | 89,6% | sem dado | 74% | 23,8% | 1,27% | sem dado |
| Ling 3.0 FlashAnt Group | aberto | US$ 0,021 | US$ 0,063 | 262.144 | sem dado | sem dado | 74% | sem dado | sem dado | 9.515 |
| Kimi K2.5Moonshot AI | aberto | US$ 0,53 | US$ 3,33 | 262.144 | 87,6% | 73,8% | 73,8% | 34,3% | sem dado | 393.277 |
| MiniMax M2.7MiniMax | aberto | US$ 0,21 | US$ 0,84 | 196.608 | sem dado | sem dado | 73,4% | sem dado | sem dado | 303.481 |
| Gemini 3 Flash PreviewGoogle | não informados | US$ 0,50 | US$ 3,00 | 1.048.576 | sem dado | sem dado | 73,3% | sem dado | 0,32% | sem dado |
| GLM 4.6Zhipu AI (Z.ai) | aberto | US$ 0,50 | US$ 2,00 | 204.800 | sem dado | sem dado | 73,3% | sem dado | sem dado | 27.796 |
| DeepSeek V3.1DeepSeek | aberto | US$ 0,25 | US$ 0,95 | 163.840 | sem dado | sem dado | 73,1% | sem dado | sem dado | 266.086 |
| DeepSeek V3.1 TerminusDeepSeek | aberto | US$ 0,27 | US$ 1,00 | 163.840 | sem dado | sem dado | 73% | sem dado | sem dado | 9.250 |
| Gemini 3.5 FlashGoogle | fechado | US$ 1,50 | US$ 9,00 | 1.048.576 | 92,8% | 79,3% | 73% | 66,2% | sem dado | sem dado |
| GPT-5.6 LunaOpenAI | fechado | US$ 0,20 | US$ 1,20 | 1.050.000 | 91,6% | sem dado | 72,7% | 41% | 0,68% | sem dado |
| Gemini 3.1 Flash LiteGoogle | fechado | US$ 0,25 | US$ 1,50 | 1.048.576 | 81,8% | sem dado | 72,7% | sem dado | 0,26% | sem dado |
| GPT-6 Astra ProOpenAI | não informados | US$ 10,00 | US$ 50,00 | 1.050.000 | sem dado | sem dado | 72,7% | sem dado | sem dado | sem dado |
| Qwen3.7 PlusAlibaba | fechado | US$ 0,32 | US$ 1,28 | 1.000.000 | 87,9% | sem dado | 72,7% | sem dado | sem dado | sem dado |
| GPT-5 MiniOpenAI | fechado | US$ 0,25 | US$ 2,00 | 400.000 | 75% | 64,7% | 72,4% | 21,6% | sem dado | sem dado |
| GPT-5.6 TerraOpenAI | fechado | US$ 2,00 | US$ 12,00 | 1.050.000 | 93,3% | sem dado | 72,3% | 43,2% | sem dado | sem dado |
| Ling 3.0 Flash VLAnt Group | aberto | US$ 0,06 | US$ 0,18 | 131.072 | sem dado | sem dado | 72% | sem dado | sem dado | 9.945 |
| Qwen3.7 MaxAlibaba | fechado | US$ 1,48 | US$ 4,42 | 1.000.000 | 90,9% | 77,3% | 72% | 55,8% | sem dado | sem dado |
| GPT-5.6 Sol ProOpenAI | não informados | US$ 4,00 | US$ 20,00 | 1.050.000 | sem dado | sem dado | 71,7% | sem dado | sem dado | sem dado |
| Nemotron 3.5 LightningNVIDIA | aberto | US$ 0,07 | US$ 0,20 | 262.144 | sem dado | sem dado | 71,5% | sem dado | 0,52% | 1.070.415 |
| GPT-6.1 SolOpenAI | fechado | US$ 2,00 | US$ 10,00 | 1.050.000 | 95,4% | sem dado | 70,7% | 73,9% | 1,62% | sem dado |
| GPT-5OpenAI | fechado | US$ 1,25 | US$ 10,00 | 400.000 | 86,2% | 73,6% | 70,7% | 50,1% | sem dado | sem dado |
| GPT-5.6 Luna ProOpenAI | não informados | US$ 0,20 | US$ 1,20 | 1.050.000 | sem dado | sem dado | 70,7% | sem dado | sem dado | sem dado |
| Gemma 4 26B A4BGoogle | aberto | US$ 0,08 | US$ 0,10 | 262.144 | 73,2% | sem dado | 70,6% | sem dado | 0,21% | 5.439.703 |
| GPT-6 SolOpenAI | fechado | US$ 2,00 | US$ 10,00 | 1.050.000 | 94,3% | sem dado | 70,2% | 60,7% | sem dado | sem dado |
| GPT-6.1 TerraOpenAI | fechado | US$ 1,00 | US$ 5,00 | 1.050.000 | 94,3% | sem dado | 70% | 57,3% | 0,58% | sem dado |
| GPT-6 AstraOpenAI | fechado | US$ 10,00 | US$ 50,00 | 1.050.000 | 95,8% | sem dado | 69,7% | 75,6% | sem dado | sem dado |
| GLM 4.7 FlashZhipu AI (Z.ai) | aberto | US$ 0,06 | US$ 0,40 | 200.000 | sem dado | sem dado | 69,7% | sem dado | sem dado | 1.071.754 |
| GPT-6 Luna ProOpenAI | não informados | US$ 0,10 | US$ 0,50 | 1.050.000 | sem dado | sem dado | 69,3% | sem dado | 0,31% | sem dado |
| MiniMax M2.5MiniMax | aberto | US$ 0,27 | US$ 1,08 | 200.000 | sem dado | sem dado | 69,2% | sem dado | sem dado | 1.184.681 |
| GPT-6 LunaOpenAI | fechado | US$ 0,10 | US$ 0,50 | 1.050.000 | 90,5% | sem dado | 68,4% | 41,4% | 3,42% | sem dado |
| gpt-oss-120bOpenAI | aberto | US$ 0,15 | US$ 0,60 | 131.072 | 75,8% | sem dado | 67,3% | sem dado | 0,24% | sem dado |
| GPT-5.4 MiniOpenAI | fechado | US$ 0,75 | US$ 4,50 | 400.000 | 86,9% | sem dado | 66,7% | 29,4% | sem dado | sem dado |
| Claude Haiku 4.5Anthropic | fechado | US$ 1,00 | US$ 5,00 | 200.000 | 71,2% | sem dado | 66,4% | 13,2% | sem dado | sem dado |
| GPT-5.4 NanoOpenAI | fechado | US$ 0,20 | US$ 1,25 | 400.000 | 78,5% | sem dado | 65,6% | 11,7% | sem dado | sem dado |
| Granite 4.2 8BIBM | aberto | US$ 0,06 | US$ 0,15 | 131.072 | sem dado | sem dado | 64% | sem dado | sem dado | sem dado |
| Qwen3 235B A22B Thinking 2507Alibaba | aberto | US$ 0,45 | US$ 3,50 | 128.000 | sem dado | sem dado | 61,7% | sem dado | sem dado | 8.177 |
| Qwen3 Coder NextAlibaba | aberto | US$ 0,12 | US$ 0,80 | 262.144 | sem dado | sem dado | 60,7% | sem dado | sem dado | 425.899 |
| GLM 4.6VZhipu AI (Z.ai) | aberto | US$ 0,30 | US$ 0,90 | 131.072 | sem dado | sem dado | 60,7% | sem dado | sem dado | 5.245 |
| Gemini 2.5 ProGoogle | fechado | US$ 1,25 | US$ 10,00 | 1.048.576 | 85,3% | 57,6% | 60% | sem dado | sem dado | sem dado |
| Gemini 2.5 FlashGoogle | fechado | US$ 0,30 | US$ 2,50 | 1.048.576 | sem dado | sem dado | 59,1% | sem dado | sem dado | sem dado |
| DeepSeek R1DeepSeek | aberto | US$ 0,50 | US$ 2,15 | 163.840 | 76,3% | sem dado | 58% | sem dado | sem dado | sem dado |
| Qwen3 32BAlibaba | aberto | US$ 0,08 | US$ 0,28 | 131.072 | 65,7% | sem dado | 54,3% | sem dado | sem dado | 3.001.273 |
| Gemini 2.5 Flash LiteGoogle | não informados | US$ 0,10 | US$ 0,40 | 1.048.576 | sem dado | sem dado | 53,7% | sem dado | 0,17% | sem dado |
| gpt-oss-20bOpenAI | aberto | US$ 0,03 | US$ 0,13 | 131.072 | 60,8% | sem dado | 53,5% | sem dado | sem dado | sem dado |
| GPT-4.1OpenAI | fechado | US$ 2,00 | US$ 8,00 | 1.047.576 | 66,9% | 48,5% | 52,3% | 31,1% | sem dado | sem dado |
| Nemotron 3 Nano 30B A3BNVIDIA | aberto | US$ 0,06 | US$ 0,24 | 262.144 | sem dado | sem dado | 52% | sem dado | sem dado | 1.556.699 |
| GPT-5 NanoOpenAI | fechado | US$ 0,05 | US$ 0,40 | 400.000 | 69,4% | sem dado | 48,3% | 11,7% | sem dado | sem dado |
| Qwen3-CoderAlibaba | aberto | US$ 0,30 | US$ 1,00 | 262.144 | sem dado | sem dado | 48% | sem dado | sem dado | 58.791 |
| Gemma 3 12BGoogle | aberto | US$ 0,05 | US$ 0,15 | 131.072 | 39,5% | sem dado | 48% | sem dado | sem dado | sem dado |
| Qwen3 VL 235B A22B InstructAlibaba | aberto | US$ 0,21 | US$ 1,90 | 262.144 | sem dado | sem dado | 48% | sem dado | sem dado | 325.913 |
| Qwen3-235B-A22BAlibaba | aberto | US$ 0,14 | US$ 0,80 | 262.144 | 80,1% | sem dado | 47,9% | 40,4% | sem dado | sem dado |
| Qwen3 Next 80B A3B InstructAlibaba | aberto | US$ 0,09 | US$ 1,10 | 262.144 | sem dado | sem dado | 47,5% | sem dado | sem dado | 129.851 |
| Qwen3 30B A3BAlibaba | aberto | US$ 0,12 | US$ 0,50 | 40.960 | 70,1% | sem dado | 47% | sem dado | sem dado | 1.135.784 |
| Mistral Small 4Mistral AI | aberto | US$ 0,15 | US$ 0,60 | 262.144 | sem dado | sem dado | 46% | sem dado | sem dado | 28.703 |
| Qwen3 Coder 30B A3B InstructAlibaba | aberto | US$ 0,15 | US$ 0,60 | 262.144 | sem dado | sem dado | 46% | sem dado | sem dado | 1.679.625 |
| GPT-4.1 MiniOpenAI | fechado | US$ 0,40 | US$ 1,60 | 1.047.576 | 65,8% | sem dado | 45,1% | 12,7% | sem dado | sem dado |
| Qwen3 14BAlibaba | aberto | US$ 0,10 | US$ 0,22 | 40.960 | 63,8% | sem dado | 44% | sem dado | sem dado | 12.907.991 |
| DeepSeek V3DeepSeek | aberto | US$ 0,29 | US$ 1,14 | 163.840 | 67,6% | sem dado | 43,8% | sem dado | sem dado | sem dado |
| Llama 4 MaverickMeta | aberto | US$ 0,35 | US$ 1,00 | 524.288 | 67% | sem dado | 43,4% | sem dado | sem dado | 11.953 |
| GPT-4oOpenAI | fechado | US$ 2,50 | US$ 10,00 | 128.000 | 49,2% | 31% | 43,2% | 26% | sem dado | sem dado |
| DeepSeek V3DeepSeek | aberto | US$ 0,32 | US$ 0,89 | 163.840 | 56,5% | sem dado | 43% | sem dado | sem dado | 1.486.147 |
| Qwen3 30B A3B Instruct 2507Alibaba | aberto | US$ 0,10 | US$ 0,30 | 262.144 | sem dado | sem dado | 41,5% | sem dado | sem dado | 880.864 |
| Qwen3 VL 30B A3B InstructAlibaba | aberto | US$ 0,15 | US$ 0,60 | 262.144 | sem dado | sem dado | 41,3% | sem dado | sem dado | 446.889 |
| Llama 3.3 70B InstructMeta | aberto | US$ 0,71 | US$ 0,71 | 131.072 | sem dado | sem dado | 39,9% | sem dado | sem dado | 349.408 |
| Qwen3 VL 8B InstructAlibaba | aberto | US$ 0,25 | US$ 0,75 | 262.144 | sem dado | sem dado | 32,7% | sem dado | sem dado | 7.052.170 |
| GPT-4o-miniOpenAI | fechado | US$ 0,15 | US$ 0,60 | 128.000 | 37,7% | sem dado | 30,7% | 8,3% | sem dado | sem dado |
| Qwen2.5 72B InstructAlibaba | aberto | US$ 0,36 | US$ 0,40 | 32.768 | sem dado | sem dado | 27,3% | sem dado | sem dado | 151.833 |
| Llama 3.1 8B InstructMeta | aberto | US$ 0,02 | US$ 0,04 | 131.072 | sem dado | sem dado | 23,5% | sem dado | sem dado | sem dado |
| GPT-4.1 NanoOpenAI | fechado | US$ 0,10 | US$ 0,40 | 1.047.576 | 48,9% | sem dado | 14% | 6% | sem dado | sem dado |
| Step 5 PreviewStepFun | aberto | US$ 1,00 | US$ 2,70 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | 3,25% | sem dado |
| Nemotron 3 UltraNVIDIA | aberto | US$ 0,60 | US$ 2,40 | 262.144 | 85,4% | sem dado | sem dado | sem dado | 1,77% | 1.080.025 |
| Muse Spark 1.3 ContributorMeta | não informados | US$ 0,10 | US$ 0,20 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | 1,6% | sem dado |
| Hy3Tencent | aberto | US$ 0,13 | US$ 0,53 | 262.144 | sem dado | sem dado | sem dado | sem dado | 1,09% | 1.141.189 |
| Solar Mini 4Upstage | não informados | US$ 0,05 | US$ 0,20 | 524.288 | sem dado | sem dado | sem dado | sem dado | 0,59% | sem dado |
| Qwen3.7 FlashAlibaba | fechado | US$ 0,03 | US$ 0,13 | 1.000.000 | 82,3% | sem dado | sem dado | sem dado | 0,2% | sem dado |
| Solar Pro 4Upstage | não informados | US$ 0,15 | US$ 0,60 | 524.288 | sem dado | sem dado | sem dado | sem dado | 0,2% | sem dado |
| Claude Fable 5.2Anthropic | fechado | US$ 8,00 | US$ 40,00 | 1.000.000 | 93,9% | sem dado | sem dado | 94% | sem dado | sem dado |
| GPT-5.2OpenAI | fechado | US$ 1,75 | US$ 14,00 | 400.000 | 91,4% | 73,8% | sem dado | 37,1% | sem dado | sem dado |
| Qwen3.8 MaxAlibaba | fechado | US$ 2,00 | US$ 6,00 | 1.000.000 | 92,7% | sem dado | sem dado | 47,3% | sem dado | sem dado |
| Mistral Large 4Mistral AI | aberto | US$ 0,70 | US$ 2,10 | 1.048.576 | 90,2% | sem dado | sem dado | 22,4% | sem dado | sem dado |
| Nova 2 LiteAmazon | não informados | US$ 0,30 | US$ 2,50 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Nova Lite 1.0Amazon | não informados | US$ 0,06 | US$ 0,24 | 300.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Nova Premier 1.0Amazon | não informados | US$ 2,50 | US$ 12,50 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Nova Pro 1.0Amazon | não informados | US$ 0,80 | US$ 3,20 | 300.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Claude Opus 4.1Anthropic | fechado | US$ 15,00 | US$ 75,00 | 200.000 | 77,3% | 73,3% | sem dado | sem dado | sem dado | sem dado |
| Seed 1.6ByteDance | não informados | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Seed 1.6 FlashByteDance | não informados | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Seed 2.1 TurboByteDance | não informados | US$ 0,50 | US$ 2,50 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Seed-2.0-CodeByteDance | não informados | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Seed-2.0-LiteByteDance | não informados | US$ 0,25 | US$ 2,00 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Seed-2.0-MiniByteDance | não informados | US$ 0,10 | US$ 0,40 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Command ACohere | aberto | US$ 2,50 | US$ 10,00 | 256.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Command A+Cohere | não informados | US$ 0,30 | US$ 1,50 | 192.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Command R (08-2024)Cohere | não informados | US$ 0,15 | US$ 0,60 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Command R+ (08-2024)Cohere | não informados | US$ 2,50 | US$ 10,00 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Command R7B (12-2024)Cohere | não informados | US$ 0,037 | US$ 0,15 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| DeepSeek V3.2 ExpDeepSeek | aberto | US$ 0,27 | US$ 0,41 | 163.840 | sem dado | sem dado | sem dado | sem dado | sem dado | 45.262 |
| Gemini 2.5 Pro Preview 06-05Google | não informados | US$ 1,25 | US$ 10,00 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Nano Banana Pro (Gemini 3 Pro Image)Google | não informados | US$ 2,00 | US$ 12,00 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Gemini 3.1 Flash Lite PreviewGoogle | não informados | US$ 0,25 | US$ 1,50 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Gemini 3.1 Pro Preview Custom ToolsGoogle | não informados | US$ 2,00 | US$ 12,00 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Nano Banana 2.1Google | não informados | US$ 1,50 | US$ 7,50 | 65.536 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Gemma 3 27BGoogle | aberto | US$ 0,08 | US$ 0,35 | 131.072 | 47,7% | sem dado | sem dado | sem dado | sem dado | sem dado |
| Ling 3.0 TinyAnt Group | aberto | US$ 0,015 | US$ 0,045 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 13.841 |
| LFM2.5-2.6BLiquid AI | aberto | US$ 0,35 | US$ 0,50 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | 47.737 |
| LFM2.5-24B-A2BLiquid AI | aberto | US$ 0,05 | US$ 0,70 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | 39.597 |
| LFM3-1.7BLiquid AI | aberto | US$ 0,08 | US$ 0,20 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 82.718 |
| LongCat 2.0Meituan | aberto | US$ 0,30 | US$ 1,20 | 1.048.756 | sem dado | sem dado | sem dado | sem dado | sem dado | 3.024 |
| Llama 4 ScoutMeta | aberto | US$ 0,10 | US$ 0,30 | 1.310.720 | 51,8% | sem dado | sem dado | sem dado | sem dado | 111.251 |
| Muse EmberMeta | não informados | US$ 0,10 | US$ 0,50 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Muse Spark 1.1Meta | fechado | US$ 1,25 | US$ 4,25 | 1.048.576 | sem dado | sem dado | sem dado | 57,8% | sem dado | sem dado |
| Muse Spark 1.2Meta | fechado | US$ 1,25 | US$ 4,25 | 1.048.576 | sem dado | sem dado | sem dado | 60,3% | sem dado | sem dado |
| Muse Spark 1.2 ContributorMeta | não informados | US$ 0,10 | US$ 0,20 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Muse Spark 1.3Meta | fechado | US$ 1,25 | US$ 4,25 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Muse WonderMeta | fechado | US$ 4,00 | US$ 20,00 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Codestral 2508Mistral AI | não informados | US$ 0,30 | US$ 0,90 | 256.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Devstral 2 2512Mistral AI | aberto | US$ 0,40 | US$ 2,00 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 6.656 |
| Ministral 3 14B 2512Mistral AI | aberto | US$ 0,20 | US$ 0,20 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 180.348 |
| Ministral 3 3B 2512Mistral AI | aberto | US$ 0,10 | US$ 0,10 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | 66.175 |
| Ministral 3 8B 2512Mistral AI | aberto | US$ 0,15 | US$ 0,15 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 93.502 |
| Mistral LargeMistral AI | fechado | US$ 2,00 | US$ 6,00 | 128.000 | 38,8% | sem dado | sem dado | sem dado | sem dado | sem dado |
| Mistral Medium 3Mistral AI | fechado | US$ 0,40 | US$ 2,00 | 131.072 | 59,5% | sem dado | sem dado | sem dado | sem dado | sem dado |
| Mistral Medium 3.5Mistral AI | não informados | US$ 1,50 | US$ 7,50 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Mistral Medium 3.1Mistral AI | não informados | US$ 0,40 | US$ 2,00 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Mistral NemoMistral AI | aberto | US$ 0,029 | US$ 0,03 | 131.072 | 29,9% | sem dado | sem dado | sem dado | sem dado | 96.932 |
| SabaMistral AI | não informados | US$ 0,20 | US$ 0,60 | 32.768 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Mistral Small 3.1 24BMistral AI | aberto | US$ 0,35 | US$ 0,56 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | 161.294 |
| Mistral Small 3.2 24BMistral AI | aberto | US$ 0,10 | US$ 0,30 | 256.000 | sem dado | sem dado | sem dado | sem dado | sem dado | 104.505 |
| Mixtral 8x22B InstructMistral AI | aberto | US$ 2,00 | US$ 6,00 | 65.536 | sem dado | sem dado | sem dado | sem dado | sem dado | 39.252 |
| Voxtral Small 24B 2507Mistral AI | aberto | US$ 0,10 | US$ 0,30 | 32.768 | sem dado | sem dado | sem dado | sem dado | sem dado | 6.535 |
| Kimi K2 0711Moonshot AI | aberto | US$ 0,57 | US$ 2,30 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | 277.844 |
| Kimi K2 ThinkingMoonshot AI | aberto | US$ 0,60 | US$ 2,50 | 262.144 | 84,2% | sem dado | sem dado | sem dado | sem dado | 53.302 |
| Nemotron 3 SuperNVIDIA | aberto | US$ 0,075 | US$ 0,40 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 35.797 |
| GPT-3.5 Turbo (older v0613)OpenAI | não informados | US$ 1,00 | US$ 2,00 | 4.095 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-3.5 Turbo 16kOpenAI | não informados | US$ 3,00 | US$ 4,00 | 16.385 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-4OpenAI | fechado | US$ 30,00 | US$ 60,00 | 8.191 | 35,7% | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5 ProOpenAI | fechado | US$ 15,00 | US$ 120,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1-CodexOpenAI | não informados | US$ 1,25 | US$ 10,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1-Codex-MaxOpenAI | não informados | US$ 1,25 | US$ 10,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.1-Codex-MiniOpenAI | não informados | US$ 0,25 | US$ 2,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.2 ChatOpenAI | não informados | US$ 1,75 | US$ 14,00 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.2-CodexOpenAI | não informados | US$ 1,75 | US$ 14,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.2 ProOpenAI | fechado | US$ 21,00 | US$ 168,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.4 ProOpenAI | fechado | US$ 30,00 | US$ 180,00 | 1.050.000 | 94,6% | sem dado | sem dado | 46,3% | sem dado | sem dado |
| GPT-5.5 ProOpenAI | fechado | US$ 30,00 | US$ 180,00 | 1.050.000 | 93,9% | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-5.6 Terra ProOpenAI | não informados | US$ 2,00 | US$ 12,00 | 1.050.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-6 Sol ProOpenAI | não informados | US$ 2,00 | US$ 10,00 | 1.050.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-6.1 Sol ProOpenAI | não informados | US$ 2,00 | US$ 10,00 | 1.050.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT-6.1 Terra ProOpenAI | não informados | US$ 1,00 | US$ 5,00 | 1.050.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT AudioOpenAI | não informados | US$ 2,50 | US$ 10,00 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT Audio MiniOpenAI | não informados | US$ 0,60 | US$ 2,40 | 128.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GPT Chat LatestOpenAI | não informados | US$ 5,00 | US$ 30,00 | 400.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| gpt-oss-safeguard-20bOpenAI | aberto | US$ 0,075 | US$ 0,30 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| o3OpenAI | fechado | US$ 2,00 | US$ 8,00 | 200.000 | 81,8% | 62,3% | sem dado | 49,4% | sem dado | sem dado |
| o3 ProOpenAI | não informados | US$ 20,00 | US$ 80,00 | 200.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen2.5 7B InstructAlibaba | aberto | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado | 6.075.622 |
| Qwen-PlusAlibaba | fechado | US$ 0,26 | US$ 0,78 | 1.000.000 | 48,1% | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3 Coder FlashAlibaba | não informados | US$ 0,20 | US$ 0,97 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3 VL 30B A3B ThinkingAlibaba | aberto | US$ 0,29 | US$ 1,00 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 9.400 |
| Qwen3.5-27BAlibaba | aberto | US$ 0,26 | US$ 2,60 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 1.661.103 |
| Qwen3.5-FlashAlibaba | não informados | US$ 0,065 | US$ 0,26 | 1.000.000 | 82,3% | sem dado | sem dado | 20,3% | sem dado | sem dado |
| Qwen3.5 Plus 2026-02-15Alibaba | não informados | US$ 0,26 | US$ 1,56 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3.5 Plus 2026-04-20Alibaba | não informados | US$ 0,30 | US$ 1,80 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3.6 FlashAlibaba | não informados | US$ 0,19 | US$ 1,12 | 1.000.000 | 83,3% | sem dado | sem dado | 15,9% | sem dado | sem dado |
| Qwen3.6 PlusAlibaba | fechado | US$ 0,33 | US$ 1,95 | 1.000.000 | 88,4% | 57,9% | sem dado | 44,1% | sem dado | sem dado |
| Qwen3.8 Max PrimeAlibaba | não informados | US$ 4,00 | US$ 12,00 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Qwen3.8 Omni FlashAlibaba | não informados | US$ 0,15 | US$ 0,47 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Step 3.5 FlashStepFun | aberto | US$ 0,10 | US$ 0,30 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 188.228 |
| Step 3.7 FlashStepFun | aberto | US$ 0,20 | US$ 1,15 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 10.411 |
| Hy3 previewTencent | aberto | US$ 0,18 | US$ 0,60 | 262.144 | sem dado | sem dado | sem dado | sem dado | sem dado | 69.777 |
| Grok 4.20xAI | fechado | US$ 1,25 | US$ 2,50 | 2.000.000 | 89,3% | sem dado | sem dado | 30,2% | sem dado | sem dado |
| Grok 4.3xAI | não informados | US$ 1,25 | US$ 2,50 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| Grok 4.5xAI | fechado | US$ 2,00 | US$ 6,00 | 500.000 | 93,4% | sem dado | sem dado | 48,3% | sem dado | sem dado |
| Grok Build 0.1xAI | não informados | US$ 1,00 | US$ 2,00 | 256.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| MiMo-V2.6-Pro-UltraSpeedXiaomi | não informados | US$ 4,35 | US$ 8,70 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GLM 4.5Zhipu AI (Z.ai) | aberto | US$ 0,60 | US$ 2,20 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | 113.522 |
| GLM 4.5 AirZhipu AI (Z.ai) | aberto | US$ 0,20 | US$ 1,10 | 131.072 | sem dado | sem dado | sem dado | sem dado | sem dado | 1.258.503 |
| GLM 4.5VZhipu AI (Z.ai) | aberto | US$ 0,60 | US$ 1,80 | 65.536 | sem dado | sem dado | sem dado | sem dado | sem dado | 15.564 |
| GLM 5 TurboZhipu AI (Z.ai) | não informados | US$ 1,20 | US$ 4,00 | 202.752 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GLM 5.3 FlashXZhipu AI (Z.ai) | não informados | US$ 0,37 | US$ 1,25 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GLM 5.3 FlashX LegalZhipu AI (Z.ai) | não informados | US$ 0,37 | US$ 1,25 | 1.048.576 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GLM 5.3 PrimeZhipu AI (Z.ai) | não informados | US$ 2,80 | US$ 8,80 | 1.000.000 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
| GLM 5V TurboZhipu AI (Z.ai) | não informados | US$ 1,20 | US$ 4,00 | 202.752 | sem dado | sem dado | sem dado | sem dado | sem dado | sem dado |
Qual modelo usar para quê
Esta indicação acompanha os dados e muda quando eles mudam.
Agentes
- Regra: Maior nota em τ-bench Verified (companhia aérea)Claude Fable 5 82%
- Regra: Maior nota com pesos abertos em τ-bench Verified (companhia aérea)DeepSeek V4 Flash 0423 81,7%
- Regra: Mais barato por 1M tokens de entrada entre os 5 com maior nota em τ-bench Verified (companhia aérea)DeepSeek V4 Flash 0423 US$ 0,09
τ-bench Verified (companhia aérea) ?
O que isso significa?
O que mede: O τ-bench Verified (companhia aérea), no quadro do OpenRouter Benchmarks (CC BY 4.0, versão mais recente consultada), simula um atendente de companhia aérea que usa sistemas e precisa seguir as políticas da empresa até o fim da conversa. A nota é o percentual de tarefas concluídas dentro da regra.
Quando importa: Importa para agentes que executam tarefas com ferramentas. Mostra se o modelo segue a política ao longo de vários passos, como um assistente que consulta um regulamento interno e termina o pedido sem inventar uma exceção.
Compare com
Fontes
- Epoch AI, CC BY 4.0, versão mais recente consultada.
- OpenRouter Benchmarks, CC BY 4.0, versão mais recente consultada.
- OpenRouter, dados públicos da API; exports de benchmarks e rankings em CC BY 4.0, versão mais recente consultada.
- Hugging Face Hub, metadados públicos do Hub; licença de cada modelo no repositório, versão mais recente consultada.
Datas vêm das fontes: entrada no OpenRouter ou criação do repositório no Hugging Face, que podem não coincidir com o lançamento oficial. Família e versão foram agrupadas por regra a partir do nome.