# Metodologia dos modelos de IA | Adriano Meirinho

- **URL canônica:** https://meirinho.com.br/ia/modelos/metodologia/
- **Idioma:** pt-BR
- **Atualizado:** 2026-11-20

---
Modelos de IA

# Metodologia dos modelos de IA

Esta página descreve as regras que eu uso em /ia/modelos/ para comparar modelos de API: de onde vêm os dados, quando uma comparação entra nos buscadores,

Esta página descreve as regras que eu uso em /ia/modelos/ para comparar modelos de API: de onde vêm os dados, quando uma comparação entra nos buscadores, como decido um empate técnico, como trato preço e licença, e como citar o que está no site. É a versão 2, de 21 de novembro de 2026.

O guia de leitura das notas está em [/ia/como-ler-benchmarks/](https://meirinho.com.br/ia/como-ler-benchmarks/).

## Fontes e coleta semanal

A coleta semanal roda todo domingo, às 19h no horário de São Paulo. As notas que entram no índice vêm só da Epoch AI, da OpenRouter e de sites oficiais dos laboratórios que permitem esse uso. A coleta lê o catálogo da OpenRouter, o CSV público de benchmarks da Epoch AI e as avaliações próprias da OpenRouter. A LMArena, pelo dataset dela no Hugging Face, e os metadatos dos pesos no Hugging Face aparecem aqui só citados como fontes da coleta e não entram nas notas do índice. O preço oficial do laboratório, quando existe, eu registro à parte, a partir da página oficial de preços, e ele prevalece sobre o preço da OpenRouter. Cada linha de [/ia/modelos/mudancas/](https://meirinho.com.br/ia/modelos/mudancas/) traz a fonte e a data.

## Mínimo de 4 testes para o índice geral

Um modelo só ganha posição no índice geral, a lista que junta todos os testes numa ordem só, quando tem nota em pelo menos 4 testes distintos. As notas de GPQA Diamond da Epoch AI e as da OpenRouter contam como um teste. Com menos de 4, o modelo fica fora da conta do índice geral e aparece na ficha com o rótulo «dados insuficientes» no lugar dessa posição. Na coleta atual, 85 dos 258 modelos têm posição no índice geral, e 173 aparecem com «dados insuficientes».

Para esses modelos, o resto continua igual. A ficha mostra todas as notas, cada teste tem o próprio ranking, com faixa e selos, e o «Bom para» continua vindo das notas de cada teste. A comparação entre dois modelos continua pedindo pelo menos 3 testes distintos em comum, e na coleta atual isso vale para 5.718 pares. Nas categorias de uso, entra quem tem nota nos dois testes da categoria, mesmo com menos de 4 no total. Os testes saturados e os pouco discriminantes também contam nos dois mínimos.

Eu só indexo a comparação entre dois modelos quando eles têm nota em pelo menos 3 benchmarks distintos em comum; nesta coleta, isso vale para **5.718** pares, entre 258 modelos com alguma nota. Eram 3.145 pares antes de 20 de novembro de 2026, quando o OTIS Mock AIME passou a contar nesse mínimo.

O OTIS Mock AIME está saturado: a nota continua na tabela com o selo, sem posição e fora do «Bom para», e conta no mínimo de 3 testes em comum. As notas de GPQA Diamond da Epoch AI e as da OpenRouter valem como um teste. O τ-bench Verified (companhia aérea), pouco discriminante, também conta nesse mínimo.

## Como calculo a faixa no índice geral

No índice geral, a posição de cada modelo sai de três métodos de ordenação, que olham os mesmos dados de jeitos diferentes. O BT, modelo de Bradley-Terry, trata cada par de modelos, em cada teste que os dois têm, como uma partida: quem fica acima fora da margem vence, e o empate técnico vale meio ponto para cada lado; com todas as partidas, o método calcula a força de cada modelo. O IRT, a teoria de resposta ao item, estima a habilidade de cada modelo levando em conta quanto cada teste é difícil e quanto ele separa os modelos; nos dois GPQA Diamond, a conta considera a chance de 25% de acertar por acaso. O percentil mostra em que ponto da lista o modelo está em cada teste, entre os que têm posição no índice geral, e depois tira a média dos testes que ele tem.

Para medir quanto a posição pode mudar só por acaso, uso o bootstrap: refaço a conta inteira 2.000 vezes, e em cada uma dessas réplicas sorteio de novo quantas perguntas cada modelo acerta em cada teste, a partir da nota publicada e do número de perguntas do teste. Os testes em si ficam fixos, porque cada modelo tem nota em 4 a 6 deles, e sortear testes inteiros apagaria parte dos dados de alguns modelos. O sorteio usa a semente 20261121, o número que fixa a sequência aleatória, e por isso quem rodar a mesma conta chega aos mesmos resultados.

Em cada método, a faixa vai do percentil 2,5 ao percentil 97,5 das 2.000 posições, o que descarta os resultados mais extremos dos dois lados. A faixa publicada junta os três métodos: começa na melhor posição entre os três começos e termina na pior entre os três finais. Juntar as três evita um buraco na conta, porque em 7 dos 85 modelos as faixas dos três métodos não têm nenhuma posição em comum.

A posição aparece como um número só, no formato «Xº de N», quando a faixa tem largura 1, ou seja, quando começa e termina na mesma posição. Nos outros casos, aparece como faixa, no formato «entre Xº e Yº de N». Se dois modelos ficarem com a mesma posição exata, os dois aparecem com o mesmo número, por exemplo «3º de 85», sem desempate. A lista segue o começo da faixa e, depois, o fim. Na coleta atual, nenhum dos 85 modelos tem posição exata no índice geral, e a faixa mediana cobre 23 posições.

## Empate técnico e margem de 95%

Eu trato dois modelos como empate técnico quando a diferença entre as notas, sem arredondar, fica dentro da margem de 95%: |d| < max(1,96·√(SE_A²+SE_B²); 1 p.p.). O p da diferença continua o da fonte, sem arredondar e sem k/n.

Para saber o tamanho da margem de cada nota, eu parto da nota publicada pela fonte e do número de perguntas do teste: com isso calculo quantas perguntas o modelo acertou e o erro-padrão, que mede quanto a nota poderia variar se o teste tivesse outras perguntas do mesmo tipo. Quando o modelo acerta todas as perguntas ou nenhuma, a conta simples daria erro zero, e nesse caso uso o intervalo de Wilson, um ajuste que mantém uma margem no teto e no zero. Essa conta vale para todos os testes e substitui o erro-padrão publicado pela Epoch AI. Os testes têm 198 perguntas nos dois GPQA Diamond, 285 no FrontierMath (níveis 1 a 3), 1.000 no SimpleQA Verified, 484 no SWE-bench Verified, 45 no OTIS Mock AIME e 50 no τ-bench Verified (companhia aérea). O «±» que a OpenRouter publica é o desvio-padrão entre rodadas, e eu não o uso como erro-padrão.

## Baixa resolução no topo

O índice S mede se o topo de um teste ainda separa os modelos. Ele compara a nota do 1º colocado com a do 5º e leva em conta o tamanho do teste: quanto mais perto de 1, mais embolado está o topo. A conta segue o artigo que propôs o índice ([Akhtar, Reuel e coautores, 2026](https://arxiv.org/abs/2602.16763)), com α = 0,5, o valor padrão do artigo, que define quanto o número de perguntas do teste pesa no resultado.

Quando o índice S chega a 0,7 ou mais, o teste recebe a ressalva «baixa resolução no topo». A nota, a faixa, os selos e o «Bom para» continuam como estão; a ressalva avisa que, no alto da lista desse teste, a diferença entre as notas diz pouco. Na coleta atual, cinco testes levam a ressalva: GPQA Diamond da Epoch AI (0,970), GPQA Diamond da OpenRouter (0,952), FrontierMath, níveis 1 a 3 (0,820), SWE-bench Verified (0,849) e τ-bench Verified, companhia aérea (0,991). No SimpleQA Verified, o índice S é 0,012, e o teste segue sem ressalva.

O GPQA Diamond mantém posição, selos e «Bom para», e leva só essa ressalva. Na coleta atual, a maior nota no GPQA Diamond da Epoch AI é 96,8, com um dono, e 28 dos 195 modelos levam um dos dois selos; no da OpenRouter, são 21 dos 134.

## Teste saturado

Um teste fica saturado quando o índice S chega a 0,7 ou mais e pelo menos dois modelos acertam todas as perguntas. A nota continua na tabela e o selo continua valendo, mas o teste sai da ordem de posição e do «Bom para». Ele segue contando no mínimo de 3 testes das comparações e no mínimo de 4 do índice geral, e entra na conta do índice geral. Na coleta atual, só o OTIS Mock AIME está saturado: o índice S é 1,000, 16 dos 182 modelos estão em 100%, e 65 dos 182 levam um dos dois selos.

## Teste pouco discriminante

Quando mais da metade dos modelos de um teste levaria selo, o teste fica «pouco discriminante»: a nota aparece, sem posição e sem selo, e sai do «Bom para». Ele segue contando nos mínimos de 3 e de 4 testes e entra na conta do índice geral. Na coleta atual, isso acontece só no τ-bench Verified (companhia aérea), em que 96 dos 130 modelos levariam selo. O índice S dele também passa de 0,7, e a ressalva «baixa resolução no topo» aparece junto.

## Categorias de uso

Duas categorias de uso juntam dois testes cada uma, com peso igual: Raciocínio e matemática, com GPQA Diamond da Epoch AI e FrontierMath (níveis 1 a 3), em 80 modelos, e Conhecimento e factualidade, com GPQA Diamond da Epoch AI e SimpleQA Verified, em 84 modelos. Entra quem tem nota nos dois testes da categoria, e eu não estimo nota que falta. O GPQA Diamond da OpenRouter fica fora das categorias.

O escore de cada modelo é a proporção de vitórias. Em cada teste, conto contra quantos modelos da categoria ele fica acima fora da margem, com meio ponto para cada empate técnico, e divido pelo número de adversários. Depois tiro a média dos dois testes.

A faixa usa as mesmas 2.000 réplicas do índice geral. Em cada réplica, além de sortear de novo os acertos, sorteio também os pesos dos dois testes por uma distribuição Dirichlet(5, 5), que mantém os pesos perto de metade para cada um e deixa que variem um pouco. Assim a faixa mostra também quanto a posição depende do peso escolhido. A faixa vai do percentil 2,5 ao 97,5, e o rótulo segue o mesmo formato do índice geral. Na coleta atual, 1 dos 80 modelos tem posição exata em Raciocínio e matemática, e nenhum dos 84 em Conhecimento e factualidade.

Programação tem um teste só, o SWE-bench Verified, e por isso aparece como o ranking desse teste, com a ressalva «um teste só».

## Preço e licença

**Revisão de preço:** A variação do preço na OpenRouter só entra sozinha no registro de mudanças se for maior que 10% e se o novo preço se repetir na coleta seguinte. Uma mudança no preço oficial do laboratório passa pelo crivo no PR de dados, e não entra por essa regra. Modelos aposentados ficam fora da ordenação por custo e do recomendador.

**Preço programado:** Quando o laboratório anuncia uma mudança de preço com data, o site troca sozinho nessa data, à 0h no horário de São Paulo. Se o laboratório indica também o horário, com fuso, o site usa aquele instante.

O Gemini 4 Argon e o Gemini 4 Carbon passam de US$ 2,00 para US$ 4,00 por 1M tokens de entrada e de US$ 10,00 para US$ 20,00 por 1M tokens de saída em 1º de dezembro de 2026, segundo a [página oficial de preços do Google](https://aistudio.google.com/docs/pricing) consultada em 17 de novembro de 2026.

**Licença:** Os dados próprios deste site saem sob a licença [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/), com a atribuição «Adriano Meirinho, meirinho.com.br». Os dados de terceiros seguem a licença de cada fonte; a licença dos dados próprios não relicencia dado de terceiro. Os preços, oficiais ou da OpenRouter, saem só como link para a fonte, sem o número.

## CSV e JSON

A tabela aberta está em [/ia/modelos/dados.csv](https://meirinho.com.br/ia/modelos/dados.csv) e em [/ia/modelos/dados.json](https://meirinho.com.br/ia/modelos/dados.json). Nela saem os identificadores e a curadoria do catálogo, sob CC BY 4.0 com a atribuição «Adriano Meirinho, meirinho.com.br», e as notas de benchmark cuja fonte licencia a redistribuição: as avaliações internas da Epoch AI e as avaliações próprias da OpenRouter, cada uma com a licença e o crédito da fonte. A versão 1 do CSV e do JSON sai sem o rating da LMArena e sem a fatia de uso da OpenRouter. Ficam de fora, ou entram só como link, os valores de preço, as perguntas e os gabaritos dos testes, os downloads e as curtidas do Hugging Face, e qualquer dado de fonte sem licença clara de redistribuição.

## Como citar

Se usar estes dados, cite a página e a data em que você a consultou.

Adriano Meirinho. «Metodologia dos modelos de IA». meirinho.com.br. https://meirinho.com.br/ia/modelos/metodologia/. Acesso em [data da sua consulta].

Os dados de terceiros seguem a licença de cada fonte. A tabela completa está em [CSV](https://meirinho.com.br/ia/modelos/dados.csv) e em [JSON](https://meirinho.com.br/ia/modelos/dados.json).

## Histórico de versões

Versão 1, de 20 de novembro de 2026: primeira versão da página, com as regras já em vigor.

Versão 2, de 21 de novembro de 2026: entram o mínimo de 4 testes para o índice geral, a faixa por três métodos com bootstrap, o índice S com a ressalva de baixa resolução no topo e as categorias de uso com faixa.

[#](#)
