# Metodología de los modelos de IA | Adriano Meirinho

- **URL canônica:** https://meirinho.com.br/es/ia/modelos/metodologia/
- **Idioma:** es
- **Atualizado:** 2026-11-20

---
Modelos de IA

# Metodología de los modelos de IA

Esta página describe las reglas que uso en /ia/modelos/ para comparar modelos de API: de dónde vienen los datos, cuándo una comparación entra en los buscadores,

Esta página describe las reglas que uso en /ia/modelos/ para comparar modelos de API: de dónde vienen los datos, cuándo una comparación entra en los buscadores, cómo decido un empate técnico, cómo trato precio y licencia, y cómo citar lo que está en el sitio. Es la versión 2, del 21 de noviembre de 2026.

La guía para leer las notas está en [/es/ia/como-ler-benchmarks/](https://meirinho.com.br/es/ia/como-ler-benchmarks/).

## Fuentes y recolección semanal

La recolección semanal corre cada domingo, a las 19 h, horario de São Paulo. Las notas que entran en el índice vienen solo de Epoch AI, de OpenRouter y de sitios oficiales de los laboratorios que permiten ese uso. La recolección lee el catálogo de OpenRouter, el CSV público de benchmarks de Epoch AI y las evaluaciones propias de OpenRouter. LMArena, por su dataset en Hugging Face, y los metadatos de los pesos en Hugging Face aparecen aquí solo citados como fuentes de la recolección y no entran en las notas del índice. El precio oficial del laboratorio, cuando existe, lo registro aparte, a partir de la página oficial de precios, y prevalece sobre el precio de OpenRouter. Cada línea de [/es/ia/modelos/mudancas/](https://meirinho.com.br/es/ia/modelos/mudancas/) trae la fuente y la fecha.

## Mínimo de 4 pruebas para el índice general

Un modelo solo obtiene posición en el índice general, la lista que reúne todas las pruebas en un solo orden, cuando tiene nota en al menos 4 pruebas distintas. Las notas de GPQA Diamond de Epoch AI y las de OpenRouter cuentan como una prueba. Con menos de 4, el modelo queda fuera del cálculo del índice general y su ficha muestra la etiqueta «datos insuficientes» en lugar de esa posición. En la recolección actual, 85 de los 258 modelos tienen posición en el índice general, y 173 aparecen con «datos insuficientes».

Para esos modelos, todo lo demás sigue igual. La ficha muestra todas las notas, cada prueba tiene su propio ranking, con franja y sellos, y «Bueno para» sigue saliendo de las notas de cada prueba. La comparación entre dos modelos sigue pidiendo al menos 3 pruebas distintas en común, y en la recolección actual eso vale para 5.718 pares. En las categorías de uso, entra quien tiene nota en las dos pruebas de la categoría, aunque tenga menos de 4 en total. Las pruebas saturadas y las poco discriminantes también cuentan en los dos mínimos.

Solo indexo la comparación entre dos modelos cuando tienen nota en al menos 3 benchmarks distintos en común; en esta recolección, eso vale para **5.718** pares, entre 258 modelos con alguna nota. Eran 3.145 pares antes del 20 de noviembre de 2026, cuando el OTIS Mock AIME empezó a contar en ese mínimo.

El OTIS Mock AIME está saturado: la nota sigue en la tabla con el sello, sin posición y fuera de «Bueno para», y cuenta en el mínimo de 3 pruebas en común. Las notas de GPQA Diamond de Epoch AI y las de OpenRouter valen como una prueba. El τ-bench Verified (compañía aérea), poco discriminante, también cuenta en ese mínimo.

## Cómo calculo la franja en el índice general

En el índice general, la posición de cada modelo sale de tres métodos de ordenación, que miran los mismos datos de maneras distintas. El BT, modelo de Bradley-Terry, trata cada par de modelos, en cada prueba que ambos tienen, como un partido: quien queda por encima fuera del margen gana, y el empate técnico vale medio punto para cada lado; con todos los partidos, el método calcula la fuerza de cada modelo. El IRT, la teoría de respuesta al ítem, estima la habilidad de cada modelo teniendo en cuenta cuán difícil es cada prueba y cuánto separa a los modelos; en los dos GPQA Diamond, el cálculo considera la probabilidad del 25% de acertar al azar. El percentil muestra en qué punto de la lista está el modelo en cada prueba, entre los que tienen posición en el índice general, y luego promedia las pruebas que tiene.

Para medir cuánto puede cambiar la posición solo por azar, uso el bootstrap: rehago todo el cálculo 2.000 veces, y en cada una de esas réplicas vuelvo a sortear cuántas preguntas acierta cada modelo en cada prueba, a partir de la nota publicada y del número de preguntas de la prueba. Las pruebas en sí quedan fijas, porque cada modelo tiene nota en 4 a 6 de ellas, y sortear pruebas enteras borraría parte de los datos de algunos modelos. El sorteo usa la semilla 20261121, el número que fija la secuencia aleatoria, y por eso quien haga el mismo cálculo llega a los mismos resultados.

En cada método, la franja va del percentil 2,5 al percentil 97,5 de las 2.000 posiciones, lo que descarta los resultados más extremos de los dos lados. La franja publicada reúne los tres métodos: empieza en la mejor posición entre los tres comienzos y termina en la peor entre los tres finales. Reunir los tres evita un hueco en el cálculo, porque en 7 de los 85 modelos las franjas de los tres métodos no tienen ninguna posición en común.

La posición aparece como un número solo, en el formato «X.º de N», cuando la franja tiene ancho 1, es decir, cuando empieza y termina en la misma posición. En los demás casos, aparece como franja, en el formato «entre el X.º y el Y.º de N». Si dos modelos quedan con la misma posición exacta, los dos aparecen con el mismo número, por ejemplo «3.º de 85», sin desempate. La lista sigue el comienzo de la franja y, después, el final. En la recolección actual, ninguno de los 85 modelos tiene posición exacta en el índice general, y la franja mediana cubre 23 posiciones.

## Empate técnico y margen del 95%

Trato dos modelos como empate técnico cuando la diferencia entre notas, sin redondear, queda dentro del margen del 95%: |d| < max(1,96·√(SE_A²+SE_B²); 1 p.p.). La p de la diferencia sigue siendo la de la fuente, sin redondear y sin k/n.

Para medir el margen de cada nota, parto de la nota publicada por la fuente y del número de preguntas de la prueba: con eso calculo cuántas preguntas acertó el modelo y el error estándar, que mide cuánto podría variar la nota si la prueba tuviera otras preguntas del mismo tipo. Cuando el modelo acierta todas las preguntas o ninguna, el cálculo simple daría error cero, y en ese caso uso el intervalo de Wilson, un ajuste que mantiene un margen en el techo y en el cero. Este cálculo vale para todas las pruebas y reemplaza el error estándar publicado por Epoch AI. Las pruebas tienen 198 preguntas en los dos GPQA Diamond, 285 en FrontierMath (niveles 1 a 3), 1.000 en SimpleQA Verified, 484 en SWE-bench Verified, 45 en OTIS Mock AIME y 50 en τ-bench Verified (compañía aérea). El «±» que publica OpenRouter es la desviación estándar entre rondas, y no lo uso como error estándar.

## Baja resolución en la cima

El índice S mide si la cima de una prueba todavía separa a los modelos. Compara la nota del modelo en el 1.º lugar con la del 5.º y tiene en cuenta el tamaño de la prueba: cuanto más cerca de 1, más apretada está la cima. El cálculo sigue el artículo que propuso el índice ([Akhtar, Reuel y coautores, 2026](https://arxiv.org/abs/2602.16763)), con α = 0,5, el valor estándar del artículo, que define cuánto pesa en el resultado el número de preguntas de la prueba.

Cuando el índice S llega a 0,7 o más, la prueba recibe la advertencia «baja resolución en la cima». La nota, la franja, los sellos y «Bueno para» siguen como están; la advertencia avisa que, en lo alto de la lista de esa prueba, la diferencia entre las notas dice poco. En la recolección actual, cinco pruebas llevan la advertencia: GPQA Diamond de Epoch AI (0,970), GPQA Diamond de OpenRouter (0,952), FrontierMath, niveles 1 a 3 (0,820), SWE-bench Verified (0,849) y τ-bench Verified, compañía aérea (0,991). En SimpleQA Verified, el índice S es 0,012, y la prueba sigue sin advertencia.

El GPQA Diamond mantiene posición, sellos y «Bueno para», y lleva solo esta advertencia. En la recolección actual, la nota más alta en el GPQA Diamond de Epoch AI es 96,8, con un dueño, y 28 de los 195 modelos llevan uno de los dos sellos; en el de OpenRouter, son 21 de 134.

## Prueba saturada

Una prueba queda saturada cuando el índice S llega a 0,7 o más y al menos dos modelos aciertan todas las preguntas. La nota sigue en la tabla y el sello sigue valiendo, pero la prueba sale del orden de posición y de «Bueno para». Sigue contando en el mínimo de 3 pruebas de las comparaciones y en el mínimo de 4 del índice general, y entra en el cálculo del índice general. En la recolección actual, solo el OTIS Mock AIME está saturado: su índice S es 1,000, 16 de los 182 modelos están en 100%, y 65 de los 182 llevan uno de los dos sellos.

## Prueba poco discriminante

Cuando más de la mitad de los modelos de una prueba llevaría sello, la prueba queda «poco discriminante»: la nota aparece, sin posición y sin sello, y sale de «Bueno para». Sigue contando en los mínimos de 3 y de 4 pruebas y entra en el cálculo del índice general. En la recolección actual, eso pasa solo en el τ-bench Verified (compañía aérea), en el que 96 de los 130 modelos llevarían sello. Su índice S también supera 0,7, y la advertencia «baja resolución en la cima» aparece junto.

## Categorías de uso

Dos categorías de uso reúnen dos pruebas cada una, con el mismo peso: Razonamiento y matemáticas, con GPQA Diamond de Epoch AI y FrontierMath (niveles 1 a 3), en 80 modelos, y Conocimiento y exactitud factual, con GPQA Diamond de Epoch AI y SimpleQA Verified, en 84 modelos. Entra quien tiene nota en las dos pruebas de la categoría, y no estimo notas que faltan. El GPQA Diamond de OpenRouter queda fuera de las categorías.

El puntaje de cada modelo es la proporción de victorias. En cada prueba, cuento a cuántos modelos de la categoría supera fuera del margen, con medio punto por cada empate técnico, y divido por el número de rivales. Después promedio las dos pruebas.

La franja usa las mismas 2.000 réplicas del índice general. En cada réplica, además de volver a sortear los aciertos, sorteo también los pesos de las dos pruebas con una distribución Dirichlet(5, 5), que mantiene cada peso cerca de la mitad y deja que varíe un poco. Así la franja muestra también cuánto depende la posición del peso elegido. La franja va del percentil 2,5 al 97,5, y la etiqueta sigue el mismo formato del índice general. En la recolección actual, 1 de los 80 modelos tiene posición exacta en Razonamiento y matemáticas, y ninguno de los 84 en Conocimiento y exactitud factual.

Programación tiene una sola prueba, SWE-bench Verified, y por eso aparece como el ranking de esa prueba, con la advertencia «una sola prueba».

## Precio y licencia

**Revisión de precio:** La variación del precio en OpenRouter solo entra sola en el registro de cambios si es mayor que 10% y si el nuevo precio se repite en la recolección siguiente. Un cambio en el precio oficial del laboratorio pasa por una revisión en el PR de datos, y no entra por esta regla. Los modelos retirados quedan fuera de la ordenación por costo y del recomendador.

**Precio programado:** Cuando el laboratorio anuncia un cambio de precio con fecha, el sitio cambia solo en esa fecha, a las 0 h, horario de São Paulo. Si el laboratorio indica también la hora, con huso horario, el sitio usa ese instante.

Gemini 4 Argon y Gemini 4 Carbon pasan de US$ 2,00 a US$ 4,00 por 1M tokens de entrada y de US$ 10,00 a US$ 20,00 por 1M tokens de salida el 1 de diciembre de 2026, según la [página oficial de precios de Google](https://aistudio.google.com/docs/pricing) consultada el 17 de noviembre de 2026.

**Licencia:** Los datos propios de este sitio salen bajo la licencia [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/), con la atribución «Adriano Meirinho, meirinho.com.br». Los datos de terceros siguen la licencia de cada fuente; la licencia de los datos propios no relicencia dato de tercero. Los precios, oficiales o de OpenRouter, salen solo como enlace a la fuente, sin el número.

## CSV y JSON

La tabla abierta está en [/ia/modelos/dados.csv](https://meirinho.com.br/ia/modelos/dados.csv) y en [/ia/modelos/dados.json](https://meirinho.com.br/ia/modelos/dados.json). En ella salen los identificadores y la curación del catálogo, bajo CC BY 4.0 con la atribución «Adriano Meirinho, meirinho.com.br», y las notas de benchmark cuya fuente licencia la redistribución: las evaluaciones internas de Epoch AI y las evaluaciones propias de OpenRouter, cada una con la licencia y el crédito de la fuente. La versión 1 del CSV y del JSON sale sin el rating de LMArena y sin la fracción de uso de OpenRouter. Quedan fuera, o entran solo como enlace, los valores de precio, las preguntas y las respuestas de los tests, las descargas y los likes de Hugging Face, y cualquier dato de fuente sin licencia clara de redistribución.

## Cómo citar

Si usa estos datos, cite la página y la fecha en que la consultó.

Adriano Meirinho. «Metodología de los modelos de IA». meirinho.com.br. https://meirinho.com.br/es/ia/modelos/metodologia/. Consultado el [fecha de su consulta].

Los datos de terceros siguen la licencia de cada fuente. La tabla completa está en [CSV](https://meirinho.com.br/ia/modelos/dados.csv) y en [JSON](https://meirinho.com.br/ia/modelos/dados.json).

## Historial de versiones

Versión 1, del 20 de noviembre de 2026: primera versión de la página, con las reglas ya en vigor.

Versión 2, del 21 de noviembre de 2026: entran el mínimo de 4 pruebas para el índice general, la franja por tres métodos con bootstrap, el índice S con la advertencia de baja resolución en la cima y las categorías de uso con franja.

[#](#)
