RSS

Como ler benchmarks

Evolução

Famílias chinesas na prova GPQA Diamond, com a Epoch e licença CC BY 4.0.

Famílias chinesas em GPQA Diamond

Famílias chinesas na prova GPQA Diamond, com a Epoch e licença CC BY 4.0.

506070809010020252026zona de saturação acima de 90Qwen2.5-Max: 56.1%.Qwen3-235B-A22B: 70.7%.Qwen3-235B-A22B (Jul 2025): 80.1%.Qwen3-Max: 72.6%.Qwen3.5 397B-A17B: 86.4%.Qwen 3.6 Max (Preview): 87.4%.Qwen3.7-Max: 90.9%.Qwen 3.8 Max: 92.7%.Qwen3.8 Max (0902): 92.3%.DeepSeek-R1: 71.7%.DeepSeek-V3 (Mar 2025): 67.6%.DeepSeek-R1 (May 2025): 76.3%.DeepSeek-V3.2: 83.4%.DeepSeek-V4-Pro: 90.9%.DeepSeek V4 Flash 0731: 91%.DeepSeek V4 Pro 0813: 91.7%.DeepSeek V4.1 Flash: 89.8%.DeepSeek V4.1 Flash 1017: 93.2%.Kimi K2 Thinking: 84.2%.Kimi K2.5: 87.6%.Kimi K2.6: 90.8%.Kimi K2.7 Code: 87.9%.Kimi K3: 93.1%.Kimi K3.1 Pro: 94.2%.GLM-4.7: 83.3%.GLM-5: 87.8%.GLM-5.1: 89.9%.GLM-5.2: 91.9%.GLM-5.3: 90.9%.GLM-5.3-Flash: 90.2%.
  • ● Qwen (linha Max)
  • ● DeepSeek
  • ● Kimi (Moonshot)
  • ● GLM (Z.ai)

O eixo marca só o ano. O detalhe de cada ponto traz o modelo e o valor. A tabela repete os mesmos números, e o link leva à fonte.

Tabela do gráfico
GPQA Diamond, melhor execução por modelo. Fonte: Epoch AI, licença CC BY 4.0.
Modelo Valor Laboratório Quem mediu Licença Fonte
Qwen2.5-Max 56,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3-235B-A22B 70,7% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3-235B-A22B (Jul 2025) 80,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3-Max 72,6% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3.5 397B-A17B 86,4% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen 3.6 Max (Preview) 87,4% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen3.7-Max 90,9% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen 3.8 Max 92,7% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen3.8 Max (0902) 92,3% Alibaba ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-R1 71,7% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V3 (Mar 2025) 67,6% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-R1 (May 2025) 76,3% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V3.2 83,4% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V4-Pro 90,9% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4 Flash 0731 91% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4 Pro 0813 91,7% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4.1 Flash 89,8% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4.1 Flash 1017 93,2% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
Kimi K2 Thinking 84,2% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K2.5 87,6% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K2.6 90,8% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K2.7 Code 87,9% Moonshot ● Epoch AI CC-BY-4.0 Fonte
Kimi K3 93,1% Moonshot ● Epoch AI CC-BY-4.0 Fonte
Kimi K3.1 Pro 94,2% Moonshot ● Epoch AI CC-BY-4.0 Fonte
GLM-4.7 83,3% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GLM-5 87,8% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GLM-5.1 89,9% Z.ai (Zhipu AI) ● Epoch AI CC-BY-4.0 Fonte
GLM-5.2 91,9% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GLM-5.3 90,9% Z.ai (Zhipu AI) ● Epoch AI CC-BY-4.0 Fonte
GLM-5.3-Flash 90,2% Z.ai (Zhipu AI) ● Epoch AI CC-BY-4.0 Fonte

Recorde de GPQA Diamond por laboratório

Recorde de cada laboratório na mesma prova, em degraus, com a Epoch e licença CC BY 4.0.

2030405060708090100202420252026zona de saturação acima de 90Qwen1.5-72B: 28.8%.Qwen1.5-32B: 30.7%.Qwen2-72B: 40.8%.Qwen2.5-32B: 46.1%.Qwen2.5-72B: 49.1%.Qwen2.5-Max: 56.1%.QwQ-32B: 65.3%.QWQ-Plus: 65.4%.Qwen3-235B-A22B: 70.7%.Qwen3-32B: 65.7%.Qwen3-235B-A22B (Jul 2025): 80.1%.Qwen3.5 397B-A17B: 86.4%.Qwen 3.6 Plus: 88.4%.Qwen3.7-Max: 90.9%.Qwen 3.8 Max: 92.7%.DeepSeek-V3: 56.5%.DeepSeek-R1: 71.7%.DeepSeek-R1-Distill-Qwen-32B: 64.1%.DeepSeek-R1 (May 2025): 76.3%.DeepSeek-V3.2: 83.4%.DeepSeek-V4-Pro: 90.9%.DeepSeek V4 Flash 0731: 91%.DeepSeek V4 Pro 0813: 91.7%.DeepSeek V4.1 Flash 1017: 93.2%.Kimi K2 Thinking: 84.2%.Kimi K2.5: 87.6%.Kimi K2.6: 90.8%.Kimi K3: 93.1%.Kimi K3.1 Pro: 94.2%.GLM-4.7: 83.3%.GLM-5: 87.8%.GLM-5.1: 89.9%.GLM-5.2: 91.9%.GPT-4 Turbo (Apr 2024): 46.6%.GPT-4o: 49.2%.o1-mini: 62.4%.o1-preview: 50.3%.o1: 76.8%.o3-mini: 77%.o3: 81.8%.o4-mini: 79.6%.GPT-5: 86.2%.GPT-5.1: 87.6%.GPT-5.2: 91.4%.GPT-5.4: 93.3%.GPT-5.4 Pro: 94.6%.GPT-6 Astra: 95.8%.Claude 3 Opus: 47.2%.Claude 3 Sonnet: 40.6%.Claude 3.5 Sonnet: 54%.Claude 3.5 Sonnet (October 2024): 55.3%.Claude 3.7 Sonnet: 79.7%.Claude Sonnet 4.5: 82.3%.Claude Opus 4.5: 86%.Claude Opus 4.6: 90.5%.Claude Opus 4.8: 91%.Claude Opus 5: 93.9%.Claude Sonnet 5.5: 95.6%.Gemma 2 27B: 36.5%.Gemma 2 9B: 27.5%.Gemini 1.5 Flash: 47.3%.Gemini 1.5 Pro: 57.2%.Gemini 2.0 Pro: 65.7%.Gemini 2.5 Pro (Mar 2025): 83.8%.Gemini 2.5 Pro (Jun 2025): 85.3%.Gemini 3 Pro: 92.6%.Gemini 3.1 Pro: 94.4%.Gemini 3.7 Flash: 94.8%.Gemini 3.8 Flash: 95.4%.Gemini 4 Argon: 96.4%.
  • ● Alibaba
  • ● DeepSeek
  • ● Moonshot
  • ● Z.ai (Zhipu AI)
  • ● OpenAI
  • ● Anthropic
  • ● Google DeepMind

O eixo marca só o ano. O detalhe de cada ponto traz o modelo e o valor. A tabela repete os mesmos números, e o link leva à fonte.

Tabela do gráfico
GPQA Diamond, melhor execução por modelo. Fonte: Epoch AI, licença CC BY 4.0.
Modelo Valor Laboratório Quem mediu Licença Fonte
Qwen1.5-72B 28,8% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen1.5-32B 30,7% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen2-72B 40,8% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen2.5-32B 46,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen2.5-72B 49,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen2.5-Max 56,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
QwQ-32B 65,3% Alibaba ● Epoch AI CC-BY-4.0 Fonte
QWQ-Plus 65,4% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3-235B-A22B 70,7% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3-32B 65,7% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen3-235B-A22B (Jul 2025) 80,1% Alibaba desatualizado ● Epoch AI CC-BY-4.0 Fonte
Qwen3.5 397B-A17B 86,4% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen 3.6 Plus 88,4% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen3.7-Max 90,9% Alibaba ● Epoch AI CC-BY-4.0 Fonte
Qwen 3.8 Max 92,7% Alibaba ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V3 56,5% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-R1 71,7% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-R1-Distill-Qwen-32B 64,1% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-R1 (May 2025) 76,3% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V3.2 83,4% DeepSeek desatualizado ● Epoch AI CC-BY-4.0 Fonte
DeepSeek-V4-Pro 90,9% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4 Flash 0731 91% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4 Pro 0813 91,7% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
DeepSeek V4.1 Flash 1017 93,2% DeepSeek ● Epoch AI CC-BY-4.0 Fonte
Kimi K2 Thinking 84,2% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K2.5 87,6% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K2.6 90,8% Moonshot desatualizado ● Epoch AI CC-BY-4.0 Fonte
Kimi K3 93,1% Moonshot ● Epoch AI CC-BY-4.0 Fonte
Kimi K3.1 Pro 94,2% Moonshot ● Epoch AI CC-BY-4.0 Fonte
GLM-4.7 83,3% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GLM-5 87,8% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GLM-5.1 89,9% Z.ai (Zhipu AI) ● Epoch AI CC-BY-4.0 Fonte
GLM-5.2 91,9% Z.ai (Zhipu AI) desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-4 Turbo (Apr 2024) 46,6% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-4o 49,2% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o1-mini 62,4% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o1-preview 50,3% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o1 76,8% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o3-mini 77% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o3 81,8% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
o4-mini 79,6% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-5 86,2% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-5.1 87,6% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-5.2 91,4% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-5.4 93,3% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-5.4 Pro 94,6% OpenAI desatualizado ● Epoch AI CC-BY-4.0 Fonte
GPT-6 Astra 95,8% OpenAI ● Epoch AI CC-BY-4.0 Fonte
Claude 3 Opus 47,2% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude 3 Sonnet 40,6% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude 3.5 Sonnet 54% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude 3.5 Sonnet (October 2024) 55,3% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude 3.7 Sonnet 79,7% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude Sonnet 4.5 82,3% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude Opus 4.5 86% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude Opus 4.6 90,5% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude Opus 4.8 91% Anthropic desatualizado ● Epoch AI CC-BY-4.0 Fonte
Claude Opus 5 93,9% Anthropic ● Epoch AI CC-BY-4.0 Fonte
Claude Sonnet 5.5 95,6% Anthropic ● Epoch AI CC-BY-4.0 Fonte
Gemma 2 27B 36,5% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemma 2 9B 27,5% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 1.5 Flash 47,3% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 1.5 Pro 57,2% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 2.0 Pro 65,7% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 2.5 Pro (Mar 2025) 83,8% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 2.5 Pro (Jun 2025) 85,3% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 3 Pro 92,6% Google DeepMind desatualizado ● Epoch AI CC-BY-4.0 Fonte
Gemini 3.1 Pro 94,4% Google DeepMind ● Epoch AI CC-BY-4.0 Fonte
Gemini 3.7 Flash 94,8% Google DeepMind ● Epoch AI CC-BY-4.0 Fonte
Gemini 3.8 Flash 95,4% Google DeepMind ● Epoch AI CC-BY-4.0 Fonte
Gemini 4 Argon 96,4% Google DeepMind ● Epoch AI CC-BY-4.0 Fonte

Como ler estes gráficos

  • Cada ponto é a melhor execução daquele modelo no export da Epoch.
  • A faixa acima de 90 marca a zona de saturação.
  • A tabela embaixo repete modelo, valor, laboratório, quem mediu, licença e o link da fonte.

Guia completo Qwen3.8 Max JSON CSV