Como ler benchmarks · Guia

Transcrição

Para transcrição, o que decide no meu uso é o erro de palavra no áudio em português do Brasil, junto de velocidade, preço por mil minutos e diarização. WER de LibriSpeech, saturado e em inglês lido, não serve para essa escolha.

O Open ASR Leaderboard da Hugging Face existe, mas os números desse quadro não foram coletados nesta passada.

Numa citação pontual da Artificial Analysis, na versão mais recente consultada, o Fun-Realtime-ASR-preview da Alibaba aparece com AA-WER de 1,7%, a US$ 2,82 por mil minutos. Source: Artificial Analysis (artificialanalysis.ai). A métrica pondera AgentTalk em 50%, VoxPopuli em 25% e Earnings22 em 25%, uma base majoritariamente em inglês, e o próprio selo "preview" pode mudar. Para reunião, entrevista ou atendimento em PT-BR, o teste com o seu áudio continua na frente desse recorte.

Quadro de fontes abertas

Transcrição fica sem quadro numérico. O que houver da Artificial Analysis permanece como citação no texto.