Benchmark de IA para áudio: Whisper e alternativas

Benchmark de IA para áudio mede duas coisas distintas: transcrever fala em texto e gerar voz sintética. Para transcrição, a métrica é a taxa de erro de palavra (WER) — proporção de palavras erradas, omitidas ou inseridas; quanto menor, melhor. E aqui há uma resposta que contraria o senso comum do mercado: o Whisper não é mais estado da arte. No Open ASR Leaderboard, o whisper-large-v3 aparece em 16º lugar entre 39 modelos em português, com WER médio de 4,94% contra 2,86% do líder — cerca de 73% pior em termos relativos. Em inglês a posição é mais dura ainda: 45º de 64. Não é opinião de blog; é o ranking, e este artigo mostra os números.

O recorte de português existe — e quase ninguém usa

A maioria dos comparativos cita o WER médio em inglês, que é irrelevante para operação brasileira. O Open ASR Leaderboard tem uma aba multilíngue com recorte dedicado ao português, com 39 modelos avaliados em dois conjuntos — e o ranking é pela média dos dois:

• FLEURS-pt — texto de enciclopédia lido em voz alta, áudio limpo
• MLS-pt — audiolivros em português

Repare que o Whisper cai mais em MLS-pt (audiolivro) que em FLEURS-pt — 6,37% contra 3,50%. Áudio mais longo e com variação de entonação degrada o desempenho, e é um sinal do que esperar em conteúdo real. Entre os modelos da família Whisper, o melhor colocado hoje é um derivado, o TheStageAI/thewhisper-large-v3-turbo (8º, 3,85%); o whisper-large-v3-turbo da OpenAI aparece em 13º e o large-v3 em 16º.

Para referência histórica, o paper original do Whisper reporta, para o large-v2 em português: 6,8% no MLS, 6,3% no Common Voice 9 e 4,3% no FLEURS. As versões v3 e turbo não têm tabela por idioma no paper — e não existe Whisper v4: nenhuma menção no repositório oficial.

⚠️ A condição do teste muda tudo

Antes de escolher com base na tabela acima, saiba o que ela não cobre. FLEURS e MLS são áudio lido, em estúdio, sem ruído. Nenhum desses números vale para:

• Telefonia — banda estreita, compressão agressiva
• Call center — sobreposição de falantes, ruído de fundo
• Reunião gravada — microfone distante, múltiplas vozes
• Áudio de rede social — música ao fundo, corte abrupto

Não localizei benchmark público desses domínios em português. Se o seu caso é transcrever atendimento telefônico, a única medição que vale é a sua: separe 30 gravações reais, transcreva manualmente como gabarito e compare. É meia manhã de trabalho que evita uma escolha de milhares de reais.

Quanto custa transcrever

Atenção a duas pegadinhas de leitura. A primeira: Deepgram, OpenAI e Google cobram por minuto; AssemblyAI e ElevenLabs, por hora. Na mesma unidade, em lote, o AssemblyAI Universal-3.5 Pro (US$ 0,21 por hora de áudio) e o Scribe v2 (US$ 0,22) saem abaixo do Deepgram Nova-3 (US$ 0,26 por hora, ou 0,0043 por minuto) e do gpt-transcribe (US$ 0,27). A segunda: a página da Deepgram tem um alternador entre streaming e lote, e entre preço por minuto e por hora, que confunde comparações — os valores acima são por minuto. E o Whisper, sendo aberto, tem custo de infraestrutura, não de licença: a conta é a GPU, tratada no artigo de self-host.

Para quem usa o whisper-1 pela API da OpenAI: a OpenAI marcou a remoção dele para 26 de fevereiro de 2027, junto com gpt-4o-transcribe e gpt-4o-mini-transcribe, e indica o gpt-transcribe ou o gpt-live-transcribe como substitutos.

⚠️ Uma lacuna que vale declarar: gpt-4o-transcribe, Deepgram e Google Chirp não estão no leaderboard independente. Qualquer WER publicado para esses três é autorreportado pelo próprio fornecedor.

Síntese de voz: o líder não é quem você imagina

No TTS Arena V2, que mede preferência humana em comparação cega, o topo é ocupado por nomes pouco conhecidos: CastleFlow v1.0 (Elo 1559) e Inworld TTS MAX (1557) nas duas primeiras posições, seguidos de Aurora (1566) — um modelo anônimo, sem fabricante informado — e Papla P1 (1548). A posição não segue o Elo bruto, porque o ranking agrupa os modelos em faixas: a Aurora tem o maior Elo e está em 3º.

O ElevenLabs — a marca mais citada do setor — aparece no meio da tabela: Flash v2.5 em 12º (1509), Turbo v2.5 em 17º (1508), Multilingual v2 em 20º e a v3 em 27º. A distância para o topo é de 50 a 57 pontos, com margem de erro de ±21 a ±32 por modelo, e o Eleven v4, que a página de preços da ElevenLabs apresenta como novo, ainda não consta na lista. Isso não significa que seja ruim: significa que reconhecimento de marca e preferência cega são coisas diferentes, e que vale testar alternativas antes de assumir o padrão de mercado. Um alerta sobre arena aberta a voto: o Vocu V3.0, que a gente citava no topo, consta hoje como suspenso por manipulação de votos.

Preços: a ElevenLabs cobra US$ 0,04 por mil caracteres nos modelos Flash e Turbo e US$ 0,08 no Multilingual v2 e no v3; os novos v4 e v4 Turbo saem a US$ 0,08 e US$ 0,04 no preço de tabela (a página mostra 72% de desconto até 12 de outubro). A OpenAI cobrava US$ 15 por milhão de caracteres no tts-1 e US$ 30 no tts-1-hd — valores da leitura de agosto, que a página de preços atual não lista; os dois modelos têm remoção da API marcada para 6 de janeiro de 2027, com o gpt-realtime-2.1-mini como substituto.

Como escolher, por caso de uso

• Legenda de vídeo e podcast — áudio limpo, então a tabela acima se aplica bem. Por hora de áudio, AssemblyAI Universal-3.5 Pro (4º em português, US$ 0,21) e ElevenLabs Scribe v2 (2º, US$ 0,22) saem abaixo do Deepgram em lote; o Scribe v2 tem a melhor nota em audiolivro (MLS-pt).
• Atendimento telefônico — teste com o seu próprio áudio. Nenhum benchmark público cobre esse domínio em português.
• Volume muito alto e dado sensível — Whisper self-host, aceitando um WER mais alto em troca de não enviar áudio a terceiro; vale incluir no teste o derivado TheStageAI/thewhisper-large-v3-turbo, 8º com 3,85% e licença CC-BY-4.0 na ficha dele no Hugging Face. Relevante sob LGPD.
• Voz sintética para peça publicitária — compare cegamente antes de assinar. A liderança de marca não corresponde à liderança de preferência.
• Tempo real — o preço costuma dobrar ou mais (AssemblyAI, ElevenLabs e OpenAI); na Deepgram há tarifa promocional em streaming. Confirme se a latência é requisito real.

Fontes

• Open ASR Leaderboard — com recorte de português
• Paper do Open ASR Leaderboard — 86 sistemas, 12 conjuntos de dados
• Paper original do Whisper — Radford et al.
• TTS Arena V2 — preferência humana em voz sintética
• Preços Deepgram · AssemblyAI · ElevenLabs
• Google Speech-to-Text · OpenAI · Deprecações da OpenAI

Leia também

• Modelos de IA em 2026 — panorama com preços e versões
• Benchmark de geração de vídeo · de multimodal
• Benchmark de self-host — para rodar o Whisper em infraestrutura própria
• Benchmark de IA — a definição no glossário