Benchmark de IA é um teste padronizado que mede a capacidade de um modelo numa tarefa específica — resolver problema de matemática, corrigir bug, interpretar imagem — permitindo comparar sistemas diferentes sob a mesma régua. É o instrumento que sustenta quase toda decisão de compra de IA, e também o mais mal interpretado. Dois números da leitura de agosto de 2026 mostram por quê: no SWE-bench Verified, teste de correção de código, o topo do mercado chegou a 96% — praticamente tudo resolvido, o que significa que ele deixou de discriminar. Aplicada a mesma capacidade no SWE-bench Pro, versão desenhada para resistir a contaminação, o melhor resultado cai para 61,5%. São 35 pontos de diferença medindo a mesma coisa, com desenhos de teste distintos. O caso extremo dessa distorção é o ARC-AGI-1, hoje em 98,5% no topo: um teste saturado não informa mais nada sobre qual modelo escolher.
O problema que define a área: contaminação
Um benchmark só mede capacidade se o modelo não viu as respostas durante o treino. Como os modelos são treinados em grandes volumes de texto da web, e os benchmarks são publicados na web, a contaminação é o risco estrutural da área.
Os testes mais confiáveis atacam isso por desenho:
- Renovação periódica — o LiveBench troca suas 23 tarefas a cada seis meses.
- Coleta imediata — o MathArena usa questões de olimpíada colhidas no momento da publicação da prova.
- Conjunto privado — o FrontierMath mantém os problemas fora do ar.
- Licença restritiva — o SWE-bench Pro escolheu repositórios com licença copyleft, deliberadamente, para dificultar que o código tenha entrado no treino.
⚠️ Benchmark também tem bug
O episódio mais instrutivo de 2026 desmonta a ideia de que o gabarito é confiável por definição. Em 12 de junho de 2026, o instituto Epoch AI publicou a segunda versão do FrontierMath após uma auditoria que corrigiu erros em 42% dos problemas.
A maioria eram erros triviais de cálculo — sinal trocado, diferença de uma unidade — na extração da resposta final. E o efeito da correção foi elevar a nota de todos os modelos: eles estavam sendo penalizados por gabarito errado, não por incapacidade.
O mesmo padrão aparece em outras áreas: há estudos argumentando que erros de anotação comprometem os rankings de conversão de texto para SQL. Benchmark é software, e software tem defeito.
Três leituras erradas que custam caro
- Confundir autorreportado com independente. Score publicado no material do fabricante e posição em leaderboard de terceiro não são a mesma coisa. Já vi fabricante divulgar resultado acima do primeiro lugar do ranking oficial, para um modelo que sequer figurava entre os avaliados — não é fraude, é medição própria com metodologia própria.
- Ignorar o intervalo de confiança. Na arena de preferência humana, os intervalos dos sete primeiros colocados se sobrepõem — a “liderança” não é estatisticamente separável.
- Citar leaderboard congelado. Vários testes populares pararam de ser atualizados: um deles tem janela de problemas encerrada em maio de 2025 e nenhum modelo de 2026 no ranking, mas segue sendo citado como retrato atual.
O que isso muda na prática
Benchmark serve para descartar candidatos, não para eleger vencedor. Antes de decidir com base em qualquer número, faça três perguntas: quem mediu (fabricante ou terceiro), quando (a data da leitura, porque ranking muda) e com que amostra.
E lembre que o teste mede a tarefa dele, não a sua. Duas horas testando os finalistas com o seu próprio conteúdo, em português, valem mais que qualquer tabela — especialmente porque quase nenhum benchmark tem recorte de língua portuguesa.
O detalhamento por tipo de tarefa está nos guias de texto e raciocínio, código e agentes, e o panorama de modelos com preços está em modelos de IA em 2026.
Fontes
- FrontierMath e a auditoria da versão 2 — Epoch AI
- SWE-bench Pro — Scale AI
- SWE-bench Verified
- LiveBench · MathArena
- Metodologia do Intelligence Index — Artificial Analysis
Leitura das fontes em 17/08/2026.