Benchmark de IA para dados, estatística e matemática é a área com a maior distância entre manchete e realidade. Os testes de olimpíada estão saturados — no AIME 2026, os modelos de topo ficam entre 95% e 100% no MathArena, que hoje marca essas provas como descontinuadas. E quando a tarefa muda de “resolver problema fechado” para “analisar dado real”, o resultado passa a depender de como o agente é montado: no DABStep, benchmark construído sobre cargas de trabalho reais de uma empresa de pagamentos, o baseline de raciocínio do lançamento acertava 76% das tarefas fáceis e caía para 14,55% nas difíceis; hoje agentes especializados passam de 87% nas duas faixas — e o teste está saturado. No AA-AnalystAgent, que trabalha com planilhas e documentos, o melhor modelo só acerta 60% das perguntas nas cinco tentativas. Este artigo mostra qual teste consultar para cada tipo de decisão.
MathArena — desempenho esperado (%)
Média normalizada sobre as competições ativas (ArXivMath, BrokenArXiv e ArXivLean): problemas de pesquisa extraídos de artigos recentes do arXiv, quatro execuções por problema. Em violeta, pesos abertos.
Margem de erro entre ±2,0 e ±7,6 pontos. A competição agora é de matemática de pesquisa: as notas não são comparáveis com as da leitura de agosto.
Matemática: o que ainda discrimina
O MathArena resolve o problema da saturação com metodologia simples e eficaz: roda cada modelo quatro vezes por problema e usa questões novas, colhidas depois de qualquer chance de entrar em dados de treino. Em maio de 2026, ele próprio declarou que problemas de resposta final de competição já não servem como régua de fronteira (o GPT-5.5 resolveu o último problema não resolvido do Apex), e hoje marca AIME, HMMT, USAMO, IMO e Putnam como descontinuadas. O ranking atual cobre ArXivMath, BrokenArXiv e ArXivLean.
Note as margens de erro no gráfico: entre ±2,0 e ±7,6 pontos. Aqui a leitura mudou: a diferença entre o primeiro e o segundo colocado (90,1 contra 88) é menor que as margens (±2,3 e ±2,0), então o topo é um empate técnico — só o terceiro (84,9) já se separa do líder. Em agosto, a liderança se sustentava.
⚠️ A medalha de ouro na olimpíada: o que foi medido e quando
Você provavelmente leu que modelos de IA conquistaram ouro na Olimpíada Internacional de Matemática. Vale saber o que sustenta essa afirmação.
As alegações de 2025 eram sobre modelos que nunca foram liberados para avaliação independente: a da OpenAI foi validada por três ex-participantes, não pela organização da prova; a do DeepMind, pela organização. Na avaliação da IMO 2025 conduzida pelo MathArena em julho de 2025, com quatro juízes humanos de nível olímpico, o melhor modelo publicamente disponível (Gemini 2.5 Pro) fez 13 de 42 pontos — 31%, abaixo do limiar de bronze (19 pontos).
Um ano depois, o quadro mudou: na USAMO 2026, o MathArena mediu 95% para o GPT-5.4 — quase saturação —, com um abismo para os demais (Gemini 3.1 Pro com 75%, Opus 4.6 com 47%). A nota vem de um júri de modelos de linguagem com verificação manual, não de juízes humanos.
Não significa que as alegações de 2025 fossem falsas. Significa que resultado de sistema não auditável não é comparável a resultado medido — e que, em matemática, o resultado medido envelhece em meses.
FrontierMath: quando o gabarito é que estava errado
O FrontierMath, do Epoch AI, tem 295 problemas nos níveis 1 a 3 — de graduação a doutorado avançado — mais um nível 4 de matemática de pesquisa. As avaliações rodam sobre conjuntos privados, proteção real contra contaminação. Hoje o FrontierMath é um programa com três frentes: os níveis 1 a 4, uma coleção de problemas abertos de pesquisa e problemas de Erdős formalizados em Lean.
E aqui está o episódio mais instrutivo de toda esta série. Em 12 de junho de 2026, o Epoch publicou a versão 2 do benchmark após uma auditoria que corrigiu erros em 42% dos problemas — foram 123 correções nos níveis 1 a 3 e 12 no nível 4, com alguns itens removidos.
A maioria eram erros triviais de cálculo — sinal trocado, diferença de uma unidade — na extração da resposta final. E o efeito da correção foi elevar as notas de todos os modelos: eles estavam sendo penalizados por gabarito errado. Na leitura de hoje, o topo dos níveis 1 a 3 está em 93,7% (GPT-6.1 Sol e GPT-6 Astra, ambos com margem de ±1,4), com o Claude Opus 5.5 em 91,2%.
A lição vale para qualquer comparação: scores anteriores à versão 2 não são comparáveis aos atuais. E o próprio Epoch situa a taxa de erro original como comparável à do ImageNet — ou seja, não é anomalia, é o estado da arte da construção de benchmark.
Uma ressalva de transparência: a OpenAI financia o FrontierMath, conflito de interesse que o projeto declara.
GDPval-AA v2.1 — tarefas econômicas reais (Elo)
44 ocupações em 9 setores. Escala ancorada no DeepSeek V4.1 Flash (max) em 1600. Em violeta, pesos abertos.
Comparação cega par a par, julgada por um painel de três LLMs de fronteira, não por especialistas humanos. Na v2.1 a escala é fixada num modelo, não numa linha de base humana: os Elos não são comparáveis com os da versão anterior.
GDPval: tarefas econômicas reais
É o benchmark mais próximo de “o modelo faz o trabalho que uma pessoa é paga para fazer”. Cobre 44 ocupações em 9 setores de peso no PIB, com tarefas escritas por profissionais de 14 anos de experiência média.
Na versão avaliada de forma independente (GDPval-AA v2.1, com 220 tarefas), o Elo é ancorado em 1600 no DeepSeek V4.1 Flash (max) — a versão anterior usava 1000 como linha de base humana —, e os modelos operam com acesso a terminal e navegação web em ciclo agêntico. O MiMo-V2.6-Pro, de pesos abertos, aparece em 12º com 1688 — 179 pontos abaixo do líder.
⚠️ Um detalhe metodológico que corrige uma leitura comum: o julgamento é feito por comparação cega, com um painel de três LLMs de fronteira como juízes, não por especialistas humanos. Muitos artigos descrevem esse teste como “avaliado por especialistas” — não é. E, desde a v2.1, nem a âncora da escala é humana.
Análise de dados de verdade: DABStep
Se o seu caso de uso é IA analisando planilha, base ou log, este foi o teste que importou. O DABStep, construído pela Adyen com o Hugging Face, tem cerca de 450 tarefas extraídas de cargas de trabalho reais, divididas entre fáceis e difíceis.
O resultado do lançamento era o mais sóbrio desta série, e o placar de hoje mostra o que mudou:
- Nas tarefas fáceis, o baseline de raciocínio (o4-mini, abril de 2025) fazia 76,39%
- Nas difíceis, o mesmo modelo caía para 14,55%
- No leaderboard validado de hoje, o melhor agente (NVIDIA KGMON, sobre Claude Haiku 4.5, 22/02/2026) faz 87,5% nas fáceis e 89,95% nas difíceis; no placar não validado há várias entradas com 100% nas duas faixas
A razão do colapso no baseline era instrutiva: as tarefas difíceis exigem combinar processamento de dados em código com raciocínio sobre documentação heterogênea — ler a especificação de um campo, entender a regra de negócio, e só então calcular. A virada veio de agentes montados sob medida, não de um modelo de prateleira, e o resultado é um teste saturado: a Adyen fechou novas validações enquanto prepara o DABStep-v2.
Para a pergunta “a IA já faz o trabalho de analista?”, o dado mais atual vem de outro teste: o AA-AnalystAgent, da Artificial Analysis, com 80 perguntas quantitativas em 14 domínios, sobre planilhas e documentos de verdade, cada uma rodada cinco vezes. Só vale a pergunta acertada nas cinco tentativas (pass^5), e o melhor resultado é 60% (Gemini 3.7 Flash, em esforço high), seguido de 57,5% para o Claude Sonnet 5.5 e o Claude Fable 5.1. É exatamente o trabalho de um analista, e é onde a IA ainda falha em boa parte das vezes.
SQL e outros testes de dados
| Benchmark | O que mede | Situação |
|---|---|---|
| BIRD-SQL | Texto para SQL sobre bases grandes e sujas | Ativo; o BIRD lançou o Data Intelligence Index (v0.3, 01/05/2026), com topo em 54,26 (GPT-5.5 xhigh) entre oito modelos |
| Spider 2.0 | SQL em ambiente empresarial realista | Ativo; no Spider 2.0-Snow, agentes especializados chegam a 96,70 (01/03/2026) |
| DS-1000 | Ciência de dados em Python | Ativo; sem scores 2026 verificados |
| DABStep | Análise sobre dados reais, fácil e difícil | Ativo, saturado; v2 a caminho |
Sobre benchmark de planilha e BI: em agosto eu não tinha localizado nenhum ativo e confiável; hoje há dois candidatos com dado de terceiros, o AA-AnalystAgent (planilhas e documentos, acima) e o Data Intelligence Index do BIRD (BI e manipulação de dados). Ainda assim, se alguém apresentar número para “IA no Excel”, peça a fonte.
Vale notar um padrão que atravessa a área: dois estudos publicados em 2026 argumentam que erros de anotação comprometem os rankings de texto para SQL — o mesmo problema que a auditoria do FrontierMath expôs em matemática. Benchmark é software, e software tem bug.
Casos de uso e qual teste consultar
- Análise exploratória de base própria — AA-AnalystAgent e DABStep. E calibre expectativa: no AA-AnalystAgent o melhor resultado em cinco tentativas seguidas é 60%, e o DABStep só passa de 87% com agente montado sob medida.
- Gerar consulta SQL — BIRD-SQL e Spider 2.0 para entender a metodologia; teste no seu esquema para decidir.
- Cálculo e modelagem estatística — MathArena, ignorando AIME e HMMT por saturação.
- Automatizar trabalho de analista — GDPval, lembrando que o juiz é automatizado.
- Relatório recorrente sobre dado estruturado — nenhum benchmark cobre bem; monte um teste próprio com dez perguntas que você já sabe responder.
O erro mais comum nesta categoria é confundir resolver problema fechado com analisar dado aberto. Modelos são excelentes no primeiro e medianos no segundo, e nenhum ranking de olimpíada avisa isso.
Fontes
- MathArena · Avaliação da IMO com juízes humanos · USAMO 2026
- FrontierMath · Níveis e a auditoria da versão 2 — Epoch AI
- GDPval-AA · Conjunto de dados original · AA-AnalystAgent
- DABStep · paper
- BIRD-SQL · Data Intelligence Index · Spider 2.0 · DS-1000
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de texto · de agentes · de multimodal
- Análise de demanda — onde o hype de IA em previsão não se sustenta
- Benchmark de IA — a definição no glossário
