Benchmark de IA para texto, raciocínio e pesquisa é a família de testes mais citada do mercado — e a mais mal interpretada. O problema não são os números, é a leitura: o modelo que lidera o índice composto não é o mesmo que lidera a preferência humana. Na leitura de outubro de 2026, o Claude Opus 5.5 lidera o Intelligence Index com 58 pontos (versão 4.3.2 do índice), mas aparece apenas em 4º lugar na Text Arena, onde pessoas comparam respostas sem saber quem escreveu. A arena acumula 8,63 milhões de votos sobre 413 modelos, e quem a lidera é o Gemini 4 Argon, com Elo de 1525 — mas com só 4.932 votos, uma amostra ainda pequena. Nenhum dos dois está errado; eles medem coisas diferentes. Este artigo explica o que cada teste mede, com que amostra, e onde os números não devem ser comparados entre si.
Como o Intelligence Index é montado
O índice mais usado como atalho é composto por dez avaliações com pesos declarados. Saber a composição importa porque explica por que um modelo bom em conversa pode pontuar baixo:
| Componente | Amostra | Peso | Categoria |
|---|---|---|---|
| AA-Briefcase v1.1 | 91 tarefas em 4 cenários | 15% | Agentes |
| GDPval-AA v2.1 | 220 tarefas, 44 ocupações | 10% | Agentes |
| AutomationBench-AA | 657 tarefas | 5% | Agentes |
| Terminal-Bench 4.0 | 66 tarefas | 10% | Código |
| SciCode | 288 subproblemas | 10% | Código |
| AA-Omniscience | 6.000 questões | 15% | Conhecimento e alucinação |
| GDP.pdf | 100 tarefas em 10 domínios | 10% | Geral (documento longo) |
| AA-LCR v1.1 | 100 questões (~100 mil tokens) | 5% | Contexto longo |
| HLE | 2.158 questões | 10% | Raciocínio científico |
| CritPt | 70 desafios | 10% | Raciocínio científico |
30% do peso é de tarefas agênticas. Ou seja: o índice premia modelo que usa ferramenta e completa trabalho, não que escreve bem. Se o seu caso é redação ou atendimento, ele não é o critério mais adequado.
Detalhe útil: GPQA Diamond, τ³-Banking, MMLU-Pro e LiveCodeBench saíram do índice — a Artificial Analysis hoje os mantém como avaliações legadas —, embora ainda sejam citados como se fizessem parte. E a composição mudou desde a leitura de agosto, que usava nove avaliações: a pontuação atual não é comparável com a anterior (o 63 do Opus 5 vinha da versão antiga).
LiveBench — pontuação geral (release de 25/06/2026)
23 tarefas objetivas em 7 categorias, renovadas a cada seis meses para evitar contaminação. Em violeta, pesos abertos.
O custo por tarefa bem-sucedida varia cerca de 50x: US$ 1,439 no Fable 5 contra US$ 0,029 no DeepSeek V4.1 Flash.
O LiveBench merece destaque metodológico: as 23 tarefas são renovadas a cada seis meses, e o release mais recente continua sendo o de 25 de junho de 2026 — o que mudou desde agosto foram os modelos avaliados. Como as questões são novas e verificáveis automaticamente, o teste é resistente a contaminação de dados de treino — o problema mais sério de todos os benchmarks de IA.
Dois achados que a tabela esconde: em matemática a categoria está saturada (97,1 contra 97,0 e 96,8 no topo — indistinguível), enquanto código agêntico é o gargalo real, com o melhor resultado em 77,3 e nove dos dez primeiros do geral abaixo de 72. E o custo por tarefa bem-sucedida varia cerca de 50 vezes entre o Fable 5 e o DeepSeek V4.1 Flash.
Text Arena — preferência humana (Elo, 02/10/2026)
8,63 milhões de votos, 413 modelos, comparação cega par a par com controle de estilo.
O líder, Gemini 4 Argon, tem só 4.932 votos (±9); do 2º ao 6º lugar os intervalos se sobrepõem. O líder do índice composto (Opus 5.5) aparece em 4º, com 4.552 votos.
⚠️ Por que preferência humana discorda do índice
A Text Arena acumula 8,63 milhões de votos sobre 413 modelos, em comparação cega par a par com controle de estilo. É a medição mais próxima de “qual resposta as pessoas preferem”.
E ela diverge do índice composto: o Gemini 4 Argon lidera com 1525 — único na posição 1 da tabela, mas com só 4.932 votos, uma amostra que ainda vai se mover —, e o Opus 5.5, número 1 no índice, fica em 4º com 1504, numa faixa de posições possíveis que vai do 2º ao 13º. Antes de concluir qualquer coisa, note que os intervalos de confiança do 2º ao 6º lugar se sobrepõem: a diferença não é estatisticamente separável. A leitura honesta é que há um grupo empatado logo atrás do líder, não uma ordem clara.
A explicação da divergência é simples: o índice pesa uso de ferramenta e conclusão de tarefa; a arena pesa clareza, tom e utilidade percebida. Para escolher modelo de atendimento ou produção de conteúdo, a arena informa melhor.
Uma nota de endereço: o domínio mudou — o LMArena agora atende em arena.ai.
Os testes de conhecimento e raciocínio, um por um
- GPQA Diamond — questões de biologia, física e química escritas para resistir a busca na web. O dado que dá escala: especialistas com doutorado acertam 65%, e não-especialistas qualificados ficam em 34% mesmo com mais de 30 minutos e internet aberta. A Artificial Analysis o tirou do índice e hoje o mantém como avaliação legada.
- HLE (Humanity’s Last Exam) — 2.500 questões de mais de 100 matérias, escritas por cerca de mil especialistas de 500 instituições em 50 países, com conjunto privado retido para detectar sobreajuste. Em 22 de setembro de 2026 saiu o HLE-Diamond, subconjunto refinado de 1.000 questões (500 de raciocínio e 500 de conhecimento): sem ferramentas e com raciocínio “high”, o GPT-6 Astra marca 59,9% e o Claude Opus 5.5, 54,6%.
- MMLU-Pro — 12.032 questões, com 10 alternativas em vez de 4 e remoção de itens triviais. Provocou queda de 16 a 33 pontos frente ao MMLU original, cuja saturação o próprio estudo declara.
- BrowseComp — 1.266 questões que exigem localizar informação difícil e entrelaçada na web, com resposta curta e verificável.
- AA-Omniscience — 6.000 questões, e o único componente que pune alucinação explicitamente, separando acurácia de taxa de não-invenção.
⚠️ Onde os números divergem — e por quê
O HLE é o melhor exemplo de armadilha. Você vai encontrar valores muito diferentes para o mesmo teste, e há três causas verificadas:
- Amostra diferente. O conjunto completo tem 2.500 questões; o índice avalia sobre 2.158.
- O dataset encolheu. Passou de 2.700 para 2.500 itens quando questões com erro ou “facilmente pesquisáveis” foram removidas.
- Juiz e esforço distintos. Um leaderboard usa um modelo específico como avaliador automático a temperatura zero; outro usa configuração diferente de esforço de raciocínio.
E há versões novas: a versão de 17 de setembro do HLE-Rolling trocou perguntas fáceis por outras mais difíceis, e o HLE-Diamond chegou cinco dias depois. Número de HLE sem a versão indicada não é comparável.
Há ainda um ponto que quase ninguém verifica: nem o Opus 5 nem o GPT-5.6 Sol aparecem no leaderboard da Scale AI para o HLE, hoje liderado pelo GPT-6 Astra com 54,8%. Qualquer número de HLE para esses dois é autorreportado pelo fabricante ou vem de avaliação de terceiro — nunca do ranking original.
Casos de uso e o critério certo para cada um
| Seu caso | Olhe para | Ignore |
|---|---|---|
| Atendimento e conversa | Text Arena (preferência humana) | Índice composto |
| Produção de conteúdo | Text Arena e teste próprio | GPQA, HLE |
| Pesquisa e síntese com web | BrowseComp | Benchmarks de conhecimento fechado |
| Extração factual | AA-Omniscience (pune alucinação) | Elo de preferência |
| Documento longo | AA-LCR (contexto de 100 mil tokens) | Testes de questão curta |
| Automação com ferramentas | Índice composto e AutomationBench-AA | Text Arena |
E vale a regra geral: custo por tarefa importa mais que posição no ranking. A variação de cerca de 50 vezes no custo por tarefa bem-sucedida do LiveBench é maior que qualquer diferença de qualidade entre os dez primeiros.
Fontes
- Metodologia do Intelligence Index — Artificial Analysis
- LiveBench — release de junho de 2026
- Text Arena — preferência humana
- GPQA · Humanity’s Last Exam · HLE-Diamond
- MMLU-Pro · BrowseComp
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de código · de agentes · de dados e matemática
- Engenharia de prompt — extrair mais do modelo que você já tem
- Benchmark de IA — a definição no glossário
