Benchmark de IA para código tem um problema de credibilidade que este artigo trata de frente: o teste mais citado do mercado está saturado. No SWE-bench Verified, o topo chegou a 97% — praticamente todas as tarefas resolvidas —, a ponto de a Vals.ai ter parado de rodá-lo em modelos novos. A Scale AI respondeu em 22/09/2026 com o SWE-bench Pro V2, versão refeita do teste desenhado para resistir a contaminação, e a pública já está em 99,4%. O que ainda separa os modelos é a versão Hard (51 tarefas, topo em 98%) e o conjunto privado de 272 tarefas, onde o melhor resolve 222. O ranking antigo do Pro, que parava em 61,5%, continua no ar, mas sem modelos da geração atual. É a mesma capacidade medida com régua diferente, e é por isso que comparativo baseado num número só engana.
As réguas do SWE-bench no topo (%)
Mesma tarefa — resolver issue real de repositório — em quatro versões do teste. Agente e configuração mudam de uma linha para outra.
O Verified e a V2 pública (642 tarefas, 11 repositórios) estão no teto; o que ainda discrimina é a Hard (51 tarefas) e o conjunto privado (272). O ranking antigo (731 tarefas públicas) segue publicado, sem nenhum modelo da geração Opus 5 entre os 10 primeiros.
SWE-bench Pro V2: o que mudou
A Scale refez o teste em 22/09/2026, com revisão de especialistas e um protocolo mais fechado:
| SWE-bench Verified | SWE-bench Pro V2 | |
|---|---|---|
| Tarefas | 500 | 642 públicas (51 na versão Hard) e 272 privadas |
| Repositórios | projetos populares | 11 públicos, com licença GPL, e bases proprietárias |
| Curadoria | revisão humana de cada item | 23 engenheiros, 1.897 horas; 89 tarefas inválidas removidas |
| Solução média | — | 107 linhas em 4,1 arquivos |
| Topo atual | 97,0% (Vals.ai, agente padrão) | 99,4% (Full), 98,0% (Hard) · privado: 222 de 272 |
O protocolo também ficou mais difícil de burlar: o agente só alcança o endpoint do modelo, com ferramentas de web desligadas — numa rodada anterior com rede aberta, 32 de 642 trajetórias consultaram repositórios de código e 4 chegaram a recuperar o commit da correção. A própria Scale registra o limite: nota pública perto do teto é compatível tanto com capacidade real quanto com memorização. Por isso o número que ainda pesa é o do conjunto privado: Opus 5 em 222 de 272 tarefas, Kimi K3 em 214, GLM-5.3 e Gemini 3.8 Flash em 211.
SWE-bench Pro V2 Hard — taxa de resolução (%)
51 tarefas, as mais difíceis das 642. Cada linha usa um agente diferente.
Terminal-Bench: e a pegadinha do “agente + modelo”
O Terminal-Bench 4.0 tem 66 tarefas, todas novas — nenhuma repete as 89 da versão 2.1, que foi substituída — e mede algo mais próximo do trabalho real: executar comandos, corrigir o que falha, iterar. Por isso os números não se comparam com os da 2.1: o conjunto é outro. E há um detalhe metodológico que muda a interpretação de todos eles.
| Agente + modelo | Resultado |
|---|---|
| Codex + GPT-6 Astra | 58,2% ± 2,8 |
| Claude Code + Fable 5.1 | 57,9% ± 3,8 |
| Claude Code + Opus 5 | 53,9% ± 3,2 |
| Claude Code + Fable 5 | 44,5% ± 3,8 |
| Claude Code + GLM-5.3 | 41,8% ± 3,2 |
⚠️ O leaderboard mede a dupla, não o modelo isolado. Cada linha do ranking oficial é um agente com um modelo, e o resultado muda com o agente, com o esforço de raciocínio e até com quem roda o teste. Com o mesmo agente (mini-SWE-agent), a Vals.ai põe o Claude Opus 5.5 na frente (65,15%, contra 64,14% do Sonnet 5.5); a Artificial Analysis inverte (Sonnet 5.5 com 63,6%, Opus 5.5 com 59,6%). Nenhum dos dois aparece no ranking oficial do tbench.ai hoje. Quem lê “modelo X faz 58,2%” está atribuindo ao modelo um resultado que é do conjunto.
Isso também serve de alerta para números autorreportados. Na versão 2.1, já vi fabricante publicar 88,3% neste teste — valor acima do primeiro lugar do ranking oficial da época, e para um modelo que não figurava entre as entradas avaliadas. Não é necessariamente falso: é medição própria, com scaffold próprio, e não deve ser comparada com posição de leaderboard.
Front-end: o empate dos modelos abertos acabou
A WebDev Arena mede preferência humana sobre interfaces geradas — 838.388 votos sobre 138 modelos, em 1º de outubro de 2026. Em agosto, dois modelos de pesos abertos estavam em segundo e terceiro. Hoje o quadro é outro:
| Modelo | Elo | Licença |
|---|---|---|
| Claude Opus 5.5 (max) | 1815 | proprietário |
| GPT-6 Astra (max) | 1788 | proprietário |
| Claude Sonnet 5.5 (xhigh) | 1786 | proprietário |
| Qwen3.8 Max (10º) | 1671 | proprietário |
| Kimi K3 (max) (13º) | 1658 | licença Kimi K3 |
| GLM-5.3 (max) (20º) | 1623 | MIT |
| DeepSeek V4.1 Flash (max) (21º) | 1620 | MIT |
O empate técnico de agosto desapareceu. O melhor modelo fora da licença proprietária é o Kimi K3, em 13º, com 1658 (±6) contra 1815 (±16) do primeiro: 157 pontos de distância, bem acima das margens de erro. Para gerar interface, o topo proprietário voltou a abrir vantagem; GLM-5.3 e DeepSeek V4.1 Flash, ambos MIT, ficam cerca de 200 pontos abaixo. Detalho o que isso significa em custo no artigo de self-host.
Segurança: Cybench
Para avaliar capacidade em segurança, a referência independente é o Cybench, de Stanford: 40 desafios de captura de bandeira de nível profissional, extraídos de quatro competições, em seis categorias — criptografia, web, engenharia reversa, forense, exploração e escalada de privilégio.
A metodologia tem dois traços úteis: divide cada desafio em subtarefas, permitindo avaliação gradual, e usa o tempo que humanos levaram para resolver como proxy de dificuldade.
Resultados sem orientação: Claude Opus 4.7 em 40%, Grok 4.1 em 38%, Claude Opus 4.6 em 37%. Números modestos, e é o esperado — são tarefas de profissional de segurança, não exercício de programação.
⚠️ Dois benchmarks que você deve parar de citar
- LiveCodeBench — a janela de problemas vai até maio de 2025 e nenhum modelo de 2026 aparece no ranking. O topo listado é o O4-Mini High, com 80,2. A metodologia é boa e vale entender; o ranking está estagnado.
- Aider Polyglot — 225 exercícios em seis linguagens, mas última atualização em novembro de 2025. Também sem modelos de 2026.
Citar qualquer um dos dois como retrato atual é o erro mais comum em comparativos de código publicados em 2026.
Custo por milhão de tokens — e a pegadinha do tokenizer
| Modelo | Entrada | Saída | Cache |
|---|---|---|---|
| Claude Fable 5.1 | US$ 10 | US$ 50 | US$ 0,25 |
| Claude Fable 5 | US$ 10 | US$ 50 | US$ 1 |
| Claude Opus 5.5 | US$ 4 | US$ 20 | US$ 0,20 |
| Claude Opus 5 | US$ 5 | US$ 25 | US$ 0,50 |
| Claude Sonnet 5.5 e Sonnet 5 | US$ 2 | US$ 10 | US$ 0,20 |
| Claude Haiku 4.5 | US$ 1 | US$ 5 | US$ 0,10 |
⚠️ Comparação por token engana a partir do Opus 4.7. Esses modelos usam tokenizador novo, que gera cerca de 30% mais tokens para o mesmo texto. O preço de tabela é igual ao das versões anteriores, mas o custo real por tarefa é maior. Ao comparar gerações, use custo por tarefa concluída — não preço por token. Uma boa notícia: o Sonnet 5 ficou em US$ 2 e US$ 10 — o aumento previsto para 1º de setembro foi cancelado.
Casos de uso e qual teste consultar
- Corrigir bug em base existente — SWE-bench Pro V2, olhando a Hard e o conjunto privado, não o Verified nem a Full pública: os dois já estão no teto.
- Automação de terminal e devops — Terminal-Bench, atentando para a dupla agente + modelo.
- Gerar interface e landing page — WebDev Arena, onde o topo proprietário abriu vantagem sobre os modelos abertos.
- Revisão de segurança — Cybench, com expectativa calibrada: o topo faz 40%.
- Script pontual e automação simples — nenhum benchmark ajuda muito; qualquer modelo atual resolve, então decida por preço.
Fontes
- SWE-bench Verified — página oficial · Vals.ai — ranking independente
- SWE-bench Pro V2 · anúncio da V2 — Scale AI
- Terminal-Bench 4.0 — tbench.ai
- WebDev Arena · Cybench
- SciCode · Preços Anthropic
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de agentes · de texto e raciocínio · de self-host
- GitHub Copilot — IA aplicada ao fluxo de desenvolvimento
- Benchmark de IA — a definição no glossário
