Benchmark de agentes de IA mede se o modelo consegue concluir trabalho — operar computador, navegar, usar ferramentas, atender uma solicitação de ponta a ponta — e não apenas responder bem. É a categoria onde os números mais contradizem o discurso de mercado. O exemplo mais eloquente: no OSWorld, benchmark de uso de computador, o melhor modelo faz 86% na versão 1 e cai para 44,3% na release mais recente da versão 2 (31,4% na de 08/08 e 20,6% na original). Mesma família de teste, mesma capacidade avaliada. A diferença é o horizonte da tarefa: a v2 usa tarefas que levam cerca de 1,6 hora para uma pessoa concluir, com média de 318 chamadas de ferramenta. Automação longa continua sendo problema aberto, e este artigo mostra com dado onde está o limite.
OSWorld — o colapso entre as versões (%)
Mesma família de teste, horizonte de tarefa diferente.
A v2 tem 108 tarefas com mediana de ~1,6 h para humanos e média de 318 chamadas de ferramenta; a release 2.1, hoje a recomendada, mantém as 108. As releases são conjuntos de tarefas diferentes, então a comparação entre elas é aproximada. Na de 08/08, o Opus 5 é a média de 7 execuções e o GPT-5.6 Sol, de 2. No recorte dos autores para a versão original, ninguém passa de 10% em tarefas acima de 137 minutos.
O colapso é função do tempo de tarefa
Os autores do OSWorld 2.0 publicaram o recorte que explica tudo (feito na versão original, com GPT-5.5 e Opus 4.7). Nas 108 tarefas da versão, distribuídas em 31 sites auto-hospedados e com 27 pontos de verificação em média:
- Em tarefas de menos de 45 minutos, os modelos ficam entre 20% e 24%
- Na faixa de 137 a 163 minutos, ninguém passa de 10%
- Acima de 163 minutos, o resultado é zero — nenhum modelo conclui
E 69,6% das tarefas levam mais de uma hora. Ou seja: o benchmark foi desenhado para medir exatamente onde os agentes falham. Os modelos mais novos avançaram — o Opus 5 passa de 44% na release 2.1 —, mas a leitura prática continua clara para quem planeja automação: quebre o processo em etapas curtas verificáveis em vez de delegar o fluxo inteiro.
Uma nota de método sobre a versão 1: as submissões podem excluir 8 tarefas de Google Drive, rodando 361 em vez de 369. É permitido oficialmente, mas significa que o denominador varia entre submissões — comparar percentuais exige checar a base. E o topo da v1 não é só de modelo: há agentes especializados acima, como o Intelligence-Indeed Agent, com 90,19%.
ARC-AGI-3 — a fronteira real (%)
Exige adaptação a ambientes interativos inéditos. Em violeta, o líder; o resultado depende do harness.
O ARC-AGI-1 está saturado (98,5%) e o 2 chegou a 95%. O 3 ainda separa os modelos, mas o resultado depende do harness: o Provider Adapter preserva o estado de raciocínio entre chamadas, e o mesmo Gemini 3.8 Flash (high) faz 10,4% no padrão e 35% no Adapter.
ARC-AGI: onde a fronteira se moveu
A série ARC-AGI mede adaptação a problemas inéditos, e a evolução entre versões conta a história do ano:
| Versão | Topo atual | Situação |
|---|---|---|
| ARC-AGI-1 | 98,5% | Saturado — não discrimina mais |
| ARC-AGI-2 | 95,0% | Caiu rápido em 2026; deixando de ser fronteira |
| ARC-AGI-3 | 62,7% (harness padrão) · 99,9% (Provider Adapter) | Fronteira — exige adaptação em ambiente interativo, e o resultado depende do harness |
No ARC-AGI-3 o líder mudou em setembro: o GPT-6 Astra faz 62,7% com o harness padrão, contra os 30,2% do Claude Opus 5, que liderava desde julho. Com o Provider Adapter o Astra chega a 99,9%, e o GPT-6.1 Sol a 96,4%. Fora da família GPT-6, o Gemini 3.8 Flash (35%, no Adapter) já passa o Opus 5, e o resto fica abaixo de 8%.
Dois detalhes que merecem atenção. O nível de esforço muda tudo: o GPT-6.1 Sol vai de 3,9% na configuração mínima a 52,7% na máxima, no harness padrão. E o custo continua brutal — o melhor resultado padrão do Astra custou US$ 26.098 e o do Adapter, US$ 18.817, o que torna esses números demonstração de capacidade, não indicação de uso viável.
τ³-bench: o teto do agente empresarial
Se existe um benchmark que espelha o caso de uso corporativo, é este. O τ³-Banking simula atendimento bancário sobre uma base de cerca de 700 documentos, medindo consistência em múltiplas tentativas.
| Modelo | Resultado | Tipo |
|---|---|---|
| Qwen 3.8 Max | 55,2% | pesos abertos |
| Claude Opus 5 | 48,7% | proprietário |
| Grok 4.5 | 47,9% | proprietário |
| GPT-5.6 Sol | 46,9% | proprietário |
| Kimi K3 | 37,1% | pesos abertos |
Duas conclusões. Primeira: um modelo de pesos abertos lidera com 6,5 pontos de folga sobre o melhor proprietário. Segunda, e mais importante para expectativa: mesmo o líder falha em cerca de 45% das tarefas. Esse é o teto real de agente de atendimento confiável hoje — quem promete automação total está vendendo o que o benchmark não sustenta.
Nota de endereço: o projeto migrou para taubench.com, e a versão τ³ acrescentou tarefas intensivas em conhecimento e agentes de voz.
Os outros testes da categoria
- GAIA — 466 questões, 300 retidas para o ranking, em três níveis de dificuldade; combina raciocínio, multimodalidade, navegação e ferramentas. O contraste original é didático: humanos acertavam 92% contra 15% do GPT-4 com plugins. Não consegui ler o ranking atual — a plataforma que o hospeda está bloqueada nesta sessão.
- AutomationBench-AA — 657 tarefas de fluxo em software de gestão, avaliadas por conclusão objetiva com conformidade a regras: violar uma regra zera a tarefa. Entra no índice composto da Artificial Analysis (v4.3.2) com peso de 5% na categoria Agentes.
- WebArena — de 2023, hoje considerado superado pelo OSWorld 2.0 e pelo τ³. Vale como referência histórica.
⚠️ Uma correção que vale registrar
Circula a informação de que a correção de bugs do OSWorld-Verified teria sido reportada por um fabricante específico. Fui verificar: os agradecimentos do projeto listam a empresa entre as instituições que deram retorno, mas nenhuma correção é atribuída exclusivamente a ela. A fonte não sustenta a afirmação — e é o tipo de detalhe que se propaga sem checagem.
Casos de uso e o que esperar
- Atendimento com consulta a base de conhecimento — τ³ é o teste certo. Planeje com escalonamento humano: o teto é ~55%.
- Automação de tarefa repetitiva curta — viável. É a faixa em que o OSWorld 2.0 mostra 20% a 24%, e tarefa curta com verificação melhora muito na prática.
- Fluxo longo de ponta a ponta — não delegue inteiro. Acima de duas horas de trabalho equivalente, o resultado medido pelos autores é zero (recorte da versão original).
- Uso de computador em interface visual — OSWorld, sempre checando qual versão e qual release o número cita.
- Pesquisa com múltiplas fontes — GAIA e BrowseComp, este último tratado no artigo de texto e raciocínio.
A regra que sintetiza a categoria: agentes funcionam bem em tarefa curta e verificável, e mal em processo longo. Desenhar o fluxo em torno disso é a diferença entre automação que funciona e piloto que morre.
Fontes
- OSWorld 2.0 · OSWorld 1.0 / Verified — XLANG Lab
- τ³-bench — Sierra
- ARC-AGI — ARC Prize Foundation
- GAIA — paper original
- Metodologia do índice (inclui AutomationBench) — Artificial Analysis
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de código · de texto · de dados
- Automação de marketing — desenho de fluxo que não vira ruído
- Benchmark de IA — a definição no glossário
