Harness — ou agent harness, também chamado de scaffold — é a camada de software em volta do modelo de linguagem: o laço que executa ferramentas, administra o contexto, tenta de novo quando falha, aplica o prompt de sistema e orquestra os passos. O modelo pensa; o harness é tudo o que decide o que ele vê, o que pode fazer e quando para. E a evidência de que essa camada importa é contundente: no Terminal-Bench, o mesmo modelo claude-sonnet-4 aparece simultaneamente na 8ª posição, com 54,8%, e na 57ª, com 12,8%. Mesmo modelo, mesmo benchmark, mesma régua — 42 pontos de diferença, produzidos inteiramente pelo harness em volta dele. E não é ruído estatístico: as margens de erro dessas medições ficam entre 1 e 3 pontos, muito abaixo da distância entre elas. Isso torna a pergunta “qual modelo é melhor” mal formulada — a resposta depende de algo que quase nunca é declarado.
Uma nota de honestidade sobre o termo
Antes dos números, um esclarecimento que quase nenhum material faz: “harness” não tem definição canônica na literatura acadêmica. Não há paper seminal que o defina. Os pesquisadores usam “scaffold” e “ACI” (interface agente-computador); “harness” domina no vocabulário de avaliação e no uso informal da indústria.
Ou seja: o conceito é sólido e mensurável, a palavra é frouxa. Vale saber disso ao ler material de fornecedor, porque termo sem definição fixa é termo que cada um usa como quer.
A ablação que mede o harness com o modelo congelado
O estudo mais limpo sobre isso é o do SWE-agent (Princeton e Stanford, NeurIPS 2024). Os autores fixaram o modelo — GPT-4 Turbo — e foram desligando partes da interface, uma a uma, sobre 300 tarefas de correção de código.
| Configuração (mesmo modelo em todas as linhas) | Resolvido | Efeito |
|---|---|---|
| Interface completa | 18,0% | — |
| Sem comando de edição | 10,3% | −7,7 pontos |
| Só shell padrão | 11,0% | −7,0 pontos |
| Busca iterativa em vez de sumarizada | 12,0% | −6,0 pontos |
| Arquivo inteiro, sem janela | 12,7% | −5,3 pontos |
| Janela de 30 linhas em vez de 100 | 14,3% | −3,7 pontos |
| Editor sem verificação de sintaxe | 15,0% | −3,0 pontos |
Repare no que está sendo medido. O tamanho da janela de visualização de arquivo vale 3,7 pontos. Ter verificação de sintaxe no editor vale 3,0. Nenhuma dessas é uma decisão sobre inteligência artificial — são decisões de produto e de engenharia, do tipo que se toma numa reunião de terça-feira.
O ganho de trocar o harness pode superar o de trocar o modelo
O mesmo estudo traz a comparação que deveria reorientar orçamento. Sobre o conjunto completo de 2.294 tarefas:
| Sistema | Modelo | Resolvido |
|---|---|---|
| Recuperação simples (RAG) | GPT-4 Turbo | 1,31% |
| SWE-agent | GPT-4 Turbo (o mesmo) | 12,47% |
| Recuperação simples (RAG) | Claude 3 Opus | 3,79% |
| SWE-agent | Claude 3 Opus | 10,46% |
De 1,31% para 12,47% sem trocar o modelo — um fator de cerca de 9,5 vezes, obtido apenas mudando a arquitetura em volta. Um salto de geração de modelo raramente entrega isso.
A implicação orçamentária é direta: dinheiro investido em engenharia de contexto e de ferramentas pode render mais que dinheiro investido no modelo mais caro do catálogo.
⚠️ Não existe o “melhor harness” em abstrato
Antes que isso vire uma corrida atrás do framework da moda, um contrapeso importante. O Holistic Agent Leaderboard — 21.730 execuções, 9 modelos contra 9 benchmarks — encontrou que a combinação importa mais que cada parte:
As interações entre modelo e scaffold também são complexas. Modelos Claude vão melhor com BrowserUse, enquanto modelos OpenAI atingem acurácia maior com SeeAct.
A conclusão dos autores é que o desenho ótimo exige casar cuidadosamente modelo e scaffold. O que significa, na prática, que benchmark de fornecedor não transfere para o seu ambiente se o modelo for outro.
A prova de que o leaderboard mede o sistema, não o modelo
Se essa distinção fosse detalhe, a comunidade não teria construído infraestrutura para lidar com ela. Construiu — e é a melhor evidência disponível:
- Existe um leaderboard separado só para isolar o modelo. O próprio time do SWE-agent criou um agente deliberadamente mínimo — sem ferramentas além do terminal, com histórico linear — e um recorte “Bash Only”. A descrição dos mantenedores diz que ele serve para colocar “o modelo de linguagem, e não o scaffold do agente, no centro da nossa atenção”. Se o leaderboard principal já medisse o modelo, esse recorte não precisaria existir.
- O nome da submissão embute o scaffold. A convenção oficial de identificação é
data_scaffold_modelo— por exemplo,20240415_sweagent_gpt4. O identificador admite que a entrada é um sistema, não um modelo. - O leaderboard do Terminal-Bench tem colunas separadas para “Agent” e “Model”, com organizações responsáveis distintas para cada um.
E há um estudo que dissecou 178 submissões ao SWE-bench, cobrindo 80 abordagens distintas. O achado incômodo, nas palavras dos autores: “o desenho arquitetural e a origem de muitas soluções permanecem obscuros”, por falta de exigência de documentação. Com dezenas de abordagens rodando frequentemente sobre o mesmo modelo base, e a arquitetura de boa parte delas não documentada, atribuir o ganho ao modelo é literalmente impossível.
O que isso muda na prática
Quatro consequências para quem contrata IA em marketing:
- Você quase nunca contrata um modelo — contrata um harness com um modelo dentro. Trocar de fornecedor mantendo o modelo pode mudar mais o resultado do que trocar o modelo mantendo o fornecedor.
- Score sem scaffold declarado é ininterpretável. Quando um fornecedor citar um número de benchmark, pergunte qual scaffold, qual orçamento de tokens e tempo, e qual versão do teste. Sem isso, o número não tem significado — pela mesma razão que levou os criadores do SWE-agent a construir um leaderboard separado.
- Detalhes banais carregam pontos. Janela de contexto, verificação de sintaxe, como o histórico é resumido. O fornecedor que não sabe explicar essas escolhas provavelmente não as tomou.
- Exija prova de conceito no seu par. Como o melhor scaffold depende do modelo, o benchmark que o fornecedor mostra vale pouco se o seu stack usa outro modelo.
Vale a ressalva metodológica: parte da diferença entre harnesses nos leaderboards vem de orçamentos distintos de tempo e de tokens, não só de desenho — e essas listas não normalizam isso. O que não invalida a conclusão: se dois sistemas com o mesmo modelo entregam 54,8% e 12,8%, o que você está comprando não é o modelo.
Para o contexto de taxa de sucesso de agentes, veja agente de IA; sobre a leitura correta de leaderboards, benchmark de IA e o guia de benchmark de agentes.
Fontes
- SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering — NeurIPS 2024, ablação com modelo fixo
- Terminal-Bench 1.0 — leaderboard com colunas separadas de agente e modelo
- Holistic Agent Leaderboard — 21.730 execuções, interação modelo×scaffold
- mini-swe-agent — o scaffold mínimo criado para isolar o modelo
- Dissecting the SWE-Bench Leaderboards — 178 submissões, 80 abordagens
- lm-evaluation-harness — EleutherAI, base do Open LLM Leaderboard
Leitura dos leaderboards e das fontes em 17/08/2026.
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
