Agent harness: por que o mesmo modelo varia 42 pontos

**Harness** — ou *agent harness*, também chamado de *scaffold* — é a camada de software em volta do modelo de linguagem: o laço que executa [ferramentas](https://clubmartech.com.br/blog/ferramentas-heatmap-converter-receita/), administra o contexto, tenta de novo quando falha, aplica o prompt de sistema e orquestra os passos. O modelo pensa; o harness é tudo o que decide o que ele vê, o que pode fazer e quando para. E a evidência de que essa camada importa é contundente: no **Terminal-Bench**, o mesmo modelo

[claude](https://clubmartech.com.br/blog/claude-pratica-assistentes-[ia](https://clubmartech.com.br/blog/ia-marketing-vendas-inteligentes/)/)-sonnet-4

aparece **simultaneamente na 8ª posição, com 54,8%, e na 57ª, com 12,8%**. Mesmo modelo, mesmo benchmark, mesma régua — **42 pontos de diferença**, produzidos inteiramente pelo harness em volta dele. E não é ruído estatístico: as margens de erro dessas medições ficam entre 1 e 3 pontos, muito abaixo da distância entre elas. Isso torna a pergunta “qual modelo é melhor” mal formulada — a resposta depende de algo que quase nunca é declarado.## Uma nota de honestidade sobre o termoAntes dos números, um esclarecimento que quase nenhum material faz: **“harness” não tem definição canônica na literatura acadêmica**. Não há paper seminal que o defina. Os pesquisadores usam **“scaffold”** e **“ACI”** ([interface](https://clubmartech.com.br/blog/interface-usuario-conectar-negocio/) agente-computador); “harness” domina no vocabulário de *avaliação* e no uso informal da indústria.Ou seja: **o conceito é sólido e mensurável, a palavra é frouxa**. Vale saber disso ao ler material de fornecedor, porque termo [sem](https://clubmartech.com.br/blog/sem-avancado-estrategia-roi/) definição fixa é termo que cada um usa como quer.## A ablação que mede o harness com o modelo congeladoO estudo mais limpo sobre isso é o do **SWE-agent** (Princeton e Stanford, NeurIPS 2024). Os autores fixaram o modelo — [GPT-4](https://clubmartech.com.br/blog/gpt-modelos-assistentes-marketing/) Turbo — e foram desligando partes da interface, uma a uma, sobre 300 tarefas de correção de código.

Repare no que está sendo medido. **O tamanho da janela de visualização de arquivo vale 3,7 pontos.** Ter verificação de sintaxe no editor vale 3,0. Nenhuma dessas é uma decisão sobre [inteligência artificial](https://clubmartech.com.br/significado/inteligencia-artificial/) — são decisões de [produto](https://clubmartech.com.br/significado/produto-minimo-viavel-[mvp](https://clubmartech.com.br/significado/mvp/)/) e de engenharia, do tipo que se toma numa reunião de terça-feira.## O ganho de trocar o harness pode superar o de trocar o modeloO mesmo estudo traz a comparação que deveria reorientar orçamento. Sobre o conjunto completo de 2.294 tarefas:

**De 1,31% para 12,47% sem trocar o modelo** — um fator de cerca de 9,5 vezes, obtido apenas mudando a arquitetura em volta. Um salto de geração de modelo raramente entrega isso.A implicação orçamentária é direta: **dinheiro investido em engenharia de contexto e de ferramentas pode render mais que dinheiro investido no modelo mais caro do catálogo**.## ⚠️ Não existe o “melhor harness” em abstratoAntes que isso vire uma corrida atrás do framework da moda, um contrapeso importante. O **Holistic Agent Leaderboard** — 21.730 execuções, 9 modelos contra 9 benchmarks — encontrou que a combinação importa mais que cada parte:

As interações entre modelo e scaffold também são complexas. Modelos Claude vão melhor com BrowserUse, enquanto modelos OpenAI atingem acurácia maior com SeeAct.

A conclusão dos autores é que **o desenho ótimo exige casar cuidadosamente modelo e scaffold**. O que significa, na prática, que **benchmark de fornecedor não transfere para o seu ambiente se o modelo for outro**.## A prova de que o leaderboard mede o sistema, não o modeloSe essa distinção fosse detalhe, a comunidade não teria construído [infraestrutura](https://clubmartech.com.br/blog/infraestrutura-dados-ia-meses/) para lidar com ela. Construiu — e é a melhor evidência disponível:

• **Existe um leaderboard separado só para isolar o modelo.** O próprio time do SWE-agent criou um agente deliberadamente mínimo — sem ferramentas além do terminal, com histórico linear — e um recorte “Bash Only”. A descrição dos mantenedores diz que ele serve para colocar **“o modelo de linguagem, e não o scaffold do agente, no centro da nossa atenção”**. Se o leaderboard principal já medisse o modelo, esse recorte não precisaria existir.
• **O nome da submissão embute o scaffold.** A convenção oficial de identificação é data_scaffold_modelo — por exemplo, 20240415_sweagent_gpt4. O identificador admite que a entrada é um sistema, não um modelo.
• **O leaderboard do Terminal-Bench tem colunas separadas** para “Agent” e “Model”, com organizações responsáveis distintas para cada um.

E há um estudo que dissecou 178 submissões ao SWE-bench, cobrindo 80 abordagens distintas. O achado incômodo, nas palavras dos autores: **“o desenho arquitetural e a origem de muitas soluções permanecem obscuros”**, por falta de exigência de documentação. Com dezenas de abordagens rodando frequentemente sobre o mesmo modelo base, e a arquitetura de boa parte delas não documentada, **atribuir o ganho ao modelo é literalmente impossível**.## O que isso muda na práticaQuatro consequências para quem contrata IA em marketing:

• **Você quase nunca contrata um modelo — contrata um harness com um modelo dentro.** Trocar de fornecedor mantendo o modelo pode mudar mais o resultado do que trocar o modelo mantendo o fornecedor.
• **Score sem scaffold declarado é ininterpretável.** Quando um fornecedor citar um número de benchmark, pergunte qual scaffold, qual orçamento de tokens e tempo, e qual versão do teste. Sem isso, o número não tem significado — pela mesma razão que levou os criadores do SWE-agent a construir um leaderboard separado.
• **Detalhes banais carregam pontos.** Janela de contexto, verificação de sintaxe, como o histórico é resumido. O fornecedor que não sabe explicar essas escolhas provavelmente não as tomou.
• **Exija prova de conceito no seu par.** Como o melhor scaffold depende do modelo, o benchmark que o fornecedor mostra vale pouco se o seu stack usa outro modelo.

Vale a ressalva metodológica: parte da diferença entre harnesses nos leaderboards vem de **orçamentos distintos de tempo e de tokens**, não só de desenho — e essas listas não normalizam isso. O que não invalida a conclusão: se dois sistemas com o mesmo modelo entregam 54,8% e 12,8%, **o que você está comprando não é o modelo**.Para o contexto de taxa de sucesso de agentes, veja

; sobre a leitura correta de leaderboards,

e o

.## Fontes

• SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering — NeurIPS 2024, ablação com modelo fixo
• Terminal-Bench 1.0 — leaderboard com colunas separadas de agente e modelo
• Holistic Agent Leaderboard — 21.730 execuções, interação modelo×scaffold
• mini-swe-agent — o scaffold mínimo criado para isolar o modelo
• Dissecting the SWE-Bench Leaderboards — 178 submissões, 80 abordagens
• lm-evaluation-harness — EleutherAI, base do Open LLM Leaderboard

*Leitura dos leaderboards e das fontes em 17/08/2026.*## Leia também

• Modelos de IA em 2026 — panorama com preços e versões