Bloquear um agente de inteligência artificial no robots.txt já não garante que ele ficará fora das páginas indicadas. Dados publicados em 14 de agosto de 2026 mostram que o ChatGPT-User acessou URLs marcadas como proibidas, com respaldo na própria documentação da OpenAI. Para quem opera sites no Brasil, isso separa duas decisões que pareciam uma só: controlar acesso e preservar visibilidade.
O que mudou neste capítulo?
O capítulo anterior dessa corrida discutia como diferentes assistentes tratavam as regras de rastreamento. Agora, o levantamento apresentado pelo Search Engine Journal acrescenta evidência de acesso efetivo, baseada no relatório State of the Bots, da TollBit, sobre o primeiro semestre de 2026.
Nos sites europeus analisados, cerca de 15% dos agentes de busca de páginas por IA identificados chegaram a URLs bloqueadas. ChatGPT-User, Bytespider e Youbot acessaram páginas proibidas em quase metade dos sites europeus que os listavam explicitamente. Entre eles, o ChatGPT-User alcançou o maior número de sites.
A mudança, então, não está apenas no comportamento do bot. Está no critério declarado: a OpenAI afirma que o ChatGPT-User visita uma página quando uma pessoa faz uma solicitação e, por isso, o robots.txt pode não se aplicar.
Por que ChatGPT-User e OAI-SearchBot não são iguais?
A distinção técnica importa. O ChatGPT-User busca conteúdo solicitado por uma pessoa dentro do ChatGPT. Já o OAI-SearchBot determina se um site pode aparecer nos resultados de busca do produto.
Se a equipe bloqueia os dois agentes como se fossem equivalentes, pode abrir mão da visibilidade e ainda manter um controle incompleto sobre a busca de páginas. É aqui que uma rotina de SEO técnico precisa conversar com segurança, infraestrutura e conteúdo.
A gente pode resumir o problema assim:
- robots.txt expressa uma preferência. Ele registra o que o site pediu ao agente.
- Logs registram o acesso. Servidor e rede de distribuição de conteúdo, ou CDN, mostram o que realmente chegou.
- Cada agente tem uma função. Bloqueio de busca, treinamento e acesso sob demanda exigem decisões separadas.
O que já vale para operações brasileiras?
O relatório citado detalha Europa e América do Norte, não apresenta uma amostra específica do Brasil. Portanto, a gente não pode transportar os percentuais diretamente para sites brasileiros.
O mecanismo, porém, já interessa às equipes daqui: robots.txt não funciona como barreira de rede. Se você precisa impedir acesso técnico, avalie controles no servidor, na CDN e na camada de autenticação, sem confundir isso com a estratégia de presença no modo IA.
Há também uma diferença entre limitar rastreamento e proteger informação. Conteúdo sensível não deve depender de robots.txt. Essa decisão pertence à governança de dados e à LGPD, a Lei Geral de Proteção de Dados Pessoais, com regras de acesso verificáveis.
O controle vai migrar para a rede?
O movimento da Cloudflare aponta nessa direção. Segundo a fonte, a partir de 15 de setembro de 2026, novos domínios adicionados à plataforma terão agentes de treinamento e agentes autônomos bloqueados por padrão em páginas com anúncios, enquanto agentes de busca continuarão permitidos.
Essa política tira parte da decisão das mãos do robô e a leva para a infraestrutura. Ainda não há, no material, confirmação sobre como a configuração será aplicada no Brasil.
E agora?
O próximo capítulo provável é a disputa sobre o que conta como ação humana. Se uma pessoa pede uma página, o agente atua como navegador ou como crawler? No momento, OpenAI e Perplexity usam essa distinção para relativizar o robots.txt, enquanto a Anthropic declara que seus três agentes respeitam o arquivo.
Para a operação, o caminho é auditar agentes separadamente, comparar regras com logs e definir qual visibilidade faz sentido manter. A tendência é que SEO e controle de acesso deixem de compartilhar um único botão.
Consulte o artigo na íntegra no link: https://www.searchenginejournal.com/openai-says-robots-txt-may-not-apply-to-chatgpts-fetch-bot/585864/