entre para o club
Club Martech >

Testador de robots.txt

Cole o robots.txt, informe URLs e veja, robô por robô, o que é permitido ou bloqueado e qual regra decidiu.

Testador de robots.txt

Cole o seu robots.txt, informe caminhos ou URLs e veja, robô por robô, o que é permitido ou bloqueado e qual regra decidiu. Segue o RFC 9309.

A busca usa o servidor do Club Martech e só funciona em sites públicos. Se falhar, é só colar o conteúdo.

Vale o caminho com a consulta (a parte depois do domínio). Até 20 linhas.

O robots.txt compara só o nome do robô (o “product token”), sem diferenciar maiúsculas.

Diagnóstico do arquivo

    Sitemaps declarados

      Resultado por robô

      Em empate de tamanho entre Allow e Disallow, vale o Allow. A regra mais longa vence.

      Bom saber

      • O robots.txt é um pedido de boa conduta: robôs sérios obedecem, mas ele não impede o acesso nem esconde páginas. Bloquear o rastreamento também não tira uma URL do índice se outros sites apontam para ela.
      • Nomes como Google-Extended e Applebot-Extended são tokens de controle: não existe um robô com esse nome rastreando o site, o token só diz se o conteúdo pode ser usado para IA.
      • Quer liberar ou bloquear robôs de IA? Gere o trecho no gerador de llms.txt e de regras para robôs de IA. Para conferir canonical e noindex, use o verificador de redirecionamentos.

      Testador de robots.txt

      Testador de robots.txt gratuito, baseado no RFC 9309. Cole o arquivo, informe caminhos ou URLs e veja a tabela de Googlebot, Bingbot e robôs de IA com a regra que decidiu cada resultado. Avisa de erros comuns e exporta o resumo em Markdown. Sem cadastro.

      O robots.txt diz aos robôs quais partes do site eles podem rastrear. Uma linha mal escrita pode liberar o que devia ficar fora ou bloquear o site inteiro sem ninguém perceber. Este testador aplica as regras do RFC 9309, o padrão do protocolo, e mostra o resultado para cada robô.

      Como usar

      • Cole o conteúdo do robots.txt (ou busque o arquivo de um site público).
      • Digite um caminho ou URL por linha, como /blog/post ou https://exemplo.com.br/produto?cor=azul.
      • Veja a tabela: Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot, Google-Extended, CCBot, Applebot-Extended, Bytespider, Amazonbot, meta-externalagent e um robô personalizado, cada um com permitido ou bloqueado e a regra que decidiu.

      Como o robô decide

      • O robô usa o grupo cujo User-agent é o seu nome (sem diferenciar maiúsculas). Se não há grupo para ele, usa o grupo do asterisco.
      • Um grupo específico não herda as regras do asterisco: vale só o que está nele.
      • Entre as regras que casam com a URL, vence a mais longa. Em empate, vence o Allow.
      • O asterisco casa qualquer sequência de caracteres e o cifrão no fim ancora o final da URL.
      • Sem regra que case, a URL é permitida.

      Exemplo correto

      Com Disallow: /admin/ e Allow: /admin/ajax.php no mesmo grupo, a URL /admin/ajax.php é permitida: o Allow tem 15 caracteres e o Disallow, 7.

      Erros comuns

      • Disallow vazio: não bloqueia nada. Para bloquear tudo, é Disallow: /.
      • Achar que o robots.txt esconde páginas. Ele pede, não impede, e uma URL bloqueada ainda pode aparecer no Google se outros sites apontam para ela.
      • Bloquear no robots.txt uma página com noindex: o robô não a rastreia e nunca vê o noindex.
      • Esquecer a linha Sitemap.
      • Usar Noindex no robots.txt, que o Google não suporta desde 2019.

      Para criar o trecho de bloqueio ou liberação de robôs de IA, use o gerador de llms.txt e de regras para robôs de IA. Para conferir canonical e noindex da página, veja o verificador de redirecionamentos.

      Boas práticas

      • Teste sempre depois de editar o arquivo e antes de publicá-lo, principalmente quando mexer em regras com curinga.
      • Inclua URLs que devem ficar abertas e URLs que devem ficar fechadas, para ver os dois lados da regra.
      • Lembre que o caminho diferencia maiúsculas de minúsculas, mas o nome do robô não.
      • Guarde o resumo em Markdown para documentar o que foi decidido.

      Perguntas frequentes

      Se o robots.txt tem um grupo com o nome do robô, só as regras desse grupo valem para ele. As regras do grupo com asterisco são ignoradas para esse robô.
      A de maior comprimento. Se as duas têm o mesmo tamanho, o Allow vence, conforme o RFC 9309.
      Não necessariamente. O robots.txt controla o rastreamento, não a indexação. Para tirar uma página do índice, use noindex e deixe o robô rastrear a página para ver a instrução.
      Não. São tokens de controle: dizem se o conteúdo pode ser usado em modelos de IA do Google e da Apple, sem afetar a busca. Não existe um robô com esse nome rastreando o site.
      Não. A análise roda no seu navegador. Só a busca opcional do arquivo de um site usa o servidor do Club Martech, e só para páginas públicas.

      Receba o melhor conteúdo sobre Marketing e Tecnologia

      comunidade gratuita

      Cadastre-se para o participar da primeira comunidade sobre Martech do brasil!

      club martech

      Gostou da ferramenta? Entre na lista do Club Martech e receba o que a gente publica sobre marketing e tecnologia.

      newsletter

      Receba as novidades do Club Martech: ferramentas novas e conteúdo sobre marketing e tecnologia.