O llms.txt é um arquivo em Markdown, na raiz do site, que resume o que o site oferece e lista as páginas mais úteis para modelos de linguagem. É uma proposta de Jeremy Howard (llmstxt.org), não um padrão aprovado por órgão de normas, e nem todo assistente ou buscador o lê. Vale como boa prática de baixo custo, sem promessa de resultado.
Verifique o llms.txt do seu site
Digite o endereço do seu site (domínio, com ou sem https, ou uma URL qualquer: a ferramenta usa a raiz do domínio) e clique em Verificar. Ela busca /llms.txt e /llms-full.txt e mostra, para cada arquivo, se foi encontrado (com tamanho e tipo de conteúdo), se não existe (404), se o site bloqueou o acesso ou deu erro, ou se o endereço devolveu uma página HTML no lugar de um arquivo de texto (um erro 404 disfarçado, que não conta como llms.txt).
- Quando o llms.txt existe, o conteúdo é exibido como texto e validado com as mesmas regras do gerador: um único H1, resumo em blockquote, seções H2, links no formato – [título](url): descrição, URLs absolutas e seção Optional. Erros e avisos aparecem em lista.
- Você pode importar o arquivo para o editor (título, descrição, seções e links) para melhorar e atualizar, ou copiar e baixar o existente.
- Quando não existe, a ferramenta diz isso e leva você ao gerador.
- A verificação também lê o robots.txt do site: mostra quais robôs de IA estão bloqueados e se há Sitemap declarado. É uma leitura simples; para testar regras em detalhe, use o testador de robots.txt.
O conteúdo vem do site informado e é tratado como texto não confiável: nada é executado e o que passa de 200 KB é cortado na tela. Só o endereço digitado fica salvo no seu navegador. Cada verificação faz 3 consultas e há um limite por visitante.
O formato da proposta
- Um título H1 com o nome do site (obrigatório).
- Um blockquote com o resumo em uma ou duas frases.
- Texto livre opcional, sem títulos.
- Seções H2 com listas de links no formato – [título](url): descrição.
- Uma seção chamada Optional para o que pode ser deixado de lado quando o espaço é curto.
Como usar o gerador
- Preencha o nome, a descrição e adicione seções com links (título, URL absoluta e descrição opcional).
- A validação aponta nome vazio, URL relativa, título faltando e títulos extras nos detalhes. Avisa de URL repetida, http em vez de https e seção vazia.
- Confira a prévia, copie ou baixe o llms.txt e publique em https://seusite.com.br/llms.txt.
Trecho de robots.txt para robôs de IA
Marque os robôs (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Google-Extended, CCBot, Applebot-Extended, entre outros), escolha bloquear ou permitir e copie o bloco pronto. Há atalhos para selecionar só os robôs de treinamento ou só os de busca.
Exemplo correto
Para bloquear a coleta para treinamento sem sair da busca do ChatGPT, bloqueie GPTBot e mantenha OAI-SearchBot liberado.
Erros comuns
- Achar que o robots.txt é uma barreira: é um pedido que robôs sérios respeitam.
- Bloquear Google-Extended esperando sair da Busca do Google: é só um token de controle do uso em IA.
- Usar links relativos no llms.txt.
- Colocar descrições longas demais.
Depois de montar as regras, teste-as no testador de robots.txt e confira redirecionamentos e canonical no verificador de redirecionamentos.
Boas práticas
- Liste só as páginas que realmente explicam o site: guias, documentação, produtos principais.
- Escreva descrições curtas e objetivas, uma linha por link.
- Atualize o arquivo quando publicar ou remover páginas importantes.
- Lembre que o llms.txt orienta a leitura, mas não controla o acesso: quem controla é o robots.txt.