Crie um robots.txt com modelos e depois veja o que cada linha realmente faz
Funciona no seu navegador. Nada do que você digita é enviado a lugar nenhum.Um robots.txt controla o que um rastreador pode buscar, e uma única linha errada pode esconder um site inteiro. Crie o arquivo a partir de modelos e depois veja o que cada regra realmente faz com uma URL que você digitar. As 2 diretivas que mais importam, Allow e Disallow, são testadas ao vivo.
Esta página foi traduzida automaticamente do original em inglês. Nenhuma pessoa revisou ainda a tradução; a versão em inglês é a que deve ser considerada. Ler o original em inglês
Toque em uma opção em Modelo, como Site típico ou WordPress, para começar com regras comuns.
Em cada grupo, digite os User-agents e os caminhos em Disallow e Allow, um por linha.
Toque em Adicionar um grupo para um rastreador que precise de regras diferentes.
Adicione seu sitemap em Endereços de sitemap, um por linha.
Toque em Copiar, ou baixe o robots.txt e envie-o para a raiz do seu site.
Este gerador de robots.txt monta o arquivo regra por regra: um grupo por rastreador, caminhos allow e disallow, um crawl delay onde ele é respeitado e linhas de sitemap. Comece com um modelo, ou cole um arquivo que você já tem e leia em palavras simples o que cada linha realmente faz.
Os modelos cobrem o que as pessoas procuram. Permitir tudo, que também é o que significa não ter arquivo nenhum. Bloquear tudo, para uma cópia de homologação que nunca pode competir com o site no ar. Um site típico que deixa de fora carrinhos, páginas de administração e resultados de busca interna. E um arquivo que recebe bem os rastreadores de busca enquanto pede aos rastreadores de treinamento de modelos que fiquem de fora, cada um identificado pelo token que o operador publica.
O verificador é a parte de que a maioria das pessoas precisa. Ele encontra um caminho sem barra inicial, uma regra que fica acima da sua linha User-agent e por isso não vale para ninguém, um endereço de sitemap relativo, uma linha Noindex que o Google deixou de ler em 2019 e um Crawl-delay em um grupo que o ignora.
Uma coisa que vale saber antes de bloquear algo: o robots.txt impede que uma página seja lida, não que seja listada. Um endereço que já está no índice pode continuar como um link cru. Para uma página que precisa sumir, permita o rastreamento e sirva uma tag noindex. Ferramentas relacionadas: Sitemap Generator e Meta Tag Generator.
Na raiz do domínio, em https://example.com/robots.txt, servido como texto simples. Ele vale só para aquele host e porta, então um subdomínio precisa do próprio arquivo. Os rastreadores não procuram em nenhum outro lugar, e um arquivo em uma subpasta é ignorado.
Não. Ele impede que a página seja lida. Um endereço bloqueado ainda pode ser listado como um link cru sem descrição, porque o rastreador nunca busca a página e por isso nunca vê uma tag noindex. Para tirar uma página dos resultados, permita o rastreamento e adicione uma meta tag robots.
Duas linhas: User-agent: * e depois Disallow: /. Esse é o arquivo certo para uma cópia de homologação. Em um site no ar, ele acaba com o seu tráfego em poucos dias, então confira qual ambiente você está editando antes de publicar.
Só com os rastreadores que escolhem ler o arquivo. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e PerplexityBot publicam seus tokens e afirmam obedecer ao robots.txt. Um scraper que ignora o arquivo não é afetado, e o robots.txt não é um controle de segurança.
Não. O Googlebot ignora totalmente o Crawl-delay e define o próprio ritmo, que você pode reduzir no Search Console. Bing, Yandex e Seznam respeitam. Um valor acima de uns 30 segundos significa que um site grande nunca será rastreado por completo.
Uma linha Sitemap não é obrigatória, mas é o jeito mais barato de dizer a todos os rastreadores onde está a sua lista de URLs, inclusive àqueles para os quais você nunca envia nada. Use o endereço completo, uma linha por sitemap, e coloque-as no fim do arquivo.
Ainda com dúvidas? Pergunte sobre Gerador de robots.txt e qualquer pessoa que saiba pode responder. Não é preciso ter conta.