Cree un robots.txt con plantillas y compruebe qué hace realmente cada línea
Se ejecuta en su navegador. Nada de lo que escribe se envía a ningún sitio.Un robots.txt controla qué puede descargar un rastreador, y una sola línea equivocada puede ocultar un sitio entero. Créelo a partir de plantillas y compruebe qué hace realmente cada regla frente a una URL que usted escriba. Las 2 directivas que más importan, Allow y Disallow, se prueban en directo.
Esta página se ha traducido automáticamente del original en inglés. Ninguna persona ha revisado todavía la traducción, así que la versión en inglés es la que debe consultar. Leer el original en inglés
Pulse una opción en Plantilla, como Sitio típico o WordPress, para partir de reglas comunes.
En cada grupo, escriba los User-agents y las rutas en Disallow y Allow, una por línea.
Pulse Añadir un grupo para un rastreador que necesite reglas distintas.
Añada su sitemap en Direcciones de sitemap, una por línea.
Pulse Copiar, o descargue robots.txt y súbalo a la raíz de su sitio.
Este generador de robots.txt crea el archivo regla a regla: un grupo por rastreador, rutas allow y disallow, un crawl delay donde se respeta y líneas de sitemap. Empiece desde una plantilla, o pegue un archivo que ya tenga y lea en palabras sencillas qué hace realmente cada línea.
Las plantillas cubren los casos por los que viene la gente. Permitir todo, que es también lo que significa no tener ningún archivo. Bloquear todo, para una copia de pruebas que nunca debe competir con el sitio real. Un sitio típico que deja fuera carritos, páginas de administración y resultados de búsqueda interna. Y un archivo que da la bienvenida a los rastreadores de búsqueda mientras pide a los rastreadores de entrenamiento de modelos que no entren, cada uno nombrado con el token que publica su operador.
El comprobador es la parte que más gente necesita. Detecta una ruta sin barra inicial, una regla situada encima de su línea User-agent y que por tanto no se aplica a nadie, una dirección de sitemap relativa, una línea Noindex que Google dejó de leer en 2019 y un Crawl-delay bajo un grupo que lo ignora.
Algo que conviene saber antes de bloquear nada: robots.txt impide que una página se lea, no que aparezca. Una dirección que ya está en el índice puede seguir como enlace desnudo. Para una página que tiene que desaparecer, permita el rastreo y sirva una etiqueta noindex. Herramientas relacionadas: Sitemap Generator y Meta Tag Generator.
En la raíz del dominio, en https://example.com/robots.txt, servido como texto plano. Se aplica solo a ese host y puerto, así que un subdominio necesita su propio archivo. Los rastreadores no buscan en ningún otro sitio, y un archivo en una subcarpeta se ignora.
No. Impide que la página se lea. Una dirección bloqueada puede seguir apareciendo como un enlace desnudo sin descripción, porque el rastreador nunca descarga la página y por tanto nunca ve una etiqueta noindex. Para quitar una página de los resultados, permita el rastreo y añada una metaetiqueta robots.
Dos líneas: User-agent: * y después Disallow: /. Es el archivo correcto para una copia de pruebas. En un sitio real elimina su tráfico en pocos días, así que compruebe qué entorno está editando antes de publicarlo.
Solo con los rastreadores que deciden leer el archivo. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot y PerplexityBot publican sus tokens y declaran que obedecen robots.txt. Un scraper que ignora el archivo no se ve afectado, y robots.txt no es un control de seguridad.
No. Googlebot ignora por completo el Crawl-delay y fija su propio ritmo, que usted puede reducir en Search Console. Bing, Yandex y Seznam sí lo respetan. Un valor superior a unos 30 segundos significa que un sitio grande nunca se rastreará completo.
Una línea Sitemap no es obligatoria, pero es la forma más barata de decir a todos los rastreadores dónde está su lista de URL, incluidos aquellos a los que nunca envía nada. Use la dirección completa, escriba una línea por sitemap y póngalas al final del archivo.
¿Sigue sin resolverlo? Pregunte sobre Generador de robots.txt y cualquiera que lo sepa puede responder. No se necesita cuenta.