Créez un robots.txt à partir de modèles, puis vérifiez ce que fait vraiment chaque ligne
Fonctionne dans votre navigateur. Rien de ce que vous saisissez n'est envoyé nulle part.Un robots.txt contrôle ce qu’un robot d’exploration peut récupérer, et une seule ligne fausse peut cacher un site entier. Créez-le à partir de modèles, puis vérifiez ce que fait vraiment chaque règle sur une URL que vous saisissez. Les 2 directives qui comptent le plus, Allow et Disallow, sont testées en direct.
Cette page a été traduite automatiquement à partir de l'original anglais. Aucune personne n’a encore relu la traduction : c’est la version anglaise qui fait foi. Lire l'original en anglais
Cliquez sur un choix sous Modèle, comme Site classique ou WordPress, pour partir de règles courantes.
Dans chaque groupe, saisissez les User-agents et les chemins sous Disallow et Allow, un par ligne.
Cliquez sur Ajouter un groupe pour un robot qui a besoin de règles différentes.
Ajoutez votre sitemap sous Adresses de sitemap, une par ligne.
Cliquez sur Copier, ou téléchargez robots.txt et envoyez-le à la racine de votre site.
Ce générateur de robots.txt construit le fichier règle par règle : un groupe par robot, des chemins allow et disallow, un crawl delay là où il est respecté, et des lignes sitemap. Partez d’un modèle, ou collez un fichier existant et lisez en mots simples ce que fait réellement chaque ligne.
Les modèles couvrent les besoins habituels. Tout autoriser, ce qui revient aussi à ne pas avoir de fichier. Tout bloquer, pour une copie de préproduction qui ne doit jamais concurrencer le site en ligne. Un site classique qui exclut les paniers, les pages d’administration et les résultats de recherche interne. Et un fichier qui accueille les robots des moteurs de recherche tout en demandant aux robots d’entraînement de modèles de rester dehors, chacun désigné par le token que publie son exploitant.
Le vérificateur est la partie dont la plupart des gens ont besoin. Il repère un chemin sans barre oblique initiale, une règle placée au-dessus de sa ligne User-agent et qui ne s’applique donc à personne, une adresse de sitemap relative, une ligne Noindex que Google ne lit plus depuis 2019, et un Crawl-delay sous un groupe qui l’ignore.
Une chose à savoir avant de bloquer quoi que ce soit : robots.txt empêche une page d’être lue, pas d’être listée. Une adresse déjà indexée peut subsister sous forme de lien nu. Pour une page qui doit disparaître, autorisez l’exploration et servez une balise noindex. Outils associés : Sitemap Generator et Meta Tag Generator.
À la racine du domaine, à l’adresse https://example.com/robots.txt, servi en texte brut. Il ne s’applique qu’à cet hôte et ce port : un sous-domaine a besoin de son propre fichier. Les robots ne cherchent nulle part ailleurs, et un fichier placé dans un sous-dossier est ignoré.
Non. Il empêche la page d’être lue. Une adresse bloquée peut encore être listée comme lien nu sans description, car le robot ne récupère jamais la page et ne voit donc jamais de balise noindex. Pour retirer une page des résultats, autorisez l’exploration et ajoutez une balise meta robots.
Deux lignes : User-agent: * puis Disallow: /. C’est le bon fichier pour une copie de préproduction. Sur un site en ligne, il fait disparaître votre trafic en quelques jours : vérifiez quel environnement vous modifiez avant de le déployer.
Seulement pour les robots qui choisissent de lire le fichier. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot et PerplexityBot publient tous leurs tokens et déclarent respecter robots.txt. Un scraper qui ignore le fichier n’est pas concerné, et robots.txt n’est pas une mesure de sécurité.
Non. Googlebot ignore entièrement Crawl-delay et fixe son propre rythme, que vous pouvez réduire dans Search Console. Bing, Yandex et Seznam le respectent. Une valeur supérieure à 30 secondes environ signifie qu’un grand site ne sera jamais exploré en entier.
Une ligne Sitemap n’est pas obligatoire, mais c’est le moyen le moins coûteux d’indiquer à tous les robots où se trouve votre liste d’URL, y compris à ceux auxquels vous ne soumettez jamais rien. Utilisez l’adresse complète, une ligne par sitemap, et placez-les à la fin du fichier.
Toujours bloqué ? Poser une question sur Générateur de robots.txt et toute personne qui connaît la réponse peut répondre. Aucun compte nécessaire.