Erstellen Sie eine robots.txt mit Vorlagen und prüfen Sie, was jede Zeile wirklich bewirkt
Läuft in Ihrem Browser. Nichts, was Sie eingeben, wird irgendwohin gesendet.Eine robots.txt steuert, was ein Crawler abrufen darf, und eine einzige falsche Zeile kann eine ganze Website verstecken. Erstellen Sie sie aus Vorlagen und prüfen Sie dann, was jede Regel bei einer eingegebenen URL wirklich bewirkt. Die 2 wichtigsten Anweisungen, Allow und Disallow, werden live getestet.
Diese Seite wurde maschinell aus dem englischen Original übersetzt. Die Übersetzung wurde noch von keinem Menschen geprüft; maßgeblich ist die englische Fassung. Englisches Original lesen
Klicken Sie unter Vorlage auf eine Option wie Typische Website oder WordPress, um mit gängigen Regeln zu beginnen.
Tragen Sie in jeder Gruppe die User-agents und die Pfade unter Disallow und Allow ein, einen pro Zeile.
Klicken Sie auf Gruppe hinzufügen für einen Crawler, der andere Regeln braucht.
Tragen Sie Ihre Sitemap unter Sitemap-Adressen ein, eine pro Zeile.
Klicken Sie auf Kopieren oder laden Sie robots.txt herunter und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.
Dieser Robots.txt-Generator baut die Datei Regel für Regel auf: eine Gruppe pro Crawler, Allow- und Disallow-Pfade, eine Crawl-Verzögerung, wo sie beachtet wird, und Sitemap-Zeilen. Beginnen Sie mit einer Vorlage, oder fügen Sie eine vorhandene Datei ein und lesen Sie in einfachen Worten, was jede Zeile tatsächlich bewirkt.
Die Vorlagen decken ab, wofür die Leute kommen. Alles erlauben, was auch bedeutet, gar keine Datei zu haben. Alles blockieren, für eine Staging-Kopie, die nie mit der Live-Website konkurrieren darf. Eine typische Website, die Warenkörbe, Admin-Seiten und interne Suchergebnisse heraushält. Und eine Datei, die Suchmaschinen-Crawler willkommen heißt und die Crawler für Modelltraining bittet, draußen zu bleiben, jeder mit dem Token benannt, das sein Betreiber veröffentlicht.
Der Prüfer ist der Teil, den die meisten brauchen. Er findet einen Pfad ohne führenden Schrägstrich, eine Regel, die über ihrer User-agent-Zeile steht und daher für niemanden gilt, eine relative Sitemap-Adresse, eine Noindex-Zeile, die Google seit 2019 nicht mehr liest, und ein Crawl-delay in einer Gruppe, die es ignoriert.
Eines sollten Sie wissen, bevor Sie etwas blockieren: robots.txt verhindert, dass eine Seite gelesen wird, nicht, dass sie gelistet wird. Eine Adresse, die schon im Index ist, kann als nackter Link bestehen bleiben. Für eine Seite, die verschwinden muss, erlauben Sie das Crawlen und liefern ein noindex-Tag aus. Verwandte Tools: Sitemap Generator und Meta Tag Generator.
In das Stammverzeichnis der Domain, unter https://example.com/robots.txt, als reiner Text ausgeliefert. Sie gilt nur für diesen Host und Port, eine Subdomain braucht also eine eigene Datei. Crawler suchen nirgendwo sonst, und eine Datei in einem Unterordner wird ignoriert.
Nein. Sie verhindert, dass die Seite gelesen wird. Eine blockierte Adresse kann weiter als nackter Link ohne Beschreibung erscheinen, weil der Crawler die Seite nie abruft und daher nie ein noindex-Tag sieht. Um eine Seite aus den Ergebnissen zu entfernen, erlauben Sie das Crawlen und fügen ein robots-Meta-Tag hinzu.
Zwei Zeilen: User-agent: * und dann Disallow: /. Das ist die richtige Datei für eine Staging-Kopie. Auf einer Live-Website kostet sie Sie innerhalb von Tagen Ihren Traffic, prüfen Sie also vor dem Deployment, welche Umgebung Sie bearbeiten.
Nur bei Crawlern, die sich entscheiden, die Datei zu lesen. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und PerplexityBot veröffentlichen alle Tokens und erklären, dass sie robots.txt befolgen. Ein Scraper, der die Datei ignoriert, ist nicht betroffen, und robots.txt ist keine Sicherheitsmaßnahme.
Nein. Googlebot ignoriert Crawl-delay vollständig und legt sein eigenes Tempo fest, das Sie in der Search Console senken können. Bing, Yandex und Seznam beachten es. Ein Wert über etwa 30 Sekunden bedeutet, dass eine große Website nie vollständig gecrawlt wird.
Eine Sitemap-Zeile ist nicht Pflicht, aber der günstigste Weg, jedem Crawler zu sagen, wo Ihre URL-Liste liegt, auch denen, bei denen Sie nie etwas einreichen. Verwenden Sie die vollständige Adresse, eine Zeile pro Sitemap, und setzen Sie sie ans Ende der Datei.
Kommen Sie nicht weiter? Fragen Sie zu Robots.txt-Generator und jeder, der es weiß, kann antworten. Kein Konto nötig.