Tworzenie pliku robots.txt z szablonów i sprawdzanie, co naprawdę robi każdy wiersz
Działa w przeglądarce. Wpisane dane nie są nigdzie wysyłane.Plik robots.txt określa, co robot może pobrać, a jeden błędny wiersz może ukryć całą witrynę. Plik można zbudować z szablonów, a potem sprawdzić, co naprawdę robi każda reguła dla wpisanego adresu URL. Dwie najważniejsze dyrektywy, Allow i Disallow, są testowane na żywo.
Ta strona została przetłumaczona maszynowo z angielskiego oryginału. Tłumaczenie nie zostało jeszcze sprawdzone przez człowieka, dlatego wiążąca jest wersja angielska. Przeczytaj angielski oryginał
Kliknij opcję w sekcji Szablon, np. Typowa witryna lub WordPress, aby zacząć od typowych reguł.
W każdej grupie wpisz User-agents oraz ścieżki w polach Disallow i Allow, po jednej w wierszu.
Kliknij Dodaj grupę dla robota, który potrzebuje innych reguł.
Dodaj mapę witryny w polu Adresy map witryny, po jednym w wierszu.
Kliknij Kopiuj albo pobierz robots.txt i wgraj go do katalogu głównego witryny.
Ten generator robots.txt buduje plik reguła po regule: grupa dla każdego robota, ścieżki allow i disallow, opóźnienie indeksowania tam, gdzie jest respektowane, oraz wiersze sitemap. Można zacząć od szablonu albo wkleić istniejący plik i przeczytać prostymi słowami, co faktycznie robi każdy wiersz.
Szablony obejmują typowe potrzeby. Zezwól na wszystko, co oznacza to samo co brak pliku. Zablokuj wszystko, dla kopii testowej, która nigdy nie może konkurować z witryną produkcyjną. Typowa witryna, która wyłącza koszyki, strony administracyjne i wyniki wyszukiwania wewnętrznego. Oraz plik, który wpuszcza roboty wyszukiwarek, a prosi roboty trenujące modele o pozostanie na zewnątrz, każdy nazwany tokenem publikowanym przez jego operatora.
Walidator to część, której potrzebuje większość osób. Wykrywa ścieżkę bez ukośnika na początku, regułę umieszczoną nad wierszem User-agent, która przez to nie dotyczy nikogo, względny adres mapy witryny, wiersz Noindex, którego Google nie czyta od 2019 roku, oraz Crawl-delay w grupie, która go ignoruje.
Jedna rzecz warta uwagi przed blokowaniem czegokolwiek: robots.txt zapobiega odczytaniu strony, a nie jej wyświetlaniu w wynikach. Adres, który jest już w indeksie, może pozostać jako goły link. Jeśli strona ma zniknąć, należy zezwolić na indeksowanie i zwrócić tag noindex. Powiązane narzędzia: Sitemap Generator i Meta Tag Generator.
W katalogu głównym domeny, pod adresem https://example.com/robots.txt, jako zwykły tekst. Plik dotyczy tylko tego hosta i portu, więc subdomena potrzebuje własnego pliku. Roboty nie szukają go nigdzie indziej, a plik w podfolderze jest ignorowany.
Nie. Zapobiega odczytaniu strony. Zablokowany adres nadal może pojawić się jako goły link bez opisu, bo robot nigdy nie pobiera strony i nie widzi tagu noindex. Aby usunąć stronę z wyników, należy zezwolić na indeksowanie i dodać meta tag robots.
Dwa wiersze: User-agent: * i następnie Disallow: /. To właściwy plik dla kopii testowej. Na witrynie produkcyjnej w ciągu kilku dni odcina ruch, dlatego przed wdrożeniem trzeba sprawdzić, które środowisko jest edytowane.
Tylko w przypadku robotów, które decydują się czytać plik. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i PerplexityBot publikują swoje tokeny i deklarują przestrzeganie robots.txt. Scraper, który ignoruje plik, nie jest objęty blokadą, a robots.txt nie jest zabezpieczeniem.
Nie. Googlebot całkowicie ignoruje Crawl-delay i ustala własne tempo, które można obniżyć w Search Console. Bing, Yandex i Seznam go respektują. Wartość powyżej około 30 sekund oznacza, że duża witryna nigdy nie zostanie zaindeksowana w całości.
Wiersz Sitemap nie jest wymagany, ale to najtańszy sposób, aby wskazać każdemu robotowi listę adresów URL, także tym, do których nic się nie zgłasza. Należy podać pełny adres, jeden wiersz na każdą mapę witryny, i umieścić je na końcu pliku.
Nadal coś nie działa? Zapytaj o narzędzie Generator robots.txt a odpowiedzieć może każdy, kto zna odpowiedź. Konto nie jest potrzebne.