Соберите robots.txt из шаблонов и проверьте, что на самом деле делает каждая строка
Работает в вашем браузере. Ничего из того, что вы вводите, никуда не отправляется.robots.txt определяет, что может загружать поисковый робот, и одна неверная строка способна скрыть весь сайт. Соберите файл из шаблонов, а затем проверьте, что на самом деле делает каждое правило для введённого URL. Две самые важные директивы, Allow и Disallow, проверяются вживую.
Эта страница переведена машинным способом с английского оригинала. Перевод ещё не проверен человеком, поэтому ориентируйтесь на английскую версию. Читать английский оригинал
Нажмите вариант в разделе «Шаблон», например «Обычный сайт» или «WordPress», чтобы начать с типовых правил.
В каждой группе введите User-agents и пути в полях Disallow и Allow, по одному в строке.
Нажмите «Добавить группу» для робота, которому нужны другие правила.
Добавьте карту сайта в поле «Адреса карт сайта», по одному в строке.
Нажмите «Копировать» или скачайте robots.txt и загрузите его в корень сайта.
Этот генератор robots.txt собирает файл правило за правилом: группа на каждого робота, пути allow и disallow, задержка обхода там, где её соблюдают, и строки sitemap. Начните с шаблона или вставьте уже имеющийся файл и прочитайте простыми словами, что на самом деле делает каждая строка.
Шаблоны покрывают типичные задачи. Разрешить всё — то же самое, что вообще не иметь файла. Запретить всё — для тестовой копии, которая никогда не должна конкурировать с рабочим сайтом. Обычный сайт, где закрыты корзины, страницы администратора и результаты внутреннего поиска. И файл, который пускает поисковых роботов, но просит роботов для обучения моделей не заходить, каждого — по токену, который публикует его оператор.
Проверка — та часть, которая нужна большинству. Она находит путь без начальной косой черты, правило над строкой User-agent, которое поэтому ни к кому не относится, относительный адрес карты сайта, строку Noindex, которую Google перестал читать в 2019 году, и Crawl-delay в группе, которая его игнорирует.
Одно, что стоит знать, прежде чем что-то запрещать: robots.txt не даёт странице быть прочитанной, но не убирает её из выдачи. Адрес, уже попавший в индекс, может остаться в виде голой ссылки. Если страница должна исчезнуть, разрешите обход и отдайте тег noindex. Связанные инструменты: Sitemap Generator и Meta Tag Generator.
В корне домена, по адресу https://example.com/robots.txt, отдаваемый как обычный текст. Он действует только для этого хоста и порта, поэтому поддомену нужен свой файл. Роботы больше нигде его не ищут, а файл в подпапке игнорируется.
Нет. Он не даёт странице быть прочитанной. Заблокированный адрес всё равно может показываться как голая ссылка без описания, потому что робот не загружает страницу и не видит тег noindex. Чтобы убрать страницу из выдачи, разрешите обход и добавьте мета-тег robots.
Две строки: User-agent: * и затем Disallow: /. Это правильный файл для тестовой копии. На рабочем сайте он за несколько дней лишит вас трафика, поэтому перед выкладкой проверьте, какое окружение вы редактируете.
Только для роботов, которые сами решают читать файл. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot и PerplexityBot публикуют свои токены и заявляют, что соблюдают robots.txt. Скрейпер, игнорирующий файл, не затрагивается, и robots.txt — не средство защиты.
Нет. Googlebot полностью игнорирует Crawl-delay и сам задаёт темп, который можно снизить в Search Console. Bing, Yandex и Seznam его соблюдают. Значение больше примерно 30 секунд означает, что большой сайт никогда не будет обойдён полностью.
Строка Sitemap не обязательна, но это самый дешёвый способ сообщить всем роботам, где лежит список ваших URL, включая тех, кому вы ничего не отправляете. Указывайте полный адрес, по одной строке на карту сайта, и ставьте их в конец файла.
Всё ещё не получается? Задайте вопрос об инструменте «Генератор robots.txt» и ответить может любой, кто знает. Учётная запись не нужна.