robots.txt

robots.txt — это текстовый файл в корне сайта, в котором владелец указывает поисковым роботам, какие разделы можно обходить, а какие нет. Он управляет именно обходом: запрет в robots.txt не гарантирует, что адрес исчезнет из выдачи.

Файл всегда лежит по одному адресу — https://example.ru/robots.txt. Роботы запрашивают его перед обходом сайта, а у каждого поддомена должен быть свой файл.

Как это работает

Файл состоит из групп правил. Каждая группа начинается со строки User-agent, где указан робот, а дальше идут правила для него.

User-agent: *
Disallow: /cart/
Disallow: /search/
Disallow: /*?sort=
Allow: /search/help/

User-agent: Yandex
Disallow: /cart/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign /

Sitemap: https://example.ru/sitemap.xml

Основные директивы:

• User-agent — для какого робота группа: * — для всех, Yandex, Googlebot и т. д. Робот выбирает самую подходящую ему группу и выполняет только её, поэтому общие запреты в группе для Яндекса придётся повторить.
• Disallow — запрет обхода адресов, которые начинаются с указанного пути.
• Allow — разрешение, которое уточняет запрет. При конфликте побеждает более длинное, то есть более конкретное правило.
• * — любая последовательность символов, $ — конец адреса.
• Sitemap — адрес карты сайта; строк может быть несколько.
• Clean-param — директива только Яндекса: перечисляет параметры, которые не меняют содержимое страницы (метки, идентификаторы сессий). Яндекс склеивает такие адреса с основным. Google её не понимает и пропускает.

Директивы Host и Crawl-delay встречаются в старых файлах. Яндекс перестал учитывать Host в 2018 году — главное зеркало теперь определяется по редиректу 301. Crawl-delay Яндекс тоже больше не учитывает: скорость обхода задаётся в Вебмастере. Google не поддерживает ни одну из них.

Главное различие, которое нужно помнить: Disallow запрещает скачивать страницу, noindex запрещает показывать её в поиске. Если закрыть страницу в robots.txt, робот не увидит на ней noindex. Google при этом может оставить адрес в выдаче без описания, если на него ссылаются другие страницы.

Что обычно закрывают

Для типичного сайта набор запретов короткий: корзина и оформление заказа, личный кабинет, внутренний поиск по сайту, служебные разделы системы управления, адреса с параметрами сортировки и фильтров, которые не нужны в выдаче. Всё, что должно приходить из поиска — разделы, карточки, статьи, — остаётся открытым. Чем короче файл, тем меньше шансов случайно закрыть лишнее. Перед каждым новым правилом полезно проверить, не попадают ли под маску нужные страницы.

Где посмотреть и как проверить

Яндекс Вебмастер: «Инструменты» → «Анализ robots.txt». Инструмент показывает текущую версию файла, ошибки в синтаксисе и позволяет проверить, разрешён ли обход конкретных адресов. Там же можно вставить новую версию и проверить её до загрузки на сайт.

Google Search Console: «Настройки» → отчёт «Файлы robots.txt». Он показывает, какие файлы Google нашёл, когда последний раз их загружал и были ли ошибки. Проверить, закрыт ли конкретный адрес, можно в «Проверке URL».

Вручную: откройте /robots.txt в браузере. Файл должен отдаваться с кодом 200 и типом text/plain. Если сервер на этот адрес отвечает ошибкой 5xx, Google временно считает весь сайт закрытым. Ответ 404 оба поисковика понимают как отсутствие ограничений. У Google есть предельный размер файла — 500 КиБ, всё, что дальше, игнорируется.

Частые ошибки

• Disallow: / на рабочем сайте. Запрет с тестовой версии переезжает при запуске и закрывает весь сайт. Проверяйте файл после каждого релиза.
• Закрывать страницу в robots.txt, чтобы убрать её из поиска. Нужен noindex и открытый обход, а после выпадения из индекса — уже можно закрыть.
• Закрывать CSS и JavaScript. Без них поисковик не может отрисовать страницу и оценить её так, как видит пользователь.
• Забыть, что группа для конкретного робота отменяет общую. Если есть User-agent: Yandex, правила из User-agent: * для Яндекса не действуют.
• Использовать файл для защиты данных. robots.txt публичен и показывает всем, где лежат закрытые разделы. Конфиденциальное закрывают паролем.
• Опечатки в путях и регистре. Пути чувствительны к регистру: /Catalog/ и /catalog/ — разные правила.

Связанные термины

• Индексация — robots.txt влияет на неё косвенно, через обход.
• Краулинговый бюджет — закрытие мусорных разделов экономит обход.
• Карта сайта — её адрес указывают в robots.txt.
• Дубли страниц — Clean-param и запреты помогают избавиться от копий с параметрами.
• llms.txt — другой файл в корне сайта, но с иным назначением: описание сайта для нейросетей.