# robots.txt

Адрес статьи: https://leseo.ru/termin/robots-txt/
Рубрика: Техническое SEO
Определение: robots.txt — это текстовый файл в корне сайта, в котором владелец указывает поисковым роботам, какие разделы можно обходить, а какие нет.
Сверено: 2026-10-30

robots.txt — это текстовый файл в корне сайта, в котором владелец указывает поисковым роботам, какие разделы можно обходить, а какие нет. Он управляет именно обходом: запрет в robots.txt не гарантирует, что адрес исчезнет из выдачи.

Файл всегда лежит по одному адресу — `https://example.ru/robots.txt`. Роботы запрашивают его перед обходом сайта, а у каждого поддомена должен быть свой файл.

## Как это работает

Файл состоит из групп правил. Каждая группа начинается со строки `User-agent`, где указан робот, а дальше идут правила для него.

```
User-agent: *
Disallow: /cart/
Disallow: /search/
Disallow: /*?sort=
Allow: /search/help/

User-agent: Yandex
Disallow: /cart/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign /

Sitemap: https://example.ru/sitemap.xml
```

Основные директивы:

- `User-agent` — для какого робота группа: `*` — для всех, `Yandex`, `Googlebot` и т. д. Робот выбирает самую подходящую ему группу и выполняет только её, поэтому общие запреты в группе для Яндекса придётся повторить.
- `Disallow` — запрет обхода адресов, которые начинаются с указанного пути.
- `Allow` — разрешение, которое уточняет запрет. При конфликте побеждает более длинное, то есть более конкретное правило.
- `*` — любая последовательность символов, `$` — конец адреса.
- `Sitemap` — адрес [карты сайта](https://leseo.ru/termin/sitemap/); строк может быть несколько.
- `Clean-param` — директива только Яндекса: перечисляет параметры, которые не меняют содержимое страницы (метки, идентификаторы сессий). Яндекс склеивает такие адреса с основным. Google её не понимает и пропускает.

Директивы `Host` и `Crawl-delay` встречаются в старых файлах. Яндекс перестал учитывать `Host` в 2018 году — главное зеркало теперь определяется по [редиректу 301](https://leseo.ru/termin/redirekt-301/). `Crawl-delay` Яндекс тоже больше не учитывает: скорость обхода задаётся в Вебмастере. Google не поддерживает ни одну из них.

Главное различие, которое нужно помнить: **Disallow запрещает скачивать страницу, `noindex` запрещает показывать её в поиске.** Если закрыть страницу в robots.txt, робот не увидит на ней `noindex`. Google при этом может оставить адрес в выдаче без описания, если на него ссылаются другие страницы.

### Что обычно закрывают

Для типичного сайта набор запретов короткий: корзина и оформление заказа, личный кабинет, внутренний поиск по сайту, служебные разделы системы управления, адреса с параметрами сортировки и фильтров, которые не нужны в выдаче. Всё, что должно приходить из поиска — разделы, карточки, статьи, — остаётся открытым. Чем короче файл, тем меньше шансов случайно закрыть лишнее. Перед каждым новым правилом полезно проверить, не попадают ли под маску нужные страницы.

## Где посмотреть и как проверить

**Яндекс Вебмастер**: «Инструменты» → «Анализ robots.txt». Инструмент показывает текущую версию файла, ошибки в синтаксисе и позволяет проверить, разрешён ли обход конкретных адресов. Там же можно вставить новую версию и проверить её до загрузки на сайт.

**Google Search Console**: «Настройки» → отчёт «Файлы robots.txt». Он показывает, какие файлы Google нашёл, когда последний раз их загружал и были ли ошибки. Проверить, закрыт ли конкретный адрес, можно в «Проверке URL».

**Вручную**: откройте `/robots.txt` в браузере. Файл должен отдаваться с кодом 200 и типом `text/plain`. Если сервер на этот адрес отвечает ошибкой 5xx, Google временно считает весь сайт закрытым. Ответ 404 оба поисковика понимают как отсутствие ограничений. У Google есть предельный размер файла — 500 КиБ, всё, что дальше, игнорируется.

## Частые ошибки

- **`Disallow: /` на рабочем сайте.** Запрет с тестовой версии переезжает при запуске и закрывает весь сайт. Проверяйте файл после каждого релиза.
- **Закрывать страницу в robots.txt, чтобы убрать её из поиска.** Нужен `noindex` и открытый обход, а после выпадения из индекса — уже можно закрыть.
- **Закрывать CSS и JavaScript.** Без них поисковик не может отрисовать страницу и оценить её так, как видит пользователь.
- **Забыть, что группа для конкретного робота отменяет общую.** Если есть `User-agent: Yandex`, правила из `User-agent: *` для Яндекса не действуют.
- **Использовать файл для защиты данных.** robots.txt публичен и показывает всем, где лежат закрытые разделы. Конфиденциальное закрывают паролем.
- **Опечатки в путях и регистре.** Пути чувствительны к регистру: `/Catalog/` и `/catalog/` — разные правила.

## Связанные термины

- [Индексация](https://leseo.ru/termin/indeksaciya/) — robots.txt влияет на неё косвенно, через обход.
- [Краулинговый бюджет](https://leseo.ru/termin/kraulingovyj-byudzhet/) — закрытие мусорных разделов экономит обход.
- [Карта сайта](https://leseo.ru/termin/sitemap/) — её адрес указывают в robots.txt.
- [Дубли страниц](https://leseo.ru/termin/dubli-stranic/) — Clean-param и запреты помогают избавиться от копий с параметрами.
- [llms.txt](https://leseo.ru/termin/llms-txt/) — другой файл в корне сайта, но с иным назначением: описание сайта для нейросетей.