# Краулинговый бюджет

Адрес статьи: https://leseo.ru/termin/kraulingovyj-byudzhet/
Рубрика: Техническое SEO
По-английски: crawl budget
Определение: Краулинговый бюджет — это количество страниц сайта, которое поисковый робот готов и может обойти за определённый период.
Сверено: 2026-10-22

Краулинговый бюджет — это количество страниц сайта, которое поисковый робот готов и может обойти за определённый период. Если бюджет уходит на служебные и дублирующиеся адреса, до новых и важных страниц робот добирается позже.

Термин пришёл из англоязычного SEO (crawl budget) и подробнее всего описан в справке Google. Яндекс такого названия официально не использует, но у его робота тоже есть ограничение по нагрузке на сайт, а в Вебмастере можно посмотреть статистику обхода.

## Как это работает

В описании Google бюджет складывается из двух частей.

- **Лимит нагрузки.** Робот не хочет «положить» сервер, поэтому следит за скоростью ответов. Сайт отвечает быстро и без ошибок — робот запрашивает больше страниц за раз. Начинаются тайм-ауты и ответы 5xx — он сбавляет темп.
- **Потребность в обходе.** Поисковик решает, что вообще стоит перепроверять. Популярные и часто меняющиеся страницы обходятся чаще, давно не менявшиеся и малоинтересные — реже.

Бюджет тратится на любой запрошенный адрес: на страницы с параметрами, на цепочки [редиректов](https://leseo.ru/termin/redirekt-301/), на ответы 404, на страницы фильтров и сортировок. Каждый такой запрос — минус одна полезная страница.

По словам Google, о бюджете стоит всерьёз беспокоиться крупным сайтам: с сотнями тысяч и миллионами страниц или с десятками тысяч страниц, которые меняются ежедневно. Для сайта на несколько сотен страниц обход обычно не узкое место: если такие страницы не попадают в индекс, причина чаще в их качестве или дублях, а не в бюджете.

Пример. В условном интернет-магазине чая 3000 товаров и фильтры по стране, виду, цене и весу, которые можно сочетать. Каждая комбинация создаёт свой адрес, и вместо 3000 страниц робот видит сотни тысяч. Новые товары неделями ждут обхода, потому что робот занят перебором фильтров.

### Как расходовать бюджет с толком

Задача не в том, чтобы «увеличить бюджет», а в том, чтобы робот тратил его на нужные страницы. Помогают простые меры: убрать ссылки на бесконечные комбинации фильтров или закрыть их от обхода, ссылаться сразу на конечные адреса без перенаправлений, держать в карте сайта только рабочие канонические страницы, удалять или склеивать устаревшие разделы. Чем меньше на сайте адресов-пустышек, тем быстрее робот добирается до нового.

## Где посмотреть и как проверить

**Яндекс Вебмастер**: «Индексирование» → «Статистика обхода». Здесь видно, сколько страниц робот обходит в день, какие адреса запрашивал и какие коды ответа получил. Если среди обойдённых много адресов с параметрами, редиректов или ошибок — бюджет расходуется впустую. Скорость обхода Яндексом настраивается в разделе «Индексирование» → «Скорость обхода»; по умолчанию её подбирает сам робот.

**Google Search Console**: «Настройки» → «Статистика сканирования». Отчёт показывает число запросов в день, среднее время ответа сервера, распределение по кодам ответа, типам файлов и целям обхода (обнаружение новых страниц или обновление известных).

**Логи сервера** — самый точный источник. По записям с user-agent поисковых роботов видно, какие разделы они посещают и как часто. Принадлежность робота стоит проверять по обратному DNS: user-agent легко подделать.

Признаки проблемы:

- новые страницы долго не обходятся, хотя есть в карте сайта и на них ведут ссылки;
- в статистике обхода преобладают служебные адреса;
- время ответа сервера растёт, а число обойдённых страниц падает.

## Частые ошибки

- **Беспокоиться о бюджете на маленьком сайте.** Если страниц сотни, ищите причины плохой [индексации](https://leseo.ru/termin/indeksaciya/) в содержимом и дублях.
- **Бесконечные пространства адресов.** Календари, фильтры, сортировки и метки сессий без ограничений плодят адреса без конца. Закрывайте их в [robots.txt](https://leseo.ru/termin/robots-txt/) и не ставьте на них ссылок, которые робот может обойти.
- **Цепочки редиректов и битые ссылки.** Каждый лишний переход и каждый 404 — потраченный запрос. Ссылайтесь сразу на конечный адрес.
- **Ставить `noindex` в надежде сэкономить обход.** Страницу с `noindex` робот всё равно скачивает, чтобы увидеть запрет. Экономит обход только закрытие в robots.txt.
- **Медленный сервер.** Долгие ответы прямо снижают лимит нагрузки. Ускорение сервера — один из немногих способов увеличить бюджет.
- **Устаревшая карта сайта.** Адреса с редиректами и ошибками в sitemap отправляют робота по ложным следам.

## Связанные термины

- [Индексация](https://leseo.ru/termin/indeksaciya/) — обход предшествует индексации: не обошёл — не проиндексировал.
- [robots.txt](https://leseo.ru/termin/robots-txt/) — главный инструмент, чтобы закрыть от робота мусорные разделы.
- [Карта сайта](https://leseo.ru/termin/sitemap/) — подсказывает роботу, какие адреса важны и когда они менялись.
- [Дубли страниц](https://leseo.ru/termin/dubli-stranic/) — основной пожиратель бюджета на крупных сайтах.
- [Редирект 301](https://leseo.ru/termin/redirekt-301/) — цепочки перенаправлений тратят лишние запросы.