Краулинговый бюджет

Краулинговый бюджет — это количество страниц сайта, которое поисковый робот готов и может обойти за определённый период. Если бюджет уходит на служебные и дублирующиеся адреса, до новых и важных страниц робот добирается позже.

Термин пришёл из англоязычного SEO (crawl budget) и подробнее всего описан в справке Google. Яндекс такого названия официально не использует, но у его робота тоже есть ограничение по нагрузке на сайт, а в Вебмастере можно посмотреть статистику обхода.

Как это работает

В описании Google бюджет складывается из двух частей.

• Лимит нагрузки. Робот не хочет «положить» сервер, поэтому следит за скоростью ответов. Сайт отвечает быстро и без ошибок — робот запрашивает больше страниц за раз. Начинаются тайм-ауты и ответы 5xx — он сбавляет темп.
• Потребность в обходе. Поисковик решает, что вообще стоит перепроверять. Популярные и часто меняющиеся страницы обходятся чаще, давно не менявшиеся и малоинтересные — реже.

Бюджет тратится на любой запрошенный адрес: на страницы с параметрами, на цепочки редиректов, на ответы 404, на страницы фильтров и сортировок. Каждый такой запрос — минус одна полезная страница.

По словам Google, о бюджете стоит всерьёз беспокоиться крупным сайтам: с сотнями тысяч и миллионами страниц или с десятками тысяч страниц, которые меняются ежедневно. Для сайта на несколько сотен страниц обход обычно не узкое место: если такие страницы не попадают в индекс, причина чаще в их качестве или дублях, а не в бюджете.

Пример. В условном интернет-магазине чая 3000 товаров и фильтры по стране, виду, цене и весу, которые можно сочетать. Каждая комбинация создаёт свой адрес, и вместо 3000 страниц робот видит сотни тысяч. Новые товары неделями ждут обхода, потому что робот занят перебором фильтров.

Как расходовать бюджет с толком

Задача не в том, чтобы «увеличить бюджет», а в том, чтобы робот тратил его на нужные страницы. Помогают простые меры: убрать ссылки на бесконечные комбинации фильтров или закрыть их от обхода, ссылаться сразу на конечные адреса без перенаправлений, держать в карте сайта только рабочие канонические страницы, удалять или склеивать устаревшие разделы. Чем меньше на сайте адресов-пустышек, тем быстрее робот добирается до нового.

Где посмотреть и как проверить

Яндекс Вебмастер: «Индексирование» → «Статистика обхода». Здесь видно, сколько страниц робот обходит в день, какие адреса запрашивал и какие коды ответа получил. Если среди обойдённых много адресов с параметрами, редиректов или ошибок — бюджет расходуется впустую. Скорость обхода Яндексом настраивается в разделе «Индексирование» → «Скорость обхода»; по умолчанию её подбирает сам робот.

Google Search Console: «Настройки» → «Статистика сканирования». Отчёт показывает число запросов в день, среднее время ответа сервера, распределение по кодам ответа, типам файлов и целям обхода (обнаружение новых страниц или обновление известных).

Логи сервера — самый точный источник. По записям с user-agent поисковых роботов видно, какие разделы они посещают и как часто. Принадлежность робота стоит проверять по обратному DNS: user-agent легко подделать.

Признаки проблемы:

• новые страницы долго не обходятся, хотя есть в карте сайта и на них ведут ссылки;
• в статистике обхода преобладают служебные адреса;
• время ответа сервера растёт, а число обойдённых страниц падает.

Частые ошибки

• Беспокоиться о бюджете на маленьком сайте. Если страниц сотни, ищите причины плохой индексации в содержимом и дублях.
• Бесконечные пространства адресов. Календари, фильтры, сортировки и метки сессий без ограничений плодят адреса без конца. Закрывайте их в robots.txt и не ставьте на них ссылок, которые робот может обойти.
• Цепочки редиректов и битые ссылки. Каждый лишний переход и каждый 404 — потраченный запрос. Ссылайтесь сразу на конечный адрес.
• Ставить noindex в надежде сэкономить обход. Страницу с noindex робот всё равно скачивает, чтобы увидеть запрет. Экономит обход только закрытие в robots.txt.
• Медленный сервер. Долгие ответы прямо снижают лимит нагрузки. Ускорение сервера — один из немногих способов увеличить бюджет.
• Устаревшая карта сайта. Адреса с редиректами и ошибками в sitemap отправляют робота по ложным следам.

Связанные термины

• Индексация — обход предшествует индексации: не обошёл — не проиндексировал.
• robots.txt — главный инструмент, чтобы закрыть от робота мусорные разделы.
• Карта сайта — подсказывает роботу, какие адреса важны и когда они менялись.
• Дубли страниц — основной пожиратель бюджета на крупных сайтах.
• Редирект 301 — цепочки перенаправлений тратят лишние запросы.