Индексация

Индексация — это добавление поисковой системой страниц сайта в её базу данных (индекс), из которой потом собирается выдача. Страница, которой нет в индексе, не может показаться ни по одному запросу, как бы хорошо она ни была написана.

Индексацию часто путают с обходом. Обход — это когда робот скачал страницу. Индексация — когда поисковик решил её сохранить и показывать. Между этими событиями стоит отбор: скачанная страница может так и не попасть в поиск.

Как это работает

Путь страницы в поиск у Яндекса и Google устроен похоже и состоит из трёх этапов.

1. Обнаружение. Робот узнаёт об адресе: по ссылке с другой страницы, из карты сайта, из запроса на переобход в панели вебмастера или по протоколу IndexNow (его поддерживает Яндекс, Google — нет).
2. Обход (сканирование). Робот запрашивает страницу, получает код ответа сервера и HTML. Если адрес закрыт в robots.txt, робот его не скачивает. Сколько страниц робот готов обойти за раз, зависит от краулингового бюджета.
3. Обработка и решение. Поисковик разбирает текст, ссылки, мета-теги, проверяет, нет ли запрета noindex, не дубль ли это, и решает, включать ли страницу в индекс. Из группы одинаковых страниц в поиск идёт одна — каноническая.

Важная деталь: попадание в индекс не означает, что страница там останется. Поисковики регулярно пересматривают базу и исключают страницы, которые считают малополезными. В Яндекс Вебмастере такие страницы получают статус «Недостаточно качественная», в Google Search Console — «Просканирована, но пока не проиндексирована».

Пример. У условного интернет-магазина чая 600 карточек товаров, но в поиске Яндекса — 250. Разбор показывает: 200 карточек отличаются только названием сорта и не имеют описаний, а ещё 150 — варианты одной карточки с параметром ?weight=100g. Первые поисковик счёл малоценными, вторые — дублями.

Сколько ждать

Точных сроков поисковики не называют. Новая страница на сайте, который робот посещает часто, может попасть в поиск за несколько дней. На молодом сайте с небольшим числом ссылок ожидание растягивается на недели. Ускоряют процесс внутренние ссылки с уже проиндексированных страниц, актуальная карта сайта и запрос на переобход. Повторная отправка одного и того же адреса каждый день ничего не меняет: робот уже знает о странице, решение о включении в индекс зависит от её содержимого.

Где посмотреть и как проверить

Яндекс Вебмастер, раздел «Индексирование»:

• «Страницы в поиске» — сколько страниц в индексе, какие добавлены и исключены за период и почему;
• «Статистика обхода» — какие адреса робот запрашивал и с каким кодом ответа;
• «Проверить статус URL» — есть ли конкретная страница в поиске и когда робот был на ней последний раз;
• «Переобход страниц» — отправить новые или изменённые адреса роботу; у инструмента есть суточный лимит.

Google Search Console:

• отчёт «Индексирование страниц» — проиндексированные и непроиндексированные страницы с причинами;
• «Проверка URL» — статус адреса, выбранная Google каноническая версия и кнопка «Запросить индексирование».

Быстрая проверка без панелей — оператор site: в поиске, например site:example.ru. Он даёт лишь грубую оценку: число результатов неточное, для решений опирайтесь на данные панелей.

Что считать нормой. Число страниц в поиске близко к числу страниц, которые вы хотите показывать. Если в индексе заметно меньше — ищите запреты, дубли и тонкие страницы. Если заметно больше — в поиск утекли служебные адреса: фильтры, сортировки, страницы поиска по сайту.

Частые ошибки

• Путать Disallow и noindex. Запрет в robots.txt не даёт роботу скачать страницу, но не всегда убирает её из выдачи: Google может показать адрес без описания, если на него есть ссылки. Чтобы убрать страницу из индекса, нужен noindex, и страница при этом должна быть открыта для обхода.
• Ждать индексации страниц без входящих ссылок. Страница-сирота, на которую не ведёт ни одна внутренняя ссылка, обнаруживается медленно и считается неважной.
• Оставить noindex после разработки. Тестовый запрет переезжает на рабочий сайт, и страницы месяцами не попадают в поиск.
• Гнать в переобход всё подряд. Отправка сотен однотипных страниц не ускоряет их включение в индекс, если поисковик считает их слабыми. Сначала доработайте содержимое.
• Не следить за исключёнными страницами. Массовый вылет страниц из поиска — сигнал, который виден в Вебмастере раньше, чем падение трафика.

Связанные термины

• Краулинговый бюджет — сколько страниц робот готов обойти, от этого зависит скорость индексации.
• robots.txt — файл, который управляет обходом, но не индексацией напрямую.
• Карта сайта — список адресов, который помогает роботу найти страницы.
• Канонический адрес — какая версия из группы похожих страниц попадёт в индекс.
• Дубли страниц — частая причина того, что страницы исключаются из поиска.