Дубли страниц

Дубли страниц — это страницы сайта с одинаковым или почти одинаковым содержимым, доступные по разным адресам. Поисковику приходится выбирать, какую из копий показывать, и этот выбор не всегда совпадает с тем, который сделал бы владелец.

Дубли бывают полными, когда по разным адресам открывается одно и то же, и частичными, когда страницы отличаются мелочами: порядком товаров, одним абзацем, заголовком.

Как это работает

Большинство дублей появляется не из-за копирования текстов, а из-за устройства сайта. Один и тот же контент становится доступен по нескольким адресам:

Почему это плохо:

• поисковик сам выбирает основную версию и может выбрать не ту, например адрес с рекламной меткой;
• сигналы страницы, включая внешние ссылки, распыляются между копиями;
• робот тратит краулинговый бюджет на копии;
• при большом числе копий страницы могут исключаться из поиска, а в Яндекс Вебмастере это видно как массовый статус дублей.

Специального «наказания» за технические дубли ни Яндекс, ни Google не декларируют: они просто склеивают копии и показывают одну. Но выбор и потери сигналов от этого никуда не деваются.

Частичные дубли — отдельная история. Например, в условном интернет-магазине чая 30 карточек сортов улуна с одинаковым шаблонным описанием и разными только названием и ценой. Технически это разные страницы, но для поисковика они почти неотличимы, и часть из них может не попасть в индекс как малополезная.

Как выбрать способ устранения

Порядок рассуждений простой. Сначала ответьте на вопрос: нужна ли копия посетителю? Если нет — адрес с www, старая версия раздела, index.php — ставьте постоянный редирект на основную страницу. Если копия нужна людям, но не нужна в поиске — сортировка, версия для печати, страница с меткой кампании, — оставьте её открытой и укажите каноникал на основной адрес. Для параметров, которые не меняют содержимое, в Яндексе удобна директива Clean-param. И наконец, если служебные адреса вообще не должны обходиться, их закрывают от обхода, но только после того, как они выпали из индекса.

Частичные дубли лечатся не тегами, а содержимым: уникальными описаниями, объединением почти одинаковых страниц в одну или их удалением.

Где посмотреть и как проверить

Яндекс Вебмастер: «Индексирование» → «Страницы в поиске», исключённые страницы. Статус дубля показывает, какую страницу Яндекс выбрал основной. Отдельно стоит посмотреть раздел «Диагностика»: Вебмастер сообщает, если на сайте много дублей из-за GET-параметров, и предлагает использовать Clean-param.

Google Search Console: отчёт «Индексирование страниц», причины «Страница является копией, канонический вариант не выбран пользователем» и «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают».

Ручная проверка: откройте главную по http, с www и без, страницу раздела со слешем и без. Все варианты, кроме основного, должны перенаправлять на него.

Поиск по заголовкам: выгрузите список страниц с title и H1 (из краулера или таблицы) и отсортируйте. Одинаковые заголовки на разных адресах — первый признак дублей.

Частые ошибки

• Лечить всё одним способом. Для зеркал и мусорных адресов нужен редирект 301, для копий, полезных посетителям, — канонический адрес, для меток и сессий в Яндексе — Clean-param в robots.txt.
• Закрыть дубли в robots.txt, когда они уже в индексе. Робот перестанет их обходить и не увидит каноникал или редирект. Сначала склейте, потом при необходимости закрывайте.
• Ставить ссылки на неосновные версии. Если меню ведёт на /catalog/index.php, поисковик получает сигнал, что важна именно эта копия.
• Путать дубли с каннибализацией. Две разные статьи на одну тему — не дубль, а каннибализация запросов, и решается она иначе.
• Шаблонные описания на сотнях страниц. Технически всё чисто, но частичные дубли тянут страницы из индекса.

Связанные термины

• Канонический адрес — указывает основную версию среди копий.
• Редирект 301 — убирает лишние адреса совсем.
• robots.txt — Clean-param для Яндекса и закрытие служебных разделов.
• Индексация — дубли исключаются из индекса и мешают попасть туда основным страницам.
• Каннибализация запросов — когда соревнуются не копии, а разные страницы.