В своём блоге представители Яндекса поделились информацией о том, насколько вредны дубли, как их найти и как избавиться.

Дубли — это страницы одного сайта, на которых размещён идентичный или почти идентичный контент. Поисковые страницы на это реагируют негативно, соответственно, наличие дублей может существенно тормозить продвижение.

Из-за чего возникают дубли:

• из-за автоматической генерации, когда CMS сайта делает и ЧПУшные адреса, и технические;
• ошибок в настройках, например, из-за некорректной настройки относительных ссылок, в результате чего возникают ссылки по адресам, которых фактически нет, и при запросе они отдают то же содержимое, что и правильные ссылки;
• ссылок с незначащими GET-параметрами;
• ссылок, у которых на конце есть слеш и нет, ПС считают такие страницы разными.

Как найти дубли

Теперь в разделе «Диагностика» при наличии дублей появляется уведомление. В принципе, система сама обнаружит большую часть идентичных страниц, а вам останется только разобраться с этой находкой.

Если вы хотите вручную поискать дубли страниц, можно использовать следующую схему:

1. Зайдите в Вебмастер.
2. Найдите вкладку «Индексирование» и откройте в ней раздел «Страницы в поиске».
3. Справа найдите «Исключённые» и нажмите.
4. Просколльте вниз, справа в углу можно скачать таблицу с информацией.
5. При нажатии «Скачать таблицу» можно выбрать желаемый тип архива. В таблице страницы-дубли будут помечены словом DUPLICATE.

Что делать с дублями страниц

Для устранения одинаковых страниц подойдёт один из следующих способов:

1. Для страниц-копий с незначащими GET-параметрами в robots.txt необходимо вписать директиву Clean-param. Её обработка возможна любом месте файла, обозначать её для пауков Яндекса не надо.
2. Установить 301 редирект с одного дубля на другой. Тогда в поиск попадёт только конечная страница, на которую будет переводить редирект. Обязательно укажите предпочитаемый адрес, который и будет попадать в поиск.
3. Можно задействовать атрибут rel=«canonical». Однако тут надо иметь в виду, что, если контент дублей не полностью идентичен или часто обновляется, обе страницы всё равно могут оказаться в поиске. Если такое произойдёт, необходимо использовать один из предложенных выше вариантов.

Если у вас есть адреса со слешем и без на конце, для них лучше всего настроить 301 редирект. Для поиска можно выбрать любую ссылку, так как наличие отсутствие слеша никак не повлияет на индексацию.