Команда Yandex в блоге, созданном для вебмастеров, пояснила, какие негативные последствия приносят дубли на интернет-ресурсе и как от них избавляться.
На популярной поисковой системе Яндекса имеется развитая система, позволяющая взаимодействовать с пользователями. Не так давно представители Yandex, общаясь в блоге вебмастеров, объясняли особенности веб-дублей, их вредоносном влиянии на портал и методах борьбы.
Что такое веб-дубли
Дубль — некая страница интернет-ресурса, которая имеет идентичный или практически одинаковый с оригиналом контент. Такие существующие онлайн-страницы плохо сказываются на взаимодействие портала с поисковиком. «Мусорные» дубль-страницы замедляют скорость индексации и негативно отражаются на анализе полученного контента веб-аналитиками.
Причин возникновения дублей множество:
- автоматические модуль-генерации, когда, например, навигатор портала формирует онлайн-ссылки как с ЧПУ, так и с использование техадреса;
- некорректно используемые веб-настройки относительных ссылок также создают несуществующие адреса, которые отдают при запросе такой же контент, как и «родные» страницы портала;
- определенные ссылки с адресом, на конце которого имеется слеш или с незначащими GET-указателями.
Как выявить веб-дубли
Для удобства интернет-пользователей в подразделе «Диагностика» имеется специальное онлайн-уведомление, с помощью которого владелец ресурса после проведенной проверки может понять, существуют ли у него дубль-страницы. Можно настроить проверку автоматически, в этом случае данные станут появляться спустя 2-3 суток, так как на сбор и обработку информации необходимо определенное время.
Это очень удобная функция, настроив которую, пользователю уже не нужно подписываться на получение оповещений, уведомление появляется автоматически.
Также можно отыскать на своем веб-ресурсе дубли и ручным способом по следующей инструкции:
- Зайти в функцию «Вебмастер».
- Перейти в «Индексирование».
- Кликнуть по опции «Страницы веб-поиска».
- Нажать кнопку «Исключенные» (она располагается справа на странице).
- Немного прокрутите онлайн-страницу вниз и активируйте кнопку «Скачать таблицу». Она находится в нижнем углу справа.
- Остается подобрать подходящий формат для скачивания и загрузить.
- Данные выгружаются в архиве. Распакуйте его и просмотрите. Веб-дубли будут иметь статус DUPLICATE.
Что делать при наличии дублей
Yandex при обнаружении ненужных и вредоносных дублирующих страниц предлагает несколько вариантов действий. Их следует выбирать с учетом сложившейся ситуации.
При обнаружении «мусорных» веб-страниц используйте один из следующих методов:
- Добавьте дополнительную директиву Disallow в файл под названием robots.txt. Это запретит порталу случайно формировать дубли в дальнейшем.
- Можно наложить запрет на их формирование с использованием мета-теги noindex. Робот-поисковик будет самостоятельно исключать обнаруженные дубль-страницы из данных.
- Также можно справиться с этой ситуаций при настройке ответа 403/404/410 в HTTP-коде. Но учтите, что такой способ менее эффективнее, так как количество веб-дублей учитываться не станет и при обнаружении в интернете данных этих страниц, пользователь может попадать на недоступные онлайн-ссылки, что будет вредить эффективности ресурса.
- Если дубли обладают незначительными GET-параметрами, дополните файл txt межсекционной мета-директивой Clean-param. Эта директива будет обрабатываться поисковыми системами в первую очередь, причем независимо от места ее нахождения.
- Установите на веб-ресурсе редирект, имеющий HTTP-код 301 (с одной онлайн-страницы дубликата на иную). В данном случае поисковая система будет обрабатывать установленный редирект. Но не забудьте при этом указать канонический адрес, участвующий при поиске.
- Примените атрибутику rel=«canonical». Но при взаимодействии с этим директом учтите, что если страницы сайта регулярно обновляются, то при возникновении даже незначительных отклонений в дублях, они станут попадать в поиск, что не приветствуется.
Если необходимо обезопасить важные страницы контента для портала, для их индексации лучше всего использовать метрику, Файлы Sitemap или установку счетчика.
Смотрите также: Стоимость продвижения сайтов
Вернуться в список новостей
