Дубли сайта: как не допустить повторяющийся контент на вашем ресурсе?

Дублирующийся контент – частая проблема владельца сайта. Многие ее недооценивают, но она способна породить неудобства. Причем, когда дубли накопятся, решить эту проблему станет тяжело.

Сегодня будет подробно рассмотрено, почему дубли контента на сайте – это серьезнее, чем принято считать. Также будет рассказано, как выявить дубли страниц и удалить их.

Почему стоит избегать дублей страниц?

Перед тем, как разбираться, почему дублирующий контент – плохо, надо понять сначала, что такое дубли. Это контент, повторяющийся на сайте.

Есть несколько причин, почему нужно избегать дублирующего контента:

1. Повышается риск того, что происходит понижение в поисковой выдаче по нужным ключевым словам. Причем если проблема системная, то пессимизация затронет сайт целиком.
2. Поисковым роботам труднее дается индексация при наличии дублирующегося контента.
3. Проблемы с внешним URL.
4. Потеря позиций в поисковой выдаче.
5. В результатах поиска появляются дубли.
6. Часто возникают ситуации, когда копия выводится в выдаче вместо оригинальной страницы.

А поскольку поисковые роботы также осуществляют анализ контента, наличие дублей приводит к тому, что он будет считаться неуникальным.

Причем дубликаты могут появиться случайно, важно систематически отслеживать повторения публикаций.

Причины дублирования контента

Частые причины, почему контент может дублироваться, следующие:

1. Отсутствует перенаправление.
2. Проблемы со страницами, на которые ведут пагинационные ссылки.
3. Присутствие или отсутствие слэша в конце ссылок.
4. Карточки похожих товаров.
5. Недостатки в работе CMS.

Последняя причина – самая распространенная, CMS генерируют дубликаты. Например, если пользователь случайно связывает одну веб-страницу с несколькими рубриками, а в системе управления контентом включена автогенерация адресов сайтов.

Понять точную причину может аналитика, которую могут провести специалисты компании Продвижение.kz (как в Алматы, так и в Казахстане в целом).

Также распространенная причина дубликатов – плагины.

Часто дубликаты возникают в Joomla и Bitrix. Они самостоятельно генерируют ссылки, включающие специальные параметры. В частности, дубликаты могут появляться, если пользователь регистрируется на сайте, ищет что-то, фильтрует товары.

Частой причиной, почему публикации или отдельные части дублируются, являются ошибки в настройке файла robots.txt или трудности с 301-м редиректом.

Как выявить дубли страниц?

Для обнаружения дубликатов на сайте, применяется несколько инструментов. Конечно, возможен и ручной вариант, но что делать в случае большого количества страниц?

Лучше пользоваться сервисами, такими как NetPeak Spider. Они специально предназначены для этого. Механика работы проста. В строке поиска вводится домен, а потом нажимается кнопочка «Найти». Предварительно нужно отметить чекбоксы в разделе «Продвинутые» в окне настроек.

Теперь осталось указать доменный адрес веб-ресурса и нажать на кнопку «Старт». После анализа необходимо найти пункт «Отфильтрованные результаты», открыть «Отчеты» и найти интересующие дубликаты в пункте «Ошибки». В частности, нужно найти копии, текста, мета-тегов.

Правда, не всегда требуется проработка дублей. Если они не выдают кода 200, то все нормально.

Чтобы автоматически найти дубликаты, можно воспользоваться приложением Screaming Frog SEO Spider, в которой надо ввести домен и запустить анализ страниц сайта. Механика действий аналогичная прошлой программе.

Далее в результатах поиска нужно кликнуть по пункту URL. А в разделе «Duplicate» отобразятся дублированные страницы.

Ну и, наконец, обнаружить копии можно с помощью инструментов Яндекс.Вебмастер или Google Search Console. Они позволяют проанализировать странички глазами поисковых систем.

Если говорим о сервисе Яндекс.Вебмастер, нужно найти пункт «Страницы в поиске», расположенный в разделе «Индексирование». Далее следует найти пункт «Статус и URL», в котором и отображаются дубли.

Чтобы обнаружить копии с помощью сервиса Google, надо перейти в раздел «Покрытие» и отыскать пункт «Сведения».

Какие самые частые дубли?

Есть две большие категории дублей: очевидные и неочевидные. Последние особенно опасны тем, что их тяжело заметить. Они размещаются в случайном порядке, их нелегко обнаружить. Такие дубли чаще появляются по следующим причинам:

1. Характеристики товаров мало отличаются. Здесь дублирование может и не быть полным. И хотя является логичным то, что описания схожие, для поискового продвижения это не хорошо. Роботы могут попросту запутаться в таких характеристиках. Например, первая карточка может остаться, а вторая просто пропускается. Чтобы решить эту проблему, необходимо вставить повторяющийся контент в тег <!--noindex>. Можно уникализировать описания, но лишь самые главные.
2. replytocom-комментарии. Эта проблема возникает исключительно на WordPress. Эта CMS известна тем, что генерирует URL-адрес всегда, когда к посту добавляется новый комментарий. Это приводит к замедлению сайта и затруднениям при работе поисковых роботов. Чтобы исправить это, нужно полностью выключить стандартный модуль комментариев, а установить другой модуль комментариев. Ну или выключить настройку «Разрешить древовидные (вложенные) комментарии глубиной x уровней. Но дополнительные модули лучше, как правило, чем стандартные WordPress.
3. Пагинация. Чтобы пагинация не индексировалась поисковиками, нужно добавить код в head-тег:
4. Неправильно настроенная 404-я страница. Это одна из наиболее распространенных причин, почему возникают дубликаты. Проблем не будет, если они отдают 404-й код. Или же можно просто настроить редирект.

Что касается очевидных дублей, то это просто повторяющиеся публикации на сайте. Наиболее частые случаи следующие:

1. Страница для печати. Наиболее распространенная причина, почему возникает дубликат, связана с функцией ?print. Для решения этой проблемы нужно воспользоваться директивой Clean-param и Disallow. Первая – для Яндекса, вторая – для Google и Яндекс. Таким образом, использование второго более предпочтительное. Они должны указываться в роботс-файле.
2. Слэш после URL. На первый взгляд, эти страницы одинаковые. Тем не менее, это типичное проявление дубликации. Также частая причина – использование www в ссылках. Только человек их считает такими же, а на деле – нет.
3. Один товар, расположенный на разных URL.

Есть ряд других причин, по которым возникают дубли как очевидные, так и неочевидные.

Методы удаления дублей страниц

Конкретный способ ликвидации дубликатов зависит от того, какой вид повтора. Тем не менее, есть некоторые универсальные методы:

1. 301 редирект. Этот метод считается главным. С его помощью можно настроить автоматическую переадресацию с дубликата на главную страницу. Благодаря этому поисковики видят, что по этому адресу нет доступных материалов.
2. Внесение изменений в файл robots.txt. Пример – использование директивы Disallow, которая была рассмотрена выше. Тем не менее, полностью от дублей этот способ избавиться не может. Это скорее рекомендация для поисковиков, как правильно им действовать.
3. Внесение изменений в мета-теги.
4. Использование атрибута rel=”canonical’. Это метод используется, если необходимо оставить страницу открытой для просмотра.
5. Использование плагинов или специальных тегов для точечного решения проблемы дубликатов.

Все методы хороши, но применять их лучше в определенных ситуациях. А чтобы понимать, как это делать, нужна отдельная статья. Значительно проще обратиться к специалистам, которые проведут комплексное SEO-продвижение.

Резюме

Наличие копий – одна из самых частых причин, почему привлекается маленький трафик. Даже грамотно настроенная рекламная кампания в этом случае не поможет.

При правильном подходе проблема вполне решаемая. Тем не менее, чтобы сэкономить время и получить более качественный результат, лучше обратиться к интернет-компании Продвижение.kz, которая обеспечит быстрое избавление от дублей страниц, а также выполнит ряд других мер по поисковой оптимизации сайта. Также наши специалисты смогут правильно настроить рекламу в поисковиках по тем запросам, которые максимально выделят страницу на фоне конкурентов.