Дубли сайта: как не допустить повторяющийся контент на вашем ресурсе?

    Нужна консультация?
    Создание сайтов

    Более 500 сайтов разработано

    Контекстная реклама

    Более 500 успешных клиентов

    Продвижение сайтов

    Более 1000 ключевых слов в ТОП10

    Дублирующийся контент – частая проблема владельца сайта. Многие ее недооценивают, но она способна породить неудобства. Причем, когда дубли накопятся, решить эту проблему станет тяжело.

    Сегодня будет подробно рассмотрено, почему дубли контента на сайте – это серьезнее, чем принято считать. Также будет рассказано, как выявить дубли страниц и удалить их.

    Почему стоит избегать дублей страниц?

    Перед тем, как разбираться, почему дублирующий контент – плохо, надо понять сначала, что такое дубли. Это контент, повторяющийся на сайте.

    Есть несколько причин, почему нужно избегать дублирующего контента:

    1. Повышается риск того, что происходит понижение в поисковой выдаче по нужным ключевым словам. Причем если проблема системная, то пессимизация затронет сайт целиком.
    2. Поисковым роботам труднее дается индексация при наличии дублирующегося контента.
    3. Проблемы с внешним URL.
    4. Потеря позиций в поисковой выдаче.
    5. В результатах поиска появляются дубли.
    6. Часто возникают ситуации, когда копия выводится в выдаче вместо оригинальной страницы.

    А поскольку поисковые роботы также осуществляют анализ контента, наличие дублей приводит к тому, что он будет считаться неуникальным.

    Причем дубликаты могут появиться случайно, важно систематически отслеживать повторения публикаций.

    Причины дублирования контента

    Частые причины, почему контент может дублироваться, следующие:

    1. Отсутствует перенаправление.
    2. Проблемы со страницами, на которые ведут пагинационные ссылки.
    3. Присутствие или отсутствие слэша в конце ссылок.
    4. Карточки похожих товаров.
    5. Недостатки в работе CMS.

    Последняя причина – самая распространенная, CMS генерируют дубликаты. Например, если пользователь случайно связывает одну веб-страницу с несколькими рубриками, а в системе управления контентом включена автогенерация адресов сайтов.

    Понять точную причину может аналитика, которую могут провести специалисты компании Продвижение.kz (как в Алматы, так и в Казахстане в целом).

    Также распространенная причина дубликатов – плагины.

    Часто дубликаты возникают в Joomla и Bitrix. Они самостоятельно генерируют ссылки, включающие специальные параметры. В частности, дубликаты могут появляться, если пользователь регистрируется на сайте, ищет что-то, фильтрует товары.

    Частой причиной, почему публикации или отдельные части дублируются, являются ошибки в настройке файла robots.txt или трудности с 301-м редиректом.

    Как выявить дубли страниц?

    Для обнаружения дубликатов на сайте, применяется несколько инструментов. Конечно, возможен и ручной вариант, но что делать в случае большого количества страниц?

    Лучше пользоваться сервисами, такими как NetPeak Spider. Они специально предназначены для этого. Механика работы проста. В строке поиска вводится домен, а потом нажимается кнопочка «Найти». Предварительно нужно отметить чекбоксы в разделе «Продвинутые» в окне настроек.

    Теперь осталось указать доменный адрес веб-ресурса и нажать на кнопку «Старт». После анализа необходимо найти пункт «Отфильтрованные результаты», открыть «Отчеты» и найти интересующие дубликаты в пункте «Ошибки». В частности, нужно найти копии, текста, мета-тегов.

    Правда, не всегда требуется проработка дублей. Если они не выдают кода 200, то все нормально.

    Чтобы автоматически найти дубликаты, можно воспользоваться приложением Screaming Frog SEO Spider, в которой надо ввести домен и запустить анализ страниц сайта. Механика действий аналогичная прошлой программе.

    Далее в результатах поиска нужно кликнуть по пункту URL. А в разделе «Duplicate» отобразятся дублированные страницы.

    Ну и, наконец, обнаружить копии можно с помощью инструментов Яндекс.Вебмастер или Google Search Console. Они позволяют проанализировать странички глазами поисковых систем.

    Если говорим о сервисе Яндекс.Вебмастер, нужно найти пункт «Страницы в поиске», расположенный в разделе «Индексирование». Далее следует найти пункт «Статус и URL», в котором и отображаются дубли.

    Чтобы обнаружить копии с помощью сервиса Google, надо перейти в раздел «Покрытие» и отыскать пункт «Сведения».

    Какие самые частые дубли?

    Есть две большие категории дублей: очевидные и неочевидные. Последние особенно опасны тем, что их тяжело заметить. Они размещаются в случайном порядке, их нелегко обнаружить. Такие дубли чаще появляются по следующим причинам:

    1. Характеристики товаров мало отличаются. Здесь дублирование может и не быть полным. И хотя является логичным то, что описания схожие, для поискового продвижения это не хорошо. Роботы могут попросту запутаться в таких характеристиках. Например, первая карточка может остаться, а вторая просто пропускается. Чтобы решить эту проблему, необходимо вставить повторяющийся контент в тег <!--noindex>. Можно уникализировать описания, но лишь самые главные.
    2. replytocom-комментарии. Эта проблема возникает исключительно на WordPress. Эта CMS известна тем, что генерирует URL-адрес всегда, когда к посту добавляется новый комментарий. Это приводит к замедлению сайта и затруднениям при работе поисковых роботов. Чтобы исправить это, нужно полностью выключить стандартный модуль комментариев, а установить другой модуль комментариев. Ну или выключить настройку «Разрешить древовидные (вложенные) комментарии глубиной x уровней. Но дополнительные модули лучше, как правило, чем стандартные WordPress.
    3. Пагинация. Чтобы пагинация не индексировалась поисковиками, нужно добавить код в head-тег:
    4. Неправильно настроенная 404-я страница. Это одна из наиболее распространенных причин, почему возникают дубликаты. Проблем не будет, если они отдают 404-й код. Или же можно просто настроить редирект.

    Что касается очевидных дублей, то это просто повторяющиеся публикации на сайте. Наиболее частые случаи следующие:

    1. Страница для печати. Наиболее распространенная причина, почему возникает дубликат, связана с функцией ?print. Для решения этой проблемы нужно воспользоваться директивой Clean-param и Disallow. Первая – для Яндекса, вторая – для Google и Яндекс. Таким образом, использование второго более предпочтительное. Они должны указываться в роботс-файле.
    2. Слэш после URL. На первый взгляд, эти страницы одинаковые. Тем не менее, это типичное проявление дубликации. Также частая причина – использование www в ссылках. Только человек их считает такими же, а на деле – нет.
    3. Один товар, расположенный на разных URL.

    Есть ряд других причин, по которым возникают дубли как очевидные, так и неочевидные.

    Методы удаления дублей страниц

    Конкретный способ ликвидации дубликатов зависит от того, какой вид повтора. Тем не менее, есть некоторые универсальные методы:

    1. 301 редирект. Этот метод считается главным. С его помощью можно настроить автоматическую переадресацию с дубликата на главную страницу. Благодаря этому поисковики видят, что по этому адресу нет доступных материалов.
    2. Внесение изменений в файл robots.txt. Пример – использование директивы Disallow, которая была рассмотрена выше. Тем не менее, полностью от дублей этот способ избавиться не может. Это скорее рекомендация для поисковиков, как правильно им действовать.
    3. Внесение изменений в мета-теги.
    4. Использование атрибута rel=”canonical’. Это метод используется, если необходимо оставить страницу открытой для просмотра.
    5. Использование плагинов или специальных тегов для точечного решения проблемы дубликатов.

    Все методы хороши, но применять их лучше в определенных ситуациях. А чтобы понимать, как это делать, нужна отдельная статья. Значительно проще обратиться к специалистам, которые проведут комплексное SEO-продвижение.

    Резюме

    Наличие копий – одна из самых частых причин, почему привлекается маленький трафик. Даже грамотно настроенная рекламная кампания в этом случае не поможет.

    При правильном подходе проблема вполне решаемая. Тем не менее, чтобы сэкономить время и получить более качественный результат, лучше обратиться к интернет-компании Продвижение.kz, которая обеспечит быстрое избавление от дублей страниц, а также выполнит ряд других мер по поисковой оптимизации сайта. Также наши специалисты смогут правильно настроить рекламу в поисковиках по тем запросам, которые максимально выделят страницу на фоне конкурентов.

    Похожие статьи


    Warning: Use of undefined constant rand - assumed 'rand' (this will throw an Error in a future version of PHP) in /var/www/vhosts/prodvizhenie.kz/httpdocs/xn--b1adeadlc3bdjl.kz/wp-content/themes/glavnaya/single.php on line 62