browser adware remover
Промокод: XXXXXX
0-800-759-750
Мы на связи с 7:00 до 24:00

Как найти дубли страниц на сайте

elit-web
24 сентября 2020
Комментарии: 0

Дублированный контент — проблема, которая затрагивает многие сайты. Это идентично выглядящие подстраницы с одинаковым содержанием, расположенные по разным URL-адресам. Какие проблемы это вызывает и как с этим бороться, расскажем далее.

что такое дублирований контент

Что такое дублирований контент

Это дублирование содержимого страницы по более чем одному URL-адресу в одном или нескольких доменах. Возникает не только в результате копирования контента. Источником проблемы может быть отсутствие переадресации или невозможность исключить тестовую версию сайта из индексации.

Алгоритмы Google понижают позиции страниц с некачественным содержанием. С уникальным, наоборот, поднимают в рейтинге, чтобы пользователь смог получить максимально точный ответ на запрос. Именно поэтому важно, чтобы контент был оригинальным, информативным и не дублированным.

Проблемы внутреннего и внешнего дублирования

Дубли могут возникать на одном или нескольких сайтах. Исходя из этого, их определяют как внутренние и внешние.

проблемы внутреннего и внешнего дублирования

Внутреннее дублирование

Это дублирование контента по разным URL на одном сайте. В результате этого может возникнуть каннибализация фраз. Это ситуация, когда как минимум две подстраницы одного домена отображаются для одного и того же ключевого слова. Если дубль не убрать, то позиции в поисковой выдаче будут нестабильными. Почему так? Поисковик не будет знать, какую именно страницу показывать пользователю, поэтому сначала он выдаст одну, а потом вторую. В итоге обе они будут расценены как некачественные, что в свою очередь приведет к потере значимых мест в поисковом рейтинге.

Внешнее дублирование

Это копии контента, находящиеся на разных сайтах. Почему это происходит:

  • воровство контента;
  • размещение текста, скопированного с собственного сайта, в каталогах, блогах, социальных сетях и т. д.;

Дубль страницы в поддомене — также внешнее дублирование. Если контент дублируется в нескольких доменах, Google будет отображать на более высоких позициях страницу, которая лучше оптимизирована, создана раньше и ссылка на которую находится на большем количестве внешних ресурсов.

Причины внутреннего дублирования

Далее мы расскажем распространенные проблемы с внутренним дублированием, с которыми рано или поздно сталкивается практически каждый владелец сайта.

причины внутреннего дублирования

Дубль товара по разным URL

Различные варианты одного и того же продукта, расположенные на разных подстраницах — распространенное решение, используемое в электронной коммерции. Не было бы проблем, если бы описание каждого товара было уникальным. К сожалению, в большинстве случаев контент остается прежним. Ничего удивительного в этом нет, так как создание уникального описания для конкретной модели спортивной обуви, которая бывает 16 различных цветов, или создание оригинального текста для изоленты разной ширины, займет очень много времени. В итоге владелец сайта решает оставить все как есть, не задумываясь о последствиях.

Как бороться с проблемой дублирования контента

Если по какой-то причине написать уникальный текст не получается, можно использовать тег rel = canonical, ведущий к базовой версии продукта. Каноническая ссылка используется для указания роботам поисковой системы предпочтительной канонической страницы для тех же или похожих подстраниц. Используется в ситуациях, когда один и тот же контент повторяется по разным URL-адресам.

Альтернативный способ избавиться от дублирования — создать одну уникальную карточку товара с возможностью выбора конкретного варианта. Однако важно, чтобы при этом не изменялся URL-адрес. Все остальные подстраницы продукта должны быть перенаправлены на главную страницу.

Если же для каждого варианта товара собраны свои ключи, под них написан контент, нужно создать отдельные URL. Что это даст? Товар будет оптимизирован под отличительную черту, благодаря чему повысится его видимость в поисковых системах. Ключевые фразы с хвостами — это отличная возможность заполучить как можно больше потенциальных и состоявшихся клиентов. Люди, вводящие подробные фразы в окно поисковой системы, точно знают, что они ищут. Когда они находят страницу с желаемым товаром, шанс совершить покупку увеличивается.

сайт доступен по многим адресам

Сайт доступен по многим адресам

Есть много причин, почему сайт появляется под несколькими URL-адресами в результатах поиска. Рассмотрим самые распространенные:

  1. Индексирование тестовой версии сайта

    Создание нового сайта или изменение существующего обычно сопровождается появлением тестовой версии, которая по-хорошему должна быть доступна только специалистам. Если она не закрыта от индексирования, ее просканирует робот, что в свою очередь приведет к дублированию страниц. Чтобы этого избежать, необходимо указать метатег noindex или ввести соответствующую директиву в файл robots.txt.

  2. Отображение домашней страницы по нескольким адресам

    Некоторые CMS создают несколько версий URL-адресов, например, адрес с «/» в конце и без, с «www» и без «www», адреса с параметрами «index.html», «index. php» и без них. Это означает, что один и тот же контент отображается по нескольким URL, например:

    • http://domen.com
    • http://www.domen.com
    • http://www.domen.com/index.html
    • http: // Domen.com/index.html
    • http://domen.com/index.php
    • http://www.domen.com/index.php

    Чтобы указать роботам поисковых систем оригинальную версию страницы, необходимо перенаправить на нее все остальные адреса, являющиеся ее копиями.

  3. Неправильная реализация SSL-сертификата

    К дублированию контента также может привести отсутствие редиректа, который необходимо настроить после установки SSL-сертификата. Страница с протоколом https и без него — это два разных URL, а значит, роботы поисковых систем посчитают их за две разные версии одного и того же сайта.

    Чтобы не дублировать контент, необходимо:

    • правильно настроить 301 редирект — с http на https для каждой подстраницы;
    • убедиться, что на сайте нет внутренних ссылок с протоколом http, для этого проверьте канонические ссылки, графические файлы, гиперссылки;
    • обновить sitemap.xml, создав новый файл с текущими URL-адресами.

Необходимо также добавить версию сайта с протоколом https в Google Search Console и отправить обновленный файл sitemap.xml.

Неоптимизированные страницы сортировки и фильтрации

Неправильная оптимизация сортировки и фильтрации также приводит к появлению дублей. Почему так? Обратите внимание, что сортировка и фильтрация изменяют только ту часть сайта, где размещены товары, само содержимое остается прежним. Если при перезагрузке страницы добавляется параметр сортировки или фильтра, создаются ее копии.

Как решить проблему с копированием контента

Самый простой способ — использовать тег rel = canonical. Однако страницы фильтрации и сортировки могут по-прежнему отображаться в результатах поиска. Если нужно убрать их из индекса, нужно использовать метатег noindex.

Другой способ — запретить индексирование сортировки и фильтрации в файле robots.txt. Для этого используют директиву, которая блокирует доступ роботам поисковых систем к определенным страницам. Это также позволяет сэкономить краулинговый бюджет.

Прежде чем запрещать поисковикам индексировать определенные страницы, стоит посмотреть, не потеряется ли изрядная доля трафика. Если он все же сократится, то можно оптимизировать их под ключевые слова с хвостами и уже таким способом получать новых посетителей.

Внутренний поиск и копии

Проблемы с дублированием также могут быть связаны с плохо реализованным поиском на сайте. Его использование иногда приводит к созданию новой страницы, то есть дубликата уже существующей, оптимизированной под поисковый запрос. Чтобы решить проблему, нужно добавить в файл robots.txt директивы, которые закроют доступ роботам к страницам внутреннего поиска.

неоптимизированные страницы пагинации

Неоптимизированные страницы пагинации

Пагинация используется для разделения содержимого страницы на несколько частей и размещения их на отдельных подстраницах. Это могут быть товары, статьи в блоге, огромный список категорий и мн. др.

Проблемы, которые возникают из-за неоптимизированной пагинации:

  1. Одинаковый контент

    Если пагинация неоптимизированная, на каждой новой странице будет отобраться тот же самое содержимое, что и на первой.

  2. Без различия тегов заголовков

    При создании новой страницы автоматически устанавливаются заголовки страниц. Нужно сделать так, чтобы в названии добавлялось какое-либо примечание. Чаще всего добавляют номер страницы.

  3. Дубликат первой страницы

    Бывает, что первая страница доступна по двум разным адресам. Например, главная категории domain.ua/kategorii и страница с нумерацией пагинации domen.ua/kategorii -1. Эти два адреса имеют идентичное содержимое, то есть один из них — дубль. В этой ситуации лучше всего удалить повторяющуюся страницу и выполнить 301-редирект на ее основной адрес.

Создавая пагинацию на сайте, сразу проследите за тем, чтобы не генерировались дубли.

Неправильная реализация языковых версий

На сайте с разными языковыми версиями появляются дубли из-за отсутствия переводов для каждой из них. Например, в английской текст публикуется полностью или частично на украинском языке. Чтобы предотвратить появление дублей, необходимо как можно быстрее перевести контент на язык, соответствующий конкретной стране. Также нужно в нужно указать атрибуты hreflang (в HTML-тегах, ХML-картах и HTTP-заголовках) и alternate (в теге link) на всех страницах. Благодаря им поисковые системы будут знать, что у сайта несколько языковых версий.

как создается внешнее дублирование

Как создается внешнее дублирование

Внешнее дублирование не всегда связано с воровства контента. Случаи бывают разные, поэтому мы рассмотрим их подробнее.

Копирование описаний товаров с сайтов производителей

Копипаст описаний продуктов — распространенная практика. Однако мало, кто задумывается, что копирование текста с сайта производителя может обернуться проблемой. Если товаров сотни и создавать для каждого из них уникальное описание не хочется, тогда нужно сделать его для приоритетных позиций. Учитывая, что с сайтов производителей копируют многие, то у вас в таком случае появится как минимум одно преимущество перед конкурентами. Уникальный контент больше ценится поисковиком, соответственно, у такого сайта возрастает вероятность получить место повыше.

Размещение описаний на сайтах сравнения цен

Тут все просто. Чтобы избежать дублирования контента, нужно подготовить отдельные уникальные описания.

Создание нескольких похожих или одинаковых сайтов

Дубли могут появиться при наличии субдомена, то есть версии сайта, созданной, например, под конкретный регион. Контент в таком случае копируется с основной страницы. Поэтому если появилась необходимость в создании субдомена, нужно также написать новые тексты.

Выводы

С проблемой дублированного контента сражаются многие. Иногда дубли возникают там, где их никто не ожидает, поэтому нужно всегда просматривать сайт на их наличие. А чтобы предупредить их появление, необходимо создавать уникальный контент для каждой страницы.

КОМПЛЕКСНЫЙ АУДИТ САЙТА
Профессиональный комплексный аудит сайта - глобальный анализ вашего проекта ✔ Подробный отчет с перечнем ошибок и рекомендаций для улучшения ✔ Увеличение конверсий
Получить консультацию
Наш менеджер свяжется с Вами в ближайшее время

Добавить комментарий
Напишите комментарий *
Ваше имя *
Электронная почта *
Продвигаете сайт и нет результата?
Мы проведем бесплатный экспресс аудит вашего сайта и укажем основные причины низкого ранжирования.
Номер телефона
Электронная почта
Адрес сайта