Дубли страниц редирект: как быстро найти их и удалить, основные способы и методы — руководство от SEO.RU

Канонический — термин, восходящий к римско-католической традиции, где был составлен список священных книг, которые были приняты как подлинные.Они были известны как канонические Евангелия Нового Завета. Ирония заключается в том, что Римско-католической церкви потребовалось около 300 лет и многочисленные сражения, чтобы составить этот канонический список, и в конечном итоге они выбрали четыре версии одной и той же истории …

Выявление проблем с дублирующимся содержимым

Вы можете не знать, есть ли у вас проблема с дублированием контента на вашем сайте или с вашим контентом. Использование Google — один из самых простых способов обнаружить повторяющийся контент.

Есть несколько поисковых операторов, которые очень полезны в подобных случаях.Если вы хотите найти на своем сайте все URL-адреса, содержащие ваше ключевое слово X статья, введите в Google следующую поисковую фразу:

 site: example.com intitle: "Ключевое слово X"
 

Google покажет вам все страницы на example.com, содержащие это ключевое слово. Чем конкретнее вы сделаете как часть запроса , тем легче будет отсеять повторяющийся контент. Вы можете использовать тот же метод для выявления дублированного контента в Интернете. Предположим, что полное название вашей статьи было «Ключевое слово X — почему это круто» , вы должны искать:

 intitle: «Ключевое слово X - почему оно круто»
 

И Google предоставит вам все сайты, соответствующие этому названию.Иногда стоит даже поискать одно или два полных предложения из статьи, так как некоторые парсеры могут изменить заголовок. В некоторых случаях, когда вы выполняете такой поиск, Google может отображать подобное уведомление на последней странице результатов:

Это признак того, что Google уже «исключает дублирование» результатов. Это по-прежнему не очень хорошо, поэтому стоит нажать на ссылку и просмотреть все остальные результаты, чтобы узнать, можно ли исправить некоторые из них.

Подробнее: Сделай сам: проверка дублированного контента »

Практические решения для дублирования контента

После того, как вы определились, какой URL является каноническим для вашего контента, вы должны начать процесс канонизации (да, я знаю, попробуйте произнести это вслух трижды и быстро).Это означает, что мы должны сообщить поисковым системам о канонической версии страницы и позволить им найти ее как можно скорее. Существует четыре метода решения проблемы в порядке предпочтения:

1. Отсутствие дублирования контента
2. Перенаправление дублированного контента на канонический URL
3. Добавление элемента канонической ссылки на дублированную страницу
4. Добавление HTML-ссылки с дублированной страницы на каноническую страницу

Предотвращение дублирования контента

Для некоторых из перечисленных выше причин дублирования контента есть очень простые решения:

• Есть ли в ваших URL идентификаторы сеанса?
  Часто их можно просто отключить в настройках вашей системы.
• У вас есть дубликаты страниц для печати?
  Это совершенно не нужно: вы должны просто использовать таблицу стилей печати.
• Используете ли вы разбивку на страницы комментариев в WordPress?
  Вы должны просто отключить эту функцию (в настройках »обсуждение ) на 99% сайтов.
• Ваши параметры в другом порядке?
  Попросите вашего программиста создать сценарий, который всегда помещает параметры в одном и том же порядке (это часто называют фабрикой URL-адресов).
• Есть ли проблемы с отслеживающими ссылками?
  В большинстве случаев вы можете использовать отслеживание кампании на основе хэш-тегов вместо отслеживания кампании на основе параметров.
• Есть ли у вас проблемы с WWW или без WWW?
  Выберите один и придерживайтесь его, перенаправив одно другому. Вы также можете установить предпочтение в Инструментах Google для веб-мастеров, но вам нужно будет заявить права на обе версии доменного имени.

Если проблему решить не так просто, возможно, стоит приложить усилия.Целью должно быть предотвращение появления дублированного контента в целом, потому что это, безусловно, лучшее решение проблемы.

301 Перенаправление дублированного контента

В некоторых случаях невозможно полностью запретить системе, которую вы используете, создавать неправильные URL-адреса для содержания, но иногда их можно перенаправить. Если для вас это не логично (что я могу понять), помните об этом, разговаривая со своими разработчиками. Если вы используете или , чтобы избавиться от некоторых проблем с дублированным контентом, убедитесь, что вы перенаправляете все старые URL-адреса дублированного контента на правильные канонические URL-адреса.

Использование ссылок

Иногда вы не хотите или не можете избавиться от повторяющейся версии статьи, даже если знаете, что это неправильный URL. Чтобы решить эту конкретную проблему, поисковые системы ввели элемент канонической ссылки. Он находится в разделе вашего сайта и выглядит так:

В разделе href канонической ссылки вы помещаете правильный канонический URL-адрес вашей статьи.Когда поисковая система, поддерживающая каноническую версию, находит этот элемент ссылки, она выполняет мягкое перенаправление 301, передавая большую часть значения ссылки, собранной этой страницей, на вашу каноническую страницу.

Этот процесс немного медленнее, чем переадресация 301, поэтому, если вы можете просто выполнить переадресацию 301, это было бы предпочтительнее, как сказал Джон Мюллер из Google.

Продолжайте читать: rel = canonical • Что это такое и как (не) использовать »

Возврат к исходному содержанию

Если вы не можете сделать что-либо из вышеперечисленного, возможно, потому, что вы не контролируете раздел сайта, на котором отображается ваш контент, добавление обратной ссылки на исходную статью поверх или под статьей всегда отличная идея.Вы можете сделать это в своем RSS-канале, добавив в него обратную ссылку на статью. Некоторые парсеры отфильтровывают эту ссылку, а другие могут оставить ее. Если Google обнаружит несколько ссылок, указывающих на вашу исходную статью, он довольно скоро определит, что это настоящая каноническая версия.

Заключение: дублирующийся контент можно исправить, и его необходимо исправить

Повсюду встречается дублированный контент. Я еще не встречал сайта с более чем 1000 страниц, на котором не было бы хотя бы крошечной проблемы с дублированием контента.Это то, за чем нужно постоянно следить, но это поправимо, и награды могут быть многочисленными. Ваш качественный контент может взлететь в рейтинге, просто избавившись от дублированного контента с вашего сайта!

Оцените свою техническую пригодность к SEO

Исправление дублированного контента — важная часть вашего технического SEO. Хотите знать, насколько соответствует техническая SEO вашего сайта? Мы создали технический тест на пригодность для SEO, который поможет вам понять, над чем вам нужно работать!

Читайте дальше: Rel = canonical: Полное руководство »

Йост де Валк — основатель и директор по продуктам Yoast.Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.

Полное руководство по удалению дублирующегося контента с вашего сайта

В футболе судья показывает красную карточку, когда замечает пенальти. С Google штраф за дублирующийся контент может полностью разрушить вашу стратегию SEO.

По большей части ваш успех в маркетинге зависит от стратегии SEO .

Если вы подниметесь в рейтинге, то ваш веб-сайт и бизнес выиграют от трафика, лидов, и конверсий.

Если вы этого не сделаете, тогда вы либо посмотрите на другие методы маркетинга , либо попытаетесь усерднее.

Но, конечно, не только вы хотите попасть в первую десятку результатов Google.

Эти первые места приносят большой доход вашему бизнесу. Итак, вы знаете, что они очень конкурентоспособны.

Это означает, что вам нужно использовать все возможные SEO-сигналы.

И вы знаете, что не хотите штрафов. В спорте вам, возможно, придется посидеть несколько минут. Но в бизнесе штрафы могут снизить ваши шансы привлечь клиентов.

Органический поисковый трафик гораздо более распространен, чем платный поиск. , а Google находится на вершине рейтинга поисковых систем.

Другими словами, если вы действительно хотите извлечь выгоду из SEO, сосредоточьтесь на Google.

К сожалению, сосредоточиться на Google недостаточно для автоматического повышения вашего рейтинга.

Помните, что почти каждый маркетолог, обладающий хотя бы малейшими знаниями в области SEO, пытается повысить свой рейтинг.

Фактически, 78% маркетологов B2B регулярно практикуют SEO в качестве маркетинговой стратегии.

Это имеет смысл, если задуматься. Преимущества SEO хорошо известны и широко распространены.

Каждый маркетолог пытается получить свой кусок пирога. Включая себя.

Это означает, что для победы нужно быть умнее, быстрее и лучше их.

Потому что этот пирог включает , 61% более дешевых лидов, и 70% переходов по ссылкам.

Меньше всего вам хочется отставать. Вы же не хотите, чтобы все остальные веб-сайты в вашей отрасли рвались вперед, пока вы отстаете.

Тогда все ваши конкуренты побеждают SEO-потенциал — а вы проигрываете.

Это не рецепт успеха.

Но какое отношение все это имеет к дублированному контенту?

Что ж, дублированный контент может повредить вашему рейтингу, если вы его игнорировать, и улучшить ваш рейтинг, если вы его исправите.

На самом деле, дублированный контент может быть вашим билетом на вершину поисковой выдачи.

Может быть, вы слышали, как ваши друзья говорили о дублировании контента.

Или, может быть, вы впервые слышите о ней в этой статье.

Скорее всего, вы слышали этот термин, но все еще немного запутались. Это нормально. Я был немного сбит с толку, когда несколько лет назад впервые узнал о дублированном контенте.

Потерпите меня, и я помогу вам понять, что такое дублированный контент и почему это так важно.

По сути, дублированный контент — это именно то, на что он похож.

Это дубликат уже существующей страницы. И это сильно сбивает с толку поисковые системы.

Когда поисковая система видит несколько страниц с повторяющимся содержанием, она должна решить, какую из них ранжировать .

Естественно, вы не хотите, чтобы он сделал неправильный выбор.

Каждый повторяющийся фрагмент контента имеет немного другой URL. И хотя вы можете увидеть одно и то же, Google и другие поисковые системы видят несколько разных страниц.

Из-за этого у них разный рейтинг, SEO и даже авторитет страницы .

Это не только выглядит беспорядочно, но и может навредить SEO страницы, которую вы хотите ранжировать.

Конечно, вы можете подумать, что попадание на несколько позиций в поисковой выдаче приносит вам пользу, но действительно ли это?

Что, если, например, вы могли бы объединить SEO-сок этих двух страниц, чтобы повысить рейтинг одной страницы?

Было бы здорово, правда?

Что ж, позже в этой статье я покажу вам, как это сделать.

Что касается дублированного контента, вот что говорит Google :

«Дублированный контент обычно относится к основным блокам контента внутри или между доменами, которые либо полностью соответствуют другому контенту, либо в значительной степени похожи. В основном, это не обман по своему происхождению ».

И они определенно правы насчет отсутствия обмана.

Вы не пытаетесь никого обмануть дублированием содержания. Вы, вероятно, даже не подозревали, что на вашем сайте может быть дублированный контент.

Часто вы не создаете его намеренно, но он как бы создает себя.

Если вы хотите проверить свой домен на дублирование контента, вы можете использовать этот инструмент для этого .

Просто введите URL-адрес, который хотите проверить, и нажмите «Выполнить проверку».

Затем на следующей странице будет показано, сколько существует дубликатов страниц введенного вами URL.

Как видите, в настоящее время в Интернете имеется восемь дублированных фрагментов контента для введенного мной URL.

Теперь, когда вы понимаете, что такое дублированный контент и как его найти на собственном веб-сайте, давайте поговорим о том, почему он существует и почему он появляется.

Возможно, самая запутанная часть дублированного контента — это то, почему он вообще появляется.

В большинстве случаев вы не пытались намеренно создать копию одной из уже существующих страниц.

И все же на многих сайтах дублируется контент.

Итак, что его создает и откуда?

Здесь я собираюсь показать вам несколько причин неприятного дублирования контента.

Первый способ обнаружения дублированного контента — это когда веб-сайт использует систему URL-адресов, которая создает несколько версий одной и той же страницы.

Страница выглядит идентично всем ее вариантам, но URL-адрес немного отличается.

Примерно так, например.

Другой пример этого — когда у вас есть один URL страницы с HTTPS, а другой — нет.

Эти страницы больше не одни и те же, а дубликаты друг друга.

Этот выглядит так .

Другой способ непреднамеренного создания дублированного содержимого — публикация версии для печати или HTML уже существующей страницы.

Это отлично подходит для того, чтобы позволить людям распечатывать ваш контент, но не только для вашего SEO и предотвращения дублирования контента.

Конечно, это лишь несколько способов, которыми вы или ваша система создаете дублированный контент.

Но есть много разных способов, как это происходит.

Динамические URL-адреса, старые и забытые версии страницы, распространение контента и идентификаторы сеанса — вот еще несколько причин, по которым страницы с дублированным контентом попали в цифровой мир .

Надеюсь, теперь у вас есть хорошее представление о том, что такое дублированный контент и что его создает.

Но теперь мы обращаем внимание на один из самых важных вопросов о дублировании контента.

Почему это вызывает проблему и насколько она серьезна?

Вы могли этого не знать. Но да, дублированный контент вызывает проблемы.

Вы не поверите, но дублирующийся контент на вашем сайте может повредить вашему SEO-рейтингу.

Но не напрямую. Google фактически заявил, что дублирующийся контент не вредит рейтингу веб-сайта. Но это косвенно сказывается на вашем рейтинге.

Позвольте мне объяснить.

Представьте на мгновение, что у вас есть две страницы с одинаковым содержанием. У одного есть основной URL, а у другого — дубликат.

Теперь, как и в случае, обе страницы имеют свой собственный SEO-сок. Поскольку у них разные URL-адреса, они получали разные обратные ссылки и, следовательно, разные оценки авторитета страницы.

В этом случае у вас есть два варианта.

Оставьте каждого в покое для ранжирования отдельно или комбинируйте их сигналы ранжирования.

Последнее почти всегда лучший вариант, а первое почти всегда ухудшает ваш общий рейтинг для этой страницы.

Просто учтите, что 50% веб-сайтов имеют проблемы с дублирующимся контентом, которые наносят ущерб их поисковой оптимизации.

Причина, по которой дублированный контент вредит вашему SEO, проста.

Когда вы оставляете каждую страницу в покое для ранжирования отдельно от ее дубликата, это похоже на отправку половины своей армии на одну войну, а другую половину на другую.

Вместо этого вы могли бы объединить их силы и выиграть от этого.

Если, например, одна страница — это 3 по шкале от 1 до 10, а дубликат — 4, то их объединение будет 7.

Другими словами, целое намного мощнее отдельных частей.

Если вы оставите решение о том, какие страницы ранжировать, а какие игнорировать, Google, то он может принять неправильное решение.

В идеале вы хотите сообщить Google, какой версии страницы назначить приоритет, а затем направить все ресурсы SEO с дублированных страниц на эту каноническую страницу.

Однако, как и в большинстве случаев в жизни, есть несколько способов сделать это.

Вот три способа, которые я рекомендую.

В большинстве случаев тег rel = canonical — лучший способ перенести SEO-эффект с одной страницы на другую.

По сути, это HTML-тег, который вы можете добавить на определенную страницу, который затем сообщает поисковым системам, что это та страница, которую вы хотите проиндексировать Google.

Затем, когда Google находит какие-либо дубликаты страницы, он относит весь SEO-сок из этих дубликатов к канонической странице.

Это означает, что ваш рейтинг повышается, а страница, которая действительно имеет значение, побеждает.

Это похоже на переадресацию 301, но проще в реализации.

Плюс, при этом старая страница не уходит. Google просто распознает это как копию другой страницы.

Иногда не нужно, чтобы старый дубликат исчез. Вы просто хотите собрать все возможности SEO в одном месте.

Если, например, у вас есть HTML-версия страницы для печати, вы не хотите полностью удалять этот дубликат.

Но вы также не хотите, чтобы он в рейтинге.

Для этого отличным решением будет тег rel = canonical.

Вот как это выглядит в коде вашего веб-сайта.

И еще раз .

Если вы используете веб-сайт WordPress, добавить этот тег довольно просто.

Прежде всего, есть несколько плагинов, которые позволят вам сделать это с легкостью. Вы можете просмотреть некоторые из этих здесь .

Если вы хотите сделать это вручную для своего основного домена, просто добавьте этот код в заголовок вашего шаблона темы .

Просто не забудьте заменить часть «bybe.net» на свой собственный URL.

Тогда Google будет знать, на какую страницу отправлять весь этот дубликат SEO, и ваш рейтинг сразу же улучшится.

Иногда вам не нужно, чтобы дубликат вашей веб-страницы оставался на виду.

Может быть, вы хотите, чтобы существовала только основная версия страницы, а эти дубликаты просто загромождают ваше онлайн-пространство и атмосферу вашего посетителя.

Тем не менее, вы, вероятно, хотите, чтобы основная страница извлекала выгоду из SEO-сока ее дубликатов.

Но разве такое возможно? Чтобы уничтожить повторяющиеся страницы и при этом повысить SEO на основной странице?

Да. Да, это так.

И это возможно благодаря 301 редиректу.

Эти щенки позволяют вам сообщать поисковым системам, что всякий раз, когда кто-то пытается посетить страницу A, вы хотите, чтобы они отправляли этих людей на страница B вместо .

Однако переадресация 301 по-прежнему не удаляет страницу A.Вместо этого он просто перенаправляет посетителей на страницу B.

Другими словами, никто никогда не сможет увидеть страницу A, но она по-прежнему помогает странице B повысить рейтинг.

Поскольку он не удаляется, весь его SEO-ресурс автоматически присваивается странице, на которую выполняется перенаправление.

И поисковые системы точно знают, что делать, если вы 301 перенаправляете страницу.

Однако будьте осторожны при использовании перенаправления 302. Это только временные переадресации, тогда как 301 редирект является постоянным.

Вот как поисковая система вычисляет редирект 301.

Если вы решите, что переадресация 301 — правильный выбор для вашей ситуации с дублированным контентом, то вот список различных плагинов WordPress , которые вы можете использовать для создания переадресации.

Для WordPress самый простой и безопасный вариант — плагин.

К сожалению, иногда очень торопишься.

Хотя я не рекомендую использовать пассивные параметры в долгосрочной перспективе, это может быть полезной краткосрочной стратегией.

Когда вы устанавливаете определенные URL-адреса как пассивные для Google, это означает, что робот-сканер Google игнорирует этот URL-адрес.

Понятно, что это может помочь удалить дублирующийся контент.

Если у вас есть несколько странных и беспорядочных результатов, отображаемых в поисковой выдаче, вы можете просто быстро удалить некоторые из них.

Однако, возможно, ваша команда разработчиков слишком занята, чтобы добавить теги rel = canonical к сотням различных страниц, а затем указать их в правильном направлении.

В конце концов, это огромная работа, и ваша команда разработчиков уже достаточно занята.

Если вы хотите пометить некоторые страницы как пассивные, перейдите в Google Search Console и нажмите «Параметры URL» в левой части экрана.

Затем нажмите «Добавить параметр».

Введите URL страницы, которую вы хотите пометить как пассивную, а затем выберите «Нет: не влияет на содержание страницы (например, отслеживает использование)».

Нажмите «Сохранить», и этот URL будет теперь помечен как пассивный в результатах поиска Google.

Это означает, что он не может отображаться, когда люди ищут ваш сайт.

Это может быть полезно, когда ваша команда разработчиков занята или когда вас не беспокоят потенциальные преимущества для SEO при связывании этой страницы с другим каноническим URL.

Это, конечно же, провал этой стратегии.

URL-адрес, который вы храните, не получает преимуществ SEO от дубликатов, которые существуют в настоящее время.

Однако это может быть не такой уж большой проблемой, если дубликаты, которые вы удаляете из глаз Google, являются новыми или имеют очень низкий авторитет страницы.

В таком случае это может быть одним из лучших решений для удаления дублированного контента из вашего домена.

Если, однако, это временное решение, призванное помочь занятой команде разработчиков, обязательно вернитесь и используйте тег rel = canonical или 301 редирект, когда у вас будет время.

Уф. Это было много.

Но теперь вы понимаете, что такое дублированный контент, почему он появляется, почему это проблема и даже как его можно безопасно удалить.

Потому что вот чего вы не хотите.

Вы не хотите, чтобы весь этот дублированный контент вредил вашему SEO, и вы определенно не хотите удалять его неправильно и еще больше вредить вашему SEO.

Помните о трех упомянутых мною здесь стратегиях при удалении дублированного контента и выберите ту, которая лучше всего соответствует вашим текущим потребностям.

Тег rel = canonical лучше всего подходит почти во всех случаях, но это может занять приличное количество времени, если вам нужно исправить много страниц.

Редирект 301 отлично подходит, если вы хотите, чтобы посетители не могли просматривать дублированный контент, но при этом имели преимущество первичной страницы за счет SEO дублирования.

Помните, однако, что это решение займет у вас больше всего времени из всех возможных.

А пассивные параметры могут быть отличным краткосрочным решением, если у вас в настоящее время нет времени на настройку переадресации 301 или тегов rel = canonical.

Но одно можно сказать наверняка.

Если вы не имеете дело с дублирующимся контентом на своем веб-сайте, это может повредить вашему рейтингу и, следовательно, вашему бизнесу.

Не позволяйте этому случиться.

Какую стратегию вы используете для удаления дублированного контента из своего домена?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Двойные неприятности: дублирование контента, что можно и чего нельзя

От классической литературы до видеоигр и телешоу — образ «злых близнецов» можно найти практически в каждом жанре и среде. Доктор Джекил и мистер Хайд, Тень Марио, злой Спок — кто мог забыть эту бородку? Список, казалось бы, бесконечен.

В мире SEO тоже есть своя версия злых близнецов: дублированный контент. Хотя это не совсем злой , он может вызвать более чем изрядную долю проблем, ослабляя мощность ссылок, понижая рейтинг в поиске и создавая некачественный пользовательский опыт.Чтобы избежать этих проблем, ознакомьтесь с тем, что можно и чего нельзя делать при дублировании контента.

• Основы:
• Дозировка дублированного контента:
• Запрещается дублировать контент:

Что такое дублированный контент?

В издательском мире первая версия книги называется рукописью . Каждая версия, напечатанная после утверждения рукописи, известна как копия , потому что это копия оригинала.

Дублированный контент — это интернет-версия этой концепции.Каждый раз, когда статья публикуется на нескольких сайтах или рекламное объявление повторяется на нескольких страницах, это дублированный контент в действии.

Такое дублирование не является плохим по своей сути и может быть даже полезным — кто бы не захотел, чтобы выделяющаяся статья была опубликована на многочисленных сайтах, чтобы повысить узнаваемость бренда и укрепить авторитет одним махом? Одна статья Business Insider , например, появляется на нескольких авторитетных сайтах:

Тем не менее, при подключении поисковых систем могут возникнуть проблемы.В то время как ни один читатель не принял бы свою современную копию Hamlet за оригинальную рукопись многовековой давности, поисковым системам часто бывает трудно определить, какая версия фрагмента контента появилась раньше.

В результате, если вы хотите максимизировать поисковый рейтинг и привлечь посетителей, вам нужна стратегия для решения проблем, связанных с дублированием контента.

Зачем изучать стратегии SEO для дублирования контента?

Мэтт Каттс, бывший руководитель отдела качества поиска Google, однажды оценил, что от 25 до 30 процентов из всего веб-контента дублируются.Если это так, то в чем проблема?

Для большинства пользователей Интернета его нет. Например, увидеть одно и то же описание продукта на нескольких веб-сайтах — это нормально, хотя и повторяется. Однако для SEO-профессионалов дублированный контент может помешать более высокому рейтингу.

Предположим, статья опубликована в небольшом блоге, а затем передана в более крупную публикацию. Поскольку сайт более крупной публикации получает больше трафика и вовлеченности, чем небольшой блог, Google может просматривать синдицированные (т.д., дубликат) как лучшую для отображения в результатах поиска. Если вы пытаетесь оптимизировать блог для рейтинга в поисковых системах, это серьезный камень преткновения.

К счастью, вы можете полностью избавиться от недостатков дублированного контента, используя правильную комбинацию хитрых стратегий.

Дублированный контент Dos

Чтобы избежать потери авторитета и рейтинга из-за дублирования контента, вам пригодится тактика SEO. Do :

Регулярная проверка дублирующегося содержимого

Первым шагом к принятию контроля является определение того, существует ли и где вообще существует дублированный контент.

Copyscape предлагает один из самых простых способов сделать это. Введите URL любой страницы, и вы сможете увидеть, где ее содержание также появляется в Интернете. Премиум-аккаунт требуется для выполнения более пары поисков в месяц или просмотра более десяти результатов.

Например, одна статья Forbes также появляется на нескольких других сайтах:

Дочерний сайт Copyscape, Siteliner, можно использовать для поиска внутреннего дублированного содержания.

Ищете бесплатную альтернативу Copyscape? Проверяйте дублированный контент старомодным (и бесплатным) способом с помощью удобной подсказки Google Поиска: скопируйте часть содержания страницы и вставьте ее в поиск Google в кавычках. Google ограничивает поисковые запросы 32 словами, поэтому вам нужно выбрать только одно или два уникальных предложения.

Или используйте бесплатную версию Screaming Frog для сканирования сайта на предмет дублирования контента (если вы хотите просканировать более 500 URL-адресов, вам нужно будет перейти на платную версию).

Используйте канонический тег

Независимо от того, синдицируется ли часть контента на внешних сайтах или дублируется внутри, канонический тег может напрямую указывать поисковым системам, какая страница является канонической (т. Е. Исходной) версией.

Этот один элемент HTML может существенно повлиять на рейтинг исходной страницы, но занимает только одну строку кода:

Скопируйте и вставьте его в

Канонический тег работает и для внешних веб-сайтов.Перед публикацией гостевой записи на другом сайте или распространением контента просто попросите владельца сайта добавить тег в HTML-код страницы.

Узнайте, как работает ваша система управления контентом

Если вы используете систему управления контентом (CMS), она может дублировать контент прямо у вас под носом.

Это может произойти по ряду причин — возможно, CMS автоматически копирует каждую статью в архив, или, может быть, она отображает большие части содержания сообщения на главной странице блога.

В любом случае стоит убедиться в правильности канонизации. Многие настройки CMS включают возможность автоматического добавления канонического тега ко всем повторяющимся страницам — возьмите, например, канонические настройки HubSpot:

. Когда вы ознакомитесь с инструментами SEO для дублирования контента в вашей CMS, вы можете соответствующим образом изменить их настройки. и навсегда отметьте этот пункт в своем списке дел.

Используйте переадресацию 301 как эксперт

Канонический тег — не панацея от дублирования контента.Вы также можете использовать 301 редирект, чтобы указать поисковым системам на исходную версию страницы. Хотя переадресация 301 применима не во всех ситуациях, она идеальна, когда вы:

• переносите сайт из одного домена в другой;
• изменение структуры сайта;
• прекращение поддержки страницы; или
• объединение или преобразование содержимого.

301 редирект также полезен для работы с несовместимыми URL-адресами. Например, возможно, ваш сайт доступен как с https: // www.example.com и example.com.

Вы можете создать 301 редирект одним из нескольких способов. Если сайт работает на Apache, вам потребуется отредактировать файл .htaccess . Если вы не хотите разбираться в тонкостях сервера сайта (мы вас не виним), вы можете попробовать более простой метод. Простые варианты включают:

• плагины WordPress, такие как SEOPress и Redirection; и
• встроенных настроек перенаправления на таких платформах, как HubSpot, Squarespace, Shopify и Wix.

Нельзя допускать дублирование контента

Чтобы эти подлые дубли не мешали вашим усилиям по поисковой оптимизации, не запрещает :

Создавать цепочки переадресации

Если цепочка переадресации достаточно длинная, сканеры поисковых систем могут просто отказаться от поиска последней страницы в цепочке.

Избежать этой проблемы достаточно просто — постарайтесь не создавать ненужные перенаправления и не добавлять существующие. Но как найти существующие цепочки переадресации и управлять ими?

Такие инструменты, как Screaming Frog и Semrush’s Site Audit, позволяют легко идентифицировать цепочки переадресации.

В Semrush сначала щелкните вкладку «Проблемы», откройте раскрывающееся меню «Выберите проблему» и нажмите «Перенаправить цепочки и циклы»:

Screaming Frog предлагает аналогичное решение.Начните с открытия паука SEO и сканирования URL. Затем наведите указатель мыши на вкладку «отчеты», наведите указатель мыши на «перенаправления» в раскрывающемся меню и нажмите «цепочки переадресации:»

Чрезмерное использование тега

Google поддерживает ряд специальных метатегов, в том числе для предотвращения автоматический перевод страниц, указывающий на удобство использования для мобильных устройств и подтверждающий право собственности.

Одним из наиболее распространенных является тег noindex , который не позволяет роботу Googlebot проиндексировать данную страницу.Добавив тег noindex на неканоническую страницу, вы гарантируете, что Google индексирует только каноническую версию.

Звучит как идеальное решение, не так ли? Не совсем. Даже страницы с дублированным контентом могут иметь ссылочное равенство, и оно будет улетучиваться в канализацию с добавлением тега noindex .

Сохраните тег noindex для таких вещей, как страницы с благодарностью, страницы администратора и результаты внутреннего поиска, и используйте канонический тег или 301 редирект для работы с дублирующимся контентом.

Публикация страниц-заполнителей

Страницы-заполнители или заглушки используются для макета и тестирования структуры сайта перед добавлением содержимого этих страниц.

Хотя они могут быть полезны администраторам веб-сайтов для решения проблем с навигацией, страницы-заполнители не более чем раздражают посетителей сайта. Если вы нажали на интересную ссылку только для того, чтобы получить сообщение «скоро», вы тоже можете быть раздражены.

Несколько страниц-заполнителей также могут отрицательно повлиять на рейтинг сайта.Google беспристрастно рассматривает страницы низкого качества, и то же самое относится к страницам, не содержащим оригинального или полезного контента.

Чтобы обойти эти проблемы, Google рекомендует вообще не публиковать их. Если вы решите использовать их с по , добавьте тег noindex , чтобы они не влияли на рейтинг.

Копирование и вставка длинного шаблонного содержимого

На некоторых веб-сайтах контактная информация, политика конфиденциальности и аналогичные стандартизированные фрагменты текста часто добавляются в нижний колонтитул каждой страницы.Это называется шаблонным содержанием, названным в честь штампованных стальных пластин, которые когда-то использовались газетами для печати повторяемых или синдицированных копий (по сравнению с этим напечатать сообщение в блоге кажется простым!).

Хотя шаблонное содержание сайта обычно содержит важную и необходимую информацию, поисковые системы могут рассматривать его как дублированный контент, если он слишком длинный. Сведите к минимуму шаблонный текст и просто сделайте ссылку на любые страницы, содержащие политику конфиденциальности, контактную информацию и т. Д.

Например, шаблонное содержание нашего собственного веб-сайта состоит из краткого уведомления об авторских правах, ссылки на условия использования сайта и ссылки на политика конфиденциальности:

Сохраняя шаблонное содержание сайта коротким и понятным, вы также можете поддерживать чистый, эстетичный дизайн и не показывать пользователям блок юридического текста на каждой странице.

Overlook Product Information

Сайты, продающие продукты, будь то B2B или B2C, обычно включают большое количество описаний и спецификаций продуктов. Само по себе это не проблема, но может вызвать проблемы с производительностью и рейтингом, если одна и та же информация о продукте копируется на нескольких платформах.

Например, веб-сайт может попытаться использовать Pinterest SEO, разместив свои продукты в виде значков. Страница West Elm в Pinterest содержит множество списков товаров для покупок, в том числе один для их оттоманки Remi:

Однако перейдите на страницу продукта той же пуфик на собственном сайте West Elm, и вы увидите, что описание продукта почти идентично text:

Хотя размещение одних и тех же описаний продуктов на одной или двух других платформах, скорее всего, не вызовет каких-либо проблем, слишком частое выполнение этого может привести к тому, что эти описания будут рассматриваться как дублированный контент.Кроме того, если сторонняя страница (в данном случае булавка на пуфике Реми) привлекает больше посетителей и привлекает больше посетителей, чем собственная страница продукта, она может в конечном итоге занять более высокое место в результатах поиска.

Неудобно.

Чтобы избежать дублирования контента, и предоставляют клиентам множество уникальных копий, поменяйте описания продуктов на разных платформах.

Существует ли штраф за дублирование контента?

Специалисты по поисковой оптимизации давно обсуждают, наказывает Google за дублирование контента или нет.Как оказалось, Google уже много лет пытается развеять миф о наказании за дублирование контента. Как пояснила Сьюзан Москва в Центральном блоге для веб-мастеров, «не существует такого понятия, как« штраф за дублирование контента »».

Это потому, что дублированный контент редко бывает вредоносным или специально предназначен для манипулирования рейтингом. В редких случаях Google может наложить штраф. Но , а не будет наказывать сайт за простое дублирование контента.

Как вы помните, Мэтт Каттс из Google сказал, что от 25 до 30 процентов всего веб-контента дублируется.Если за дублированный контент будут наложены штрафы , триллионы страниц упадут в выдаче, и в результате пострадает пользовательский опыт Google.

Так что забудьте о попытках найти какое-то секретное кольцо декодера дублированного контента SEO. Вместо несуществующего штрафа сосредоточьтесь на консолидации для достижения более высоких позиций.

От Double Trouble к Dream Team

Когда дублированный контент выходит из-под контроля, он определенно может показаться неприятным, как злой близнец. От менее чем идеального рейтинга до нестандартного пользовательского опыта — слишком много хорошего может привести к серьезным головным болям в области SEO.

Освойте основные правила, которые можно и чего нельзя делать в отношении дублированного контента, и трансформируйте идентичные фрагменты контента из Jekyll and Hyde в The Parent Trap . Если вы не Мередит Блейк, в этом нет ничего дурного.

Изображение предоставлено
Скриншоты автора / июль 2020 г.
HubSpot / июль 2020 г.
Semrush / июнь 2017 г.

Что такое дублирующийся контент для SEO

Что такое дублированный контент?

Дублированное содержимое возникает, когда большой блок текста на одной странице очень похож или полностью совпадает с блоком текста на другой странице.Google применяет формальные санкции за дублирование контента, помечая его как спам и принимая меры против страницы или сайта. Контент будет помечен как спам, если будет очевидно, что он был намеренно скопирован или сайт намеренно рассылает пользователям спам.

Но дублированный контент не всегда копируется намеренно. Google приводит несколько примеров не вводящего в заблуждение дублированного контента в своей документации:

• Дискуссионные форумы, которые могут создавать как обычные, так и урезанные страницы, нацеленные на мобильные устройства
• Элементы в интернет-магазине, которые отображаются или связаны с несколькими отдельными URL-адресами
• Версии веб-страниц только для печати

Если ваш веб-сайт создает контент, похожий на контент другой страницы, который не будет автоматически помечен как спам.Если вы приносите пользу своим читателям, то вам, вероятно, не о чем беспокоиться, что касается штрафных санкций для вашего сайта. Вам следует больше беспокоиться о том, как дублирующийся контент может повлиять на ваш канал обычного поиска.

Почему дублированный контент вреден для SEO?

Когда дело доходит до контент-маркетинга и борьбы за ранжирование по ключевым словам, дублированный контент, как правило, является негативным явлением. Если вы хотите ранжировать часть контента, вам нужно предоставить уникальную ценность.

Две вещи, которые вам нужно знать о дублировании контента и SEO:

1.) Если вы случайно создаете дублированный контент или ваш контент похож на другую страницу, это не нанесет серьезного вреда вашему сайту — Google просто оценит страницу, которая была опубликована первой, выше.

2.) Если вы намеренно создаете дублирующийся контент, Google отметит его как спам и примет меры против вас.

Если вы дословно скопируете чужой контент и опубликуете его как свой собственный, Google увидит, что контент другого человека был опубликован первым, и будет считать, что он является автором исходного контента.Google не будет наказывать ваш сайт, но исходный контент будет иметь более высокий рейтинг. Если вы будете делать это неоднократно, Google сочтет вас спамерским сайтом, что может привести к тому, что Google предпримет меры против вас.

Но если вы хотите процитировать фрагменты контента с другого веб-сайта и либо перефразировать, либо процитировать их напрямую, а также предоставить ценность и добавить беседу, Google сможет увидеть, что вы добавили исходный контент к существующему контенту, и вы можете ранжировать его. содержание в результатах поиска Google.Основная цель Google — обеспечить удобство работы пользователей поисковых систем.

Чтобы избежать проблем с дублированием контента, при обращении к контенту других пользователей следует помнить следующее:

1.) Включите URL-ссылку на сайт упомянутого контента (укажите свои источники).

2.) Убедитесь, что вы добавляете новую перспективу или новую информацию к своему контенту.

Если вы будете следовать этим двум принципам, когда будете ссылаться на работу других, то вы гарантируете, что не столкнетесь с проблемами дублирования контента, и улучшите взаимодействие с пользователем.

В приведенном ниже видео Мэтт Каттс из Google объясняет, как Google просматривает дублированный контент и как дублированный контент обрабатывается в результатах поиска. По его словам, около 25-35% Интернета, вероятно, представляет собой дублированный контент, в том числе цитаты и шаблонный текст.

Он говорит: «Дело не в том, что каждый раз, когда появляется дублированный контент, это спам, и если мы сделаем это предположение, то изменения, которые произойдут в результате, вероятно, в конечном итоге ухудшат качество нашего поиска, а не улучшат качество нашего поиска.«

Google не считает, что дублированный контент автоматически является спамом, но Google также не хочет ранжировать два или одни и те же фрагменты контента, потому что это не имеет смысла с точки зрения пользователя.

Если вас беспокоит эффективность SEO и вы хотите ранжировать свой контент на первой странице результатов поиска Google по определенному ключевому слову, вам необходимо убедиться, что контент является оригинальным — или, по крайней мере, предоставляет ценный, оригинальный контент или перспектива.

Используйте эти методы SEO, чтобы избежать проблем с дублированием контента

Иногда дублирование контента возникает по техническим причинам.Для этих случаев существуют определенные технические приемы SEO, которые вы можете использовать для решения проблем с дублированием контента.

Если вы перестроили свой сайт или переделали старую веб-страницу (и изменили URL-адрес), вы можете перенаправить свой пользовательский трафик и трафик ботов, включая роботов поисковых систем, на новый сайт или URL-адрес, используя 301 редирект.

Это не только гарантирует, что ваша новая веб-страница получит такой же трафик, что и старая страница, но также поможет поисковым системам, таким как Google, понять, что эта новая страница является заменой веб-страницей, а не дублированием контента.

По возможности рекомендуется минимизировать количество похожего контента на своем веб-сайте. Это может означать объединение похожих статей в одну более длинную часть содержания или обновление уже существующей статьи новым содержанием. Если вам нужно написать на аналогичную тему и вас беспокоят проблемы с дублированием контента, вы также можете использовать тег rel canonical, чтобы роботы поисковых систем знали, какой странице вы хотите передать рейтинг.

Использовать Rel Canonical Tags:

У вас могут быть страницы с похожим содержанием на вашем сайте по разным причинам. Эти страницы также могут вызывать проблемы с дублированием контента, если вы не гарантируете, что похожий контент помечен относительным каноническим тегом или неканоническим тегом.

Узнайте больше о тегах rel canonical и о том, как их использовать.

Поддерживать согласованность внутренних ссылок

Вот выдержка из документации для разработчиков Google о важности внутренних ссылок во избежание дублирования контента:

Внутренние ссылки выполняют три основные функции — они помогают в навигации по веб-сайту, определяют иерархию веб-сайта и распределяют авторитет страницы и рейтинг.