Разное

Дубли страниц редирект: как быстро найти их и удалить, основные способы и методы — руководство от SEO.RU

06.11.1979

Содержание

как быстро найти их и удалить, основные способы и методы — руководство от SEO.RU

Почему дубли страниц — это плохо?

Дубли — это страницы с одинаковым содержимым, т.е. они дублируют друг друга.

Причины, по которым страницы дублируются, могут быть разными:

  • автоматическая генерация;
  • ошибки в структуре сайта;
  • некорректная разбивка одного кластера на две страницы и другие.

Дубли страниц — это плохо для продвижения и раскрутки сайта, даже несмотря на то, что они могут появляться по естественным причинам. Дело в том, что поисковые роботы хуже ранжируют страницы, контент которых мало чем отличается от других страниц. И чем больше таких страниц, тем больше сигналов поисковым ботам, что это сайт не достоин быть в топе выдачи.

Что происходит с сайтом, у которого есть дубликаты страниц?

  1. Снижается его релевантность.
    Обе страницы с одинаковым контентом пессимизируются в выдаче, теряют позиции и трафик.
  2. Снижается процент уникальности текстового контента. Из-за этого понизится уникальность всего сайта.
  3. Снижается вес URL-адресов сайта. По каждому запросу в выдачу поиска попадает только одна страница, а если таких одинаковых страниц несколько, все теряют в весе.
  4. Увеличивается время на индексацию. Чем больше страниц, тем больше времени нужно боту, чтобы индексировать ваш сайт. Для крупных сайтов проблемы с индексацией могут сильно сказаться на трафике из поиска.
  5. Бан от поисковых систем. Можно вообще вылететь из выдачи на неопределенный срок.

В общем, становится понятно, что дубли никому не нужны. Давайте разбираться, как найти и обезвредить дублирующиеся страницы на сайте.

Как найти дубли страниц?

Кирилл Бузаков,
SEO-оптимизатор компании SEO.RU:

«Когда мы получаем в работу сайт, мы проверяем его на наличие дублей страниц, отдающих код 200. Разберем, какие это могут быть дубли.

Возможные типы дублей страниц на сайте

  1. Дубли страниц с протоколами http и https.

    Например: https://site.ru и http://site.ru

  2. Дубли с www и без.

    Например: https://site.ru и https://www.site.ru

  3. Дубли со слешем на конце URL и без.

    Например: https://site.ru/example/ и https://site.ru/example

  4. Дубли с множественными слешами в середине либо в конце URL.

    Например: https://site.ru/////////, https://site.ru/////////example/

  5. Прописные и строчные буквы на различных уровнях вложенности в URL.

    Например: https://site.ru/example/ и https://site.ru/EXAMPLE/

  6. Дубли с добавлением на конце URL:

    • index.php;
    • home.php;
    • index.html;
    • home.html;
    • index.htm;
    • home.htm.

    Например: https://site.ru/example/ и https://site.ru/example/index.html

  7. Дубли с добавлением произвольных символов либо в качестве нового уровня вложенности (в конце или середине URL), либо в существующие уровни вложенности.

    Например: https://site.ru/example/saf3qA/, https://site.ru/saf3qA/example/ и https://site.ru/examplesaf3qA/

  8. Добавление произвольных цифр в конце URL в качестве нового уровня вложенности.

    Например: https://site.ru/example/ и https://site.ru/example/32425/

  9. Дубли с добавлением «звездочки» в конце URL.

    Например: https://site.ru/example/ и https://site.ru/example/*

  10. Дубли с заменой дефиса на нижнее подчеркивание или наоборот.

    Например: https://site.ru/defis-ili-nizhnee-podchyorkivanie/ и https://site.ru/defis_ili_nizhnee_podchyorkivanie/

  11. Дубли с некорректно указанными уровнями вложенности.

    Например: https://site.ru/category/example/ и https://site.ru/example/category/

  12. Дубли с отсутствующими уровнями вложенности.

    Например: https://site. ru/category/example/ и https://site.ru/example/

Как обнаружить дубли страниц?

Поиск дублей страниц можно произвести разными способами. Если вы хотите собрать все-все дубли и ничего не упустить, лучше использовать все нижеперечисленные сервисы совместно. Но для поиска основных достаточно какого-то одного инструмента, выбирайте, какой вам ближе и удобнее.

  1. Парсинг сайта в специализированной программе

    Для поиска дубликатов подходит программа Screaming Frog SEO Spider. Запускаем сканирование, а после него проверяем дубли в директории URL → Duplicate:

    Кроме того, в директории Protocol → HTTP проверяем страницы с протоколом http — есть ли среди них те, у которых

    Status Code равен 200:

  2. Онлайн-сервисы.

    Первый, подходящий нашим целям сервис, — это ApollonGuru.

    • Выбираем 5-7 типовых страниц сайта. Например, набор может быть таким: главная, разводящая, карточка товара/страница услуги, статья в блоге, а также другие важные страницы в зависимости от типа сайта.
    • Вносим их в поле «Поиск дублей страниц» и нажимаем кнопку «Отправить»:

    • Дубли с 200 кодом ответа сервера (смотрим столбец «Код ответа сервера») берем в работу:

      Кроме того, необходимо проверять, что с дублей настроены прямые 301 редиректы на основные версии этих же страниц.

Также проверка дублей сайта возможна онлайн-сервисом Check Your Redirects and Statuscode, но он подходит только в том случае, если нужно проанализировать один URL-адрес:

  1. Панели веб-мастеров Яндекса и Google.

    Найти дублирующиеся страницы можно с помощью собственных инструментов поисковиков — Яндекс.

    Вебмастера и Google Search Console.

    В Яндекс.Вебмастере анализируем раздел «Индексирование», далее — «Страницы в поиске»:

    Там можно увидеть текущую индексацию сайта и искомые дубли страниц:

    В Search Console анализируем раздел «Покрытие», а именно пункт с исключенными из индекса страницами:

Собираем все дубли в одну таблицу или документ. Затем отправляем их в работу программисту:

Старайтесь подробнее объяснить программисту задачу, так как адресов может быть много».

Как убрать дубли страниц на сайте?

Евгений Костырев,
веб-программист компании SEO.RU:

«С дублирующимися страницами бороться можно разными способами. Если есть возможность, стоит использовать ручной метод. Но такая возможность есть не всегда, потому что здесь нужны серьезные навыки программирования: как минимум, нужно хорошо разбираться в особенностях CMS своего сайта. (.*)index\.(php|html|htm)$ http://site.ru/$1 [R=301,L]

Если же сайт использует Nginx, то правила прописываются в файле nginx.conf. Для перенаправления также нужно прописывать правила с помощью регулярных выражений, например:

location = /index.html {
return 301 https://site.com
}

Вместо index.html можно указать любой другой URL-адрес страницы вашего сайта, с которого нужно сделать редирект.

На этом этапе важно следить за корректностью новой части кода: если в ней будут ошибки, исчезнут не только дубли, но и вообще весь сайт из всего интернета.

Создание канонической страницы

Использование canonical указывает поисковому пауку на ту единственную страницу, которая является оригинальной и должна быть в поисковой выдаче.

Чтобы выделить такую страницу, нужно на всех URL дублей прописать код с адресом оригинальной страницы:

<link rel= “canonical” href= «http://www. site.ru/original-page.html”&gt;

Можно прописывать их вручную, но это займет много времени, поэтому есть смысл использовать плагины. Например, в WordPress это YoastSEO или AllinOneSEOPack.

В 1С-Битрикс это делается с помощью языка программирования PHP в соответствующих файлах. Такая же история и с CMS Joomla: без вмешательства программиста или собственных навыков программирования здесь не обойтись.

Директива Disallow в robots.txt

В файле robots.txt содержатся инструкции для поисковых краулеров, как именно индексировать сайт.

Читать по теме: Как правильно заполнить файл robots.txt: критически важные моменты

Если на сайте есть дубли, можно запретить краулеру их индексировать с помощью директивы:

User-agent: *
Disallow: site.ru/contacts.php?work=225&s=1

Такой способ практически не требует навыков программиста, однако он не подходит, если дублей много: очень много времени уйдет на изменение robots. txt каждого дубля».

Выбирайте способ, исходя из собственных навыков программирования и личных предпочтений, и не давайте поисковикам повод сомневаться в релевантности и качестве вашего сайта.

Дубли страниц на сайте — как найти и удалить

Что такое дубли страниц?

Дубли страниц на сайте — это грубая SEO-ошибка, которая характеризуется тем, что контент одной страницы полностью идентичен содержанию другой. Таким образом, они в точности копируют друг друга, но при этом доступны по разным URL-адресам.

Самые частые причины возникновения дублей:

  1. Не сделан редирект страниц, имеющих адреса с www и без www. В этом случае каждая страница сайта будет дублироваться, так как остается доступной по двум адресам, например:

    http://www.site.ru/page и http://site.ru/page
  2. Страницы сайта доступны по адресу со слэшем и без слэша:

    http://site. ru/page/ и http://site.ru/page
  3. Также URL страницы может быть с .php и .html на конце либо без расширения. Как правило, это связано с особенностями cms (административной панели сайта):

    http://site.ru/page.html и http://site.ru/page; http://site.ru/page.php и http://site.ru/page
  4. Отдельно стоит выделить неполные дубли страниц. В этом случае контент на двух разных страницах не будет идентичным на 100%. Сходство и дублирование может появляться по причине того, что некоторые блоки на сайте являются сквозными — например, это может быть блок о доставке, который отображается на страницах всех товаров.
  5. Некоторые карточки со схожими товарами содержат идентичное описание, что также может рассматриваться как грубая ошибка.
  6. Постраничная пагинация каталога с товарами. В этом случае текст и МЕТА-теги на всех страницах одной категории могут быть одинаковыми.

Как дубли влияют на ранжирование?

Дубли негативно влияют на ранжирование вашего сайта — за наличие дубликатов страниц интернет-ресурс может с большой степенью вероятности подвергнуться пессимизации со стороны поисковых систем.

  1. Яндекс и Google очень трепетно относятся к уникальности контента на web-ресурсах. В случае, если данные на страницах дублируются, они признаются неуникальными. За это на сайт могут быть наложены санкции.
  2. Наличие большого количества дублей страниц сильно усложняет процесс индексации сайта и запутывает поисковых роботов.
  3. Затрудняется продвижение посадочных страниц, так как поисковая система не может выбрать релевантную страницу из двух одинаковых.
  4. Теряется «вес» страниц, поскольку распределяется между двумя одинаковыми документами.

Подробно описывается негативное влияние дублей и методы борьбы с ними в статье Google «Консолидация повторяющихся URL»

Яндекс, в свою очередь, предлагает на эту тему видеоурок «Поисковая оптимизация сайта: ищем дубли страниц», где разъясняется терминология и способы решения проблемы.

Как обнаружить дубли у себя на сайте?

С этим могут возникнуть трудности не только у обладателей больших web-ресурсов, но и у владельцев совсем небольших сайтов, так как некоторые дубли, возникающие из-за особенностей и ошибок CMS, очень сложно обнаружить. Быстро и без лишних трудозатрат найти дубли страниц можно с помощью сервиса Labrika. Для этого нужно посмотреть соответствующий отчет. Находится он в подразделе «Похожие страницы» раздела «SEO-аудит» в левом боковом меню:

В отчете вы можете увидеть следующую информацию:

  1. Страница сайта, которая имеет дубль.
  2. Дубль этой страницы
  3. Процент схожести страниц. Благодаря этому проценту вы сможете определить, является ли дубль страницы полным.

Получив данные из отчета, вы сможете сэкономить время и сразу начать устранять эти ошибки.

Как устранить дубли на сайте?

В первую очередь, необходимо установить характер дубля и уже после этого выбирать способ его устранения.

  1. Если дублей на сайте небольшое количество и их происхождение связано с ошибками CMS (допустим, страница доступна по адресам http://site.ru/category/tovar и http://site.ru/tovar, то самым простым методом решения проблемы будет следующий. Дубль необходимо запретить для индексации поисковых систем в robots.txt (также см. информацию о robots.txt от Google). Затем воспользоваться формой удаления URL из индекса в Яндекс.Вебмастер — https://webmaster.yandex.ru/tools/del-url/ и инструментом аналогичного назначения в Google Webmaster — https://www.google.com/webmasters/tools/url-removal. Подробнее про использование инструмента от Google вы можете прочитать здесь.
  2. Если появление дубликатов носит системный характер и связано с такими ошибками, как, например, несклеенный домен (страница доступна по адресу с www и без www), то в таком случае необходимо выбрать главное зеркало (например, адрес сайта без www), воспользоваться командой 301 redirect (перенаправление со страниц с www на страницы без них), которая прописывается в специальном файле htaccess.
  3. В случае, если вы имеете дело с постраничной пагинацией товаров одной категории, Яндекс советует использовать атрибут rel=»canonical». Более подробно о применении этого атрибута на страницах с пагинацией вы можете прочитать в статье Блога Яндекс «Несколько советов интернет-магазинам по настройкам индексирования».

Что такое дубли страниц сайта? Как их найти и удалить из выдачи?

Некоторые SEO ошибки критично опасны и могут свести все усилия на нет. Одна из таких — дубли страниц. Они крайне негативно воспринимаются поисковыми роботами и существенно усложняют поисковое продвижение сайта. Поэтому важно убрать дубли страниц на сайте как можно быстрее.

 

Почему это так важно?

 

Когда на веб-сайте есть две одинаковых страницы, поисковики не могут понять, какую из них нужно показывать пользователям по релевантному запросу. И даже учитывая, что боты изучают и другие параметры, им все равно трудно решить, какой из дублей нужно выбирать.

 

Поэтому нужно найти и закрыть дубли страниц сайта, иначе вы столкнетесь с проблемами:

 

  • может снизиться рейтинг всего веб-сайта;
  • снижение позиции ключевых фраз;
  • скачки позиций из-за того, что система постоянно меняет релевантность между несколькими страницами.

 

Виды дубликатов

 

Чтобы эффективно искать дубли страниц и избавляться от них, нужно знать, каких видов они бывают.

 

Существует два типа:

 

  • полные дубликаты — копия страницы, размещенная на разных URL адресах;
  • частичные — дублируется часть содержимого.

 

Полные дубли

 

Это может быть:

 

  • одинаковые страницы по одинаковым URL адресам с www и без;
  • дубли страниц с html и https;
  • копии, созданные из-за реферальных ссылок;
  • проблемы с иерархией разделов, которые генерируют копии;
  • неправильно настроенная страница 404, создающая дубликаты;
  • дубли страниц без слеша в конце url.

 

Частичные дубли

 

Они обычно появляются из-за особенностей системы управления сайтом, и найти их сложнее.

 

Чаще всего это:

 

  • Копии, созданные страницами фильтров, сортировок и пагинации. Например, когда пользователь применяет фильтр товаров, URL адрес немного изменяется, и поисковые роботы индексируют эту страницу как отдельную. Но от смены адреса в данном случае контент не изменился.
  • Блоки комментариев и описаний. Здесь практически та же ситуация — переход к блоку отзывов, например, создает дополнительный параметр в адресе, но страница остается та же.
  • Печать и PDF для загрузки. Такие страницы полностью копируют содержимое веб-сайта.
  • Сгенерированные AJAX слепки страниц.

 

Как обнаружить копии?

 

Можно проверить сайт на ошибки несколькими способами:

 

Промониторить выдачу с помощью оператора “site:”

 

Это метод, позволяющий проверить дубли страниц сайта вручную. Выдачу, отфильтрованную оператором, нужно изучить визуально и выявить копии.

 

Программы

 

Существуют разные инструменты для вебмастеров, позволяющие быстро просканировать веб-сайт. Это может быть проверка сайта на дубли страниц онлайн или с помощью десктопных программ. Они выгрузят полный список адресов, который можно будет затем отсортировать и найти дубликаты.

 

Консоль Google

 

Google Search Console отображает список повторов мета-описаний и тэгов. Они могут быть признаками копий.

 

 

Как избавиться от дубликатов?

 

Первый и самый очевидный метод — удалить дубли страниц со слешем и другими частями URL адреса, которые создают копии. Также можно запретить роботам индексировать дубликаты, дописав условия в файл “robots.txt”. Это сработает со служебными страницами, которые повторяют содержимое основных.

 

Еще одно решение — настроить 301 редирект со страницы-дубля на соответствующую корректную страницу сайта. Это поможет с ошибками в иерархии разделов и reff-метками. Также можно проставить тэг “rel=canonical”, что решит проблему с фильтрами, сортировками и пагинацией. А если у вас на веб-сайте есть версии для печати, блоки с отзывами и другой информацией, воспользуйтесь тегом meta name=»robots» content=»noindex, nofollow». Это позволит скрыть подобные блоки от поисковых ботов.

 

Чаще всего копии создаются самой системой управления сайтом, поэтому лучше, чтобы выявлением дубликатов и их устранением занимался опытный специалист. Наша команда веб-студии Артджокер обладает большим опытом и крепкими знаниями в поисковой оптимизации и продвижении сайтов. Мы сможем обнаружить все ошибки, которые мешают раскрутке вашего ресурса, и исправить их. Также мы составим эффективную стратегию продвижения, которая позволит быстро добиться желаемых результатов.

Дубли страниц в Joomla 3

Что такое дубли страниц?

Важно знать:

Дублями считаются веб-страницы с одинаковым содержанием, доступные по разным URL-адресам.

Наличие дублей страниц на сайте может затруднить его продвижение в поисковой выдаче, поэтому устранение этой проблемы является одной из первостепенных задач в SEO-оптимизации.

Дублирование страниц присуще любой CMS, независимо от того, платная она или нет, и Joomla не исключение.

Пример дубля страницы на Joomla:

  • http://domen.ru/blog.html
  • http://domen.ru/blog
  • http://domen.ru/blog/
  • http://domen.ru/blog.html/

По всем четырем ссылкам будет открываться одна и та же страница. Представим ситуацию:

Пункт меню ведёт на открытие страницы A (http://site.ru/blog.html), и вы начинаете продвигать данную страницу (делаете перелинковку, продвигаете в социальных сетях, заказываете посты и прочее) с ссылкой на данную страницу. Но поисковая система не предсказуема, и есть вероятность, что будет проиндексирована страница B (http://site.ru/blog), на которую практически нет никаких усиливающих значимость страницы ссылок и сигналов, что сделает все усилия по продвижению страницы А тщетными.

И если у вас ёмкий многостраничный сайт, то управлять его индексированием будет весьма проблематично, учитывая, что поисковый алгоритм может индексировать множество непродвигаемых дублей.

Еще один факт: наличие дублей актуально не только для сайтов, работающих на CMS, и если вы считаете, что на вашем сайте их нет, то читайте дальше.

Какие виды дублей свойственны Joomla?

Существут следующие виды дублей страниц:

  1. с www и без
  2. с https:// и без
  3. со слешем в конце
  4. с суффиксом расширения
  5. со символом вопроса
  6. с index.php
  7. в формате RSS, PDF и для печати
  8. свойственные компоненту контента
  9. из-за смены алиаса

Рассмотрим каждый из пречисленных видов подробнее. (.*)/{2,}(.*)$ RewriteRule . %1/%2 [R=301,L]

Дубли с суффиксом .html

Эти дубли образуются в Joomla при активной опции Добавлять суффикс к URL в Общих настройках. В результате все внутренние ссылки будут иметь .html в конце URL, что приведёт к образованию дублей без этого суффикса.

Пример: http://site.ru/blog.html и http://site.ru/blog.

Чтобы предотвратить проблемы с таким дублированием страниц, рекомендуем не активировать функцию Добавлять суффикс к URL: .html в конце URL не даёт ничего, только усложняет адрес, делая его более длинным.

Как убрать такие дубли?

Если вы хотите перенаправить все страницы на без .html, то сперва отключите указанную выше опцию Добавлять суффикс к URL, после чего добавьте в .htaccess после строки RewriteEngine On следующий код:

RewriteRule (.+)\.html?$ http://site.ru/$1 [R=301,L]

Обратите внимание, что необходимо указывать протокол (http или https) и доменное имя.

Дубли с символом вопроса

Такие дубли образуются от GET-запросов в URL-адресах.

Пример: http://site.ru/page?itemid=120 будет дублировать страницу http://site.ru/page.

Дубли с GET-запросами в Джумле могут быть, но в основном в виде исключений от некорректно написанных роутеров сторонних компонентов. А вот переход на ваш сайт по UTM-меткам может обеспечить индексирование страницы с данной меткой, а основная страница (без метки) будет исключена из индекса.

Как избавиться от таких дублей?

Настраивать редиректы не рекомендуется, т. к. они могу нарушить исполнение скриптов, для которых и создаются параметры после символа «?» в URL. Поэтому лучше просто отгородить такие адреса от индексирования поисковыми роботами, добавив в файл robots.txt следующую строку кода:

Disallow: /*?

Подробнее о настройке robots.txt на Joomla здесь.

Дубли с index.php

Подразумевается наличие index. php в структуре URL-адресов сразу после названия домена (например: https://site.ru/index.php).

Такие дубли свойственны для CMS Joomla в частности, и все страницы сайта по умолчанию будут доступны по URL-адресам с index.php, идущим сразу после названия домена, например:

  • site.ru/index.php
  • site.ru/index.php/page
  • site.ru/index.php/category/page

Устранить index.php из внутренних ссылок сайта можно активировав опцию Перенаправление URL в Общих настройках, но при этом все страницы также будут доступны и по адресу с index.php.

Решать эту проблему с помощью редиректов в .htaccess не рекомендуется. Вместо этого следует добавить правило исключения всех таких дублей от индексирования в файле robots.txt, добавив в него следующую строку кода:

Disallow: /*index.php

Подробнее о настройке robots.txt на Joomla здесь.

Дубли в формате RSS, PDF и для печати

Подразумеваются страницы RSS-ленты, страницы печати и PDF-версии страниц.

Вы наверняка переходили по таким страницам из поисковой выдачи. Заходите на сайт, а там версия сайта для PDA-устройства или для печати. Как следствие: больше одной страницы посмотреть не получится.

Эти дубли убрать проще всего: достаточно отключить генерацию данных страниц в настройках материала.

Дубли материалов компонента контента

В Джумле есть и свои особенности в структуре. Например, в стандартном компоненте контента одна страница может открываться по следующим адресам:

  • http://site.ru/category/256-article.html
  • http://site.ru/category/256
  • http://site.ru/256-article.html

Избавиться от таких дублей очень сложно и практически невозможно без танцев с бубном, но они не так страшны: поисковые системы принимают во внимание те URL-адреса, которые встречаются в ссылках. Поэтому во избежание попадания таких дублей в индекс поисковой системы побеспокойтесь о том, чтобы все внутренние ссылки сайта формировали нужные адреса.

Дубли из-за смены алиаса

Рассмотрим на примере:

Вы написали материал, сохранили его. Но вам не понравился URL-адрес, который получился, и вы решили изменить алиас в материале или даже поменять категорию.

В результате материал переехал на новый адрес, точнее начал открываться по новому адресу. Но старый URL-адрес никуда при этом не девается, и страница открывается в том числе и по нему. Если материал уже проиндексирован поисковой системой по старому URL, то это может стать проблемой.

Как убрать дубли в Joomla?

Для разных дублей существуют различные варианты их устранения, среди которых есть способы, актуальные для Joomla в частности:

  1. указание поисковым системам на актуальные страницы
  2. редиректы с помощью функционала Joomla
  3. редиректы через файл .htaccess

Подробно рассмотрим каждый из способов.

Указание поисковым системам на актуальные страницы

Этот способ не предполагает удаление дублей (они останутся и будут доступны по запросу в адресной строке), но поисковики не станут придавать им значения.

Для этого требуются действия, являющиеся непременной частью SEO-оптимизации любого сайта:

  1. обеспечение правильности всех внутренних ссылок

    URL-адреса внутренних ссылок должны быть такими, какими вы хотите их видеть в поисковой выдаче: если задумано, что индексироваться должны URL’ы без www в начале и без слеша в конце, значит, так они должны выглядеть и внутри сайта. Это же правило касается ссылок, которые содержат файлы Sitemap.

  2. настройка исключений в файле robots.txt

    Файл robots.txt предназначен именно для того, чтобы исключить от индексации ненужные страницы сайта, в том числе и дубли актуальных страниц. Подробнее о настройке robots.txt для Joomla здесь.

  3. указания на канонические URL-адреса

    Случается, что один материал доступен для нескольких категорий преднамеренно. И мы можем посодействовать тому, чтобы поисковики определили актуальный для индексирования URL-адрес, указав на всех дублях тег link с атрибутом rel=canonical и со ссылкой на один актуальный адрес. Например, страница доступна по адресам:

    • http://site.ru/category-1/page
    • http://site.ru/category-2/page
    • http://site.ru/category-3/page

    Если мы хотим видеть в поисковой выдаче страницу по http://site.ru/category-1/page, то все перечисленные страницы в теге head должны содержать тег link в следующем виде:

    <link rel="canonical" href="/category-1/page" />

    Как правило, в Joomla это реализуется автоматически на уровне компонентов, которые предусматривают добавление материалов в различные категории. Также это можно сделать с помощью отдельных SEO-расширений, но не рекомендуется во избежание лишней нагрузки на сервер, возникающей при генерации страниц.

Редиректы с помощью функционала Joomla

Редиректом называется перенаправление пользователя с запрашиваемого URL-адреса на другой. Идеальным вариантом убрать дубли как для сайта на Joomla, так и для сайта на любой другой CMS, является их склейка с помощью редиректов: когда при запросе URL’а будет осуществляться перенаправление на адрес актуальной для индексирования страницы.

Например:

пользователь запрашивает адрес www.site.ru, а попадает на https://site.ru

Базовый функционал Joomla не позволяет реализовать это через панель управления: компонент Перенаправление может обеспечить только редиректы с несуществующих URL-адресов, но не с дублей. В помощь приходят сторонние компоненты (RSSEO) и файл .htaccess, о чем далее.

Редиректы через .htaccess

Файл .htaccess позволяет осуществить множество шагов в SEO-оптимизации сайта на Joomla, в числе которых и реализация редиректов на нужные URL-адреса (склейка дублей). Большинство способов редиректов для конкретных типов дублей через .htaccess упоминается выше, в описаниях данных типов.

Как настроить 301 редирект и убрать дубли страниц в Joomla

28 апреля 2012      Блогострой

Вообще-то я хотел сделать короткий пост в три абзаца с кодом про редирект с index.php на Джумле :).   Пример взят из рабочей практики. В результате вышло…

Запрет дублей страниц сайта для индексирования в поисковых системах — одна из аксиом сео и правильного сайтостроения вообще. По своему опыту могу сказать, что отсутствие 301 редиректов и дубли в индексе не всегда является понижающим фактором. Но при прочих равных, эти факторы могут сыграть свою негативную роль в ранжировании.

Прописывать правильные строчки в файле .htaccecs приходится в любых CMS, не исключая страшной и ужасной Joomla :). К счастью, мы редко используем ее для наших сайтов, предпочитая другие альтернативы — да хоть бы и тот же Вордпресс, если клиенты просят бесплатные движки. Но иногда все-таки приходится — как например, сегодня, когда потратил целых 35 минут своего уникального времени :), чтобы понять, как в Joomla редиректить index.php.

В тырнетах инфы на этот счет вроде бы много, но почти вся она бестолкова и сводится к совету типа «а пропиши запрет на индексацию в robots». Логику Джумлы человеку неподготовленному (а я именно такой :)) понять непросто. В общем, помучился я сегодня, но таки сделал все по-человечески.

Сначала правильный robots.txt для Joomla

В дефолтном роботсе Джумла закрывает все служебные страницы по умолчанию. Единственное, что нужно добавить — это последние 2 строчки:

  • Host — насильно указывается ваш адрес сайта для ПC (с www или же без www)
  • Sitemap — адрес карты для роботов, сам файл готовится за секунды в бесплатном сервисе www.xml-sitemaps.com. Скачиваем готовый файл, заливаем в корень сайта, прописываем нужную строчку.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www. primersite.ru (или Host: primersite.ru, если без wwww)
Sitemap: http://www.primersite.ru/sitemap.xml (или Sitemap: http://primersite.ru/sitemap.xml)

User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Host: www.primersite.ru (или Host: primersite.ru, если без wwww) Sitemap: http://www.primersite.ru/sitemap.xml (или Sitemap: http://primersite.ru/sitemap.xml)

Настройка в Joomla 301 редиректа (www и не www)

Рано или поздно поисковики склеют www.primersite.ru и http://primersite.ru, но до тех пор в выдаче могут быть дубли, негативно влияющие на продвижение. Поэтому открываем файл . index\.php$ http://www.primersite.ru/ [R=301,L]

Ну вот, кажется и все! Все коды рабочие и сайт теперь настроен правильно. Кстати, заодно и посмотрю, как реально настройки скажутся на продвижении: код взят из реального сайта, который уже довольно давно двигается по коммерческим запросам, и по одному ВЧ находится в топе.

Работа для авторов и вебмастеров на бирже фриланса Kwork
Умеешь писать и хочешь зарабатывать on-line? Регистрируйся на Copylancer, пиши на TurboText!

что это такое и как настроить правильный 301 redirect для сайта – виды и примеры

При работе с какой-либо интернет-площадкой, независимо от тематики и направленности, рано или поздно приходится удалять страницы, переносить или менять УРЛ или даже полностью перемещать весь ресурс на новый адрес. Если действовать, что называется, в лоб, то при переносе вы потеряете вес ссылок. Позиции сайта резко упадут. Чтобы этого не произошло, нужно использовать редиректы. Это инструменты для перенаправления поисковых систем и обычных пользователей на URL, который отличается от изначально запрашиваемого.

Допустим, вы вставляете в поисковую строку своего браузера URL https://google.com.ua/maps/ и нажимаете Enter. Вы попадаете на сайт карт Google. Если посмотреть на URL, то вы увидите, что в адресе появилась дополнительная аббревиатура: https://www.google.com.ua/maps/. Это один из самых простых примеров редиректа. Есть и более специфические, которые применяются с учетом стоящих задач и возникших ситуаций.

Содержание статьи

  1. Что такое 301 редирект?
  2. Виды редиректов
  3. Как настроить 301 редирект в .htaccess?
  4. Создание переадресации 301 с помощью настроек и плагинов CMS
  5. Другие способы создания переадресации
  6. Рекомендации по настройке 301 redirect
  7. Как проверить 301 редирект?
  8. Выводы

Сегодня мы детально расскажем, для чего используется 301 редирект, в каких ситуациях он применим, какие есть альтернативы, почему переадресация – это важно в контексте SEO-продвижения. Будет интересно и познавательно. Начинаем!

Что такое 301 редирект?

301 redirect – это скрипт, перенаправляющий юзера с одного УРЛ на другой, например, после смены URL сайта или веб-адреса отдельно взятой страницы. Пользователь вводит URL или переходит по ссылке, система моментально перенаправляет его по указанному адресу. При этом в зависимости от вида редиректа (302 или 307) он позволяет передавать вес ссылки или не передавать. Об этом мы тоже расскажем ниже.

Для чего используется 301 редирект

Хотя 301 редирект – инструмент несложный, он крайне важен как для повышения юзабилити сайта, так и для SEO-продвижения. Среди наиболее популярных вариантов применения такой переадресации можем назвать следующие:

  1. Адаптация сайта для мобильных устройств. Редирект перенаправляет юзера с десктопной версии на мобильную.
  2. Ренейминг. После перехода на новое доменное имя или при смене названия бренда редирект переводит юзера на актуальный домен.
  3. Переход с http на https. Сегодня очень важно задействовать https вместо http.
  4. Улучшение ранжирования при наличии веб-сайтов или страниц-дублей. Например, вы перенесли контент со старого ресурса на новый, тем самым создав дубли. А это плохо для ранжирования. Редирект на другой сайт перенесет ссылочный вес на новый адрес и сообщит поисковикам, что предыдущий URL больше не следует учитывать при ранжировании.
  5. Редирект с версии «без www» на версию «с www», и наоборот. Поисковики оценивают УРЛ с www и без www как совершенно разные страницы, хотя они одинаковые. Поэтому необходимо обязательно настраивать редиректы, чтобы не создавать дубли.

Еще одна частая причина использования redirect 301 – переход сайта на новый движок. Дело в том, что у разных CMS свои принципы создания URL-адресов. Из-за этого новый УРЛ может отличаться от предыдущего. Соответственно, в ходе смены CMS без редиректа не обойтись.

Виды редиректов

Как и было сказано в начале, 301 редирект – это не единственный вариант переадресации на другой URL. Существуют и альтернативные, их нужно знать, чтобы уметь использовать по прямому назначению.

301 Redirect

Постоянный (перманентный) редирект, который сообщает поисковым роботам, что страница окончательно переехала на иной веб-адрес. Он передает новому УРЛ до 99% веса от старого и сообщает поисковикам, что последний нужно исключить из индексации. При настройке редиректа надо быть внимательным, потому что может возникать ошибка 404, которая ухудшает индексацию страниц.

302 Redirect

Временный редирект, который принципиально отличается от предыдущего. Он не передает новому URL ссылочный вес старого, а лишь перенаправляет пользователей по другому адресу. Как правило, 302 редирект используют во время проведения технических работ на сайте. Поисковики при этом продолжат индексировать старую страницу, а не новую.

307 Redirect

Еще один временный редирект, который похож на 302, но имеет важное отличие. Он указывает поисковым системам, что не нужно кэшировать страницы, куда ведет redirect. Такой вариант стоит использовать кратковременно, например, в ходе незначительных технических доработок сайта.

Meta Refresh

Это специфический вид редиректа, при котором процесс переадресации происходит прямо на сайте, а не на сервере. Как правило, возникает пятисекундная задержка до перенаправления. Google не рекомендует использовать данный редирект, так как он зачастую негативно сказывается на поведенческих факторах и, следовательно, на SEO-показателях.

Redirect rel=«canonical»

Данный редирект позволяет сохранить доступ пользователя к страницам-дублям. Поисковикам он сигнализирует, что нужно индексировать только ту страницу, на которой есть пометка canonical.

Случаи использования rel=«canonical»

Существует ряд ситуаций, когда использование rel=«canonical» наиболее разумно:

  1. У статьи есть дубли, которые нужны юзерам. К примеру, карточки товаров, отличающихся по цветам или по другим базовым характеристикам. Это актуально, например, для смартфонов, планшетов, ноутбуков и пр.
  2. Если по объективным причинам использовать редирект 301 сложно или невозможно.
  3. Есть несколько кросс-доменов с похожими текстово-визуальными материалами.
  4. Если у одного и того же контента разные адреса (например, если мы говорим о сортировке каталога).

В остальных случаях рекомендуется использовать перманентный 301 редирект или временный (302, 307) в зависимости от ситуации.

КОМПЛЕКСНЫЙ АУДИТ САЙТА

Аудит сайта — это анализ и изучение сайта с целью выявления всех ошибок и факторов, оказывающих влияние на техническую и коммерческую успешность интернет-проекта.

ЗАКАЗАТЬ АУДИТ САЙТА

Как настроить 301 редирект в .htaccess?

Чтобы настроить 301 редирект, нужно использовать файл конфигурации .htaccess. Его можно найти через FTP или через администраторскую панель хостинга.

Важно! Чтобы найти файл .htaccess, сначала потребуется дать разрешение на показ скрытых файлов. Иначе вы его просто не увидите. Если файла нет, его нужно будет создать. Также необходимо обязательно выполнить команду RewriteEngine On.

Итак, как настроить редирект для ваших целей? Давайте разберем на конкретных примерах.

Склейка зеркал сайта (с www и без www)

Выше мы уже сказали, что для Google или «Яндекса» сайты с www и без www в URL – это разные страницы. Они воспринимаются как дубли. Поэтому необходимо корректно настроить редирект с www на без www, и наоборот. Тут все зависит от того, какое отображение URL требуется.

Редирект с http на https

Использование незащищенного соединения http в настоящее время не рекомендуется. Оно негативно сказывается на SEO-показателях. Браузер при посещении сайта с http сообщает юзеру о незащищенном соединении. Поэтому нужно настроить переадресацию с http на https. Чтобы сделать правильную настройку 301 редиректа, впишите .htaccess правило:

Одна из настроек точно сработает и будет переадресовывать на защищенное соединение https всех посетителей.

Редирект с https на http

Постраничный 301 редирект

Редирект для одной страницы

Редирект с одного домена на другой

301 redirect на поддомен

Редирект для URL (без параметров)

Редирект для URL (с параметрами)

Редирект с index.php на главную

301 редирект со страницы ошибки 404 Not Found

Если страница удалена либо не существует, пользователь при попытке перейти на нее увидит ошибку 404. Обычно рекомендуется подключить редирект. Например, в больших интернет-каталогах и магазинах, на информационных сайтах с несуществующих страниц можно настроить переадресацию на одну из главных веб-страниц при помощи следующего кода:

Но обратите внимание, что слишком активно такие редиректы лучше не использовать. Это может негативно сказаться на SEO-показателях сайта.

Переадресация на мобильную версию

Когда пользователь заходит на сайт со смартфона, необходимо перенаправить его на мобильную версию. Это несложно сделать при помощи интеграции в .htaccess дополнительной команды:

Массовый redirect для категорий

Представьте, что вы переименовали категорию с сотнями или даже тысячами позиций. Настраивать редирект для каждой отдельной страницы – трата времени и сил. Гораздо проще использовать массовый редирект для категории, применив код:

Создание переадресации 301 с помощью настроек и плагинов CMS

Большинство современных CMS имеет комплекс интегрированных инструментов для удобной настройки перенаправления. Но правила редиректов в каждом конкретном случае будут отличаться.

Если ваш веб-ресурс построен на WordPress, рекомендуем использовать следующие плагины:

  • Redirection. Это один из наиболее востребованных плагинов для WordPress. С его помощью также можно собирать исчерпывающую статистику по редиректам, отслеживать ошибки 404 на сайте и пр.;
  • Safe Redirect Manager. Это довольно простой плагин, задача которого заключается в поддержке регулярных выражений. Одно из главных преимуществ SRM в том, что он почти не влияет на быстродействие сайта;
  • Quick Page/Post Redirect Plugin. Позволяет настраивать редиректы и добавлять к URL атрибут «nofollow», что полезно для SEO. Но у него есть недостаток – регулярные выражения в нем не поддерживаются;
  • Simple 301 Redirects. Это удобный в использовании плагин. Но в нем приходится указывать URL для редиректа собственноручно, что отнимает немало времени.

Если вы по какой-то причине не хотите использовать плагины, а предпочитаете редактировать файл .htaccess, подключитесь к нему через FTP-клиент и следуйте инструкциям, описанным выше.

Чтобы настроить редиректы в CMS Joomla, необходимо войти в административную панель, перейти в раздел «Компоненты» – «Перенаправление». Там вы сможете настраивать переадресацию. Большое преимущество в данном случае в том, что система сама отслеживает страницы с битыми/нерабочими URL и позволяет перенаправлять пользователей на корректные веб-адреса.

Важное дополнение! Если ваш ресурс создан с помощью конструктора сайтов, могут возникнуть трудности с настройкой переадресации. К примеру, WIX вообще не позволяет создать файл .htaccess. Это серьезное ограничение. Тут придется либо смириться, либо искать альтернативу.

Другие способы создания переадресации

Существуют и другие способы создания переадресации 301, которые вы можете использовать. Рассмотрим наиболее распространенные из них.

Через PHP

В первой строчке необходимо прописать старый URL, а во второй – новый.

ASP-редирект

ASP.NET редирект

JSP редирект

Редирект в Nginx

HTML-редирект

Обратите внимание! HTML-редирект – это вариант лишь для сравнительно небольших сайтов, где нет необходимости в пакетной переадресации, можно настраивать редиректы поочередно. Заметьте, что в части кода «content=»5» цифра 5 означает время задержки в секундах. Вы можете изменить это значение.

Рекомендации по настройке 301 redirect

Пожалуй, главная рекомендация – детально изучить виды редиректов, чтобы не ошибиться с выбором. Для постоянного перенаправления нужно использовать 301, а для временного – 302 или 307.

Если мы говорим о 301 редиректе, нужно следовать трем простым правилам:

  1. Следите, чтобы контент на странице, куда вы перенаправляете юзеров, соответствовал контенту на странице, откуда вы их перенаправляете.
  2. Нельзя устанавливать несколько редиректов подряд. Это может очень сильно нагрузить сервер, что скажется на SEO-показателях сайта.
  3. Не спешите искать ошибки и корректировать файл .htaccess, если сразу не увидели результаты, касающиеся SEO. Поисковики обрабатывают редиректы несколько недель.

Есть еще несколько важных нюансов, о которых обычно не говорят, описывая настройки редиректов. Однако они могут оказаться важными конкретно в вашем случае. Рассмотрим эти ситуации:

  1. Настройка переадресации через файл .htaccess работает исключительно на серверах под ОС Linux с установленным сервером Apache и с подключенным модулем Mod-Rewrite. В противном случае все те методы переадресации, которые мы описали выше, попросту не сработают.
  2. Используя файл .htaccess, вы увеличиваете нагрузку на сервер. Если смотреть с позиции эффективности, то более рационально прописывать команды в файле hpptd.conf. Но в большинстве случаев у вебмастера просто нет к нему доступа. Соответственно, переадресация 301 может быть настроена только через .htaccess.
  3. В некоторых случаях процесс склейки и передачи PageRank может длиться несколько месяцев. Поэтому настоятельно рекомендуем не торопиться с удалением старой страницы или сайта. Дождитесь, пока перенос окончательно завершится.
  4. «Яндекс» требует обязательного прописывания директивы host в файл robots.txt. Поэтому изучите требования поисковых систем к настройкам redirect.

С одной стороны, сделать правильную настройку 301 редиректа не так сложно. С другой, даже опытные вебмастера нередко допускают элементарные ошибки по невнимательности или по незнанию нюансов. В итоге переадресация не работает, или процесс происходит со сбоями. Поэтому важно действовать очень внимательно. Оптимальный вариант – обращение за помощью к хорошим специалистам.

Как проверить 301 редирект?

Существует несколько способов проверки корректности настроек 301 редиректа и прочих вариантов переадресации. Первый и самый простой – вручную. Вы просто вводите в строку браузера URL, с которого идет перенаправление, и смотрите на результат. Если редирект срабатывает, все сделано правильно. Перед ручной проверкой рекомендуем очистить кэш браузера, иначе могут подтягиваться старые данные.

Однако ручная проверка подходит только для случаев, когда вы переадресовываете одну или несколько страниц. Что делать, если переадресаций много, как проверить 301 редирект быстрее?

Для этого можно использовать специальные сервисы:

  1. Онлайн-платформы bertal и Header Checker Tool. У них довольно гибкие настройки, предлагается комплексная проверка. Однако проверять редиректы здесь можно только поочередно.

  1. Screaming Frog Seo Spider. Это весьма функциональный сервис, с помощью которого можно проверять редиректы, находить неработающие ссылки и дубликаты контента, анализировать заголовки страниц и метаданные, создавать XML-структуру сайта, выполнять интеграцию с GA, GSC и PSI.

Обратите внимание! Обнаружение редиректа и присвоение веса новой странице – это процессы, которые займут какое-то время. Если вы настроили переадресацию, она корректно работает, то это еще не значит, что весь вес уже перешел новой странице. Поисковым алгоритмам обычно требуется 2–3 недели, чтобы завершить процесс.

Распространенные ошибки при настройке переадресации

Даже досконально изучив, что такое 301 редирект, как его правильно настраивать, всегда есть риск допустить ошибки. Особенно если реального практического опыта настройки переадресации у вас нет.

Предлагаем рассмотреть несколько наиболее часто встречающихся ошибок:

  • применение редиректов между страницами, когда УРЛ в ссылках остается неизменным;
  • использование 302 или 307 вместо перманентного варианта 301;
  • ошибка при выборе редиректа. Нередко путаница возникает именно между 302 и 307;
  • переадресация файла robots.txt;
  • отсутствие четкого понимания различий между редиректом 301 и rel=«canonical»;
  • переадресация на нерелевантные страницы и/или нерелевантный контент;
  • редирект, который не приводит к 200 странице.

Одно из самых грубых нарушений правил редиректов – это создание цепочек переадресации, что впоследствии нарушает работу сайта, вызывает ошибку, оповещающую о слишком большом числе перенаправлений. Причин появления проблемы может быть несколько:

  1. Некорректная настройка переадресации.
  2. Вирусная атака на сервер.
  3. Использование чрезмерно длинной цепочки перенаправлений.

Если в вашем редиректе свыше пяти адресов, это плохо. Оптимально, когда есть только два звена: старый и новый URL. Все остальное лишнее.

Выводы

Redirect 301 – сравнительно простой, но мощный инструмент поисковой оптимизации сайта. Если его использовать грамотно, соблюдая все правила, которые мы перечислили выше, это только укрепит позиции ресурса в поисковой выдаче, повысит объем трафика. Иногда несколько незначительных ошибок приводят к совершенно противоположным последствиям.

Ваша задача – убедиться, что на сайте нет никаких проблем с переадресацией, отсутствуют битые ссылки. Иначе позиции ресурса в поисковой выдаче могут попросту рухнуть. На их восстановление придется потратить немало денег, сил и времени. Настоятельно не рекомендуем настраивать редиректы самостоятельно, если у вас нет должного опыта. Доверьте эту работу профессионалам!

У ВАС ОСТАЛИСЬ ВОПРОСЫ?

Оставьте ваши контактные данные. Наш менеджер свяжется и проконсультирует вас.

ПОЛУЧИТЬ КОНСУЛЬТАЦИЮ

Наш менеджер свяжется с Вами в ближайшее время

Отправить заявку

Узнать дубли главной страницы сайта | Найти дубли онлайн

08.09.2021  23:08

Если честно не понятно для чего данный момент проверки… на всех новых движках есть атрибут canonical …. Который решает данную проблему, тем самым заморачиваться с редиректом пустая трата времени …

2021-10-06 12:28

Для Яндекса это не очевидно.

06.05.2021  16:24

Спасибо, давно пользуюсь для своего сайта. Не профессионально, поэтому платный ресурс неуместен. Удачи!

31.01.2020  23:20

Спасибо большое. Главное он бесплатный

14.11.2019  16:04

Хороший инструмент, но не хватает подсказок, как закрыть дубли. Например, одностраничник имеется, как закрыть все страницы-дубликаты после / ? Непонятно

2019-11-20 11:00

robots.txt в помощь: Disallow: /any-page.html?

2020-08-27 01:28

А как закрывать если в конце url стоит знак #

07.09.2021  17:55

Добрый день. Не понимаю, как убрать дубль главной /?

23.07.2020  12:47

Добрый день !
Подскажите пожалуйста? как скрыть страницы с большим количеством слешей
В роботе Disallow: ////// — Будет работать ? не заприетит ли это индексацию главной страницы?
Или нужен редирект 301?

2020-08-27 01:24

RewriteCond %{THE_REQUEST} // # Проверяем, повторяется ли слеш (//) более двух раз.(.+)/$ /$1 [R=301,L] Сайт полностью пропал в интернете. В чем ошибка?

25.11.2019  09:10

Cтраниц, которые отличаются только GET параметрами — множество.
https://site.ru/?a
https://site.ru/?b
https://site.ru/?c
https://site.ru/?d=e
https://site.ru/?f=g&h=j
Это все страницы с одинаковым request_uri, и чем именно «/?» отличается от остальных — непонятно. Поясните, если не сложно.

2019-11-26 10:40

Вариантов вообще в принципе может быть миллион, вы правильно мыслите. Мы проверяем только самые распространенные и дали подсказку какими могут быть дубли главной страницы.

2020-08-27 01:26

Прошу в анализ добавить также вариант поиска дубля, если одну из строчных букв поменять на заглавную букву

Дублированный контент: блокирование, перенаправление или канонический — Советы SEO

Взгляды автора полностью принадлежат ему (за исключением маловероятного случая гипноза) и могут не всегда отражать взгляды Moz.

Дублированный контент в SEO существует уже довольно давно, и даже несмотря на то, что Google заявлял, что они становятся все умнее и умнее в определении лучшей страницы для отображения в поисковой выдаче из списка страниц с дублированным контентом. Они утверждают, что сегодня беспокоиться не о чем, чем раньше.Но зная, что эта проблема существует, они дают советы из разных источников, в том числе в ветках поддержки, блогах сотрудников, справочных видеороликах для веб-мастеров и во многих других местах о том, как мы должны решить эту проблему. Некоторые говорят, что просто блокируйте страницы с дублированным контентом, некоторые — перенаправляют их. Возможно, нет одного правила, которое лучше всего подходит для всех ситуаций, поэтому я решил перечислить различные способы устранения проблем с дублирующимся контентом, различия, чтобы вы могли нарисовать свои собственные преимущества и недостатки, чтобы помочь вам решить, какой метод лучше всего использовать для вашего конкретная ситуация.Итак, давайте рассмотрим каждую из них.

Блокировка в Robots.txt

Вероятно, это одно из наиболее распространенных предложений, используемых многими людьми, в том числе несколькими людьми из Google. Это также одна из самых старых рекомендаций в книге, и, вероятно, она устарела, поскольку вы можете сделать еще много вещей сегодня.

Это поможет устранить дублирующийся контент. Боты поисковых систем увидят файл robots.txt, и когда они увидят, что нужно исключить URL-адрес размещенного доменного имени, этот URL-адрес больше не будет сканироваться и индексироваться.При этом единственная проблема при использовании robots.txt для устранения дублированного контента заключается в том, что некоторые люди могут ссылаться на исключенную страницу. Это помешает этим ссылкам способствовать ранжированию вашего сайта в поисковых системах.

Использование мета-роботов: тег NoIndex / Follow

Другой способ устранить дублирующийся контент — использовать тег мета-роботов noindex / follow :

Обоснованием использования этого тега является значение noindex , указывающее поисковым системам не индексировать страницу, тем самым устраняя дублированный контент.А значение после говорит поисковым системам, что они все еще следуют по ссылкам, найденным на этой странице, тем самым по-прежнему передавая ссылочный вес. Проблема в том, что все еще есть люди, которые считают, что это не работает. Как только это noindex , скорее всего, это автоматически nofollow , но опять же, почему значение nofollow и после было придумано для метатега роботов, если вам не дано право отделить это от индекс и noindex ? Сканируется или нет, это нужно проверить.Я считаю, что Рэнд поверил Google на слово, что этот тег работает. После поиска людей, которые тестировали это с помощью якорного текста с использованием уникальных слов, я обнаружил, что Скотт Маклей из Великобритании проводит некоторый тест. Что ж, для меня по какой-то причине я никогда не могу быть удовлетворен результатами и публикациями других людей, включая иногда заявления Мэтта Каттса. И единственная причина, по которой я сам долгое время не тестировал это, заключалась в том, что есть много других альтернатив для исправления дублированного контента, в которых я не нашел необходимости действительно знать, как поисковые системы действительно относятся к этому тегу noindex / follow .Но если кто-то из читателей провел хороший тест по этому поводу, возможно, вы можете опубликовать здесь свои результаты, а также рассказать, как вы прошли тест.

Редирект 301

Многие люди в отрасли любят переадресацию 301 для исправления дублированного контента. Потому что так много людей попробовали это, и многие знают, что это работает. Им также злоупотребляли многими теневыми способами, но это не моя тема. Так что же на самом деле происходит при перенаправлении 301 при обработке дублированного контента?

Самое приятное в этом по сравнению с двумя вышеуказанными методами заключается в том, что мы действительно уверены, основываясь на заявлениях соответствующих поисковых систем, а также на тестировании множества людей (в том числе, вероятно, вы, читатель этого блога), знает, что ссылка, ведущая на страницу, на которую выполняется перенаправление 301, будет считаться ссылкой на страницу назначения перенаправления.Это кажется окончательным решением всех проблем с дублированным контентом, но на самом деле есть также веская причина использовать следующие методы, о которых я упомяну.

Это сообщение в блоге, хотя и не о том, как выполнять 301 редирект, но если на всякий случай это именно то, что вы искали, 301 редирект может быть выполнен на программном обеспечении веб-сервера (Apache, IIS и т. Д.) Или через сервер- побочное программирование (PHP, ASP / .net, ColdFusion, JSP, Perl и др.). Вероятно, хорошее руководство для начинающих для различных реализаций перенаправления 301 — это руководство по WebConfs .

Канонический тег ссылки

Хорошая особенность тега канонической ссылки, поисковые системы ведут себя так же, как при перенаправлении 301. Страница с дублированным контентом не будет индексироваться. В индексе поисковой системы появится только целевая страница. Все ссылки, ведущие на страницы с дублированным контентом, будут считаться ссылками на главной странице контента.

Если Google обрабатывает тег канонической ссылки так же, как и редирект 301, основное различие заключается в том, как воспринимается пользователь. .Редирект 301, ну … перенаправляет. В то время как тег канонической ссылки этого не делает. Итак, вы можете представить, когда это может быть лучше, чем перенаправление 301, когда пользователи могут не захотеть, чтобы их перенаправляли.

Допустим, вы просматриваете веб-сайт универмага. Деловой путешественник ищет разные дорожные сумки, ему также нужна сумка для ноутбука, и он пришел по следующему URL-адресу:

http: //www.example.com/travel/luggage/laptop-bags / …

Хотя, скажем, есть какой-то компьютерный фанат, который хочет новый ноутбук и сумку, чтобы пойти вместе с ним, и закончил вверх в URL-адресе, подобном этому:

http: // www.example.com/electronics/computers/lapto …

Допустим, эти две страницы являются страницами с дублированным контентом на одном и том же веб-сайте универмага, но выполнение 301 редиректа для устранения проблемы ухудшает взаимодействие с пользователем. Если бы покупатель в этом примере думал о покупке разных сумок, если бы он получил 301, перенаправленный в раздел компьютеров, он потерял бы их и ему нужно было бы приложить дополнительные усилия, чтобы вернуться к багажу. Который покупатель ноутбука-компьютерщика, ищущий различные аксессуары, не захочет перенаправить его на багаж, поскольку он может искать дополнительные аксессуары для ноутбука.

Хотя тег канонической ссылки не выполняет переадресацию, вам все равно нужно выбрать, какая из них будет отображаться в результатах поисковой системы на главной странице.

Тег альтернативной ссылки

Тег альтернативной ссылки очень похож на тег канонической ссылки. Хотя это используется в основном для международных или многоязычных целей SEO.

Канонический тег ссылки удалит все остальное повторяющееся содержание, но для тега альтернативной ссылки все страницы по-прежнему будут индексироваться, но это помогает Google выбрать лучший результат для отдельных страновых версий Google.И устраняет проблемы, с которыми Google может столкнуться с обработкой страниц как дублированного контента.

Подводя итог, вот простое руководство, когда использовать какой тип перенаправления в разных случаях дублированного контента:

  • Тег альтернативной ссылки
    • Международные страницы, многоязычные страницы, предназначенные для разных стран.
  • Тег канонической ссылки
  • 301 перенаправление
  • Meta Robots NoIndex / Follow
    • Вероятно, лучше всего использовать это в списке заархивированных сообщений, например в блоге.Если основной URL-адрес отдельного сообщения в блоге или постоянная ссылка может содержать контент, который размещен как дубликат где-то в представлении архива по дате, представлению категории, представлению автора, представлениям тем тегов или в разбивке на страницы более старых сообщений блога из домашнюю страницу блога. Вы не можете выполнить перенаправление 301 или тег канонической ссылки, поскольку на этих страницах может быть указано более одного сообщения в блоге, и вам нужно будет окончательно определить, куда должно идти перенаправление 301 или куда должен указывать тег канонической ссылки.Таким образом, я бы рискнул использовать теги Meta Robots, NoIndex, Follow и, надеюсь, все ссылки по-прежнему помогают.
  • Robots.txt
    • Я больше не вижу необходимости использовать robots.txt при проблемах с дублированием контента. Естественное связывание слишком дорого, чтобы его терять. Просто используйте robots.txt, чтобы действительно заблокировать контент, который вообще не нужно индексировать, независимо от того, дублируется он или нет.

Отказ от ответственности: хотя в моих примерах есть PubCon и CSI Miami, на обоих веб-сайтах нет дублированного контента.Изображения приведены только для примера. Что касается SMX East, SMX Advanced London и SMX Australia, на этих страницах также нет дублированного контента.

Фотография Бретта Табке была сделана Энди Билом . Фотография Дэвида Карузо из CSI в Майами, сделанная CBS Television / Alliance Atlantis. Фотография Дэнни Салливана — фотография SMX / 3rd Door Media. Все другие бренды, использованные в этом сообщении в блоге, являются товарными знаками или зарегистрированными товарными знаками соответствующих владельцев.

Объедините повторяющиеся URL-адреса с помощью Canonicals

Если у вас есть одна страница, доступная по нескольким URL-адресам, или разные страницы с похожими контент (например, страница с мобильной и настольной версией), Google видит их как повторяющиеся версии одной и той же страницы.Google выберет один URL как канонический версия и сканирование этого, а также все остальные URL-адреса будут считаться дубликатами URL-адресов и ползал реже.

Если вы явно не укажете Google, какой URL является каноническим, Google сделает выбор для вы или можете считать их обоих одинаково важными, что может привести к нежелательному поведению, поскольку объяснено в разделе Причины выбора канонического URL.

Канонический URL-адрес : Канонический URL-адрес — это URL-адрес страница, которую Google считает наиболее репрезентативной из набора повторяющихся страниц вашего сайта.Например, если у вас есть URL-адреса для той же страницы ( example.com?dress=1234 и example.com/dresses/1234 ), Google выбирает одно из них как каноническое. Страницы не обязательно должны быть абсолютно идентичными; незначительные изменения в сортировке или фильтрации страницы списка не делают страницу уникальной (например, сортировка по цене или фильтрация по элементу цвет).

Канонический URL-адрес может находиться в другом домене, чем повторяющийся URL-адрес.

Как робот Googlebot индексирует и выбирает канонический URL

Когда робот Googlebot индексирует сайт, он пытается определить основное содержание каждой страницы.Если Робот Googlebot находит несколько страниц на одном сайте, которые кажутся одинаковыми, и выбирает страницу. что он считает наиболее полным и полезным, и отмечает его как канонический. Каноническая страница будут сканироваться наиболее часто; дубликаты сканируются реже, чтобы уменьшить Google просматривает нагрузку на ваш сайт.

Google выбирает каноническую страницу на основании ряда факторов (или сигналов ), таких как обслуживается ли страница через HTTP или HTTPS, качество страницы, наличие URL-адреса в карте сайта, и любая разметка rel = canonical .Вы можете указать вы предпочитаете Google, используя эти методы, но Google может выбрать другую страницу каноничнее, чем вы, по разным причинам.

Разные языковые версии одной страницы считаются дубликатами, только если основной контент на том же языке (то есть, если только верхний, нижний колонтитул и другие некритические текст переведен, но тело остается прежним, тогда страницы считаются дубликаты).

Google использует канонические страницы в качестве основных источников для оценки содержания и качества.Google Результат поиска обычно указывает на каноническую страницу, если один из дубликатов явно не указан. лучше подходит для пользователя. Например, результат поиска, вероятно, будет указывать на мобильный страница, если пользователь находится на мобильном устройстве, даже если страница для ПК помечена как каноническая.

Достоверные причины сохранения похожих или повторяющихся страниц

Существуют веские причины, по которым на вашем сайте могут быть разные URL-адреса, указывающие на одну и ту же страницу, или иметь повторяющиеся или очень похожие страницы по разным URL-адресам.Вот наиболее частые причины:

  • Для поддержки нескольких типов устройств :
     https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage 
  • Чтобы включить динамических URL-адресов для таких вещей, как параметры поиска или идентификаторы сеанса:
     https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https: //www.example.ru / платья / зеленый / greendress.html 
  • Если ваша система блогов автоматически сохраняет нескольких URL-адресов , когда вы размещаете тот же пост в нескольких разделах.
     https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/ 
  • Если ваш сервер настроен для обслуживания того же контента для www / без www http / https варианты :
     http: // example.com / зеленые платья
    https://example.com/green-dresses
    http://www.example.com/green-dresses
     
  • Если контент, который вы предоставляете в блоге для распространения на другие сайты, является частично или полностью реплицируется на этих доменах:
    https://news.example.com/green-dresses-for-every-day-155672.html (синдицированный пост) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (исходный пост)

Причины выбрать канонический URL

Существует ряд причин, по которым вы захотите явно выбрать каноническую страницу в набор повторяющихся или похожих страниц:

  • Чтобы указать, какой URL-адрес вы хотите, чтобы люди видели в результатах поиска. Вы может предпочесть, чтобы люди переходили на страницу вашего товара в зеленых платьях через https://www.example.com/dresses/green/greendress.html скорее чем https://example.com/dresses/cocktail?gclid=ABCD .
  • Для объединения сигналов о ссылках на похожие или повторяющиеся страницы . Помогает поиску движки, чтобы иметь возможность консолидировать информацию, которую они имеют для отдельных URL-адресов (например, ссылки на них) в один предпочтительный URL.Это означает, что ссылки с других сайтов на http://example.com/dresses/cocktail?gclid=ABCD объединить со ссылками на https://www.example.com/dresses/green/greendress.html .
  • Для упрощения отслеживания метрик для отдельного продукта или темы . С разнообразием URL-адреса, сложнее получить консолидированные метрики для определенного фрагмента контента.
  • Для управления синдицированным контентом. Если вы распространяете свой контент для публикации в других доменах вы хотите, чтобы ваш предпочтительный URL появлялся в результатах поиска.
  • Чтобы не тратить время на сканирование дублирующихся страниц . Вы хотите, чтобы робот Google получить максимальную отдачу от своего сайта, поэтому ему лучше потратить время на сканирование новых (или обновлено) на вашем сайте, а не сканировать настольную и мобильную версии те же страницы.

Узнайте, какую страницу Google считает канонической.

Используйте URL Инструмент проверки, чтобы узнать, какую страницу Google считает канонической.

Примечание : даже если вы явно указываете каноническую страницу, Google может выбрать другую каноническую версию по разным причинам, например по производительности или содержанию.

Укажите каноническую страницу

Чтобы указать канонический URL-адрес для повторяющихся URL-адресов или похожих страниц, выберите один из следующих методы. Обязательно следуйте общим рекомендациям.

Хотя мы рекомендуем вам использовать любой из этих методов, ни один из них не требуется. Если вы не укажете канонический URL, мы определим, что мы считаем лучшим версия или URL.
Метод и описание
rel = canonical tag

Добавьте тег в код для всех повторяющихся страниц, указывая на каноническую страницу.

Плюсы:
  • Может отображать бесконечное количество повторяющихся страниц.

Минусы:

  • Можно увеличить размер страницы.
  • Может быть сложно поддерживать отображение на более крупных сайтах или сайтах, где URL-адреса часто меняются.
  • Работает только для HTML-страниц, но не для таких файлов, как PDF. В таких случаях вы можете используйте HTTP-заголовок rel = canonical .
rel = canonical HTTP-заголовок

Отправьте заголовок rel = canonical в ответ на странице.

Плюсы:

  • Не увеличивает размер страницы.
  • Может отображать бесконечное количество повторяющихся страниц.

Минусы:

  • Может быть сложно поддерживать отображение на более крупных сайтах или сайтах, где URL-адреса часто меняются.
Карта сайта

Укажите свои канонические страницы в карте сайта.

Плюсы:

  • Простота в эксплуатации и обслуживании, особенно на больших площадках.

Минусы:

  • Робот Googlebot по-прежнему должен определять связанный дубликат для любых канонических объявлений которые вы указываете в карте сайта.
  • Менее мощный сигнал для робота Googlebot, чем rel = canonical картографическая техника.
301 редирект Используйте переадресацию 301, чтобы сообщить роботу Googlebot, что перенаправленный URL-адрес является лучшей версией, чем данный URL. Используйте это только при отказе от дублирующейся страницы.
Вариант AMP Если одним из ваших вариантов является страница AMP, следуйте инструкциям AMP, чтобы указать каноническая страница и вариант AMP.

Общие рекомендации

Для всех методов канонизации следуйте этим общим рекомендациям:

  • Не использовать роботов.txt для канонизации.
  • Не используйте инструмент удаления URL для канонизации. Удаляет все версии URL из поиска.
  • Не указывайте разные URL-адреса как канонические для одной и той же страницы, используя одинаковые или разные методы канонизации (например, не указывайте один URL в карта сайта, но другой URL для той же страницы с использованием rel = "canonical" ).
  • Не использовать noindex как средство предотвращения выбора канонической страницы.Эта директива предназначена для исключения страницу из индекса, чтобы не управлять выбором канонической страницы.
  • Укажите каноническую страницу при использовании hreflang теги. Укажите каноническую страницу на том же языке или лучшую замену язык, если канонического не существует для того же языка.

  • Ссылка на канонический URL-адрес, а не на повторяющийся URL-адрес, при размещении ссылок на вашем сайте. Последовательная ссылка на URL, который вы считаете каноническим, помогает Google понять ваше предпочтение.

Предпочитать HTTPS над HTTP для канонических URL

Google предпочитает страницы HTTPS эквивалентным страницам HTTP как каноническим, за исключением тех случаев, когда есть проблемы или противоречивые сигналы, например:

  • На странице HTTPS указан недопустимый сертификат SSL.
  • Страница HTTPS содержит небезопасные зависимости (кроме изображений).
  • Страница HTTPS перенаправляет пользователей на страницу HTTP или через нее.
  • На странице HTTPS есть ссылка rel = "canonical" на страницу HTTP.

Хотя наши системы по умолчанию предпочитают страницы HTTPS страницам HTTP, вы можете убедиться, что это поведение, выполнив любое из следующих действий:

  • Добавьте перенаправления со страницы HTTP на страницу HTTPS.
  • Добавьте ссылку rel = "canonical" со страницы HTTP на страницу HTTPS.
  • Реализуйте HSTS.

Чтобы Google не мог неправильно сделать страницу HTTP канонической, избегайте следующие практики:

  • Избегайте неверных сертификатов TLS / SSL и переадресации HTTPS-to-HTTP, потому что они заставляют Google очень сильно предпочитаю HTTP.Внедрение HSTS не может переопределить это сильное предпочтение.
  • Избегайте включения HTTP-страницы в карту сайта или hreflang. записи, а не версию HTTPS.
  • Избегайте внедрения сертификата SSL / TLS для неправильного варианта хоста. Например, example.com, обслуживающий сертификат для www.example.com. Сертификат должен соответствовать вашему полный URL-адрес сайта или подстановочный сертификат, который можно использовать для нескольких поддоменов на домен.
Только для опытных пользователей: скажите Google, чтобы он игнорировал динамические параметры

Использовать параметр Обработка сообщения роботу Googlebot о любых параметрах, которые следует игнорировать при сканировании. Игнорирование определенных параметров может уменьшить количество дублированного контента в индексе Google и сделать ваш сайт более проходимый. Например, если вы укажете, что параметр sessionid следует игнорировать, робот Googlebot будет рассматривать следующие два URL-адреса как дубликаты:

  • https: // www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

Используйте

rel = "canonical" ссылку тег

Чтобы указать, что страница является копией другой страницы, вы можете использовать в разделе head вашего HTML.

Предположим, вы хотите, чтобы https://example.com/dresses/green-dresses был канонический URL-адрес, хотя доступ к этому содержимому может иметь множество URL-адресов.Укажите этот URL как canonical с этими шагами:

  1. Отметьте все повторяющиеся страницы тегом ссылки rel = "canonical" .

    Добавьте элемент < link > с атрибутом rel = "canonical" to the раздел повторяющихся страниц, указывающий на каноническую страницу. Например:

      
  2. Если каноническая страница имеет мобильный вариант, добавьте rel = "alternate" ссылка на него, указывающая на мобильную версию страницы:
      
  3. Добавьте любой hreflang или другие перенаправления, подходящие для страницы.

Используйте абсолютные, а не относительные пути с тегом rel = "canonical" link .

Рекомендуемые: https://www.example.com/dresses/green/greendresss.html

Не рекомендуется: / платья / зеленый / платье.HTML

Если вы можете настроить свой сервер, вы можете использовать rel = "canonical" Заголовок HTTP (а не тег HTML), чтобы указать канонический URL-адрес документа, поддерживаемого поиском, включая документы не в формате HTML, такие как файлы PDF.

Google в настоящее время поддерживает этот метод только для результатов веб-поиска.

Если вы открываете PDF-файл через несколько URL-адресов, вы можете вернуть rel = "canonical" Заголовок HTTP, сообщающий роботу Googlebot, какой канонический URL для файла PDF:

.
 Ссылка: ; rel = "canonical" 

Рекомендации для HTTP-заголовка rel = "canonical" такие же, как rel = "canonical" ссылка тег. Согласно RFC2616, используйте только двойные кавычки в HTTP-заголовке rel = "canonical" .

Использовать карту сайта

Выберите канонический URL для каждой из своих страниц и отправьте их в карта сайта. Все страницы, перечисленные в карте сайта предлагаются как канонические; Робот Googlebot решит, какие страницы (если есть) страницы являются дубликатами, на основе схожести содержания.

Мы не гарантируем , что мы будем считать URL-адреса карты сайта каноническими, но это простой способ определения канонических значений для большого сайта, а карты сайта — полезный способ определить Погуглите, какие страницы на своем сайте вы считаете наиболее важными.

Не включать неканонические страницы в карту сайта. Если вы используете карту сайта, укажите в карте сайта только канонические URL.

Использовать переадресацию 301 для устаревших URL-адресов

Используйте этот метод, если вы хотите избавиться от существующих повторяющихся страниц, но при этом необходимо плавный переход, прежде чем вы удалите старые URL-адреса.

Предположим, на вашу страницу можно попасть несколькими способами:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

Выберите один из этих URL-адресов в качестве канонического URL-адреса и используйте переадресацию 301 для отправки трафика с другие URL-адреса на ваш предпочтительный URL-адрес. Редирект 301 на стороне сервера — лучший способ гарантировать, что пользователи и поисковые системы направляются на правильную страницу.Код состояния 301 означает, что страница навсегда перемещена в новое место.

Если вы пользуетесь услугами хостинга веб-сайтов, поищите их документацию по настройке 301 редирект.

Устранение неполадок

Если канонический URL-адрес находится в собственности, которой вы не владеете, вы не сможете увидеть ни один из посещаемость вашей дублирующейся страницы. Вот несколько общих причин, по которым каноническое может существовать в отдельный объект недвижимости:

  • Неправильно обозначенные языковые варианты: Если у вас несколько веб-сайтов, предоставлять практически один и тот же контент, локализованный для разных пользователей по всему миру, убедитесь, что следовать нашим рекомендациям для локализованные сайты.
  • Неверные канонические теги: Некоторые системы управления контентом (CMS) или CMS плагины могут неправильно использовать методы канонизации, чтобы указывать на URL-адреса на внешних веб-сайты. Проверьте свой контент, чтобы узнать, так ли это. Если ваш сайт указывает неожиданное предпочтение канонического URL-адреса, возможно, из-за неправильного использования rel = "canonical" или 301 редирект, исправьте эту проблему напрямую.
  • Неверно настроенные серверы: Некоторые неправильные настройки хостинга могут вызывать непредвиденные выбор междоменного URL.Например:
    • Сервер может быть неправильно сконфигурирован для возврата контента с a.com в ответ на запрос для URL на b.com
    • Два несвязанных веб-сервера могут возвращать идентичные мягкие страницы 404, которые Google не может быть идентифицирован как страница с ошибкой.
  • Вредоносный взлом: Некоторые атаки на веб-сайты содержат код, который возвращает перенаправление HTTP 301 или вставки междоменный тег ссылки rel = "canonical" в HTML или заголовок HTTP, обычно указывающий на хостинг URL вредоносный или спам-контент.В этих случаях наши алгоритмы могут выбрать вредоносный или URL-адрес спама вместо URL-адреса взломанного веб-сайта.
  • Сайт-подражатель: В редких случаях наш алгоритм может выбрать URL с внешнего сайта, на котором размещается ваш контент без вашего разрешения. Если ты веришь что другой сайт копирует ваш контент в нарушение закона об авторских правах, вы можете связаться с хост сайта, чтобы запросить удаление. Кроме того, вы можете попросить Google удалить страницу, нарушающую авторские права, из результатов поиска, заполнив запрос в соответствии с Законом о защите авторских прав в цифровую эпоху.

Перенаправление и дублирование контента на веб-сайтах

В этом посте мы увидим различные способы перенаправления URL-адресов и то, как эти методы повлияют на рейтинг нашего веб-сайта в поисковых системах. Мы также рассмотрим различные способы обработки дублированного контента на наших веб-сайтах и ​​то, как поисковые системы обрабатывают дублированный контент, если мы ничего не укажем. Хорошие знания в области перенаправления и обработки дублированного контента помогут вам оптимизировать свой сайт для ранжирования в поисковых системах.


Что такое перенаправление URL?

Перенаправление URL-адресов отправляет пользователей и поисковые системы на другой URL-адрес, отличный от того, который они изначально запросили.

Перенаправление URL-адресов выполняется по следующим причинам:

  1. Веб-сайт перемещен на новый домен: Предположим, qscutter.com теперь перемещен на plus.qscutter.com. Затем нам нужно перенаправить всех пользователей, запрашивающих qscutter.com, на plus.qscutter.com
  2. Несколько доменных имен: qnimate.com и www.qnimate.com указывают на один и тот же веб-сайт, поэтому нам нужно перенаправить все запросы на qnimate.com
  3. Регистрация исходящих ссылок: вместо того, чтобы qnimate.com отправлял посетителя прямо на другие сайты, ссылки на qnimate.com могут направлять на URL в домене qnimate.com, который автоматически перенаправляет на реальную цель. И тогда сервер qnimate.com может регистрировать исходящую ссылку, а также HTTP-реферер.
  4. Сокращение: Иногда нам нужно создать короткие URL-адреса для наших длинных из-за ограничений по количеству слов в блогах, комментариях и на других платформах. Например, qnimate.com/this-is-my-category/this-is-my-page/ можно сократить до qnimate.com /? page = 1. И когда пользователь посещает qnimate.com/?page=1, веб-сервер qnimate перенаправляет пользователя на qnimate.com/this-is-my-category/this-is-my-page/.
  5. Спам в поисковых системах: переадресация может использоваться для отображения различных результатов поисковой системе и пользователям. А также редиректы используются для кражи рейтинга страниц. Подробное описание этих тем выходит за рамки данной публикации.
  6. Удаление заголовка реферера: Если пользователь нажимает на qscutter.com на странице qnimate.com, браузер отправляет заголовок реферера, назначенный qnimate.com. Этот заголовок используется для регистрации источников трафика, а также для предотвращения многих атак на веб-сайты, таких как CSRF. Этот заголовок можно удалить с помощью перенаправления. Например, qnimate.com имеет якорную ссылку на qscutter.com. Мы не хотим, чтобы qscutter.com имел доступ к заголовку реферера. Таким образом, вместо того, чтобы отправлять посетителей прямо на qscutter.com, qnimate.com может направить URL-адрес самому себе, чем удалить заголовок referer и перенаправить пользователя на qscutter.com
  7. Обработка дублированного контента: перенаправление также используется для отбрасывания нескольких страниц и URL-адресов, имеющих такое же содержание.В этом посте подробно рассказывается об обработке дублированного контента с помощью перенаправления. Мы углубимся в эту тему.

Какие бывают типы перенаправления?

Есть много способов перенаправления URL-адресов. Все эти методы делятся на две категории: перенаправление HTTP и перенаправление HTML.

Перенаправление HTTP

Перенаправление, выполняемое с использованием заголовка HTTP Location и кода состояния HTTP 3XX, называется перенаправлением HTTP. Есть много типов перенаправления HTTP.

  1. 300 Перенаправление или несколько вариантов выбора
  2. 301 Перенаправление или постоянное перенаправление
  3. 302 Перенаправление или найденное или временное перенаправление
  4. 303 Перенаправление или просмотр другого
  5. 307 Перенаправление или временное перенаправление
  6. 308 Перенаправление или постоянное перенаправление Обновление заголовка HTTP

Примечание. Помните, что весь код состояния HTTP, начинающийся с 3, не является перенаправлением. Например, коды состояния 304, 305 и 306 не являются перенаправлением.

Перенаправление HTML

Перенаправление выполняется с использованием кода HTML и Javascript, называемого перенаправлением HTML.Браузеры распознают перенаправление HTML.

В основном существует 2 типа перенаправления HTML:

  1. Обновить метатег
  2. Перенаправления JavaScript

Поисковые системы не выполняют HTML-код, они просто анализируют его. Поэтому поисковая система не распознает перенаправления Javascript. Поисковые системы всегда анализируют метатеги, поэтому поисковые системы будут знать о метатегах обновления.

301 Перенаправление или постоянное перенаправление

Это используется, когда мы полностью перемещаем наши веб-страницы на новый домен или новый URL.Поисковые системы никогда больше не будут посещать этот URL-адрес, а не будут напрямую посещать URL-адрес, указанный в заголовке Location.

Обратите внимание, что когда мы используем перенаправление 301, запрос перенаправления выполняется GET независимо от исходного запроса.

Рассмотрим пример перенаправления 301:

qscutter.com

header (‘HTTP / 1.1 301 перемещен навсегда’); Заголовок
(‘Location: http://plus.qscutter.com/’);
выход ();
?>

302 Redirect or Found или Temporary Redirect

Это используется, когда мы временно переместили наши веб-страницы на новый домен или новый URL.Поисковые системы будут временно индексировать новые URL-адреса и отключать исходные URL-адреса. В этом случае поисковая система будет сканировать как исходные, так и временные URL-адреса с постоянным интервалом. Как только он обнаружит, что исходные URL-адреса больше не перенаправляются, они включат исходные в индексе и удалят временные URL-адреса из индекса.

Обратите внимание, что если веб-страница временно перенаправляется более чем на несколько дней, рейтинг страницы в результатах поиска начнет снижаться. Это означает, что длительное удержание веб-сайта в неактивном состоянии снизит его рейтинг в результатах поиска.

В HTTP 1.0 он называется «Найдено», а в HTTP 1.1 — как «Временное перенаправление».

Не все HTTP-клиенты реализуют переадресацию 302 одинаково. Некоторые клиенты делают тип запроса перенаправления таким же, как исходный тип запроса. В то время как некоторые клиенты делают тип запроса перенаправления GET независимо от исходного типа запроса.

Рассмотрим пример перенаправления 302:

qnimate.com

header (‘HTTP / 1.1 302 Found’);
header (‘Location: http: // labs.qnimate.com/ ‘);
выход ();
?>

qnimate.com

header (‘HTTP / 1.1 302 перемещен временно’); Заголовок
(‘Location: http://labs.qnimate.com/’);
выход ();
?>

Многие веб-сайты, использующие HTTP 1.1, отвечают как «HTTP / 1.1 301 перемещено временно», что на самом деле недействительно. Но все же браузеры и поисковые системы игнорируют его и воспринимают как временное перенаправление из-за массового использования этого статуса.

HTTP 303 Redirect и 307 Redirect

303 и 307 также используются для временного перенаправления URL-адресов.303 и 307 распознаются только клиентами HTTP 1.1.

Реализация переадресации 302 различается в зависимости от клиента. Поэтому W3C представил 303 и 307, чтобы указать правильную реализацию.

Когда мы отправляем код состояния 303, мы явно просим клиента сделать запрос перенаправления как GET независимо от типа исходного запроса.

Если исходный запрос — GET, и мы хотим, чтобы запрос перенаправления также был GET, то лучше использовать 302 вместо 303, потому что многие клиенты HTTP 1.1 не распознают код состояния 303.

qnimate.com

header (‘HTTP / 1.1 303 См. Другое’); Заголовок
(‘Location: http://labs.qnimate.com/’);
выход ();
?>

Если мы хотим, чтобы тип запроса перенаправления был таким же, как исходный тип запроса, мы используем перенаправление 307. Предположим, что исходный тип запроса — POST, тогда тип запроса перенаправления останется как POST.

qnimate.com/search.php

header (‘HTTP / 1.1 307 Temporary Redirect’); Заголовок
(‘Location: http: // qnimate.com /? search = true ‘);
выход ();
?>

308 Redirect or Permanent Redirect

308 используется для постоянного перенаправления. Только признанные клиенты HTTP 1.1.

Когда мы используем 301, типом запроса перенаправления является GET, независимо от исходного типа запроса. Но что, если мы хотим, чтобы тип запроса перенаправления оставался таким же, как исходный тип запроса, в этом случае мы используем перенаправление 308.

qnimate.com/search.php

header (‘HTTP / 1.1 308 Постоянное перенаправление »); Заголовок
(‘Location: http://qnimate.com/?search=true’);
выход ();
?>

HTTP-заголовок обновления

Используя HTTP-заголовок Refresh, мы можем перенаправить пользователя на другой URL-адрес через заданное время.

Это в основном используется, когда содержимое страницы обновляется после каждого постоянного интервала времени. Таким образом, страница может загружаться сама и выглядеть как страница автоматического обновления.

qnimate.com

// здесь время 0 секунд.Поэтому, как только браузер обнаруживает этот HTTP-ответ, он перенаправляет его на указанный URL-адрес. Заголовок
(«Обновить: 0; url = http: //qscutter.com/»);
?>

Обновить метатег

Используя метатег «Обновить», мы можем перенаправить пользователя на другой URL-адрес через заданное время.

qnimate.com







Пожалуйста, перейдите по этой ссылке .


< / body>

Перенаправление JavaScript

Мы также можем перенаправить с помощью Javascript. Такое перенаправление обычно выполняется из-за действия на веб-странице, желаемого пользователем.

qnimate.com

Что такое дублированный контент на веб-сайтах?

Дублированный контент — это когда более одного URL-адреса указывают на одну и ту же веб-страницу.Это приводит к тому, что поисковые системы не могут решить, какой URL-адрес считать наиболее релевантным. Это также вызывает проблемы для веб-сайтов, поскольку рейтинг страницы делится на несколько страниц и, следовательно, теряет рейтинг в поиске.

Несколько примеров URL-адресов, вызывающих дублирование контента

  1. URL-адреса отслеживания: предположим, что qnimate.com/index.html — это домашняя страница. Если вы хотите отслеживать источники, откуда приходят ваши пользователи и как долго они остаются, для этого вы можете передать параметры GET в URL-адрес и отслеживать время с помощью AJAX.Например: qnimate.com/index.html?src=facebook. Для поисковой системы кажется, что qnimate.com/index.html и qnimate.com/index.html?src=facebook — это два разных URL. Он также видит, что они оба генерируют один и тот же контент, поэтому они считают, что эти URL-адреса имеют дублированный контент. Эти два URL-адреса теперь имеют разный поисковый рейтинг.
  2. Несколько URL-адресов: страница может иметь разные URL-адреса. qnimate.com/24-august отображает сообщение, опубликованное 24 августа. А qnimate.com/24-august/18:00 отображает сообщение, опубликованное в 18:00 того же дня.И возможно, что эти два URL-адреса создают одну и ту же страницу.
  3. Доменные имена: www.qnimate.com и qnimate.com указывают на одну и ту же веб-страницу. Но поисковые системы воспринимают их как два разных URL-адреса, что приводит к дублированию контента.

Проблемы, вызванные дублированием контента

  1. Поисковые системы не знают, какую страницу отображать в результатах поиска.
  2. Поисковые системы не знают, передавать ли весь рейтинг страницы одному URL-адресу или делить его между всеми этими URL-адресами.

Решение для дублирования контента?

Есть два основных решения для обработки дублированного контента.

  1. Канонический элемент ссылки
  2. Перенаправление
  3. Метатег Robots или поле HTTP-заголовка X-Robots-Tag или robots.txt

Канонический элемент ссылки как решение для дублирования контента

Давайте изучим реализацию элемента канонической ссылки на примере .

Предположим, что qnimate.com/index.html — это домашняя страница. Если вы хотите отслеживать источники, откуда приходят ваши пользователи и как долго они остаются, для этого вы можете передать параметры GET в URL-адрес и отслеживать время с помощью AJAX.Например: qnimate.com/index.html?src=facebook. Для поисковой системы кажется, что qnimate.com/index.html и qnimate.com/index.html?src=facebook — это два разных URL. Он также видит, что они оба генерируют один и тот же контент, поэтому они считают, что эти URL-адреса имеют дублированный контент. Эти два URL-адреса теперь имеют разный поисковый рейтинг.

Мы можем использовать метатег rel = canonical, чтобы указать поисковой системе, что они оба одинаковы, и что все рейтинги qnimate.com/index.html?src=facebook должны быть переданы qnimate.ru / index.html.

Давайте код реализации:

qnimate.com/index.html

qnimate.com/index.html?src=facebook

Когда поисковая система посетит второй URL-адрес, он встретит rel = canonical метатег, поэтому он передаст всю силу ранжирования этого URL первому. А также поисковая система будет отображать первый URL в результатах поиска.

Перенаправление HTTP как решение для дублирования контента

При постоянном перенаправлении все возможности ранжирования исходного URL передаются на URL перенаправления.Но временное перенаправление не влияет на рейтинг.

Давайте посмотрим на пример использования постоянного перенаправления HTTP.

http://www.qnimate.com и http://qnimate.com — это два разных URL, указывающих на одну и ту же веб-страницу. Таким образом, мы можем перенаправлять все запросы с http://www.qnimate.com на http://qnimate.com навсегда.

Например:

http://www.qnimate.com

header («HTTP / 1.1 301 перемещен временно»); Заголовок
(‘Location: http: // qnimate.com / ‘);
выход ();
?>

Метатег роботов как решение для дублирования контента

Используя метатег роботов, мы можем указать поисковой системе не сканировать определенные страницы или сканировать определенные страницы. Используя метатег robots, мы не можем передавать рейтинг одной страницы другой.

Рассмотрим пример:

Предположим, у нас есть две страницы с одинаковым содержанием. Пусть это будут страницы http://qnimate.com/1.html и http://qnimate.com/2.html. Мы хотим, чтобы поисковая система индексировала и отображала только http: // qnimate.com / 1.html и игнорируйте http://qnimate.com/2.html. Таким образом, мы можем добавить метатег robots в http://qnimate.com/2.html и указать поисковой системе игнорировать его.

http://qnimate.com/2.html





Этого же можно добиться с помощью поля HTTP-заголовка X-Robots-Tag и файла robots.txt.
Чтобы узнать об этом больше, перейдите по этим ссылкам link1link2


Заключение

В этом посте мы увидели различные методы перенаправления.Мы увидели, как и где их использовать для оптимизации вашего сайта и улучшения результатов поиска. Мы увидели, как можно использовать перенаправление для решения проблем с дублированием контента. Всегда есть чему поучиться. Этот пост будет обновляться по мере появления новых технологий. Спасибо, что прочитали это. Пожалуйста, поставьте лайк и поделитесь.

Нараян Прусти

причин и решений • Yoast

У поисковых систем, таких как Google, есть проблема — это «дублированный контент». Дублированный контент означает, что похожий контент появляется в нескольких местах (URL) в Интернете, и в результате поисковые системы не знают, какой URL показывать в результатах поиска.Это может повлиять на рейтинг веб-страницы, и проблема только усугубляется, когда люди начинают ссылаться на разные версии одного и того же контента. Эта статья поможет вам понять различные причины дублирования контента и найти решение каждой из них.

Что такое дублированный контент?

Дублированный контент — это контент, доступный по нескольким URL-адресам в Интернете. Поскольку более чем один URL показывает одно и то же содержание, поисковые системы не знают, какой URL вывести в результатах поиска.Поэтому они могут поставить оба URL ниже и отдать предпочтение другим веб-страницам.

В этой статье мы в основном сосредоточимся на технических причинах дублирования контента и способах их устранения. Если вы хотите получить более широкое представление о дублированном контенте и узнать, как он соотносится с скопированным или извлеченным контентом или даже с каннибализацией ключевых слов, мы советуем вам прочитать этот пост: Что такое дублированный контент.

Проиллюстрируем это на примере

Дублированный контент можно сравнить с тем, что вы находитесь на перекрестке, где дорожные знаки указывают в двух разных направлениях на один и тот же пункт назначения: по какой дороге вам следует выбрать? Что еще хуже, конечный пункт назначения тоже отличается, но совсем немного.Как читатель, вы не возражаете, потому что получаете контент, за которым пришли, но поисковая система должна выбрать, какую страницу показывать в результатах поиска, потому что, конечно, она не хочет показывать одно и то же содержание дважды.

Допустим, ваша статья о ‘keyword x’ размещена по адресу http://www.example.com/keyword-x/ , и такое же содержание также появляется по адресу http://www.example.com/article- категория / ключевое слово-x / . Эта ситуация не является фикцией: это происходит во многих современных системах управления контентом.Тогда предположим, что ваша статья была подхвачена несколькими блоггерами, и некоторые из них ссылаются на первый URL, а другие — на второй. Это когда проблема поисковой системы проявляет свою истинную природу: это ваша проблема . Дублированный контент — ваша проблема, потому что обе эти ссылки продвигают разные URL-адреса. Если бы все они ссылались на один и тот же URL-адрес, ваши шансы на ранжирование по ‘keyword x’ были бы выше.

Если вы не знаете, страдает ли ваш рейтинг от проблем с дублированным контентом, эти инструменты для обнаружения дублированного контента помогут вам это выяснить!

Причины дублирования контента

Есть десятки причин дублирования контента.Большинство из них носят технический характер: нечасто человек решает разместить один и тот же контент в двух разных местах, не уточняя, какой из них является оригиналом. Если, конечно, вы не клонировали сообщение и не опубликовали его случайно. Но в остальном большинству из нас это кажется неестественным.

Есть много технических причин, и в основном это происходит потому, что разработчики думают не как браузер или даже пользователь, не говоря уже о паучке поисковой машины — они думают как программисты. Возьмите ту статью, о которой мы упоминали ранее, которая размещена на http: // www.example.com/keyword-x/ и http://www.example.com/article-category/keyword-x/ . Если вы спросите разработчика, он скажет, что он существует только один раз.

Непонимание концепции URL

Нет, этот разработчик не сошел с ума, просто они говорят на другом языке. CMS, вероятно, будет обеспечивать работу веб-сайта, и в этой базе данных есть только одна статья, но программное обеспечение веб-сайта просто позволяет извлекать ту же статью из базы данных по нескольким URL-адресам.Это потому, что в глазах разработчика уникальный идентификатор этой статьи — это идентификатор статьи в базе данных, а не URL-адрес. Но для поисковой системы URL — это уникальный идентификатор части контента. Если вы объясните это разработчику, они начнут понимать проблему. И после прочтения этой статьи вы даже сможете сразу же предложить им решение.

Идентификаторы сеансов

Вы часто хотите отслеживать своих посетителей и позволять им, например, хранить товары, которые они хотят купить, в корзине для покупок.Для этого вы должны дать им «сеанс». Сеанс представляет собой краткую историю того, что посетитель делал на вашем сайте, и может содержать такие вещи, как товары в его корзине покупок. Чтобы поддерживать этот сеанс, когда посетитель щелкает с одной страницы на другую, необходимо где-то хранить уникальный идентификатор этого сеанса, называемый идентификатором сеанса. Наиболее распространенное решение — использовать файлы cookie. Однако поисковые системы обычно не хранят файлы cookie.

В этот момент некоторые системы возвращаются к использованию идентификаторов сеанса в URL-адресе.Это означает, что каждая внутренняя ссылка на веб-сайте получает этот идентификатор сеанса, добавленный к его URL-адресу, и поскольку этот идентификатор сеанса является уникальным для этого сеанса, он создает новый URL-адрес и, следовательно, дублирует контент.

Параметры URL, используемые для отслеживания и сортировки

Другой причиной дублирования контента является использование параметров URL, которые не изменяют контент страницы, например, в ссылках отслеживания. Видите ли, для поисковой системы http://www.example.com/keyword-x/ и http: // www.example.com/keyword-x/?source=rss — это разные URL. Последнее может позволить вам отслеживать, откуда пришли люди, но это также может затруднить вам высокий рейтинг — очень нежелательный побочный эффект!

Конечно, это касается не только параметров отслеживания. Это касается каждого параметра, который вы можете добавить к URL-адресу, который не меняет жизненно важный фрагмент контента, независимо от того, предназначен ли этот параметр для «изменения сортировки в наборе продуктов» или для «отображения другой боковой панели»: все они вызывают дублирование содержание.

Скреперы и распространение контента

Большинство причин дублирования контента — это «вина» вас или вашего веб-сайта. Однако иногда другие веб-сайты используют ваш контент с вашего согласия или без него. Они не всегда ссылаются на вашу исходную статью, и поэтому поисковая система не «понимает» ее, и ей приходится иметь дело с еще одной версией той же статьи. Чем популярнее становится ваш сайт, тем больше у вас будет скребков, что усугубляет проблему.

Порядок параметров

Другая распространенная причина заключается в том, что CMS использует не красивые чистые URL-адреса, а такие URL-адреса, как /? Id = 1 & cat = 2 , где ID относится к статье, а cat — к категории. URL /? Cat = 2 & id = 1 будет отображать те же результаты в большинстве систем веб-сайтов, но они совершенно разные для поисковой системы.

В моем любимом WordPress, но также и в некоторых других системах есть возможность разбивать ваши комментарии на страницы.Это приводит к дублированию контента по URL-адресу статьи и URL-адресу статьи + / comment-page-1 /, / comment-page-2 / и т. Д.

Страниц для печати

Если ваша система управления контентом создает удобные для печати страницы, и вы ссылаетесь на них со страниц своих статей, Google обычно их найдет, если вы специально не заблокируете их. Теперь спросите себя: какую версию вы хотите, чтобы Google показывал? Тот, с вашей рекламой и второстепенным контентом, или тот, который показывает только вашу статью?

WWW vs.не-WWW

Это один из старейших в книге, но иногда поисковые системы все еще ошибаются: WWW против дублированного контента без WWW, когда доступны обе версии вашего сайта. Другая, менее распространенная ситуация, но которую я тоже видел, — это дублированный контент HTTP и HTTPS, когда один и тот же контент обслуживается обоими.

Концептуальное решение: «канонический» URL

Как мы уже видели, тот факт, что несколько URL-адресов ведут к одному и тому же контенту, является проблемой, но ее можно решить.Один человек, который работает в публикации, обычно может довольно легко сказать вам, каким должен быть «правильный» URL для определенной статьи, но иногда, когда вы спрашиваете трех человек в одной компании, вы получаете три разных ответа …

Это проблема, которую необходимо решить, потому что, в конце концов, может быть только один (URL). Этот «правильный» URL для части контента обозначается поисковыми системами как Canonical URL .

Ироническая сторона примечания

Канонический — термин, восходящий к римско-католической традиции, где был составлен список священных книг, которые были приняты как подлинные.Они были известны как канонические Евангелия Нового Завета. Ирония заключается в том, что Римско-католической церкви потребовалось около 300 лет и многочисленные сражения, чтобы составить этот канонический список, и в конечном итоге они выбрали четыре версии одной и той же истории

Выявление проблем с дублирующимся содержимым

Вы можете не знать, есть ли у вас проблема с дублированием контента на вашем сайте или с вашим контентом. Использование Google — один из самых простых способов обнаружить повторяющийся контент.

Есть несколько поисковых операторов, которые очень полезны в подобных случаях.Если вы хотите найти на своем сайте все URL-адреса, содержащие ваше ключевое слово X статья, введите в Google следующую поисковую фразу:

 site: example.com intitle: "Ключевое слово X"
 

Google покажет вам все страницы на example.com, содержащие это ключевое слово. Чем конкретнее вы сделаете как часть запроса , тем легче будет отсеять повторяющийся контент. Вы можете использовать тот же метод для выявления дублированного контента в Интернете. Предположим, что полное название вашей статьи было «Ключевое слово X — почему это круто» , вы должны искать:

 intitle: «Ключевое слово X - почему оно круто»
 

И Google предоставит вам все сайты, соответствующие этому названию.Иногда стоит даже поискать одно или два полных предложения из статьи, так как некоторые парсеры могут изменить заголовок. В некоторых случаях, когда вы выполняете такой поиск, Google может отображать подобное уведомление на последней странице результатов:

Это признак того, что Google уже «исключает дублирование» результатов. Это по-прежнему не очень хорошо, поэтому стоит нажать на ссылку и просмотреть все остальные результаты, чтобы узнать, можно ли исправить некоторые из них.

Подробнее: Сделай сам: проверка дублированного контента »

Практические решения для дублирования контента

После того, как вы определились, какой URL является каноническим для вашего контента, вы должны начать процесс канонизации (да, я знаю, попробуйте произнести это вслух трижды и быстро).Это означает, что мы должны сообщить поисковым системам о канонической версии страницы и позволить им найти ее как можно скорее. Существует четыре метода решения проблемы в порядке предпочтения:

  1. Отсутствие дублирования контента
  2. Перенаправление дублированного контента на канонический URL
  3. Добавление элемента канонической ссылки на дублированную страницу
  4. Добавление HTML-ссылки с дублированной страницы на каноническую страницу

Предотвращение дублирования контента

Для некоторых из перечисленных выше причин дублирования контента есть очень простые решения:

  • Есть ли в ваших URL идентификаторы сеанса?
    Часто их можно просто отключить в настройках вашей системы.
  • У вас есть дубликаты страниц для печати?
    Это совершенно не нужно: вы должны просто использовать таблицу стилей печати.
  • Используете ли вы разбивку на страницы комментариев в WordPress?
    Вы должны просто отключить эту функцию (в настройках »обсуждение ) на 99% сайтов.
  • Ваши параметры в другом порядке?
    Попросите вашего программиста создать сценарий, который всегда помещает параметры в одном и том же порядке (это часто называют фабрикой URL-адресов).
  • Есть ли проблемы с отслеживающими ссылками?
    В большинстве случаев вы можете использовать отслеживание кампании на основе хэш-тегов вместо отслеживания кампании на основе параметров.
  • Есть ли у вас проблемы с WWW или без WWW?
    Выберите один и придерживайтесь его, перенаправив одно другому. Вы также можете установить предпочтение в Инструментах Google для веб-мастеров, но вам нужно будет заявить права на обе версии доменного имени.

Если проблему решить не так просто, возможно, стоит приложить усилия.Целью должно быть предотвращение появления дублированного контента в целом, потому что это, безусловно, лучшее решение проблемы.

301 Перенаправление дублированного контента

В некоторых случаях невозможно полностью запретить системе, которую вы используете, создавать неправильные URL-адреса для содержания, но иногда их можно перенаправить. Если для вас это не логично (что я могу понять), помните об этом, разговаривая со своими разработчиками. Если вы используете или , чтобы избавиться от некоторых проблем с дублированным контентом, убедитесь, что вы перенаправляете все старые URL-адреса дублированного контента на правильные канонические URL-адреса.

Использование ссылок

Иногда вы не хотите или не можете избавиться от повторяющейся версии статьи, даже если знаете, что это неправильный URL. Чтобы решить эту конкретную проблему, поисковые системы ввели элемент канонической ссылки. Он находится в разделе вашего сайта и выглядит так:

    

В разделе href канонической ссылки вы помещаете правильный канонический URL-адрес вашей статьи.Когда поисковая система, поддерживающая каноническую версию, находит этот элемент ссылки, она выполняет мягкое перенаправление 301, передавая большую часть значения ссылки, собранной этой страницей, на вашу каноническую страницу.

Этот процесс немного медленнее, чем переадресация 301, поэтому, если вы можете просто выполнить переадресацию 301, это было бы предпочтительнее, как сказал Джон Мюллер из Google.

Продолжайте читать: rel = canonical • Что это такое и как (не) использовать »

Возврат к исходному содержанию

Если вы не можете сделать что-либо из вышеперечисленного, возможно, потому, что вы не контролируете раздел сайта, на котором отображается ваш контент, добавление обратной ссылки на исходную статью поверх или под статьей всегда отличная идея.Вы можете сделать это в своем RSS-канале, добавив в него обратную ссылку на статью. Некоторые парсеры отфильтровывают эту ссылку, а другие могут оставить ее. Если Google обнаружит несколько ссылок, указывающих на вашу исходную статью, он довольно скоро определит, что это настоящая каноническая версия.

Заключение: дублирующийся контент можно исправить, и его необходимо исправить

Повсюду встречается дублированный контент. Я еще не встречал сайта с более чем 1000 страниц, на котором не было бы хотя бы крошечной проблемы с дублированием контента.Это то, за чем нужно постоянно следить, но это поправимо, и награды могут быть многочисленными. Ваш качественный контент может взлететь в рейтинге, просто избавившись от дублированного контента с вашего сайта!

Оцените свою техническую пригодность к SEO

Исправление дублированного контента — важная часть вашего технического SEO. Хотите знать, насколько соответствует техническая SEO вашего сайта? Мы создали технический тест на пригодность для SEO, который поможет вам понять, над чем вам нужно работать!

Читайте дальше: Rel = canonical: Полное руководство »

Йост де Валк

Йост де Валк — основатель и директор по продуктам Yoast.Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.

Полное руководство по удалению дублирующегося контента с вашего сайта

В футболе судья показывает красную карточку, когда замечает пенальти. С Google штраф за дублирующийся контент может полностью разрушить вашу стратегию SEO.

По большей части ваш успех в маркетинге зависит от стратегии SEO .

Если вы подниметесь в рейтинге, то ваш веб-сайт и бизнес выиграют от трафика, лидов, и конверсий.

Если вы этого не сделаете, тогда вы либо посмотрите на другие методы маркетинга , либо попытаетесь усерднее.

Но, конечно, не только вы хотите попасть в первую десятку результатов Google.

Эти первые места приносят большой доход вашему бизнесу. Итак, вы знаете, что они очень конкурентоспособны.

Это означает, что вам нужно использовать все возможные SEO-сигналы.

И вы знаете, что не хотите штрафов. В спорте вам, возможно, придется посидеть несколько минут. Но в бизнесе штрафы могут снизить ваши шансы привлечь клиентов.

Органический поисковый трафик гораздо более распространен, чем платный поиск. , а Google находится на вершине рейтинга поисковых систем.

Другими словами, если вы действительно хотите извлечь выгоду из SEO, сосредоточьтесь на Google.

К сожалению, сосредоточиться на Google недостаточно для автоматического повышения вашего рейтинга.

Помните, что почти каждый маркетолог, обладающий хотя бы малейшими знаниями в области SEO, пытается повысить свой рейтинг.

Фактически, 78% маркетологов B2B регулярно практикуют SEO в качестве маркетинговой стратегии.

Это имеет смысл, если задуматься. Преимущества SEO хорошо известны и широко распространены.

Каждый маркетолог пытается получить свой кусок пирога. Включая себя.

Это означает, что для победы нужно быть умнее, быстрее и лучше их.

Потому что этот пирог включает , 61% более дешевых лидов, и 70% переходов по ссылкам.

Меньше всего вам хочется отставать. Вы же не хотите, чтобы все остальные веб-сайты в вашей отрасли рвались вперед, пока вы отстаете.

Тогда все ваши конкуренты побеждают SEO-потенциал — а вы проигрываете.

Это не рецепт успеха.

Но какое отношение все это имеет к дублированному контенту?

Что ж, дублированный контент может повредить вашему рейтингу, если вы его игнорировать, и улучшить ваш рейтинг, если вы его исправите.

На самом деле, дублированный контент может быть вашим билетом на вершину поисковой выдачи.

Что такое дублированный контент?

Может быть, вы слышали, как ваши друзья говорили о дублировании контента.

Или, может быть, вы впервые слышите о ней в этой статье.

Скорее всего, вы слышали этот термин, но все еще немного запутались. Это нормально. Я был немного сбит с толку, когда несколько лет назад впервые узнал о дублированном контенте.

Потерпите меня, и я помогу вам понять, что такое дублированный контент и почему это так важно.

По сути, дублированный контент — это именно то, на что он похож.

Это дубликат уже существующей страницы. И это сильно сбивает с толку поисковые системы.

Когда поисковая система видит несколько страниц с повторяющимся содержанием, она должна решить, какую из них ранжировать .

Естественно, вы не хотите, чтобы он сделал неправильный выбор.

Каждый повторяющийся фрагмент контента имеет немного другой URL. И хотя вы можете увидеть одно и то же, Google и другие поисковые системы видят несколько разных страниц.

Из-за этого у них разный рейтинг, SEO и даже авторитет страницы .

Это не только выглядит беспорядочно, но и может навредить SEO страницы, которую вы хотите ранжировать.

Конечно, вы можете подумать, что попадание на несколько позиций в поисковой выдаче приносит вам пользу, но действительно ли это?

Что, если, например, вы могли бы объединить SEO-сок этих двух страниц, чтобы повысить рейтинг одной страницы?

Было бы здорово, правда?

Что ж, позже в этой статье я покажу вам, как это сделать.

Что касается дублированного контента, вот что говорит Google :

«Дублированный контент обычно относится к основным блокам контента внутри или между доменами, которые либо полностью соответствуют другому контенту, либо в значительной степени похожи. В основном, это не обман по своему происхождению ».

И они определенно правы насчет отсутствия обмана.

Вы не пытаетесь никого обмануть дублированием содержания. Вы, вероятно, даже не подозревали, что на вашем сайте может быть дублированный контент.

Часто вы не создаете его намеренно, но он как бы создает себя.

Если вы хотите проверить свой домен на дублирование контента, вы можете использовать этот инструмент для этого .

Просто введите URL-адрес, который хотите проверить, и нажмите «Выполнить проверку».

Затем на следующей странице будет показано, сколько существует дубликатов страниц введенного вами URL.

Как видите, в настоящее время в Интернете имеется восемь дублированных фрагментов контента для введенного мной URL.

Теперь, когда вы понимаете, что такое дублированный контент и как его найти на собственном веб-сайте, давайте поговорим о том, почему он существует и почему он появляется.

Почему появляется?

Возможно, самая запутанная часть дублированного контента — это то, почему он вообще появляется.

В большинстве случаев вы не пытались намеренно создать копию одной из уже существующих страниц.

И все же на многих сайтах дублируется контент.

Итак, что его создает и откуда?

Здесь я собираюсь показать вам несколько причин неприятного дублирования контента.

Первый способ обнаружения дублированного контента — это когда веб-сайт использует систему URL-адресов, которая создает несколько версий одной и той же страницы.

Страница выглядит идентично всем ее вариантам, но URL-адрес немного отличается.

Примерно так, например.

Другой пример этого — когда у вас есть один URL страницы с HTTPS, а другой — нет.

Эти страницы больше не одни и те же, а дубликаты друг друга.

Этот выглядит так .

Другой способ непреднамеренного создания дублированного содержимого — публикация версии для печати или HTML уже существующей страницы.

Это отлично подходит для того, чтобы позволить людям распечатывать ваш контент, но не только для вашего SEO и предотвращения дублирования контента.

Конечно, это лишь несколько способов, которыми вы или ваша система создаете дублированный контент.

Но есть много разных способов, как это происходит.

Динамические URL-адреса, старые и забытые версии страницы, распространение контента и идентификаторы сеанса — вот еще несколько причин, по которым страницы с дублированным контентом попали в цифровой мир .

Надеюсь, теперь у вас есть хорошее представление о том, что такое дублированный контент и что его создает.

Но теперь мы обращаем внимание на один из самых важных вопросов о дублировании контента.

Почему это вызывает проблему и насколько она серьезна?

Почему возникает проблема?

Вы могли этого не знать. Но да, дублированный контент вызывает проблемы.

Вы не поверите, но дублирующийся контент на вашем сайте может повредить вашему SEO-рейтингу.

Но не напрямую. Google фактически заявил, что дублирующийся контент не вредит рейтингу веб-сайта. Но это косвенно сказывается на вашем рейтинге.

Позвольте мне объяснить.

Представьте на мгновение, что у вас есть две страницы с одинаковым содержанием. У одного есть основной URL, а у другого — дубликат.

Теперь, как и в случае, обе страницы имеют свой собственный SEO-сок. Поскольку у них разные URL-адреса, они получали разные обратные ссылки и, следовательно, разные оценки авторитета страницы.

В этом случае у вас есть два варианта.

Оставьте каждого в покое для ранжирования отдельно или комбинируйте их сигналы ранжирования.

Последнее почти всегда лучший вариант, а первое почти всегда ухудшает ваш общий рейтинг для этой страницы.

Просто учтите, что 50% веб-сайтов имеют проблемы с дублирующимся контентом, которые наносят ущерб их поисковой оптимизации.

Причина, по которой дублированный контент вредит вашему SEO, проста.

Когда вы оставляете каждую страницу в покое для ранжирования отдельно от ее дубликата, это похоже на отправку половины своей армии на одну войну, а другую половину на другую.

Вместо этого вы могли бы объединить их силы и выиграть от этого.

Если, например, одна страница — это 3 по шкале от 1 до 10, а дубликат — 4, то их объединение будет 7.

Другими словами, целое намного мощнее отдельных частей.

Если вы оставите решение о том, какие страницы ранжировать, а какие игнорировать, Google, то он может принять неправильное решение.

В идеале вы хотите сообщить Google, какой версии страницы назначить приоритет, а затем направить все ресурсы SEO с дублированных страниц на эту каноническую страницу.

Однако, как и в большинстве случаев в жизни, есть несколько способов сделать это.

Вот три способа, которые я рекомендую.

1. Тег rel = canonical

В большинстве случаев тег rel = canonical — лучший способ перенести SEO-эффект с одной страницы на другую.

По сути, это HTML-тег, который вы можете добавить на определенную страницу, который затем сообщает поисковым системам, что это та страница, которую вы хотите проиндексировать Google.

Затем, когда Google находит какие-либо дубликаты страницы, он относит весь SEO-сок из этих дубликатов к канонической странице.

Это означает, что ваш рейтинг повышается, а страница, которая действительно имеет значение, побеждает.

Это похоже на переадресацию 301, но проще в реализации.

Плюс, при этом старая страница не уходит. Google просто распознает это как копию другой страницы.

Иногда не нужно, чтобы старый дубликат исчез. Вы просто хотите собрать все возможности SEO в одном месте.

Если, например, у вас есть HTML-версия страницы для печати, вы не хотите полностью удалять этот дубликат.

Но вы также не хотите, чтобы он в рейтинге.

Для этого отличным решением будет тег rel = canonical.

Вот как это выглядит в коде вашего веб-сайта.

И еще раз .

Если вы используете веб-сайт WordPress, добавить этот тег довольно просто.

Прежде всего, есть несколько плагинов, которые позволят вам сделать это с легкостью. Вы можете просмотреть некоторые из этих здесь .

Если вы хотите сделать это вручную для своего основного домена, просто добавьте этот код в заголовок вашего шаблона темы .

Просто не забудьте заменить часть «bybe.net» на свой собственный URL.

Тогда Google будет знать, на какую страницу отправлять весь этот дубликат SEO, и ваш рейтинг сразу же улучшится.

2. 301 редирект

Иногда вам не нужно, чтобы дубликат вашей веб-страницы оставался на виду.

Может быть, вы хотите, чтобы существовала только основная версия страницы, а эти дубликаты просто загромождают ваше онлайн-пространство и атмосферу вашего посетителя.

Тем не менее, вы, вероятно, хотите, чтобы основная страница извлекала выгоду из SEO-сока ее дубликатов.

Но разве такое возможно? Чтобы уничтожить повторяющиеся страницы и при этом повысить SEO на основной странице?

Да. Да, это так.

И это возможно благодаря 301 редиректу.

Эти щенки позволяют вам сообщать поисковым системам, что всякий раз, когда кто-то пытается посетить страницу A, вы хотите, чтобы они отправляли этих людей на страница B вместо .

Однако переадресация 301 по-прежнему не удаляет страницу A.Вместо этого он просто перенаправляет посетителей на страницу B.

Другими словами, никто никогда не сможет увидеть страницу A, но она по-прежнему помогает странице B повысить рейтинг.

Поскольку он не удаляется, весь его SEO-ресурс автоматически присваивается странице, на которую выполняется перенаправление.

И поисковые системы точно знают, что делать, если вы 301 перенаправляете страницу.

Однако будьте осторожны при использовании перенаправления 302. Это только временные переадресации, тогда как 301 редирект является постоянным.

Вот как поисковая система вычисляет редирект 301.

Если вы решите, что переадресация 301 — правильный выбор для вашей ситуации с дублированным контентом, то вот список различных плагинов WordPress , которые вы можете использовать для создания переадресации.

Для WordPress самый простой и безопасный вариант — плагин.

3. Задайте пассивные параметры в Google Search Console

К сожалению, иногда очень торопишься.

Хотя я не рекомендую использовать пассивные параметры в долгосрочной перспективе, это может быть полезной краткосрочной стратегией.

Когда вы устанавливаете определенные URL-адреса как пассивные для Google, это означает, что робот-сканер Google игнорирует этот URL-адрес.

Понятно, что это может помочь удалить дублирующийся контент.

Если у вас есть несколько странных и беспорядочных результатов, отображаемых в поисковой выдаче, вы можете просто быстро удалить некоторые из них.

Однако, возможно, ваша команда разработчиков слишком занята, чтобы добавить теги rel = canonical к сотням различных страниц, а затем указать их в правильном направлении.

В конце концов, это огромная работа, и ваша команда разработчиков уже достаточно занята.

Если вы хотите пометить некоторые страницы как пассивные, перейдите в Google Search Console и нажмите «Параметры URL» в левой части экрана.

Затем нажмите «Добавить параметр».

Введите URL страницы, которую вы хотите пометить как пассивную, а затем выберите «Нет: не влияет на содержание страницы (например, отслеживает использование)».

Нажмите «Сохранить», и этот URL будет теперь помечен как пассивный в результатах поиска Google.

Это означает, что он не может отображаться, когда люди ищут ваш сайт.

Это может быть полезно, когда ваша команда разработчиков занята или когда вас не беспокоят потенциальные преимущества для SEO при связывании этой страницы с другим каноническим URL.

Это, конечно же, провал этой стратегии.

URL-адрес, который вы храните, не получает преимуществ SEO от дубликатов, которые существуют в настоящее время.

Однако это может быть не такой уж большой проблемой, если дубликаты, которые вы удаляете из глаз Google, являются новыми или имеют очень низкий авторитет страницы.

В таком случае это может быть одним из лучших решений для удаления дублированного контента из вашего домена.

Если, однако, это временное решение, призванное помочь занятой команде разработчиков, обязательно вернитесь и используйте тег rel = canonical или 301 редирект, когда у вас будет время.

Заключение

Уф. Это было много.

Но теперь вы понимаете, что такое дублированный контент, почему он появляется, почему это проблема и даже как его можно безопасно удалить.

Потому что вот чего вы не хотите.

Вы не хотите, чтобы весь этот дублированный контент вредил вашему SEO, и вы определенно не хотите удалять его неправильно и еще больше вредить вашему SEO.

Помните о трех упомянутых мною здесь стратегиях при удалении дублированного контента и выберите ту, которая лучше всего соответствует вашим текущим потребностям.

Тег rel = canonical лучше всего подходит почти во всех случаях, но это может занять приличное количество времени, если вам нужно исправить много страниц.

Редирект 301 отлично подходит, если вы хотите, чтобы посетители не могли просматривать дублированный контент, но при этом имели преимущество первичной страницы за счет SEO дублирования.

Помните, однако, что это решение займет у вас больше всего времени из всех возможных.

А пассивные параметры могут быть отличным краткосрочным решением, если у вас в настоящее время нет времени на настройку переадресации 301 или тегов rel = canonical.

Но одно можно сказать наверняка.

Если вы не имеете дело с дублирующимся контентом на своем веб-сайте, это может повредить вашему рейтингу и, следовательно, вашему бизнесу.

Не позволяйте этому случиться.

Какую стратегию вы используете для удаления дублированного контента из своего домена?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

  • SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
  • Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
  • Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Двойные неприятности: дублирование контента, что можно и чего нельзя

От классической литературы до видеоигр и телешоу — образ «злых близнецов» можно найти практически в каждом жанре и среде. Доктор Джекил и мистер Хайд, Тень Марио, злой Спок — кто мог забыть эту бородку? Список, казалось бы, бесконечен.

В мире SEO тоже есть своя версия злых близнецов: дублированный контент. Хотя это не совсем злой , он может вызвать более чем изрядную долю проблем, ослабляя мощность ссылок, понижая рейтинг в поиске и создавая некачественный пользовательский опыт.Чтобы избежать этих проблем, ознакомьтесь с тем, что можно и чего нельзя делать при дублировании контента.

  • Основы:
  • Дозировка дублированного контента:
  • Запрещается дублировать контент:

Что такое дублированный контент?

В издательском мире первая версия книги называется рукописью . Каждая версия, напечатанная после утверждения рукописи, известна как копия , потому что это копия оригинала.

Дублированный контент — это интернет-версия этой концепции.Каждый раз, когда статья публикуется на нескольких сайтах или рекламное объявление повторяется на нескольких страницах, это дублированный контент в действии.

Такое дублирование не является плохим по своей сути и может быть даже полезным — кто бы не захотел, чтобы выделяющаяся статья была опубликована на многочисленных сайтах, чтобы повысить узнаваемость бренда и укрепить авторитет одним махом? Одна статья Business Insider , например, появляется на нескольких авторитетных сайтах:

Тем не менее, при подключении поисковых систем могут возникнуть проблемы.В то время как ни один читатель не принял бы свою современную копию Hamlet за оригинальную рукопись многовековой давности, поисковым системам часто бывает трудно определить, какая версия фрагмента контента появилась раньше.

В результате, если вы хотите максимизировать поисковый рейтинг и привлечь посетителей, вам нужна стратегия для решения проблем, связанных с дублированием контента.

Зачем изучать стратегии SEO для дублирования контента?

Мэтт Каттс, бывший руководитель отдела качества поиска Google, однажды оценил, что от 25 до 30 процентов из всего веб-контента дублируются.Если это так, то в чем проблема?

Для большинства пользователей Интернета его нет. Например, увидеть одно и то же описание продукта на нескольких веб-сайтах — это нормально, хотя и повторяется. Однако для SEO-профессионалов дублированный контент может помешать более высокому рейтингу.

Предположим, статья опубликована в небольшом блоге, а затем передана в более крупную публикацию. Поскольку сайт более крупной публикации получает больше трафика и вовлеченности, чем небольшой блог, Google может просматривать синдицированные (т.д., дубликат) как лучшую для отображения в результатах поиска. Если вы пытаетесь оптимизировать блог для рейтинга в поисковых системах, это серьезный камень преткновения.

К счастью, вы можете полностью избавиться от недостатков дублированного контента, используя правильную комбинацию хитрых стратегий.

Дублированный контент Dos

Чтобы избежать потери авторитета и рейтинга из-за дублирования контента, вам пригодится тактика SEO. Do :

Регулярная проверка дублирующегося содержимого

Первым шагом к принятию контроля является определение того, существует ли и где вообще существует дублированный контент.

Copyscape предлагает один из самых простых способов сделать это. Введите URL любой страницы, и вы сможете увидеть, где ее содержание также появляется в Интернете. Премиум-аккаунт требуется для выполнения более пары поисков в месяц или просмотра более десяти результатов.

Например, одна статья Forbes также появляется на нескольких других сайтах:

Дочерний сайт Copyscape, Siteliner, можно использовать для поиска внутреннего дублированного содержания.

Ищете бесплатную альтернативу Copyscape? Проверяйте дублированный контент старомодным (и бесплатным) способом с помощью удобной подсказки Google Поиска: скопируйте часть содержания страницы и вставьте ее в поиск Google в кавычках. Google ограничивает поисковые запросы 32 словами, поэтому вам нужно выбрать только одно или два уникальных предложения.

Или используйте бесплатную версию Screaming Frog для сканирования сайта на предмет дублирования контента (если вы хотите просканировать более 500 URL-адресов, вам нужно будет перейти на платную версию).

Используйте канонический тег

Независимо от того, синдицируется ли часть контента на внешних сайтах или дублируется внутри, канонический тег может напрямую указывать поисковым системам, какая страница является канонической (т. Е. Исходной) версией.

Этот один элемент HTML может существенно повлиять на рейтинг исходной страницы, но занимает только одну строку кода:

Скопируйте и вставьте его в

неканонической страницы и вставьте URL-адрес канонической страницы. . Престо!

Канонический тег работает и для внешних веб-сайтов.Перед публикацией гостевой записи на другом сайте или распространением контента просто попросите владельца сайта добавить тег в HTML-код страницы.

Узнайте, как работает ваша система управления контентом

Если вы используете систему управления контентом (CMS), она может дублировать контент прямо у вас под носом.

Это может произойти по ряду причин — возможно, CMS автоматически копирует каждую статью в архив, или, может быть, она отображает большие части содержания сообщения на главной странице блога.

В любом случае стоит убедиться в правильности канонизации. Многие настройки CMS включают возможность автоматического добавления канонического тега ко всем повторяющимся страницам — возьмите, например, канонические настройки HubSpot:

. Когда вы ознакомитесь с инструментами SEO для дублирования контента в вашей CMS, вы можете соответствующим образом изменить их настройки. и навсегда отметьте этот пункт в своем списке дел.

Используйте переадресацию 301 как эксперт

Канонический тег — не панацея от дублирования контента.Вы также можете использовать 301 редирект, чтобы указать поисковым системам на исходную версию страницы. Хотя переадресация 301 применима не во всех ситуациях, она идеальна, когда вы:

  • переносите сайт из одного домена в другой;
  • изменение структуры сайта;
  • прекращение поддержки страницы; или
  • объединение или преобразование содержимого.

301 редирект также полезен для работы с несовместимыми URL-адресами. Например, возможно, ваш сайт доступен как с https: // www.example.com и example.com.

Вы можете создать 301 редирект одним из нескольких способов. Если сайт работает на Apache, вам потребуется отредактировать файл .htaccess . Если вы не хотите разбираться в тонкостях сервера сайта (мы вас не виним), вы можете попробовать более простой метод. Простые варианты включают:

  • плагины WordPress, такие как SEOPress и Redirection; и
  • встроенных настроек перенаправления на таких платформах, как HubSpot, Squarespace, Shopify и Wix.

Нельзя допускать дублирование контента

Чтобы эти подлые дубли не мешали вашим усилиям по поисковой оптимизации, не запрещает :

Создавать цепочки переадресации

цепочка перенаправления , в которой страница A не просто перенаправляет на страницу B. Вместо этого страница A перенаправляет на страницу B, страница B перенаправляет на страницу C и так далее.

Если цепочка переадресации достаточно длинная, сканеры поисковых систем могут просто отказаться от поиска последней страницы в цепочке.

Избежать этой проблемы достаточно просто — постарайтесь не создавать ненужные перенаправления и не добавлять существующие. Но как найти существующие цепочки переадресации и управлять ими?

Такие инструменты, как Screaming Frog и Semrush’s Site Audit, позволяют легко идентифицировать цепочки переадресации.

В Semrush сначала щелкните вкладку «Проблемы», откройте раскрывающееся меню «Выберите проблему» и нажмите «Перенаправить цепочки и циклы»:

Screaming Frog предлагает аналогичное решение.Начните с открытия паука SEO и сканирования URL. Затем наведите указатель мыши на вкладку «отчеты», наведите указатель мыши на «перенаправления» в раскрывающемся меню и нажмите «цепочки переадресации:»

Чрезмерное использование тега

Noindex

Google поддерживает ряд специальных метатегов, в том числе для предотвращения автоматический перевод страниц, указывающий на удобство использования для мобильных устройств и подтверждающий право собственности.

Одним из наиболее распространенных является тег noindex , который не позволяет роботу Googlebot проиндексировать данную страницу.Добавив тег noindex на неканоническую страницу, вы гарантируете, что Google индексирует только каноническую версию.

Звучит как идеальное решение, не так ли? Не совсем. Даже страницы с дублированным контентом могут иметь ссылочное равенство, и оно будет улетучиваться в канализацию с добавлением тега noindex .

Сохраните тег noindex для таких вещей, как страницы с благодарностью, страницы администратора и результаты внутреннего поиска, и используйте канонический тег или 301 редирект для работы с дублирующимся контентом.

Публикация страниц-заполнителей

Страницы-заполнители или заглушки используются для макета и тестирования структуры сайта перед добавлением содержимого этих страниц.

Хотя они могут быть полезны администраторам веб-сайтов для решения проблем с навигацией, страницы-заполнители не более чем раздражают посетителей сайта. Если вы нажали на интересную ссылку только для того, чтобы получить сообщение «скоро», вы тоже можете быть раздражены.

Несколько страниц-заполнителей также могут отрицательно повлиять на рейтинг сайта.Google беспристрастно рассматривает страницы низкого качества, и то же самое относится к страницам, не содержащим оригинального или полезного контента.

Чтобы обойти эти проблемы, Google рекомендует вообще не публиковать их. Если вы решите использовать их с по , добавьте тег noindex , чтобы они не влияли на рейтинг.

Копирование и вставка длинного шаблонного содержимого

На некоторых веб-сайтах контактная информация, политика конфиденциальности и аналогичные стандартизированные фрагменты текста часто добавляются в нижний колонтитул каждой страницы.Это называется шаблонным содержанием, названным в честь штампованных стальных пластин, которые когда-то использовались газетами для печати повторяемых или синдицированных копий (по сравнению с этим напечатать сообщение в блоге кажется простым!).

Хотя шаблонное содержание сайта обычно содержит важную и необходимую информацию, поисковые системы могут рассматривать его как дублированный контент, если он слишком длинный. Сведите к минимуму шаблонный текст и просто сделайте ссылку на любые страницы, содержащие политику конфиденциальности, контактную информацию и т. Д.

Например, шаблонное содержание нашего собственного веб-сайта состоит из краткого уведомления об авторских правах, ссылки на условия использования сайта и ссылки на политика конфиденциальности:

Сохраняя шаблонное содержание сайта коротким и понятным, вы также можете поддерживать чистый, эстетичный дизайн и не показывать пользователям блок юридического текста на каждой странице.

Overlook Product Information

Сайты, продающие продукты, будь то B2B или B2C, обычно включают большое количество описаний и спецификаций продуктов. Само по себе это не проблема, но может вызвать проблемы с производительностью и рейтингом, если одна и та же информация о продукте копируется на нескольких платформах.

Например, веб-сайт может попытаться использовать Pinterest SEO, разместив свои продукты в виде значков. Страница West Elm в Pinterest содержит множество списков товаров для покупок, в том числе один для их оттоманки Remi:

Однако перейдите на страницу продукта той же пуфик на собственном сайте West Elm, и вы увидите, что описание продукта почти идентично text:

Хотя размещение одних и тех же описаний продуктов на одной или двух других платформах, скорее всего, не вызовет каких-либо проблем, слишком частое выполнение этого может привести к тому, что эти описания будут рассматриваться как дублированный контент.Кроме того, если сторонняя страница (в данном случае булавка на пуфике Реми) привлекает больше посетителей и привлекает больше посетителей, чем собственная страница продукта, она может в конечном итоге занять более высокое место в результатах поиска.

Неудобно.

Чтобы избежать дублирования контента, и предоставляют клиентам множество уникальных копий, поменяйте описания продуктов на разных платформах.

Существует ли штраф за дублирование контента?

Специалисты по поисковой оптимизации давно обсуждают, наказывает Google за дублирование контента или нет.Как оказалось, Google уже много лет пытается развеять миф о наказании за дублирование контента. Как пояснила Сьюзан Москва в Центральном блоге для веб-мастеров, «не существует такого понятия, как« штраф за дублирование контента »».

Это потому, что дублированный контент редко бывает вредоносным или специально предназначен для манипулирования рейтингом. В редких случаях Google может наложить штраф. Но , а не будет наказывать сайт за простое дублирование контента.

Как вы помните, Мэтт Каттс из Google сказал, что от 25 до 30 процентов всего веб-контента дублируется.Если за дублированный контент будут наложены штрафы , триллионы страниц упадут в выдаче, и в результате пострадает пользовательский опыт Google.

Так что забудьте о попытках найти какое-то секретное кольцо декодера дублированного контента SEO. Вместо несуществующего штрафа сосредоточьтесь на консолидации для достижения более высоких позиций.

От Double Trouble к Dream Team

Когда дублированный контент выходит из-под контроля, он определенно может показаться неприятным, как злой близнец. От менее чем идеального рейтинга до нестандартного пользовательского опыта — слишком много хорошего может привести к серьезным головным болям в области SEO.

Освойте основные правила, которые можно и чего нельзя делать в отношении дублированного контента, и трансформируйте идентичные фрагменты контента из Jekyll and Hyde в The Parent Trap . Если вы не Мередит Блейк, в этом нет ничего дурного.

Изображение предоставлено
Скриншоты автора / июль 2020 г.
HubSpot / июль 2020 г.
Semrush / июнь 2017 г.

Что такое дублирующийся контент для SEO

Что такое дублированный контент?

Дублированное содержимое возникает, когда большой блок текста на одной странице очень похож или полностью совпадает с блоком текста на другой странице.Google применяет формальные санкции за дублирование контента, помечая его как спам и принимая меры против страницы или сайта. Контент будет помечен как спам, если будет очевидно, что он был намеренно скопирован или сайт намеренно рассылает пользователям спам.

Но дублированный контент не всегда копируется намеренно. Google приводит несколько примеров не вводящего в заблуждение дублированного контента в своей документации:

  • Дискуссионные форумы, которые могут создавать как обычные, так и урезанные страницы, нацеленные на мобильные устройства
  • Элементы в интернет-магазине, которые отображаются или связаны с несколькими отдельными URL-адресами
  • Версии веб-страниц только для печати

Если ваш веб-сайт создает контент, похожий на контент другой страницы, который не будет автоматически помечен как спам.Если вы приносите пользу своим читателям, то вам, вероятно, не о чем беспокоиться, что касается штрафных санкций для вашего сайта. Вам следует больше беспокоиться о том, как дублирующийся контент может повлиять на ваш канал обычного поиска.

Почему дублированный контент вреден для SEO?

Когда дело доходит до контент-маркетинга и борьбы за ранжирование по ключевым словам, дублированный контент, как правило, является негативным явлением. Если вы хотите ранжировать часть контента, вам нужно предоставить уникальную ценность.

Две вещи, которые вам нужно знать о дублировании контента и SEO:

1.) Если вы случайно создаете дублированный контент или ваш контент похож на другую страницу, это не нанесет серьезного вреда вашему сайту — Google просто оценит страницу, которая была опубликована первой, выше.

2.) Если вы намеренно создаете дублирующийся контент, Google отметит его как спам и примет меры против вас.

Если вы дословно скопируете чужой контент и опубликуете его как свой собственный, Google увидит, что контент другого человека был опубликован первым, и будет считать, что он является автором исходного контента.Google не будет наказывать ваш сайт, но исходный контент будет иметь более высокий рейтинг. Если вы будете делать это неоднократно, Google сочтет вас спамерским сайтом, что может привести к тому, что Google предпримет меры против вас.

Но если вы хотите процитировать фрагменты контента с другого веб-сайта и либо перефразировать, либо процитировать их напрямую, а также предоставить ценность и добавить беседу, Google сможет увидеть, что вы добавили исходный контент к существующему контенту, и вы можете ранжировать его. содержание в результатах поиска Google.Основная цель Google — обеспечить удобство работы пользователей поисковых систем.

Чтобы избежать проблем с дублированием контента, при обращении к контенту других пользователей следует помнить следующее:

1.) Включите URL-ссылку на сайт упомянутого контента (укажите свои источники).

2.) Убедитесь, что вы добавляете новую перспективу или новую информацию к своему контенту.

Если вы будете следовать этим двум принципам, когда будете ссылаться на работу других, то вы гарантируете, что не столкнетесь с проблемами дублирования контента, и улучшите взаимодействие с пользователем.

В приведенном ниже видео Мэтт Каттс из Google объясняет, как Google просматривает дублированный контент и как дублированный контент обрабатывается в результатах поиска. По его словам, около 25-35% Интернета, вероятно, представляет собой дублированный контент, в том числе цитаты и шаблонный текст.

Он говорит: «Дело не в том, что каждый раз, когда появляется дублированный контент, это спам, и если мы сделаем это предположение, то изменения, которые произойдут в результате, вероятно, в конечном итоге ухудшат качество нашего поиска, а не улучшат качество нашего поиска.«

Google не считает, что дублированный контент автоматически является спамом, но Google также не хочет ранжировать два или одни и те же фрагменты контента, потому что это не имеет смысла с точки зрения пользователя.

Если вас беспокоит эффективность SEO и вы хотите ранжировать свой контент на первой странице результатов поиска Google по определенному ключевому слову, вам необходимо убедиться, что контент является оригинальным — или, по крайней мере, предоставляет ценный, оригинальный контент или перспектива.

Используйте эти методы SEO, чтобы избежать проблем с дублированием контента

Иногда дублирование контента возникает по техническим причинам.Для этих случаев существуют определенные технические приемы SEO, которые вы можете использовать для решения проблем с дублированием контента.

Использовать переадресацию 301 :

Если вы перестроили свой сайт или переделали старую веб-страницу (и изменили URL-адрес), вы можете перенаправить свой пользовательский трафик и трафик ботов, включая роботов поисковых систем, на новый сайт или URL-адрес, используя 301 редирект.

Это не только гарантирует, что ваша новая веб-страница получит такой же трафик, что и старая страница, но также поможет поисковым системам, таким как Google, понять, что эта новая страница является заменой веб-страницей, а не дублированием контента.

Свернуть похожее содержимое :

По возможности рекомендуется минимизировать количество похожего контента на своем веб-сайте. Это может означать объединение похожих статей в одну более длинную часть содержания или обновление уже существующей статьи новым содержанием. Если вам нужно написать на аналогичную тему и вас беспокоят проблемы с дублированием контента, вы также можете использовать тег rel canonical, чтобы роботы поисковых систем знали, какой странице вы хотите передать рейтинг.

Использовать Rel Canonical Tags:

У вас могут быть страницы с похожим содержанием на вашем сайте по разным причинам. Эти страницы также могут вызывать проблемы с дублированием контента, если вы не гарантируете, что похожий контент помечен относительным каноническим тегом или неканоническим тегом.

Узнайте больше о тегах rel canonical и о том, как их использовать.

Поддерживать согласованность внутренних ссылок

Вот выдержка из документации для разработчиков Google о важности внутренних ссылок во избежание дублирования контента:

Внутренние ссылки выполняют три основные функции — они помогают в навигации по веб-сайту, определяют иерархию веб-сайта и распределяют авторитет страницы и рейтинг.

Добавить комментарий

Ваш адрес email не будет опубликован.