Как сделать страницу канонической
Теги canonical: простое руководство для новичков (перевод)
Теги Canonical существуют с 2009 года. То есть, почти десять лет. Цель, для которой их создали — помочь вебмастерам решить проблему дублирующегося контента.
Что такое тег canonical
Это фрагмент HTML-кода, который определяет основную версию для нескольких страниц с похожим или полностью дублирующимся контентом. Другими словами, если по разным адресам есть одинаковый контент, вы можете использовать этот тег, чтобы указать, какая страница является основной, и следовательно, которую нужно проиндексировать.
Как выглядит тег canonical
Теги используют простой и согласованный синтаксис, размещаются в разделе веб-страницы:
Что значит каждая часть:
Важность канонических тегов для SEO
Google не любит дублирующийся контент, потому что сложно выбирать оригинал:
Слишком большое количество дублирующегося контента также может повлиять на бюджет сканирования. Это значит, что Google будет тратить время на сканирование нескольких версий одной и той же страницы вместо поиска другого важного материала на вашем сайте.
Канонические теги решают все эти проблемы. Они позволяют вам сообщить, какую версию страницы следует сканировать и ранжировать, где консолидировать любые ссылки.
Если вы не укажите канонический адрес, Google все решит за вас. Самостоятельно.
А полагаться на его грамотный выбор — опрометчиво. Система может выбрать в качестве основной страницы ту, которая в действительности таковой не является.
. но у меня же нет дублирующегося контента!
Да, наверняка вы не стали публиковать одну и ту же статью несколько раз. Но поисковые системы обходят URL, а не страницы.
Это значит, что они воспринимают адреса example.com/product и example.com/product?color=red как уникальные, даже если на них содержится, по факту, один и тот же контент.
Это — параметрические адреса. Они — частая причина возникновения дублирующегося контента. Особенно, если у вас интернет-магазин с фасетной или фильтрованной навигацией.
Например, Brown Bag Clothing продает рубашки. Вот адрес для основной категории товаров:
Если в фильтре выбрать показы только рубашки размером XL, в адрес добавится параметр:
А если нам нужны вдобавок только рубашки голубого цвета, увидим еще один параметр:
Это все отдельные страницы для Гугла, а содержание практически одно и то же.
Однако, такая проблема встречается не только для сайтов электронной коммерции. Вот еще несколько случаев:
В этих случаях использование канонических тегов имеет решающее значение. Кроме того, важны проблемы дублирования контента на разных доменах. Например, при синдикации контента: газета хочет процитировать ваш текст. В таком случае вам надо попросить разместить на вас каноническую ссылку.
Во-первых, вы будете получать реферальный трафик. Во-вторых, обезопасите уникальность вашего контента.
Основы применения тега canonical
Применять легко. Мы рассмотрим четыре способа это сделать далее. Пока — пять основным правил, которые нужно знать и соблюдать.
Правило 1. Использовать абсолютные URL
Джон Мюллер из Google утверждает, что не рекомендуется использовать относительные ссылки вместе с тегом canonical. Чтобы они точно корректно обработались, используйте абсолютные URL.
Правило 2: Соблюдать нижний регистр
Google может обработать и нижний, и верхний регистры как два разных адреса. Поэтому вначале установите принудиттельно строчные адреса на своем сервере, а затем используйте нижний регистр для написания адресов в ссылках с каноническим тегом.
Правило 3: Правильно использовать версию домена
Если переходите на SSL-сертификат, проверьте, что используете верный протокол передачи данных в адресе, то есть, HTTPS. Теоритически, это тоже может привести к путанице и неожиданным результатам.
Правило 4: Использовать самоссылочные канонические теги
Джон Мюллер говорит, что это — рекомендация, а не обязательство.
Это — каноническая ссылка сама на себя.
Располагаться она будет на этой же странице.
Большинство популярных CMS делают это автоматически. Но на всякий случай проверьте.
Правило 5: Использовать один канонический тег на странице
В противном случае Googlebot проигнорирует вообще все канонические теги на странице.
Как применять канонические адреса
Всего есть 4 способа:
Для подробностей можно посмотреть официальную справку.
1. Установка в HTML-тегах
Самый простой способ — указать тег rel-canonical в адресе. Добавьте нижеследующий код в раздел header:
Пример
Предположим, у вас есть интернет-магазин футболок. Вы хотите установить адрес каноническим. Учтем, что по разным адресам доступен одинаковый контент.
Можно просто на все дублирующиеся страницы добавить такую строку кода:
Обратите внимание, что если вы используете CMS, возиться с кодом не нужно. Есть более простой способ.
Настройка канонических тегов в WordPress
Установите плагин Yoast SEO. Сможете автоматически добавлять канонические адреса. Используйте вкладку “Дополнительно”.
Установка канонических тегов в Shopify
Shopify добавляет по умолчанию канонические адреса для продуктов и блогов. Чтобы установить пользовательские каноничные URL, отредактируйте файлы шаблона напрямую.
Установка канонических тегов в Squarespace
Squarespace добавляет рекурсивные URL-адреса также по умолчанию. Как и в случае со Shopify, придется редактировать код напрямую, если нужно добавить пользовательский канонический тег.
2. Установка канонических тегов в HTTP header
Для документов — например, PDF — нет возможности разместить канонические теги в заголовке страницы, потому что нет раздела. В таких случаях нужно использовать заголовки HTTP.
Пример
Например, представим, что создаем PDF-версию поста в блоге Ahrefs.
3. Установка канонических адресов через карту сайта
Google заявляет, что неканонические страницы не нужно включать в карту сайта. Т. е. все страницы из карты сайта Google считает каноническими.
Но тем не менее, система не всегда воспринимает все адреса из sitemap должным образом: “Мы не гарантируем, что размещение адреса в sitemap — подтверждение его каноничности. Карта сайта — способ сказать Google, какие страницы сайта владелец считает наиболее важными”.
4. Настройка канонических тегов при помощи 301 редиректа
Используйте 301 редирект в случае, если вам надо перенаправить трафик с дубликата URL-адреса на каноническую версию.
Пример
Ваша страница доступна по адресам:
Выбираем страницу, которая будет основной. На остальных размещаем редирект на нее.
Обратите внимание: обязательно должно быть соответствие протоколов передачи данных (HTTPS/HTTP и наличие/отсутствие www).
Распространенные ошибки и их профилактика
Есть много недоразумений и неправильных представлений о том, как правильно устанавливать каноничные адреса. Вот некоторые распространенные ошибки.
Ошибка 1: Блокирование канонического адреса через robots.txt
Блокировка URL-адреса в файле robots.txt не позволит Google его просканировать. А значит, он не увидит канонический тег на этой странице. В свою очередь, он не сможет определить отношение между страницами с одинаковым или схожим контентом.
Ошибка 2: Канонический URL и тег noindex
Никогда не смешивайте теги noindex и rel=canonical. Они противоречат друг другу.
Google обычно отдает приоритет каноничности, а не noindex, по словам Джона Мюллера. Но это все равно плохая практика. Если вам нужно запретить индексировать канонический URL, воспользуйтесь 301 редиректом.
Ошибка 3: Установка 4XX статуса HTTP для канонического URL
Установка состояния 4XX для канонизированного URL имеет те же последствия, что и использование тега noindex. Google не сможет увидеть канонический адрес и передать вес ссылок нужной версии страницы.
Ошибка 4: Канонизация всех страниц навигации на корневую директорию
Страницы навигации не нужно канонизировать относительно первой странице в цепочке. Вместо этого нужно использовать канонические ссылки на саму страницу.
Джон Мюллер заявил, что иной способ канонизации нецелесообразен.
Ошибка 5: Не использование hreflang при канонизации
Hreflang используют, когда нужно указать языковую версию страницы.
Google утверждает, что при использовании hreflang вам также нужно указывать каноническую страницу на том же языке.
Как найти и решить проблемы с каноническими адресами на сайте
1. Проблемы с 4XX
Возникает, когда вебмастер на страницах указывает канонический URL с кодом ответа вида 4ХХ.
Поисковые системы не индексируют страницы 4ХХ, потому что они — не рабочие. В результате поисковик игнорирует любые канонические теги, которые указывают на такие страницы. В итоге в индекс попадает неверная версия страницы.
Поэтому проверьте канонические ссылки, и если в них указан адрес с подобным кодом ответа — исправьте.
2. Проблемы с 5ХХ
Аналогично предыдущему пункту.
Коды ответа такого вида сигнализируют о проблемах на сервере. В результате каноническая страница все равно оказывается недоступна (как и в предыдущем случае).
Нужно, опять-таки, заменить все канонизированные урлы с кодом ответа 5ХХ на доступные. Однако отметим, что код ответа 5ХХ может быть временной проблемой на сервере — например, когда сервер перегружен. В таком случае ничего делать не нужно.
3. Проблемы с редиректами
Предупреждение срабатывает, когда на канонизированном адресе стоит перенаправление на другой URL.
Канонические урлы всегда должны указывать на самую авторитетную версию страницы. Сами понимаете, если на этой “авторитетной” странице стоит редирект, ее надежность под сомнением.
Замените канонические ссылки прямыми линками на наиболее авторитетную версию страницы, которая возвращает код 200.
4. Дублирующие страницы без канонизации
Возникает, когда существует одна или несколько дублирующихся страниц, для которых не указана каноническая версия.
Google будет пытаться самостоятельно определить наиболее подходящую страницу для показа в результатах поиска. В итоге он может выбрать не ту версию, которую хотите увидеть в выдаче вы.
Посмотрите группы дублирующихся страниц. Выберите одну каноническую версию, на остальных укажите ее в качестве основной версии. А на канонической странице установите рекуррентную каноническую ссылку.
5. Hreflang и non-canonical
Срабатывает, когда одна или несколько страниц содержат неканонический URL в аннотациях hreflang.
Ссылки в теге hreflang всегда должны указывать на канонические страницы. Ссылки на неканоническую версию могут ввести в заблуждение поисковую систему.
Поэтому проверьте и замените.
6. Канонический URL не имеет входящих ссылок
Проблема возникает, когда один или несколько указанных канонических адресов не имеет внутренних входящих ссылок.
Канонические адреса без внутренних ссылок недоступны для пользователей сайта. Вместо этого человек попадает на неканоническую версию страницы.
Поэтому проверьте на сайте внутренние ссылки на канонические адреса.
7. Неканонические страницы в sitemap
Возникает, когда в карте сайта указаны неканонические страницы.
Google утверждает, что указывать в картах сайта неканонические страницы не следует. Поэтому он предполагает, что все страницы в файле — те, которые вы хотите проиндексировать.
Не канонические страницы из карты сайта уберите.
8. Неканоническая страница определена как каноническая
Проблема возникает, когда на одной или нескольких страницах указывается канонический URL, который одновременно является каноническим для другой страницы.
Такие цепочки могут ввести в заблуждение поисковик.
Замените неканонические ссылки в канонических тегах затронутых страниц прямыми ссылками на канонические версии. Например, если для страницы А канонической страницей указана В, а для В — страница С, замените каноническую страницу для А с В на С.
9. Open Graph URL не соответствует каноническому
Возникает при несоответствии между указанным каноническим и URL-адресом Open Graph на одной или нескольких страницах.
Если URL-адрес Open Graph не совпадает с каноническим, то неканоническая версия страницы будет опубликована в социальных сетях.
Замените в OpenGraph адрес на канонический, чтобы в соцсети попадала правильная версия страницы.
Заключение
Canonical — это не сложно, если как следует разобраться в логике их работы.
Просто помните, что канонические теги — это не директива, а сигнал для поисковых систем. Другими словами, они могут выбрать каноническую страницу отличную от той, которую укажете вы.
Можно использовать URL Inspection Tool в GSC, чтобы понимать всю картину.
Настройка canonical: что это, зачем и как
Зачем нужны canonical-адреса
Канонический URL (canonical) позволяет указать поисковой системе, какая ссылка является предпочтительной для индексации. Настройкой canonical необходимо заниматься, если у вас на сайте имеются страницы с одинаковым содержанием. Ввиду особенностей CMS сайта могут автоматически создаваться страницы с одним и тем же контентом по разным адресам URL (более подробно читайте ниже). Появление подобных страниц возможно вследствие таких причин:
Чтобы не допустить дублирования страниц сайта в поисковой выдаче, необходимо настроить канонические URL, после чего поисковик сможет определить, какую страницу нужно индексировать. Рассмотрим причины, из-за которых важно заниматься настройкой canonical:
Как настроить канонические адреса
Рассмотрим способы настройки «канонических» URL:
Для OpenCart настройка атрибута canonical производится средствами CMS. Необходимо зайти в настройки товара и задать параметр SEO URL.
Для настройки canonical в Joomla нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel=»canonical» (с указанием URL на страницу с настроенным ЧПУ).
Как проверить дублированный контент
Проверить, настроен canonical для страниц вашего сайта или нет, можно с помощью следующих инструментов:
1. Для проверки настройки canonical, открываем html-код страницы и проверяем наличие атрибута canonical у тега link (в блоке кода страницы).
Плагин для браузеров RDS Bar позволит просмотреть эту информацию без совершения лишних действий. Включаем данную опцию в настройках плагина (Параметры – SEO – теги – Canonical), после чего при переходе на страницы, где canonical настроен, будет отображаться следующая информация:
2. Проверить наличие дублируемого контента можно с помощью Расширенного поиска Яндекса. Для этого указываем адрес сайта и часть текста со страницы, контент которой будем проверять на дублирование. В результатах поиска будет указано, нашлись точные совпадения или нет. Если дублирование отсутствует, то будут предложены варианты по запросу.
Также проверить контент на наличие дублей можно с помощью операторов поиска, рассмотрим на примере Google. Для этого нужно ввести в поисковую строку site:имя_домена «запрос», в итоге аналогично поиску от Яндекса по результатам поисковой выдачи делаем вывод о наличии дублированного контента.
3. Еще один способ найти дублируемый контент – уникальность. В этом нам помогут специальные программы и сервисы, мы рассмотрим на примере сервиса text.ru. Для анализа необходимо добавить информацию со страницы вашего сайта в сервис и запустить проверку. В результате вы увидите, на каких сайтах в Интернете есть такой же текст, и на сколько процентов ваш текст совпадает с текстами других сайтов.
Грамотно настроенный canonical повышает эффективность работы и ускоряет индексирование сайта. Если у вас не получится самостоятельно это сделать, то вы можете обратиться к нашим специалистам, и мы сделаем настройку rel=»canonical» для вашего сайта.
4 способа каноникализации URL
С помощью каноникализации можно показать поисковой системе, какой URL необходимо индексировать, если на сайте существуют страницы с повторяющимся или похожим контентом, а также страницы, которые служат для одной цели.
Канонические ссылки: что это такое
В 2016 году разработчики Google добавили тег rel = «canonical», чтобы с его помощью веб-мастера могли «подсказывать» поисковикам, какая страница является предпочтительней на сайте.
Каноническим URL является адрес, который поисковики Google ставят приоритетным между несколькими вариантами страниц на сайте. К примеру, если одна страница имеет несколько URL-адресов, таких как example.com?dress=1234 и example.com/dresses/1234, то одна из версий будет канонической. Обратите внимание, что страницы не всегда являются полностью одинаковы. Они могут иметь различия в настройках фильтров или сортировке (установка фильтров по цвету или цене не делают страницу уникальной). При этом, домен главной страницы может отличаться от домена дублирующей страницы, – говорится в Справке Google Search Console.
Канонический адрес сайта site.com/a с дубликатом site.com/b.
Такие адреса могут появиться из-за проблем в архитектуре сайта. Кроме того, дублирующие страницы создаются для отслеживания или тестирования.
Есть еще одна версия: site.com/х?ref=facebook. Эта ссылка имеет специальный параметр, который не влияет на изменение контента. Ее содержимое такое же, как у страницы, но в наши задачи не входит, чтобы поисковик Google индексировал эту версию. Если он это сделает, то можно увидеть URL-адреса, которые не являются исходными и имеют непонятный рейтинг параметров URL-адресов Google. Поэтому поисковику нужно показать, какие адреса подлежат индексации, а какие нет.
Страницу site.com/a можно ссылать саму на себя. Если кто-то добавит к вашему адресу неизвестный параметр, Google отличит указанную вами версию от неоригинала.
Таким образом, чтобы поисковик проиндексировал нужную вам страницу, используйте атрибут rel= “canonical”.
Какие способы каноникализации URL существуют
1. Переадресация 301 (редирект).
Указывает на перемещение страницы из одного места в другое. Например: a.site.com перенаправляется на abc.com/a.
Редирект 301 как бы сообщает Google, что искомая страница была навсегда перемещена, ее здесь больше не будет. В результате браузер перенаправляет пользователей на новое место расположения страницы.
2. Атрибут rel= “canonical”.
Один из наиболее рекомендуемых тегов для каноникализации адреса.
3. Хештеги (#) местоположения.
Для того, чтобы страница /b имела такое же содержимое, что и страница /а с незначительными отличиями, блок контента из подраздела темы помещают в верхнюю часть страницы. Контент остается тем же с одинаковым поисковым намерением. В данном случае можно использовать хеш (#) в URL. Такие адреса также называют фрагментированными. Они применяются для того, чтобы юзабилити попадал в нужный раздел страницы. В результате Google считает, что это один и тот же адрес. Так можно каноникализировать одинаковый URL.
4. Пассивные параметры в Google Search Console.
На сайты, которые имеют большое количество страниц с адресами, содержащими параметры, не всегда возможно добавить атрибут rel=canonical. В этом случае для того, чтобы сделать параметры адреса пассивными, применяют инструмент Search Console.
Пассивный параметр: sessionid – не изменяет контент, позволяет вести статистику по просмотрам и переходам. К пассивным параметрам относится идентификатор сеансов.
К примеру, есть адрес с параметром sessionid=… Его можно сделать пассивным для отдельных URL и для всех адресов. Google будет обрабатывать их также, как и обычные.
Если URL сайта содержат много таких параметров, советуем воспользоваться инструментом в Google Search Console « Параметры URL» и свести к минимуму сканирование одинаковых страниц.
Что не нужно делать
1. Закрывать дубликаты от индексации тегом Noindex.
Если закрыть дубликат от индексирования, то Google продолжит сканировать страницы и увидит их сходство. Поисковик не сможет объединить сигналы ранжирования одинаковых страниц. Google достаточно умен для автоматического определения главной страницы.
DYK blocking a page with both a robots.txt disallow & a noindex in the page doesn’t make much sense cos Googlebot can’t «see» the noindex? pic.twitter.com/N4639rCCWt
2. Редиректы 302, 307 и любые другие, кроме 301.
Несмотря на то, что Google не различает переадресацию 301-м и 302-м редиректами, лучше использовать 301-й. Он является наиболее надежным и эффективным для каноникализации и лучше гарантирует необходимый результат.
3. Блокировка дублирующих страниц от сканирования с помощью robots.txt.
При использовании robots.txt для каноникализации дублирующих страниц, бот Google при сканировании не сможет понять, что у них схожее содержание, и не объединит их сигналы. Поэтому данный способ не подходит для каноникализации.
4. Настройка кода ответа сервера 404 для неканонической версии.
Каноникализация URL: когда применять
1. Полностью одинаковый или похожий контент.
Каноникализация необходима, если сайт имеет две или более страницы с одинаковым или схожим контентом.
URL с GET параметрами site.com/index.php?cat=10&product=25
По сути, это та же страница, что и site.com/index.php?product=25&cat=10
Решение: необходимо настроить ЧПУ и 301 редирект со старых URL с get-параметром на новые ЧПУ.
Это касается и дублирования описания товара на страницах каталогов. На страницах категорий часто выводят краткое описание товара, которое дублирует описание на странице категории. Поэтому необходимо размещать уникальное описание, которое не будет дублироваться на странице товара.
2. При повторной публикации или обновлении старого контента.
Если вам нужно сохранить старую версию сайта, но сигналы ранжирования должны приходить к новой версии, можно повторно разместить старый контент и настроить переадресацию или опубликовать новую версию и назначить страницу канонической. В этом случае старый контент, размещенный на новом адресе, будет считаться старым.
3. Если контент обслуживает одинаковое поисковое намерение.
Если содержание страницы имеет одинаковое поисковое намерение, то, несмотря на небольшие различия в ключевых запросах, эти страницы подлежат каноникализации.
Например, у вас список из таких ключевых слов:
У них одинаковое поисковое намерение, поэтому желательно их каноникализировать.
4. Если товар (или событие) уже неактуален или недоступен.
Когда товар или событие на странице уже неактуальны, есть смысл перенаправить пользователя на новую страницу с предложением. Для этого применяют 301 редирект вместо атрибута rel=canonical и делают новую версию страницы каноникализированной.
Вывод
Большое количество контента и дубликаты страниц значительно ухудшают юзабилити сайта и влияют на ранжирование. Чтобы избежать этого, стоит использовать канонические ссылки и редиректы.
Метатег canonical позволяет приоритизировать один URL-адрес среди всех, которые содержат одинаковый или похожий контент. Мы не рекомендуем закрывать дубли страниц от индексации. Google и сам может определить главную страницу.
Также можно воспользоваться редиректом, если страница перемещена по новому адресу. Редирект позволит перенаправить пользователя на актуальный адрес, минуя старую страницу.
Ориентируйтесь по ситуации и используйте подсказки из этой статьи, чтобы избавиться от возможных проблем с индексацией страниц вашего сайта.