Как сделать ссылку noindex
Какая разница между тегами nofollow и noindex?
Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.
Теги и атрибуты
Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики.
Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.
Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.
Что такое noindex
«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.
Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.
Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.
На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.
Какой контент помечается этим тегом?
Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.
Обычно в noindex заворачивают четыре типа текстового контента:
Как использовать тег?
Тег можно вставить в страницы как мету (атрибутом), увеличив область его действия на всю страницу.
С таким кодом индексация страницы разрешается:
А с таким индексация запрещается:
Такое правило можно указать для конкретного робота. Например, поискового бота Google:
Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.
Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в и все.
Что такое nofollow
Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.
Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.
Какой контент помечается этим атрибутом?
Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.
Как прописывать тег?
С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:
Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.
Преимущества тега noindex и атрибута nofollow
Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.
Выше мы использовали и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:
А это полный запрет на контент и ссылки:
Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.
Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.
Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.
Итоги
Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.
SEO Маяк
Блог Виталия Кириллова | Все о создании,
продвижении сайтов и заработке в интернете
Создание и продвижение сайтов, заработок в интернете
Как закрыть ссылки от индексации. Тег nofollow и тег noindex
Всем привет! Сегодня на SEO-mayak.com я расскажу как закрыть ссылки от индексации.
Готовясь к нависанию статьи, я перечитал много разных блогов и понял, что сколько людей, столько и мнений.
Я просто не завидую новичкам, которые ищут ответ на вопрос, как правильно закрывать ссылки.
Непонятно, то ли использовать только один тег nofollow, то ли оба тега вместе, а некоторые веб-мастера считают, что уже нет смысла в закрывании ссылок, так как поисковики все равно игнорируют запреты.
В общем дискуссии идут жаркие, которые создают столько «мутной воды» и кажется, что все с ума посходили, пытаясь докопаться до истины. Я тоже поначалу запутался и решил обратиться к справочникам самих поисковых систем.
Значение и применение nofollow
Почему nofollow относят к тегам? На самом деле это никакой не тег, изначально он был атрибутом для мета тега robots, и распространял запрет индексации ссылок на уровне всей страницы, например:
С тех пор много воды утекло и nofollow уже не так часто используют на уровне всей страницы, зато значение nofollow для атрибута rel применяют теперь повсеместно. Но как в России бывает, «кличка» тег за значением nofollow закрепилась на веки вечные.
Для новичков показываю, как правильно закрыть ссылку атрибутом rel=“nofollow“:
Если вспомнить формулу расчета PageRank, то из нее следует, что вес, передаваемый по ссылке, равен весу страницы донора, деленному на все ссылки со страницы. Т.е. вес, который предается по ссылкам с донора, передается и по ссылке с атрибутом nofollow. Только в данном случае перетекает в никуда, вместо того, что бы найти себе полезное применение на сайте.
Но как же Яндекс относится к «буржуйскому» атрибуту? Передается ли по ссылке, помеченной nofollow, показатель Яндекса ВИЦ (взвешенный индекс цитирования) мне неизвестно, так как формула расчета ВИЦ является тайной Яндекса, которая храниться за семью печатями. Но если Яша рекомендует закрывать ненадежные ссылки (спам ссылки) rel=“nofollow“, то из этого можно сделать вывод, что робот Яндекса учтет данные ему «рекомендации» и перехода по ссылке не будет.
Неужели никак нельзя закрыть ссылку от индексации, чтобы вес страницы никуда не утекал? Можно, но делается это с помощью jQuery AJAX.
Особенно важно закрывать все внешние ссылки для сайтов, которые находятся еще в песочнице, чтобы не отдавать свой «детский» вес, а наоборот стараться накапливать его. Всегда проверяйте шаблон на скрытые внешние ссылки и используйте плагин ТАС для обнаружения закодированных ссылок, вида base64 decode.
Подошла очередь рассказать о теге noindex, ведь это детище нашего родного Яндекса, которого мы все так любим 🙂
Применение тега noindex
В начале статьи я уже писал о всеобщем «умопомешательстве» при обсуждении nofollow и noindex и в подтверждение своих слов могу привести ситуацию с закрытием тегом noindex имен (анкоров) комментаторов на блогах.
Ведь и я недавно полагал, что заключая ссылку на сайт комментатора в тег noindex, я тем самым запрещаю роботу Яндекса индексировать эту ссылку и переходить по ней, передовая вес страницы.
Но как я уже писал выше, Яша прекрасно распознает атрибут rel=“nofollow“ и использования noindex закрывает только текст (анкор). Следовательно заключать ссылки в тег niondex, совершенно ненужное и бесполезное занятие.
Теперь немного затрону понятие валидности тега noindex. Вообще это довольно обширная тема и я в будущем посвящу ей отдельную статью.
Дело в том, что распространенное написания тега noindex не проходит валидность. Приведу такой пример:
Так вот, такое написание тега не пройдет валидацию, а Google вообще об этом теге ничего неизвестно.
После шумихи на разных форумах специалисты Яндекс нашли выход из сложившийся ситуации и предложили изменяемое написание тега, которое выполняя те же функции, является валидным.
Валидное написание тега noindex выглядит так:
Для новичков скажу, что тег noindex является парным и использовать его надо только так, как показано на примере.
С уважением, Виталий Кириллов
Rel Nofollow и Noindex — как закрыть от индексации Яндексом и Гуглом внешние ссылки на сайте
Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать rel=»nofollow» и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы nofollow.
Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при его использовании rel nofollow и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.
Какое влияние оказывают rel nofollow и тег noindex
Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил, начиная с 2010 года, свое отношение к nofollow (он стал его учитывать).
Раньше зеркало рунета его игнорировало, но теперь, как видно из скриншота снятого на этой странице хелпа, данный атрибут работает и учитывается.
Тег же noindex, который Яндекс ввел в оборот единолично и который до некоторых пор являлся единственной альтернативой нофоллоу, сейчас никак не влияет на учет закрытой им ссылки.
Но с помощью него по-прежнему можно закрывать от индексации отдельные фрагменты вебстраницы. Этот тэг является парным и учитываться поиском не будет все, что попало между его открывающим и закрывающим элементом.
Т.к. ноиндекс был чисто нашим местечковым изобретением, то, естественно, что он не был включен в реестр разрешенных тегов текущей версии языка Html 4.01 и валидатор на него по-прежнему ругается.
Во избежании этого можно использовать его в качестве Html комментария, как это было показано на скриншоте выше. В этом случае валидатор W3c, естественно, ругаться не будет, ибо в комментариях можно писать все, что угодно.
Яндекс пишет на своей странице хелпа, что noindex и nofollow следует интерпретировать точно так же, как и аналогичные значения, которые используются в мета теге robots.
Т.е. нофоллоу запрещает переход роботу поиска по данной ссылке, а ноиндекс запрещает добавлять заключенный в нем фрагмент текста в индекс.
Google так вообще никогда не учитывал noindex и, естественно, его с успехом игнорирует, равно как и любой другой поисковик кроме Яндекса. Изменилось отношение к подсчету статического веса на страницах, где находятся гиперссылки с добавленным в них атрибутом rel=»nofollow». Раньше их можно было вообще не учитывать, однако сейчас все стало немного сложнее и печальнее.
Но рассказать обо всем в двух словах — это не наш метод. Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать сложившееся положение. Да, сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему. Заранее спасибо всем комментаторам, ибо в споре рождается истина.
Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации гиперссылки для поисковых систем (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса, но об этом поговорим чуть позже).
Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Гуглу проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо запросу (статистика поисковых запросов вам в помощь) оптимизаторы стараются закупить как можно больше бэклинков с текстами (анкорами), содержащими ключевые слова из того запроса, по которому продвигается данная страница.
В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» открывался ресурс тогдашнего президента Америки Буша младшего. Что примечательно, на самом ресурсе вообще не встречались данные ключевые слова, но зато на него была проставлена гигантская ссылочная масса с этим текстом (анкором), в результате чего вышел такой казус.
Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование и нужно, чтобы и на самом портале Буша встречалась эта фраза, что маловероятно.
Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации) имеет изначальный минимальный статический вес (что такое pr в Гугле), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что он передается не только внешними, но и внутренними ссылками.
Причем документ, ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой статический вес (pr для Google или Виц для Яндекса), который целиком и полностью зависит только от количества и весомости входящих на нее гиперссылок. Под последним я подразумеваю собственный статвес страниц доноров (доноры — те, откуда проставлены беклинки на ваш документ, который в этом случае выступает акцептором).
Как закрыть от индексации внешние ссылки
Помните, в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.
Каждый документ на сайте можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние гиперссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на другие документы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки).
Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса). Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа).
Теперь смотрите внимательно. Допусти, что у нас с одного документа проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате максимальный статвес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних документов, а одна пятая уйдет по внешней.
А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш проект).
Тогда максимальный вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним ссылкам документа получить по одной четверти, а не по одной пятой максимального веса, что способна отдать данная вебстраница.
Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех документа, например, со счетчиков посещений), то суммарный прирост статвеса будет ощутимым. А он ведь напрямую влияет на положение вашего ресурса в выдаче Яндекса и Гугла при ранжировании (естественно, при прочих равных условиях оптимизации).
Думаю, что с вопросом, зачем закрывать внешние гиперссылки от индексации, мы разобрались и теперь осталось только выяснить, а как это сделать? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут rel=»nofollow» (для Google), например, так:
В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, плагин WP-NoRef. При его использовании, если в тег гиперссылки прописать специальный класс, она останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.
Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько большее его значение, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас все стало очень и очень проблемно.
Это касается только удержания статвеса на сайте. Тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.
Если вернуться к нашему примеру с бассейном и трубами, то ситуация с rel=»nofollow», которая была до нововведения, может быть представлена как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).
Как Яндекс учитывает rel nofollow и noindex
Это мы все говорили за Гугл, а как обстоит ситуация с использованием rel=»nofollow» для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу.
Но похоже, что зеркало рунета, после того как стало учитывать rel nofollow в тегах гиперссылок, снял с noindex всякое влияние на запрет индексации ссылок.
Теперь noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать его для ссылок, то он просто запретит этим поисковикам индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статвес по-прежнему будут учитываться и браться в расчет.
Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы у старого Google или же сразу взял на вооружение переделанный алгоритм расчета? Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.
Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки веса с сайта в пустоту.
По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье приведенной в начале публикации, но вот с отдельно взятыми ссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.
Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс, если еще и не научился, скоро обязательно научится. В связи с этим вообще не понятно как быть с бэклинками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их в нофоллоу), либо на ресурсы комментаторов или счетчиков (в случае отказа от его использования).
Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в Гугле, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.
Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться по FTP и открыть на редактирование файл comments.php из папки с используемой вами темы Вордпресс. В нем вам нужно найти место, где прописан следующий кусочек кода:
и заменить его на чуть измененный вариант:
А так же для того, чтобы убрать из формы добавления нового комментария строчку для ввода URL, вам нужно будет удалить подобный участок кода:
Если приведенная мною теория насчет текущего положения с rel nofollow и noindex окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче. В общем, поглядим.