какие данные проверяются при индексации сайта
Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.
Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.
1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.
Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.
2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.
Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.
Есть несколько способов узнать были ли проиндексированы нужные вам страницы.
1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.
Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.
2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.
3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.
Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.
Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:
Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:
1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.
Десять основных SEO-советов для индексации и быстрого ранжирования нового контента
Перевод материала Сайруса Шепарда.
Когда вы публикуете новый контент, вы хотите, чтобы пользователи находили его в поисковой выдаче как можно быстрее. В этой статье вы найдете десять советов, которые помогут вам достичь этой цели.
Google предоставляет нам ряд инструментов. Самым простым и быстрым является инструмент проверки URL (в новой Search Console Google) Этот инструмент позволяет вам отправить URL-адрес и сообщить Google, чтобы он просканировал его, поместив в очередь приоритетного сканирования.
Первый и самый основной, о котором все говорят, это просто поместить его в файл robots.txt.
Вы также можете добавить Sitemap с помощью Search Console Sitemap Report. Или через API Search Console.
В последние несколько месяцев и Google, и Bing представили новые API-интерфейсы, которые помогут ускорить и автоматизировать сканирование и индексирование URL-адресов.
Оба этих решения позволяют значительно ускорить индексацию, отправляя 100 или 1000 URL-адресов через API.
Хотя API-интерфейс Bing предназначен для любого нового / обновленного URL-адреса, Google заявляет, что его API-интерфейс специально предназначен для «публикации вакансий или структурированных данных в реальном времени». Тем не менее многие SEO-специалисты, такие как Дэвид Соттимано, экспериментировали с API-интерфейсами Google и обнаружили, что он работает с различными типами контента.
Если вы хотите использовать эти API индексации самостоятельно, у вас есть несколько возможных вариантов:
Yoast объявил, что скоро будет поддерживать живую индексацию в Google и Bing в рамках своего плагина SEO WordPress.
Теперь есть и другие способы, с помощью которых вы можете быстрее проиндексировать свой контент и одновременно улучшить его позицию.
Наличие ссылок говорит Google о двух вещах. 1. Нужно сканировать эту ссылку когда-нибудь в будущем, и она помещается в обычную очередь сканирования.
2. Это делает ссылку более важной. Google может сказать:
«Ну, у нас есть важные страницы, ссылающиеся на этот контент. Это дает нам несколько качественных сигналов, которые помогут определить, как его ранжировать».
Так что ссылайтесь с важных страниц.
Это своего рода продвинутая техника, которая немного спорна с точки зрения ее эффективности, но мы видим, что она работает снова и снова. Это просто генерирование трафика на новый контент.
Сейчас идут споры о том, является ли трафик сигналом для ранжирования. Есть несколько старых патентов Google, которые говорят об измерении трафика, и Google, безусловно, может измерить трафик с помощью Chrome. Они могут видеть, откуда эти сайты.
«Эй, может быть, это страница, которую мы должны иметь в нашем индексе, и, возможно, нам нужно правильно ее ранжировать».
Как только мы проиндексируем контент, поговорим о нескольких идеях, которые позволят быстрее его ранжировать.
Наряду с генерацией трафика на страницу, вы можете генерировать поисковые клики.
Теперь, что я имею в виду под этим? Итак, представьте, что вы делитесь URL в Twitter. Вместо того, чтобы делиться напрямую URL, вы делитесь результатами поиска Google. Люди нажимают на ссылку, и вы отправляете их в результаты поиска Google, в которых есть ключевые слова, по которым вы пытаетесь ранжироваться, и люди будут искать, и нажимать на ваше объявление.
Телевизионные рекламные ролики уже делают это, как в рекламе Суперкубка «Зайдите в Google и найдите автомобили Toyota 2019 года». Google видит поведение пользователя и улучшает ваше место в поисковой выдаче.
Рассмотрим пользователя, который ищет «Открытые кафе на Рождество 2019″Это запрос, для которого Google хочет получить очень свежий результат. Вы хотите самые свежие новости о кафе и ресторанах, которые будут открыты на Рождество 2019 года. Google будет предпочитать страницы, созданные совсем недавно. Поэтому, когда вы нацеливаетесь на эти запросы, вы можете ранжироваться немного быстрее.
Сравните это с вопросом типа «история Библии». Если вы загуглите это прямо сейчас, вы, вероятно, найдете много очень старых страниц Википедии. Эти результаты не сильно обновляются, и вам будет сложнее взломать те выдачи с более новым контентом.
Чтобы узнать это, просто введите запросы, по которым вы пытаетесь ранжироваться, и посмотрите, сколько лет самым последним результатам. Это даст вам представление о том, насколько Google считает эти запросы свежими. Выбирайте запросы, которые заслуживают немного больше свежести, и вы, возможно, сможете войти немного раньше.
Наконец, последний совет, это то, что делают многие сайты, а многие сайты не делают, потому что они просто не знают об этом. Использование структуры URL. Когда Google видит новый URL (новую страницу для индексации) у него еще нет всех сигналов для ее ранжирования. Но у него есть много алгоритмов, которые пытаются угадать, где страница должна ранжироваться. В прошлом Google указывал, что использует структуру URL для определения некоторых из них.
Представьте, что New York Times размещает все свои рецензии на книги по одному и тому же адресу: newyorktimes.com/book-reviews. У Google есть много установленных рейтинговых сигналов для всех этих URL. Когда новый URL публикуется с использованием той же структуры, Google может назначить странице несколько временных сигналов для ранжирования её соответствующим образом.
Если у вас есть авторитетные URL-адреса (возможно, это ваш блог), и вы используете существующую структуру URL-адресов, новый контент, опубликованный с использованием той же структуры, может иметь небольшое преимущество в ранжировании, по крайней мере, в краткосрочной перспективе.
Это лишь несколько способов быстрее проиндексировать ваш контент и повысить его рейтинг. Это ни в коем случае не исчерпывающий список. Есть много других способов.
Буду рад услышать ваши идеи и советы.
Пожалуйста, напишите их в комментариях ниже
Больше подобных статей на моём телеграм-канале (@proroas)
Пишу о digital-маркетинге, seo, web-аналитике и личной эффективности.
Проверка индексации сайта: 4 варианта
Те, кто только начинает разбираться в инструментах продвижения веб-ресурсов, не придают значения важности индексации своего сайта. В результате тратится много времени и средств на его разработку, а эффективность оказывается очень низкой.
Поэтому сегодня мы рассмотрим, как проводится проверка индексации сайта, а также отдельных его страниц. Кроме того, расскажем, как можно сделать процесс индексации быстрее и для чего это необходимо.
Из этой статьи вы узнаете:
Почему так важна проверка индексации сайта
Ваш сайт будет приносить прибыль, если уровень посещаемости его будет высоким, так как только этим можно заинтересовать рекламодателей.
Большая часть посетителей сайтов переходит на них по ссылкам из поисковиков, выдаваемым после введения запроса. Роботы поисковых систем проводят сверку запроса с информацией баз данных и выдает наиболее актуальные результаты. Попасть ресурсу в такую базу данных можно только после прохождения индексации поисковиком. Если сайт не проиндексировать или отдельные его страницы, то и потенциальный клиент никак не попадет на ваш ресурс.
Необходимо, чтобы поисковая система оперативно учитывала каждую новую страницу сайта, а не только весь ресурс. Оптимальный вариант – наличие внутренней перелинковки, обеспечивающей не только занесение новых данных в базу, но и обновление уже имеющихся по предоставляемым ссылкам.
Одним из факторов, влияющих на скорость индексации, является посещаемость ресурса. Но есть и другие.
Каждый день в Интернете появляются новые сайты, схожие по тематике с вашим. Они являются конкурентами, поскольку их контент дублирует содержимое вашего ресурса. С увеличением числа конкурирующих веб-страниц уникальность сайта падает. Причина этого – публикация в Сети материалов, представляющих собой рерайт уже имеющихся статей, поэтому так необходим учет поисковой системой уникального текста.
Также отсутствие индексации материалов сайта может стать причиной атаки ресурса мошенниками. Они могут скопировать ваш контент, выложить на своей странице и быстро проиндексировать его, таким образом заявив роботам поисковиков о своем авторстве. Впоследствии поисковые системы будут определять ваш контент как неуникальный, и это может стать причиной бана вашего ресурса.
В связи с этим так важен контроль индексации и ускорение ее проведения, особенно для молодых сайтов, только начинающих свое продвижение.
Рекомендуемые статьи по данной теме:
Проверка индексации сайта в Яндексе и Google с помощью операторов
Проверка индексации сайта в Яндексе
Проверка индексации страницы сайта в Яндексе достаточно проста. Для проверки количества находящихся в индексе поисковика страниц используются такие операторы:
Рассмотрим применение этих операторов на примере нашего сайта sales-generator.ru. Сначала используем оператор «site». Нужно зайти в Яндекс и в строке поиска ввести: site:sales-generator.ru. Поисковик выдает следующий результат:
Затем нужно использовать оператор «host». Пример приведем опять на сайте sales-generator.ru. Снова нужно зайти в Яндекс и вбить в поиск host:sales-generator.ru. Результат проверки индексации представлен на скриншоте ниже:
Нельзя писать служебные слова с ошибками. К примеру, когда мы вбивали в строку поиска site :sales-generator.ru, Яндекс выдавал какую-то непонятную информацию. Оказалось, ошибка заключалась в написании пробела между служебным словом и адресом ресурса. Такого быть не должно, и всю фразу нужно писать слитно.
Обратите внимание, что проверяли домен мы без www, поскольку он является главным зеркалом. Можно провести проверку индексации с помощью операторов «site» и «host» c www.
На запрос с оператором «site» поисковик выдал следующий результат:
Вот результат запроса с оператором «host»:
Выводы: как бы вы ни писали запрос, в индексе находится 24 страницы. И они выводились при каждой проверке нами. Может возникнуть вопрос: почему оператор находит 24 страницы при введении «site: www.sales-generator.ru»? Ответ прост: для данного оператора характерен вывод всех страниц при любом вводе запроса (как с www, так и без www). А вот оператор «host» выводит только страницы домена без www.
Проверка индексации сайта в Google
Для проверки, сколько страниц находится в индексе поисковика Google, используют оператор «site». Он позволяет узнать число страниц домена в индексе поисковой системы. При написании домена с www Google выведет страницы только для этого случая, как и при написании домена без www. Этим проверка индексации сайта в Google отличается от таковой в Яндексе.
Приведем пример. В строке поиска Google вводим: site:sales-generator.ru.
Результат система выдает следующий:
Google нашел 58 страниц в отличие от 24, найденных Яндексом.
Вобьем в поиск домен с www: site:www.sales-generator.ru. Результат будет таким:
Как и ожидалось, ни одной страницы не найдено.
Проверка индексации страницы сайта
Самый простой способ проверить индексацию отдельной страницы в Яндексе – в самом поиске. Нужно ввести в строку поиска ее адрес. При наличии страницы в индексе будет выведен ее сниппет. В Google проверяют индексацию страниц так же.
Проверка индексации страниц сайта с помощью инструментов Яндекса и Google
Проверка индексации сайта в Yandex Webmaster
Проверку сделать несложно: нужно в вебмастере открыть проверяемый ресурс и нажать «Проверить URL». После этого следует ввести ссылку из строки адреса браузера требуемой страницы сайта (при этом в конце необходимо обязательно поставить слеш):
После того как вы введете адрес, сервис начнет обрабатывать запрос. На это уйдет немного времени. Затем появится ссылка «Готово», на которую нужно кликнуть.
Откроется страница, на которой будет содержаться детальная информация: был ли робот на данном сайте, индексирован ли его контент и другие сведения. В случае если робот уже был на странице, выведется сообщение: «Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован». Наличие такого ответа позволяет вебмастеру быть спокойным: индексация контента будет проведена через 1 или 2 АПА (обновления базы поиска).
Также будет доступна такая информация: есть ли на проверяемую страницу внешние и внутренние ссылки, дату последнего обхода роботом, статус индексирования.
Если же ваша страница не посещается роботом в течение длительного времени, зайдите в раздел «Помощь». Может быть, Яндекс порекомендует эффективный способ сделать процесс индексации более быстрым.
Проверка индексации сайта в Google Webmaster
Там вы увидите информацию о количестве проиндексированных и заблокированных в Robots.txt страниц. Однако вывод данных задерживается, и их корректность не всегда гарантирована.
Проверка индексации сайта с помощью букмарклетов и плагинов
Плагины и букмарклеты (небольшие программы на языке javascript, сохраняемые в виде закладок браузера) позволяют автоматизировать процесс проверки индексации. Их использование не требует открытия поисковых систем и ввода запроса в строку поиска.
Эту задачу выполняют плагины и скрипты:
На картинке представлен скриншот плагина RDS bar для Google Chrome. Данный плагин для Mozilla Firefox еще лучше. Он позволяет провести проверку индексации отдельных страниц и всего ресурса в целом. Есть и минус – в бесплатных версиях постоянно выскакивает капча.
Букмарклет «Проверка индексации». Сохраните ссылку в закладках, затем перейдите на проверяемый сайт и откройте закладку. В новой вкладке Google выдаст вам результаты проверки.
Лучшие сервисы проверки индексации сайта
Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.
Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:
Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).
Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:
Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:
Для получения результата после перехода по ссылке нужно ввести свой домен.
Сколько страниц есть в Google:
Сколько страниц в Яндексе:
Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.
Webmasters
Сервис разработан SEO-форумом. Качество его результатов хорошее. Преимущество сервиса – возможность единовременной проверки нескольких доменов. Чтобы проверить сайт, нужно совершить переход по ссылке и ввести адрес ресурса.
Почему не индексируется сайт в поисковиках
Ошибка 404
Нужно проверить действие скриптов при обнаружении ошибок. Если в сообщении скрипта об ошибке будет выдаваться код нормального завершения 200, то его индексация будет проведена. А в случае возврата скриптом кода 404 индексирования сообщения об ошибке не произойдет.
С обычными документами ситуация аналогична. Есть серверы, в настройках которых при обнаружении ошибки предусмотрено отправление сообщения, содержащего код нормального завершения 200. При этом робот не может провести удаление ссылки на сайт в базе данных. Современные серверы предусматривают возможность изменения стандартных сообщений об ошибках и исправления их кода.
Спам – это заголовки, ключевые фразы, состоящие из слов, формирующих наиболее частые запросы; объемные тексты, цвет шрифта которых совпадает с цветом фона, либо шрифт очень мелкий. Есть и другие виды спама. Их объединяет одна цель – обмануть посетителя с целью завлечь на свой ресурс.
Спамом не стоит пользоваться. Во-первых, потому что это нехорошо и посетителей сайта только раздражает. А во-вторых, потому что Яндексом предусмотрено отслеживание таких недобросовестных действий и снижение позиций документа в поисковой выдаче.
Также применение спама обусловливает увеличение размера документа, уменьшение контрастности слов в нем. Это тоже негативно сказывается на позициях его. Сайты и страницы злостных нарушителей Яндекс может вовсе исключить из базы.
Если одна страница перенаправляет пользователя на другую мгновенно (время перенаправления равно 0), то ее тоже исключат из индексирования.
Яндекс-поиск не помогает раскручивать сайты, его задача – удовлетворить потребности посетителей в нужных ему сведениях. Тем не менее, раскрутить сайт в Яндексе можно, разместив там рекламу.
Неправильные даты
Яндекс позволяет искать и сортировать материалы по датам, однако информация о дате изменения их правдива лишь в 80 % случаев. Сервер нужно настраивать правильно. Обеспечьте посетителям доступ к дополнительным сведениям и корректный показ своих страниц при поиске по датам.
Дополнительные данные высылаются в «заголовках HTTP» веб-сервером непосредственно с HTML-документом. Там может содержаться информация о том, когда был последний раз изменен документ (в заголовке «Last-Modified»). Наша настоятельная рекомендация – настройте ваш веб-сервер таким образом, чтобы эта дата высылалась им. Может быть, для этого понадобится немного исправить скрипты CGI или ISAPI, которые вы используете.
Неправильная кодировка
Помимо HTML-документа в сообщении веб-сервера содержатся дополнительные данные в «заголовках HTTP». К примеру, кодировка документа указывается в заголовке «Content-Type», параметр charset:
Content-Type: text/html; charset=windows-1251
Content-Type: text/html; charset=koi8-r
Обязательно указание веб-сервером кодировки всех не англоязычных документов. В случае отсутствия кодировки потребуется ее установка в браузере самим пользователем, что влечет за собой неудобства. Если конфигурацию сервера исправить, он будет присылать кодировку.
Индексирование одинаковых документов в разных кодировках
Если web-серверы выдают одинаковые документы в разных кодировках, то расход ресурсов при их индексации очень большой. В базах данных отечественных поисковиков документы хранятся в одной кодировке. Рекомендуется использовать для индексации только одну кодировку. Если выдача кодировок осуществляется по портам сервера, то на разных серверах/портах нужно выдавать разный robots.txt. То есть в каждом сервере/порту нужно дополнительно прописывать:
Если выдача кодировок осуществляется по директориям, то понадобится единственный файл robots.txt, в котором следует написать:
user-agent: *
disallow: /alt
disallow: /mac
disallow: /koi
Индексирование одного сайта на разных серверах
Возникновение проблемы возможно при наличии у сервера зеркал либо в случае получения кодировок путем изменения префикса в имени хоста. К примеру, кодировки для хоста www.chto-to.ru могут быть следующими: win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ru и т.д. Определить, какой из этих адресов основной, робот не может. Он лишь видит, что есть два полностью совпадающих документа и проводит индексацию одного из них.
То есть не исключена ситуация, что индексирование вашего контента будет проведено на разных хостах. Чтобы проиндексировать ресурс по одному адресу, нужно задать соответствующий файл robots.txt. Через определенное время прошедшие индексацию документы будут ссылаться на нужный адрес.
Не рекомендуется открытие для роботов поисковых систем контента вашего ресурса под разными именами или портами. Добиться улучшения индексации вам не удастся. Сервер будет испытывать нагрузку, как и сеть. Это может привести к негативным последствиям.
К примеру, поисковикам не всегда понятно, какое из «зеркал» вашего сайта основное. Они могут остановить свой выбор на любом. В настройках некоторых поисковиков предусмотрено и вовсе удаление сайтов, контент которых идентичен.
Избежать этой проблемы можно, запретив при написании вашего сайта robots.txt индексировать любые адреса, не являющиеся основными.
Для выявления имеющихся ошибок рекомендуем провести аудит сайта. Мы проведем для Вас полный анализ ошибок внутренней и внешней оптимизации ресурса, а также предоставим 47+ рекомендаций по увеличению посещаемости и продаж с Вашего сайта.