как улучшить индексацию сайта
Что влияет на частоту индексации и как заставить поискового робота посещать ваш сайт чаще
От чего зависит скорость индексации сайта, как на нее можно повлиять и как сообщить роботу Яндекса и Google об изменениях на сайте. Читайте о том, как заставить роботов поисковых систем чаще заходить на ваш сайт.
Вебмастера часто сталкиваются с проблемой, когда страницы неделями не попадают в индекс поисковой системы. Особенно актуальна она в Яндексе – новые страницы в нем появляются значительно позже, чем в Google. А в последнее время Яндекс еще и редко делает текстовые апдейты – 2-3 раза в месяц. В этой статье мы рассмотрим, что влияет на индексацию сайта, как ее можно ускорить и как следить за ней.
Быстрые ссылки:
Что влияет на частоту индексирования сайта поисковым роботом
— Загруженность сервера, на котором находится сайт (качество хостинга)
Если на сервере находится много других ресурсов, а технические характеристики сервера не позволяют оперативно справляться со всеми запросами робота, робот начинает посещать такой сайт реже. Соответственно, ему потребуется больше времени для включения страниц в результаты поиска.
— Частота обновления сайта в целом
Поисковые роботы анализируют частоту обновления контента на сайте, в результате чего определяют, как часто будут посещать тот или иной сайт.
Чем чаще на сайт добавляется новый контент, тем чаще роботы ПС посещают его.
— Интерес посетителей к сайту (ПФ)
Поисковый робот может пересмотреть политику планирования и посещать сайт чаще, если на сайт регулярно добавляются новые материалы, интересные пользователям (например, новости, статьи):
Как улучшить индексацию сайта
Поисковый робот за один визит индексирует определенное количество страниц согласно выделенной квоте, которая зависит от множества параметров сайта. Т.е. даже если робот посетил ваш сайт, это еще не значит, что он проиндексирует и включит в свою базу все страницы сайта. Поэтому очень важно, чтобы робот-индексатор не только посетил ваш сайт, но и включил в свою базу все новые и измененные страницы сайта.
Ниже в статье мы рассмотрим, как заставить робота ПС чаще посещать ваш сайт и при этом увеличить количество страниц, которое за раз может проиндексировать робот ПС, – краулинговый бюджет.
1. Проанализируйте сайт на наличие дублей
Данный пункт поставили первым, так как дубли страниц – одна из основных проблем, которая ухудшает индексацию сайта поисковыми роботами.
Когда на сайте есть дубли, краулинговый бюджет тратится на бесполезные страницы вместо новых страниц или страниц с обновленным материалом.
О том, как найти на сайте дубли, подробно написано в статьях нашего блога:
2. Настройте сервер на выдачу правильного HTTP-статуса
Корректная настройка кодов статуса HTTP очень важна для правильной индексации сайта.
Когда робот ПС запрашивает страницу сайта, код статуса предоставляет ему информацию о сайте и конкретной странице:
Например, код http «404 Not Found» сообщает, что страница по запрашиваемому адресу не существует, а код http «OK 200» сообщает, что страница доступна.
Также рекомендуем настроить заголовок Last-Modified.
Заголовок Last-Modified информирует робота ПС о дате последнего изменения документа. Таким образом, робот-индексатор проверяет на обновление только документы, действительно изменившиеся со времени предыдущего обхода, или новые страницы, не тратя при этом краулинговый бюджет на страницы, которые не менялись.
Подробно о заголовке Last-Modified здесь.
3. Мониторьте время отклика сервера и скорость загрузки страниц
Время ответа сервера на запрос браузера напрямую влияет на индексацию сайта.
С учетом сетевых задержек оно должно быть не более 300 мс.
Сервисы по измерению отклика сервера:
Для индексации сайта также очень важна скорость загрузки сайта.
Время загрузки страницы не должно превышать 3-5 секунд.
Сервисы по проверке скорости загрузки:
Увидеть, есть ли недочеты, можно с помощью сервиса Google PageSpeed.
4. Грамотно организуйте структуру сайта
Чем понятней для поискового робота выглядит структура сайта, тем он лучше будет его индексировать.
Рекомендации по структуре сайта:
— Уровень вложенности страниц
Любая продвигаемая страница должна быть не дальше, чем в 3 кликах от главной. Это очень важно для индексации, так как поисковому роботу потребуется гораздо меньше времени на индексацию простого и неглубокого сайта, чем на сложный ресурс с запутанной системой навигации.
— Реализуйте на сайте хабовые страницы
Хабовые страницы – это страницы, которые содержат ссылки на разделы и подразделы, служащие для навигации пользователей по сайту.
Для того чтобы улучшить индексацию, хабовые страницы необходимо реализовать в один клик от главной страницы сайта.
Что нам даст реализация хабовых страниц:
А. Уменьшит уровень вложенности
Б. Ускорит индексацию страниц поисковым ботом
В. Поможет пользователям легче найти нужный материал
Пример хабовой страницы:
— Выводите анонсы на новые страницы на главную сайта
Поисковый робот чаще всего посещает главную страницу сайта. Если на ней будут размещены ссылки на новые страницы или страницы с обновленным контентом, есть большая вероятность, что робот их проиндексирует.
— Реализуйте виджет в сайдбаре последних статей
Еще один хороший способ связать между собой страницы сайта:
— Не делайте меню на скриптах и flash
Главным недостатком использования меню на скриптах и flash является то, что поисковые роботы его не видят.
5. Настройте файл robots.txt
Корректно составленный robots.txt позволит исключить возможные проблемы, возникающие при сканировании сайта роботом. Это может значительно ускорить индексацию ресурса в целом.
В файле robots.txt нужно прописать инструкции для роботов поисковых систем: какие страницы сайта индексировать, а какие – нет. В таком случае поисковикам потребуется меньше времени для сканирования сайта.
Например, в robots.txt можно закрыть:
Как создать правильный robots.txt?
1. Создайте файл robots.txt в текстовом редакторе.
2. Заполните его в соответствии с правилами. Синтаксис Robots можно посмотреть в рекомендациях Яндекса для вебмастеров.
3. Проверьте файл в сервисе Яндекс.Вебмастер — > Анализ robots.txt.
Скриншот из Яндекс.Вебмастера:
4. Если проверка прошла успешно и ошибок не обнаружено, загрузите файл в корень сайта.
6. Внешние сигналы ссылками
Чтобы ускорить индексацию сайта, рекомендуем привлекать на него роботов ПС с помощью внешних ссылок. Например:
7. Пишите качественный и уникальный контент
Качество контента также влияет на скорость индексации сайта. Плохой контент, который не дает полный ответ на запрос пользователя, в котором есть грамматические ошибки, большая плотность ключевых слов, индексируется хуже.
При написании текста важно учитывать, что:
Как следить за индексацией сайта
Добавьте сайт в сервис Яндекс.Вебмастер и Google Search Console
Если сайт еще не добавлен в панели вебмастеров поисковых систем, настоятельно рекомендуем добавить. С их помощью вы сможете легко анализировать индексацию проекта. Например:
Также вы можете сообщить ПС о новых или удаленных страницах и мониторить другие параметры сайта, не связанные с индексацией. Например, внешние ссылки, ведущие на сайт, запросы, по которым пользователи переходят на сайт, и т.д.
Только полный анализ сможет помочь вовремя выявить и исправить ошибки индексации сайта.
Зарегистрировать сайт в вебмастере Яндекса и Google просто.
Для этого нужно выполнить процедуру в 3 шага, которые сопровождаются подробной инструкцией, в Я.Вебмастер:
Добавление сайта в Google Search Console также сопровождается инструкцией:
Как сообщить роботу ПС об изменениях на сайте
— Создайте карту сайта
Чтобы помочь поисковому роботу найти новые страницы на сайте, рекомендуем создать карту сайта в двух форматах: xml и html.
Карту в формате html нужно выложить на сайт в качестве отдельной страницы. При сканировании сайта робот попадает на данную страницу – она должна содержать ссылки на все страницы сайта, а это поможет ему найти их.
Карту в формате XML (Sitemaps) нужо добавить в панель инструментов для вебмастеров Google и Яндекса.
Рекомендации по созданию карты сайта XML (Sitemap):
— Карта сайта должна автоматически генерироваться и обновляться при добавлении на сайт новых URL или удалении старых.
— В карту сайта не должны попадать закрытые от индексации страницы.
— После создания файла необходимо убедиться, что в нем нет ошибок. Сделать это можно при помощи специальных инструментов поисковых систем:
Также в карте XML (Sitemap) можно указать:
После того как карта сайта будет создана, информацию о ней нужно добавить в панель инструментов для вебмастеров Google и Яндекса.
— Напишите скрипт «Ловец ботов»
Для крупного проекта можно применить следующую методику – в момент прихода робота ПС на сайт специальный скрипт показывает роботу ссылки на не проиндексированные страницы сайта.
Недостаток использования методики – сложная техническая реализация.
— Используйте « Add URL » поисковых систем
Это наиболее «традиционный» способ ускорения индексации новых страниц на сайте. С помощью « Add URL » поисковой системе можно сообщить как о новом сайте, так и о новой странице на сайте.
Ниже приведем ссылки на « Add URL » наиболее популярных поисковых систем:
Чтобы сообщить о новой странице ПС Яндекс, используйте форму add url Яндекс:
Чтобы сообщить о новой ПС Google, используйте форму add url Google: 
Недостаток использования этого инструмента – добавление страниц в данные формы не дает гарантий, что страница сразу же окажется в базе поисковой системы.
— Для быстрой индексации новых страниц в Google используйте инструмент «Посмотреть как Googlebot»
Воспользоваться данным инструментом можно после того, как сайт будет добавлен в Google Search Console (вебмастер).
Google Search Console — > Раздел Сканирование — > Посмотреть как Googlebot — > Вводим нужный URL — > Кнопка «Сканировать» — > Кнопка «Добавить в индекс», после чего появится надпись «URL отправлен на индексирование»:
Также с помощью данного инструмента можно узнать время загрузки страницы и данные по процессу сканирования.
Единственный недостаток – необходимо каждый раз при добавлении нового материала адрес вводить вручную.
— Плагин-пингер для ускорения индексации новых страниц в Яндекс
Повысить приоритет индексирования новых страниц сайта можно с помощью специальных POST-запросов. Подробнее здесь.
Если ваш сайт построен на основе популярных CMS, например, WordPress, Joomla, Drupal – установите специальный плагин Пингер. Он автоматически будет сообщать Яндексу о появлении новых страниц на вашем сайте.
Что для этого необходимо сделать:
Б. Установите и настройте плагин в соответствии с инструкцией:
После публикации новой страницы зайдите в настройки плагина, в окне «Сообщение о статусе плагина» должно появляться сообщение «Плагин работает корректно» и выводиться последний добавленный адрес.
Другие возможные статусы и их значения можно посмотреть здесь.
— Специальные формы ПС для ускорения индексации блога «Пинг»
Если у вас блог с подпиской на RSS, для ускорения индексации новых страниц вы можете использовать специальную форму ПС «Пинг».
«Пинг» – это оповещение поисковых систем об изменениях на вашем сайте.
Для добавления новой записи в ПС Google нужно использовать форму « Blog Search » по адресу:
Для добавления новой записи в ПС Яндекс нужно использовать форму « Отправить пинг » по адресу: 
— Бесплатные сервисы пингования
Для ускорения индексации новых документов используйте бесплатные сервисы пингования, например, https://seo-ng.net/seo-instrumenty/ping_services.html:
Важно! Сервисы пингования используйте только при наличии свежего материала на сайте. Также не стоит один и тот же сайт пинговать в разных сервисах.
Подведем итоги – чтобы ускорить индексацию сайта в целом, необходимо:
1. Провести техническую оптимизацию сайта.
2. Организовать грамотную структуру сайта.
3. Регулярно добавлять новый качественный материал на сайт.
4. Добавляя новые страницы, нужно сообщать о них ПС.
5. Привлекать на сайт роботов ПС с помощью внешних ссылок.
Как ускорить индексацию сайта: 5 способов на все случаи жизни
Все способы подходят для Яндекса и Google, проверены и работают в 2020 году
Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.
Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.
Почему не индексируется сайт
Проблемы с индексацией сайта бывают трех типов:
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Давайте разберем способы ускорения индексирования сайта поисковиками.
1. Улучшите внутреннюю SEO-оптимизацию
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Проверьте файл robots.txt
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:
В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:
В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Создайте sitemap.xml
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Также укажите путь в панелях для вебмастеров:
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).
Добавьте HTML карту сайта
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Проверьте ответы сервера
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Подробно о кодах ответа сервера мы рассказывали в этой статье.
Поработайте над внутренней перелинковкой
Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:
Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.
В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).
В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:
Следите за уровнем вложенности
Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Пишите полезные и уникальные тексты
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Чаще публикуйте записи и обновляйте страницы
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
Устраните дубли на сайте
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
2. Используйте инструменты для вебмастеров
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:
Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:
Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети
Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:
Добавить блог можно в такие каталоги:
Нелишним будет добавить сайт в бесплатные рейтинги:
Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.
Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.
Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.
Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.
4. Используйте пинг-сервисы
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
5. Нарабатывайте «сильные» ссылки
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.