как улучшить индексацию в google
Как ускорить индексацию сайта в Яндексе и Google
В статье:
Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.
К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.
Частые проблемы с индексацией сайта в ПС
Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Страницы не индексируются одним из поисковиков
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.
Страницы индексируются, но долго
Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.
Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:
Индексация и санкции ПС в Анализе сайта
Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.
Как ускорить индексацию страниц
Представитель Google Джон Мюллер на вопрос об индексировании ответил так:
«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».
Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.
Отправить страницу на переобход
Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.
Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:
«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».
В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.
Создать Sitemap — Карту сайта
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.
Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.
Страница-сирота в структуре сайта
Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:
Упрощенный пример структуры сайта, подходит для меню
Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.
DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Публиковать ссылки в соцсетях и на других площадках
Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.
Превью поста с сайта на Фейсбуке
Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.
Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.
Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.
Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.
Фрагмент анализа сайта
Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.
До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой
FAQ: что еще влияет на скорость индексации сайта
Как страницы вне индекса могут повлиять на отношение поисковика к сайту?
Качество контента на сайте поисковики оценивают только по проиндексированным страницам.
Тег noindex может влиять на индексацию страницы после его снятия?
По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.
Как редирект влияет на индексацию страниц?
Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.
Как ускорить индексацию страниц, которые были 404?
Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.
Как поисковики относятся к URL c хэшами?
URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.
Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.
Как ускорить индексацию сайта: 5 способов на все случаи жизни
Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.
Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.
Проблемы с индексацией сайта бывают трех типов:
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Давайте разберем способы ускорения индексирования сайта поисковиками
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:
В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:
В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Также укажите путь в панелях для вебмастеров:
Google Search Console – в разделе Индекс/Файлы Sitemap:
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Подробно о кодах ответа сервера мы рассказывали в этой статье.
Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:
Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.
В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).
В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:
Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:
Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:
Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:
Добавить блог можно в такие каталоги:
Нелишним будет добавить сайт в бесплатные рейтинги:
Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.
Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.
Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.
Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.
В этой статье мы расскажем как проиндексировать сайт в гугл за минимально возможное время.
Что такое индексирование Google и как оно работает?
Индексирование – добавление сайта и его страниц в базу данных Google. Благодаря чему ваш сайт отображается в результатах поиска.
Поисковик обнаруживает новый контент на сайте, переходя по различным гиперссылкам. Найдя новые веб-страницы, Google добавляет их в свою базу данных.
Как проверить, проиндексировал ли Google ваш сайт?
Есть два простых способа узнать, проиндексировал ли сайт в Google:
Далее мы рассмотрим несколько простых способов быстрой индексации сайта в Google:
Создайте и отправьте в поисковые системы файл Sitemap
Карта сайта – это список важных страниц сайта, представленный в формате XML.
С помощью Sitemap.xml вы помогаете поисковым роботам перемещаться по сайту, находить новый контент и индексировать веб-страницы. Это повышает видимость сайта в поиске и новых веб-страниц, которые еще не имеют обратных ссылок.
Удалите теги Nofollow для внутренних ссылок
В результате этого веб-страница не будет отображаться в результатах поиска. Чтобы преодолеть эту проблему, необходимо проверить внутренние ссылки и удалить теги nofollow.
Удалите ненужные теги Noindex
Теги Noindex сообщают Google об исключении веб-страницы из процесса индексации. В результате поисковая система не сохранит веб-страницу в своей базе данных и не отобразит ее в результатах поиска. Тег noindex расположен в разделе веб-страницы.
Для запрета индексации боту Google атрибут name будет включать googlebot.
Удалите этот тег, чтобы Google мог проиндексировать веб-страницу.
Еще один способ поиска тегов noindex – использование инструмента проверки URL-адреса в Search Console.
Если на веб-странице присутствует тег noindex, в http-заголовке «X-Robots-Tag» появится сообщение «обнаружено «Noindex».
Проверьте Robots.txt на наличие блокировки поискового сканирования
Этот код не позволяет поисковой системе сканировать сайт. Кроме этого URL-адрес веб-страницы не должен быть заблокирован, особенно для user-agent: googlebot.
Блокируйте или перенаправляйте веб-страницы низкого качества
Если на сайте тысячи записей, но большинство из них не несет для пользователей никакой пользы, Google сократит количество поисковых сканирований и индексаций площадки.
Если поисковый бот постоянно находит веб-страницы низкого качества, это замедлит обнаружение нового контента, появляющегося на сайте.
Чтобы избежать возникновения подобной проблемы, можно настроить редирект 301 для низкокачественных веб-страниц и перенаправить их на другие более качественные публикации.
Убедитесь, что нет дублирования веб-страниц
Наличие дублированного контента может быть еще одной причиной медленной индексации сайта. Если веб-страница дублируется, Google вряд ли ее проиндексирует.
Поделитесь своим контентом в социальных сетях
Чтобы ускорить индексацию сайта, делиться новыми публикациями в социальных сетях. Это повышает шансы на индексацию вашего сайта.
Например, Twitter, отлично подходит для популяризации контента. Google регулярно сканирует Twitter и даже демонстрирует соответствующий сниппет в результатах поиска.
Получите качественные обратные ссылки
Веб-страницы с высококачественными обратными ссылками будут иметь большее значение для Google, чем те, которые их не имеют. Когда сайт получает обратные ссылки с авторитетных площадок, Google сочтет его заслуживающим доверия и начнет быстрее индексировать контент ресурса.
Создание мощных внутренних ссылок
Если на сайте есть веб-страница, на которой нет внутренних ссылок, Google не сможет найти через нее другой контент. В результате этого для индексации остальных страниц сайта может потребоваться много времени.
На площадке должны быть веб-страницы, которые получают наибольшее количество трафика. Эти веб-страницы могут занимать хорошие позиции в поисковой выдаче Google и должны приносить пользу пользователям. Размещая в них гиперссылки на другие страницы сайта, вы создадите мощные внутренние ссылки.
Если у вас возникли проблемы с индексацией сайта в Google, воспользуйтесь советами, перечисленными в этой статье.
Пожалуйста, оставляйте свои отзывы по текущей теме статьи. Мы крайне благодарны вам за ваши комментарии, лайки, дизлайки, подписки, отклики!
Как ускорить индексацию сайта в Google – 100% способ
Для Google всё элементарно, когда-то компания Google выпустила в Панели для веб-мастера специальный раздел “Индексация GoogleBot, где Вы вставляете url адрес своей новой странички и тем самым направляете робота к Вам на сайт, который эту страницу и добавит в индекс.
По этой ссылке Вы сможете прочитать разного рода документацию, новости, руководства и даже пройти обучающие курсы по оптимизации сайта для поисковых систем.
Далее нажимаем Войти, если нужно “залогиниться”, то заполняем форму входа и попадаем в Search Console. Если у Вас ещё не добавлен Ваш ресурс в этой консоли, то Вы можете сделать это нажав кнопку “Добавить ресурс“.
В графе “Все сообщения” нашему виду откроются рекомендуемые советы, которые помогут улучшить позиции сайта, в которых мы также можем отслеживать трафик и эффективность сайта, просмотреть статистику самых популярных страниц в Google поиске, посмотреть по каким запросам переходят пользователи на сайт и отследить ошибки на страницах сайта.
Перейдём к индексации страниц:
Нам нужно снова перейти в Search Console и кликнуть на иконку сайта или на его название. В итоге мы перейдём в Панель инструментов, где нам нужно выбрать Сканирование – Просмотреть как Googlebot. Перед Вами откроется специальная форма для ввода адреса. Обратите внимание, что если Вы хотите просканировать / проиндексировать одну из страниц, то вставляем ссылку от слэша (без доменного адреса). и нажимаем “Сканировать“.
После этого страница была загружена к Вам в Панель инструментов и теперь мы можем добавить её в индекс – нажимаем “Запросить индексирование“.
После чего нам выводится окно, где нам напишут “Повторное сканирование произойдет в течение нескольких минут после нажатия кнопки “Отправить”. Проходим проверку “Я не робот”, и в данном случае я поставил отметку “Сканировать только этот URL“. Нажимаем Отправить.
И теперь мы видим надпись “Отправлен запрос на индексирование“. В итоге за считанные минуты, Вашу страницу Google должен будет проиндексировать.
Кстати проверить индексацию можно таким способом:
Вводим в поиск Google адрес страницы и перед ним пишем info: (см. скрин).
info:https://lenium.ru/ustanovka-lokalnogo-web-servera-xampp-sozdanie-pervogo-php-skripta/
Таким вот образом и можно быстро передать информацию Google поиску, чтобы он индексировал страницы. Вручную конечно всегда быстрее, чем ждать пока Googlebot придёт на Ваш сайт, особенно если Ваш сайт ещё пока на первых порах и не совсем раскручен.