индексация главной страницы сайта
Что сделать, чтобы мой сайт видели поисковые системы
В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.
После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.
Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.
Бесплатный SSL-сертификат
Поисковые системы больше доверяют сайтам с SSL. Получите в подарок SSL-сертификат начального уровня на 1 год и хостинг на 2 месяца бесплатно при регистрации любого нового домена на сайте REG.RU.
Что такое индексация
Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:
В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.
Почему сайта нет в Yandex и Google
Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.
Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.
Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.
Как ускорить процесс индексации сайта
Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.
Как добавить сайт в Яндекс.Вебмастер
Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:
Введите адрес сайта (доменное имя) и нажмите Добавить:
Размещение сайта в Яндекс.Webmaster
Подтвердите права на сайт. Сделать это можно через:
Мы рекомендуем добавить DNS-запись, так как это наиболее простой способ.
Кликните по вкладке «DNS-запись» и скопируйте значение TXT, которое нужно добавить:
Яндекс.Вебмастер: подтверждение прав на сайт
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
После подтверждения прав нажмите Проверить. Если права подтверждены корректно, вы увидите следующее:
как добавить сайт в поиск яндекса
После мы рекомендуем воспользоваться инструментом Переобход страниц. Через него можно задать, какие страницы сайта стоит проиндексировать в первую очередь.
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.
Как добавить сайт в поиск Google
Как разместить сайт в Гугле, вы узнаете по инструкции:
Введите адрес сайта в первом блоке и нажмите Продолжить:
Как добавить url в поисковые системы
Скопируйте значение TXT-записи.
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
Если права подтверждены корректно, вы увидите уведомление. Нажмите Готово:
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.
Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.
Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.
1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.
Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.
2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.
Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.
Есть несколько способов узнать были ли проиндексированы нужные вам страницы.
1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.
Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.
2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.
3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.
Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.
Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:
Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:
1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.
Индексация главной страницы сайта
Владелец сайта может влиять на то, как индексируется его ресурс.
Например, вы можете запросто закрыть для поисковой системы определённые разделы своего сайта. Для этого нужно добавить соответствующие команды в файл robots.txt — он находится в корневой папке сайта. Именно к этому файлу обращаются поисковые роботы, чтобы узнать, что можно индексировать, а что нет.
Поисковые системы исходят из того, что индексировать можно всё, что не запрещено. Поэтому владельцу сайта нужно самому позаботиться о том, чтобы в поиск не попала конфиденциальная информация — например, личные данные пользователей, их переписка или счета. Такие страницы нужно запретить индексировать. Рекомендуем также закрыть страницы со служебной информацией и страницы-дубликаты.
Многие системы управления сайтами (CMS) автоматически создают файл robots.txt и команды для роботов. Яндекс.Вебмастер позволяет проверить файл robots.txt на наличие ошибок. Для этого нужно загрузить содержимое файла в инструмент «Анализатор robots.txt». Для этого можно просто скопировать данные файла и вставить их в форму. Или загрузить файл robots.txt через интерфейс сервиса.
Сервис проверит файл и покажет, есть ли в нём ошибки.
Теперь поговорим о том, как создать правило для робота. Каждое правило состоит из двух элементов: это обращение к роботу и команда.
Если вы хотите обратиться сразу ко всем роботам, используйте элемент «User-agent:*». Для обращения только к роботу Яндекса нужно выбрать элемент «User-agent: Yandex».
Вы можете дать роботу команду «Allow:» (разрешить индексирование) или «Disallow:» (запретить индексирование). После команды нужно указать адрес, для которого должна применяться команда.
Например, так будет выглядеть правило, запрещающее всем поисковым роботам индексировать раздел siteforyandex.ru/admin:
Анализатор помогает найти ошибки в файле robots.txt, проверить, все ли команды прописаны верно и понятны роботу, и узнать, разрешена ли к индексированию конкретная страница.
Файл robots.txt позволяет закрыть для индексирования весь контент страницы. Если вы хотите закрыть только какую-то часть контента, используйте тег noindex. Этот тег не даёт индексировать заключенный в него текст, но не мешает поисковой системе переходить по ссылкам внутри текста.
Совет
Чтобы узнать, какие разделы сайта и в каком объёме уже проиндексированы, воспользуйтесь инструментом «Структура сайта» в Яндекс.Вебмастере, он находится в разделе «Индексирование».
Как проиндексировать сайт в Яндексе, Google и других поисковиках
Индексирование сайта — что это и для чего необходимо?
Индексация сайта в поисковых системах — необходимое условие его видимости при поиске в интернете. Если просто создать сайт и не заботиться о его индексации, скорее всего, на него смогут попасть только те, кто знает непосредственный адрес домена.
Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы
Краулеры с некоторой периодичностью обходят страницы сайта, считывая
И множество других данных.
Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.
Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.
Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.
Как эффективно проиндексировать сайт
Чтобы сайт как можно быстрее начали индексировать поисковые системы, его надо добавить в базу поисковиков через инструменты для вебмастеров.
Добавьте сайт в Яндекс.Вебмастер
Простой ответ на вопрос «Как проиндексировать сайт в Яндексе?» — добавить его в Вебмастер.
В том же меню есть информация о том, когда и с каким результатом робот обходил страницы, какие из них есть в поиске, а также функция добавления Sitemap, запуска переобхода и настройки скорости обхода.
Добавьте сайт в Google Search Console
Перейдите на https://search.google.com/search-console/welcome и войдите в учётную запись. Добавьте сайт в систему.
Как и в Яндекс.Вебмастере, инструмент предлагает множество отчётов о состоянии индексации сайта. Вы может увидеть, какие страницы проиндексированы и добавлены в поиск, внутренние и внешние ссылки и многое другое.
Добавление сайта в прочие поисковые системы
В российском сегменте интернета доля поисковых систем помимо Яндекса и Google стремится к нулю. Тем не менее, не следует ими пренебрегать, если сайт является важным имиджевым элементом крупного проекта или организации.
Рамблер основан на тех же данных индексации, которые собирает Яндекс — в этом случае нет необходимости в дополнительных настройках.
Как ускорить индексацию сайта в поисковиках
Создайте файл robots.txt
Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.
На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.
Как ускорить индексацию сайта: 5 способов на все случаи жизни
Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.
Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.
Проблемы с индексацией сайта бывают трех типов:
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Давайте разберем способы ускорения индексирования сайта поисковиками
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:
В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:
В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Также укажите путь в панелях для вебмастеров:
Google Search Console – в разделе Индекс/Файлы Sitemap:
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Подробно о кодах ответа сервера мы рассказывали в этой статье.
Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:
Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.
В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).
В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:
Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:
Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:
Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:
Добавить блог можно в такие каталоги:
Нелишним будет добавить сайт в бесплатные рейтинги:
Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.
Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.
Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.
Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.