индексация новостей в яндексе

Как ускорить индексацию сайта в Яндексе и Google

В статье:

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Индексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница-сирота в структуре сайта

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью поста с сайта на Фейсбуке

Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.

Фрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Источник

10 шагов для добавления сайта в Яндекс.Новости и Google News

Яндекс.Новости и Google News являются крупнейшими новостными агрегаторами в России. Так, по данным TNS Russia в июне 2009 года Яндекс.Новости в день посещало чуть более 1,1 миллиона человек. Представьте, какой трафик на сайт могут дать подобного рода системы. И в отличие от, например, News2 и Smi2, новости попадают туда автоматически. Причем, для Google News не нужно совершенно ничего делать — главное, чтобы ваш сайт индексировался Гуглом. Для Яндекса нужно делать полнотекстовый фид со некоторыми тонкостями.

Как же попасть в эту Мекку, в это Эльдорадо вебмастерского мира?

Разумеется для начала ваш сайт должен быть хорошим, интересным проектом. И, естественно, что на нем должны быть новости той тематики, в рамках которой он работает. А теперь пара откровений.

Первое и самое важное откровение — для попадания в эти системы не нужно иметь никакой организационно-правовой формы. Не нужно быть зарегистрированным СМИ, не нужно быть юридическим лицом.

Второе откровение — попадание в Яндекс.Новости подразумевает подписание некоторых бумаг и отправку их по почте и факсу (для ускорения подключения). Причем бумаги должен подписывать тот, на чье имя оформлен домен, на котором расположен сайт.

Шаг 1

Проверяем соответствие сайта техническим требованиям. Каждая новость должна иметь уникальный URL, каждая новость должна иметь отдельную страницу, на которой должна находиться в первом экране.

Для Яндекс.Новостей нужен отдельный полнотекстовый RSS-поток. Технические требования к нему вы получите на 8-ом шаге вместе с остальными документами. Кстати в этот поток, не должны попадать реклама, пресс-релизы, анонсы предстоящих событий и новости самого сайта.

У Google News есть интересное требование — в URL новости должно быть уникальное для новости число разрядностью больше 3, которое не является годом публикации новости 🙂

Шаг 2

Нанимаем журналистов, которые пишут нам новости. Именно так. Не импортируют из RSS, не копируют с соседнего сайта. Пишут. Интересные, уникальные, грамотные и профессиональные.

Шаг 3

Заставляем журналистов писать регулярно. Лучше каждый день или каждый будний день. Как говорится, постоянство — признак мастерства.

Шаг 4

Заставляем журналистов писать часто. Раз в неделю — не катит. Раз в день — тоже. Новости должны появляться на вашем сайте несколько раз в день.

Шаг 5

Готовим страницу «О сайте», на которой указываем руководителя сайта (проекта), человека, отвечающего за редактуру и имена журналистов.

Шаг 6

Готовим страницу «Контакты», на котором указываем контактный адрес и телефон. Да. Адрес и телефон. Причем настоящие, а не +7 (495) 777-55-33.

Шаг 7

Пишем в Яндекс (info[at]news.yandex.ru) письмо с просьбой подключить сайт к Новостям.

Шаг 8

Получаем от Яндекс.Новостей инструкцию с описанием дальнейших действий. Выполняем их. Подписываем и отправляем все необходимые бумаги. Пишем письмо с адресом полнотекстового RSS-потока.

Получаем от робота Google письмо, в котором нас просят подтвердить, что сайт удовлетворяет всем перечисленным требованиям — отвечаем на него, что это так.

Шаг 9

Получаем от Яндекса письмо о том, что фид проверен и подключен.

Получаем от Google письмо о том, что сайт добавлен в новости.

Шаг 10

Радуемся жизни и трафику.

Post scriptum

Знайте, что Google помнит результаты рассмотрения предыдущей заявки на включение вашего сайта в Новости. Поэтому, перед повторной подачей устаните все причины, по которым вас не взяли в Google News в предыдущий раз.

Каждый шаг написан на основе собственного опыта добавления сайта avtobeginner.ru в эти новостные агрегаторы.

UPD
Перенесла в блог «СМИ в интернете»

UPD2
Еще свои новости можно добавить в Rambler.Новости — полнотекстовый фид необязателен, но желателен. Трафик дает приличный.

И в Новотеку — нужен полнотекстовый фид, трафик так себе.

И в Новости Liveinternet. Потребуется полнотекстовый фид. Выстреливает редко, но траффик заметный.

Источник

Партнерская программа

Предлагаем вашему изданию сотрудничество со службой Яндекс.Новости.

Участие в партнерской программе — это возможность бесплатного увеличения посещаемости и постоянного расширения аудитории. Партнеры службы — ведущие средства массовой информации России и СНГ, в том числе информационные агентства, печатные и сетевые издания, радио и телевизионные каналы.

Условия сотрудничества

Издание — партнер Яндекс.Новостей — создает условия для оперативного индексирования поисковым роботом Яндекса данных, размещенных в открытом доступе на сайте издания. Для этого издание организует трансляцию данных в соответствии со следующими требованиями:

Яндекс оперативно индексирует предоставленные данные, после чего они становятся доступными для поиска пользователями. На страницах Яндекса размещаются заголовки сообщений, ссылки с которых ведут на сайт издания — партнера Яндекс.Новостей.

Трансляция данных партнером и индексирование данных Яндексом происходит в рамках взаимовыгодного сотрудничества на безвозмездной основе.

Издания, заинтересованные в дополнительном продвижении сайта на Яндексе, могут заказать платные услуги.

Доступ к информации

Транслируемые данные должны находиться в свободном бесплатном доступе в интернете (необходимость регистрации считается ограничением свободного доступа).

Уникальным идентификатором каждого сообщения (новости) является ее URL (адрес в интернете). Каждый URL должен вести на отдельную страницу с полным текстом сообщения (ссылка на список новостей или на главную страницу сайта — нарушение этого условия), при этом заголовок и начало текста должны быть видны на первом экране. Доступ к сайту издания должен быть быстрым и стабильным.

Требования к содержанию

Партнерами службы Яндекс.Новости могут быть как политематические, так и специализированные издания (в том числе отраслевые СМИ, источники официальной информации, тематические ресурсы), на сайтах которых есть собственные новостные материалы.

Обязательным условием для партнеров Яндекс.Новостей является выполнение следующих требований:

Дубликаты

Материалы считаются дубликатами, если в них преобладает заимствованная из других источников информация.\n

Алгоритм поиска дубликатов определяет, сколько в новости текста:

Если заимствованного текста больше половины, материал признается дубликатом. Также учитывается время публикации.\n

Дубли отображаются только на последних страницах сюжета. Они не попадают в заголовок, блок Подробнее о событии и дайджест.

Качество заголовков

Чтобы заголовки не вводили в заблуждение и оправдывали ожидания после прочтения новости, мы сформулировали требования к их качеству.

Эти требования применяются при выборе заголовков сюжетов в Яндекс.Новостях.

Признаки хороших и плохих заголовков:

Периодичность обновления

Максимальных или минимальных ограничений на количество сообщений нет, однако издание должно обновляться с определенной периодичностью, которая должна быть заявлена в информации об издании. Индексирование транслируемых изданием сообщений осуществляется Яндексом каждые пять минут.

Транслируемые данные

Обязательные элементы каждого сообщения: заголовок, время и дата, URL, полный текст. Полный текст сообщения необходим только для индексирования поисковым роботом и на страницах Яндекса не размещается. Трансляция полного текста позволяет существенно улучшить качество поиска и, как следствие, повысить посещаемость издания — партнера службы Яндекс.Новости. Необязательные элементы: аннотация, иллюстрации, видео и аудиофайлы.

Ограничений на количество символов в аннотации и полном тексте нет; заголовок ограничен 200 символами. При ранжировании заголовков новостей на страницах Яндекса их размер может учитываться (в таком случае приоритет отдается «средним» заголовкам, то есть не очень коротким и не очень длинным).

Если издание имеет рубрикацию, сообщения должны транслироваться с названиями рубрик, принятыми в редакции. Содержание должно соответствовать названию.

Формат трансляции

Трансляция данных осуществляется в формате RSS 2.0 (международный стандарт для синдикации веб-контента). Рекомендуем вам внимательно изучить полное описание RSS 2.0 (на английском языке).

Описание используемых при трансляции в Яндекс.Новости элементов с комментариями, а также пример экспортного файла опубликованы в Технических требованиях.

Как стать партнером Яндекс.Новостей

Подайте заявку на подключение к сервису. Мы свяжемся с вами, вышлем всю необходимую информацию и сообщим о дальнейших действиях.

Источники трафика

Отключение от Яндекс.Новостей

При нарушении условий сотрудничества партнер получает письмо с предупреждением. Если нарушения продолжаются, материалы издания будут реже попадать на видные места в Яндекс.Новостях (в заголовок сюжета, дайджест и блок «Подробнее о событии» ).

Источник

Как проиндексировать сайт в Яндексе, Google и других поисковиках

Индексирование сайта — что это и для чего необходимо?

Индексация сайта в поисковых системах — необходимое условие его видимости при поиске в интернете. Если просто создать сайт и не заботиться о его индексации, скорее всего, на него смогут попасть только те, кто знает непосредственный адрес домена.

Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы

Краулеры с некоторой периодичностью обходят страницы сайта, считывая

И множество других данных.

Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.

Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.

Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.

Как эффективно проиндексировать сайт

Чтобы сайт как можно быстрее начали индексировать поисковые системы, его надо добавить в базу поисковиков через инструменты для вебмастеров.

Добавьте сайт в Яндекс.Вебмастер

Простой ответ на вопрос «Как проиндексировать сайт в Яндексе?» — добавить его в Вебмастер.

В том же меню есть информация о том, когда и с каким результатом робот обходил страницы, какие из них есть в поиске, а также функция добавления Sitemap, запуска переобхода и настройки скорости обхода.

Добавьте сайт в Google Search Console

Перейдите на https://search.google.com/search-console/welcome и войдите в учётную запись. Добавьте сайт в систему.

Как и в Яндекс.Вебмастере, инструмент предлагает множество отчётов о состоянии индексации сайта. Вы может увидеть, какие страницы проиндексированы и добавлены в поиск, внутренние и внешние ссылки и многое другое.

Добавление сайта в прочие поисковые системы

В российском сегменте интернета доля поисковых систем помимо Яндекса и Google стремится к нулю. Тем не менее, не следует ими пренебрегать, если сайт является важным имиджевым элементом крупного проекта или организации.

Рамблер основан на тех же данных индексации, которые собирает Яндекс — в этом случае нет необходимости в дополнительных настройках.

Как ускорить индексацию сайта в поисковиках

Создайте файл robots.txt

Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.

На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.

Источник