как узнать дату индексации статьи
Как узнать дату индексации страницы?
Дата вопроса: 12.11.2019, 15:16
Подскажите, пожалуйста, как узнать дату когда страница была проиндексирована в Гугл и Яндекс? Недавно изменил дизайн страницы и существенно улучшил тексты с мета тегами, позиции не меняются уже неделю, а должны вырасти, ведь страница стала лучше.
Рекомендуйте нас друзьям
Спасибо за интересный вопрос, ответ на который можно дать достаточно короткий, но в то же время есть определенные нюансы, которые стоит учитывать.
При сканировании сайта у каждой страницы есть несколько ключевых дат, а именно:
Дата сохраненной копии не указывает о том что именно в этот день была страница проиндексирована, это означает что в это время была сформирована сохраненная копия. Но, в большинстве случаев дата сохраненной копии и дата последней индексации страницы совпадают.
Поэтому если нет нужды в особенной точности — можно ориентироваться на дату сохраненной копии документа.
Дата последней индексации страницы, как в вашем случае, нужна для того чтобы проверить как повлияли изменения на позиции сайта в поисковых системах. Я бы рекомендовал брать фрагмент контента, который был добавлен, и добавлять в кавычках в поисковую строку. Если текст найден на нужной странице — документ проиндексирован, если нет — нет.
Проверка даты индексации в инструментах для вебмастеров
В Search Console и Яндекс вебмастере есть инструменты, при помощи которых можно узнать дату последнего сканирования документа.
Search Console
Нужно добавить url-адрес на проверку и через несколько мгновений Search Console выдаст информацию, которая ему известна, о данном url-адресе. В том числе там и будет дата последнего сканирования поисковым роботом.
Яндекс Вебмастер
У Яндекс Вебмастера аналогичный инструмент называется «Проверить статус Url». Там можно добавить страницу и получить информацию о дате последнего обхода и дате последней индексации.
Узнать дату индексации страницы
В процессе сканирования сайта поисковыми системами можно выделить четыре ключевые даты для страниц:
Два метода получения даты первой индексации страницы перестали работать:
Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег modtime, который и укажет дату первой индексации страницы.
Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.
Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с названием адреса страницы).
Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.
Ждите новые заметки в блоге или ищите на нашем сайте.
Когда мы писали про рост зарплат в IT, то выяснили, что они растут из-за дефицита специалистов и выравнивания значений по уровню западных зарплат. Но потом начали копать дальше, и поняли, что дефицит абсолютно везде: не хватает учителей, врачей, строителей, металлургов, водителей, инженеров и даже курьеров. На несмотря на повальный дефицит…
Как заставить свободные деньги работать быстрее при инвестировании в сделки IPO. Все о маржиналке или маржинальной торговле.
Директор по логистике ПГК Михаил Петров рассказал о том, почему логисты должны быть профессиональными коммуникаторами и «жадинами».
Достиг подобного результата пользователь под ником GPHustla
ремейк поста ноября 2020 года про оценку надежности и рисков застройщиков по доходности их облигаций
Два дня назад закончился саммит по климату.
Как не имея релевантного опыта перейти в Data Science из другой сферы? Какие инструменты могут помочь развить новые профессиональные навыки и какой стратегии лучше придерживаться в обучении, рассказал специалист по анализу данных и машинному обучению Первой грузовой компании Павел Куницын. Подготовили топ-5 основных правил от нашего коллеги.
Как узнать честную дату индексации документа в Яндексе?
Приветствую, Дмитрий! Вполне корректный и актуальный вопрос для Яндекса на текущий момент.
Сразу стоит отметить, что однозначно полагаться на дату указанную в сохраненной копии документа, как на дату индексации документа — нельзя. Хотя, в большинстве случаев, они и совпадают.
Что отражает дата сохраненной копии?
Как банально это не звучит, но дата, указанная в сохраненной копии — указывает только на дату формирования сохраненной копии документа, который вы просматриваете и может не отражать дату (версию) документа участвующего в ранжировании.
Индекс Яндекса и сохраненная копия, живут, в общем случае, своей жизнью.
На самом деле — даты четыре.
Когда мы говорим об индексации, можно выделить сразу четыре ключевых даты для одного документа.
Наиболее важной, среди представленных четырёх выше дат, является третья, так как именно она отражает версию документа, которая участвует в ранжировании.
Расхождение даты сохраненной копии и индексации
Наиболее распространенный пример, когда дата сохраненной копии документа расходится с датой последней индексации документа и версией, которой документ участвует в ранжировании, приходится на быстрый индекс (базу новостного робота Яндекса). Ниже приведен пример подобного расхождения.
Что интересно, документ находится в индексе (просто не в основном, а в «дополнительном»), но функция проверки URL в панели Вебмастера указывает, что данный документ не проиндексирован.
Безусловно, имеются и другие примеры расхождения, которые затрагивают не только документы в «быстром» индексе, но и «обычные» проиндексированные страницы.
Вывод: дата, указанная в сохраненной копии далеко не всегда отражает ту версию, которой документ участвует в ранжировании.
Как тогда отслеживать индексацию изменений?
Наиболее достоверно можно отслеживать индексацию изменений документов с помощью трёх способов:
Удачи в самостоятельном анализе индексации и выводу сайтов в ТОП выдачи!
Как узнать дату публикации / возраст веб-страницы, если нигде не написано
Когда редактор готовит статью к публикации, проверяет не только работоспособность и релевантность ссылок, но и актуальность информации на внешнем сайте.
С исследованиями/отчетами, как правило, проблем нет – везде указан месяц и год. Легко узнать дату публикации, когда она указана на самой странице, предусмотрена функционалом сайта.
Другое дело, если нигде не указано, когда страница была создана/обновлена. Разбираемся, как тогда можно узнать дату/возраст, на примере facebook.com/business/instagram/stories-ads
Технический анализ страницы
Сначала о способах проверки даты создания/републикации, которые работают на основе ответа сервера, HTML-кода или карты сайта. Дисклеймер: они работают, но без гарантий (сайт может переехать или обновить XML-файл, тогда дата обновится, но не будет соответствовать реальному возрасту информации).
«Site:» в Google и перебор дат. Если просто использовать этот оператор в поиске, то никакой даты у FB-страницы не видно (первый скриншот ниже иллюстрирует). Чудеса случаются, когда пользователь начинает перебирать отдельные периоды. Выбираем от 01.01.2018 по 01.01.2019, вуаля – получаем 28 сентября 2019 года.
Процесс «брутфорса» Google (вместо site: можно использовать allinurl: или даже вообще обойтись без операторов – просто вбить адрес в строку поиска)
Важно: эта дата не обязательно будет датой первого сканирования, как в случае с показателем «Яндекса» (о нем позже). Google может устанавливать новые цифры, когда заметит обновление страницы. В блоге вебмастеров сообщается, что система определяет дату, опираясь на множество факторов. Включая данные, указанные на странице и предоставленные через разметку, но не ограничиваясь ими.
Дата из Sitemap. Это специальный файл – карта сайта, список ссылок для поисковых систем. По нему можно также подсмотреть дату. Но в нашем случае поисковик ничего не находит через «site:» и «filetype:xml».
Важно: sitemap генерируется автоматически, то есть может не соответствовать реальному возрасту страницы.
«Информация о странице» в Firefox. В нашем случае в метатегах ничего нет, а «Последнее изменение» показывает «дату и время, когда, по мнению удаленного сервера, запрашиваемый ресурс был изменен». Весь ресурс, не обязательно этот раздел на сайте. Следовательно, для таких больших сайтов как Facebook дата/время последнего изменения будут почти всегда равняться дате/времени вашего посещения.
Дата публикации картинок. Не везде картинки открыты для индексации или включают в URL день загрузки. К тому же на странице может быть контент с других разделов или даже сайтов, в таком случае данные совсем бесполезные.
И вот сохраненная копия страниц – откровенно плохой метод проверки даты публикации. Потому что в Google, например, страница сохраняется, когда ее в последний раз сканировал робот. То есть у больших посещаемых сайтов эта дата ненамного будет отличаться от сегодняшней. В «Яндексе» так вообще может быть устаревшая копия, не соответствующая проиндексированной странице.
Аналитика «следов», истории страницы
Теперь о методах, опирающихся на «следы», которые страница оставляет в интернете. Как правило, они менее точные, но более надежные.
Первое сканирование Wayback Machine. Это сервис некоммерческой организации «Архив Интернета» (web.archive.org), который собирает копии веб-страниц. Само собой, он не обходит сайты каждый день, поэтому таким образом можно узнать дату публикации только примерно. Но в некоторых ситуациях даже плюс-минус несколько месяцев не имеют существенного значения.
Если сервис ругается на IP-адрес, меняем его в настройках. А для тех, кто не дружит с «Яндекс.XML», проверить индексацию можно с помощью бесплатных инструментов Pixel Tools или Be1.
Кстати, этим методом можно проверять даже дату создания страницы в VK. Правда, информация будет неточной, если пользователь менял адрес. Чтобы определить точный возраст страницы, нужно открыть исходный код https://vk.com/foaf.php?id=1111111, где вместо единиц надо поставить искомый ID «ВКонтакте». Дата будет записана в теге с «created»:
Комментарии на странице. Если есть комментарии, хорошо – у них есть даты. Также по содержанию сообщений и всплескам активности можно предположить, сколько раз статья обновлялась. Минус, конечно, в том, что не везде есть комментарии даже под статьями.
Ссылки на страницу. Суть способа: перейти на ссылающиеся материалы, а там уже поискать даты (вышеперечисленными методами) и постараться верифицировать информацию (если она цитируется в тексте). Конечно, ссылки могут говорить о возрасте и актуальности данных только косвенно. В нашем случае этот вариант никак не помог.
Ищем ссылки на страницу FB через Ahrefs → выясняем, что почти все материалы – перепечатки статьи Hootsuite от мая 2019 → тексты не упоминают статистику, которую мы проверяем
Что в итоге
Нет идеального способа проверки даты, но можно комбинировать их – в комплексе все усиливается.
На примере со страницей FB получилось, что дата Google наиболее ранняя и правдивая, хотя с «Яндексом» разница всего неделя. (В нашем случае это не особо критично.) Предполагаем теперь, что статистика по Instagram Stories, которая нам интересна, тоже от сентября–октября 2018 года.
Кажется, что Wayback Machine бесполезен, так как, по сути, занизил возраст страницы? Но нет – с помощью этого инструмента мы можем точно узнать, не менялась ли с тех пор информация:
Ищете исполнителей с таким же скрупулезным подходом к цифрам, фактам, качеству? TexTerra предлагает создание и распространение контента на разовой и ежемесячной основе, а также в рамках комплексного продвижения.
Как узнать дату индексации страницы
В процессе сканирования сайта поисковыми системами можно выделить четыре ключевые даты для страниц:
Первая дата обхода
Два метода получения даты первой индексации страницы перестали работать:
Дата обхода поисковым роботом и статуса в поисковой базе
Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.
Дата формирования сохраненной копии
Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).
Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.