Как сделать локальное зеркало сайта
Как сделать локальное зеркало сайта
Зеркалами Яндекс считает сайты, которые на запрос робота возвращают один и тот же контент.
Как правило, на этапе создания у сайта уже есть одно зеркало, так как по адресам вида site.ru и www.site.ru обычно открывается один и тот же ресурс. При подключении защищенного протокола у сайта появляются новые зеркала — с префиксом https.
Кроме того, для ресурса могут быть зарегистрированы дополнительные адреса — например, относящиеся к другим доменным зонам или учитывающие опечатки. С дополнительных адресов пользователей могут перенаправлять на основной ресурс. Переадресация применяется также при переезде сайта на новое доменное имя.
Во всех перечисленных случаях сайты со временем будут признаны зеркалами друг друга, а в результатах поиска останется только главное зеркало.
Узнать, какой домен является главным зеркалом вашего сайта, также можно в Яндекс.Вебмастере. Для этого добавьте в свой аккаунт необходимые домены. Те из них, которые поисковая система уже считает зеркалами, будут сгруппированы. Главное зеркало всегда отображается на первом месте.
Вы можете также проверить, является ли домен неглавным зеркалом. Для этого достаточно добавить его в форму «Сообщить о новом сайте». Если ресурс признан неглавным зеркалом, вы увидите соответствующее уведомление.
По мере обхода сайтов робот автоматически определяет, какие из них являются зеркалами друг друга, и постепенно объединяет их в группы. В каждой такой группе выбирается главное зеркало. При этом робот в первую очередь учитывает пользовательские указания — постраничный редирект с кодом 301.
При необходимости вы можете изменить главное зеркало. Это стоит делать только в том случае, если вам действительно важно, какой адрес будет отображаться в результатах поиска. При смене главного зеркала невозможно гарантировать сохранение позиций сайта в поиске, посещаемость и другие значимые для владельцев сайта показатели.
Чтобы сменить главное зеркало сайта, достаточно установить 301 постраничный редирект с не главных зеркал на главное.
Она должна быть задана в файлах robots.txt всех зеркал. Сообщить роботу о внесенных изменениях можно в Яндекс.Вебмастере. Для этого нужно зайти в раздел «Настройка индексирования», далее «Переезд сайта» и выбрать нужный домен из списка. Если этот домен там отсутствует, значит, он еще не был добавлен на странице «Мои сайты».
Возможна ситуация, когда домен уже добавлен в Вебмастер, но не отображается в списке зеркал. Это значит, что поисковая система еще не склеила его с другими зеркалами и воспринимает как отдельный ресурс. В этом случае менять главное зеркало не требуется. Нужно просто подождать, пока поисковая система склеит зеркала.
Попробуйте узнать, какой ваш сайт поисковая система считает главным. Какие зеркала объединены в группу?
Как создать зеркало сайта
Что такое зеркало сайта
Чтобы создать зеркало сайта, нужно понять, что это такое и для чего это нужно. Зеркала сайта это абсолютные или относительные копии основного веб-ресурса (главного зеркала), имеющие различные адреса. При этом решаются самые разные цели и задачи: резервирование, распределение нагрузки трафика на несколько серверов, экономия на оплате потребляемых серверных ресурсов и тому подобное.
Зачем нужно создать зеркало сайта
Предположим, некая компания имеет хорошо раскрученный корпоративный сайт с высокими показателями, трастом. Отличные позиции в поисковой выдаче, посещаемость. На высокие позиции сайта, высокую посещаемость, его раскрутку и продвижение были потрачены большие средства. Возможны были использованы новые методы SEO продвижения. Затем, в маркетинговых целях, руководство компании принимает решение изменить имидж, название, логотип и тому подобное.
Что делать в этом случае? Не бросать же отличный сайт.
Нет не бросать. Для нового сайта желательно иметь доменное имя сайта, созвучное названию продвигаемого бренда. Если просто перенести сайт на новый домен и перепарковать домен, будут потеряны все достигнутые преимущества в поиске и посещаемость.
В других случаях требуется создать зеркало сайта (один или несколько дублирующих ресурсов) на других хостингах. Обычно для целей резервирования, подстраховки на случай падения хостинга либо перегрузки трафика.
Особо крупные сайты с огромной посещаемостью, порталы, с которых постоянно производится скачивание файлов тысячами пользователей, создают зеркала для распределения трафика по многим серверам. Или, чтобы снизить плату за трафик, выгоднее предоставить местным пользователям доступ к сайту с расположенного в их стране сервера.
Еще один вариант склейки зеркал, наверное, самый простой и всем знакомый, это склейка одного домена с WWW и без WWW в адресе.
Зеркала статического сайта
В таком случае проблемой становится задача своевременной синхронизации файлов на всех зеркалах, расположенных на разных серверах. При статическом сайте и нечастых апдейтах синхронизацию можно производить и в ручном режиме. После каждого редактирования главного сайта произвести инкрементальный апдейт всех зеркал через FTP. При этом производится не полная замена всех файлов, а только дописываются измененные файлы.
Зеркала динамического сайта
Гораздо сложнее дела обстоят, когда сайт динамический, часто обновляется. Например, международный новостной портал. Тогда синхронизация зеркал становится настоящей головной болью для владельца сайта. Без привлечения грамотных программистов не обойтись в любом случае.
Хотя существуют программы для синхронизации зеркал на удаленных серверах, в том числе для автоматической синхронизации, в этом деле придется производить многочисленные настройки. А также согласовывать все эти манипуляции с администрацией хостингов.
На некоторых хостингах есть возможность для синхронизации со сторонними провайдерами, а на других нет такой возможности. Все это необходимо прояснить заранее, еще до аренды хостинга. Во всяком случае, такой вопрос не получится прояснить стандартным путем, прося помощи на форумах. Получив массу общих ответов ни о чем, будет ненавязчиво предложено подумать о платных услугах.
Программы для создания зеркала сайта
Наиболее популярной программой для синхронизации зеркал является rsync (Remote Synchronization), бесплатная программа со свободным кодом. К преимуществам rsync относится технология синхронизации файлов и папок отдельно в обоих направлениях. За счет этого достигается существенная экономия трафика.
Для полуавтоматической синхронизации зеркал можно применить бесплатный кроссплатформенный браузер HTTrack.
Все перечисленное выше это лишь общие принципы, поясняющие как создать зеркало сайта. Практическое создание зеркал зависит от конкретного ресурса, сервера на котором он находится. Также от CMS, которая им управляет. Но об этом в других статьях.
HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Инструкция по использованию HTTrack: создание зеркал сайтов, клонирование страницы входа
С программой HTTrack вы можете создать копию сайта у себя на диске. Программа доступна для всех популярных платформ, посмотреть подробности об установке на разные системы, о графическом интерфейсе и ознакомиться со всеми опциями вы можете на странице https://kali.tools/?p=1198.
Далее я рассмотрю несколько примеров использования HTTrack с уклоном на пентестинг.
В плане пентестинга HTTrack может быть полезна для:
Создадим директорию, где мы будем сохранять скаченные зеркала сайтов:
Посмотрим абсолютный путь до только что созданной директории:
В моём случае это /home/mial/websitesmirrors, у вас будет какой-то другой адрес – учитывайте это и заменяйте пути в приведённых мною командах на свои.
Простейщий запуск HTTrack выглядит так:
Я бы рекомендовал с каждым запуском программы использовать опцию -F, после которой указывать пользовательский агент:
Списки строк User Agent я смотрю здесь.
Этой командой будет сделано локальное зеркало сайта с сохранением его оригинальной структуры папок и файлов.
Если вы хотите сосредоточится на файлах (документы, изображения), а не на структуре сайта, то обратите внимание на опцию -N4: все HTML страницы будут помещены в web/, изображения/другое в web/xxx, где xxx это расширения файлов (все gif будут помещены в web/gif, а .doc в web/doc)
Пример запуска с опцией -N4:
По умолчанию HTTrack учитывает содержимое файла robots.txt, т.е. если он запрещает доступ к папкам, документам и файлам, то HTTrack не пытается туда зайти. Для игнорирования содержимого robots.txt используется опция -s0
Пример запуска с опцией -s0:
Для обновления уже созданного зеркала можно использовать сокращённую опцию —update, которая означает обновить зеркало, без подтверждения и которая равнозначна двум опциям -iC2.
Для продолжения создания зеркала, если процесс был прерван, можно использовать сокращённую опцию —continue (означает продолжить зеркало, без подтверждения), либо эквивалентные опции -iC1.
Создание клона страницы входа на сайт
Думаю, нет нужды объяснять, зачем пентестеру может понадобиться клон страницы входа, например, сайта vk.com, mail.ru и т.д.
Нужно учитывать следующее:
Чтобы притвориться мобильным браузером нужно использовать соответствующую строку User Agent, я буду использовать эту (рекомендую вам выбрать свою собственную строку!):
Чтобы узнать, какой адрес используется для входа с мобильных устройств, я воспользуюсь программой cURL. Опция -i означает показывать не только полученные данные, но и заголовки. После опции -A можно указать Пользовательский Агент:
Интересующей нас строкой является location: https://m.vk.com/. Она означает, что вход для мобильных клиентов размещён по адресу https://m.vk.com/
Проблема с адресом решена. Также нам нужно менять User Agent в программе HTTrack (опция -F).
Кроме этого, нам нужно использовать опцию -r2, которая ограничит HTTrack получением одной страницы, без попытки клонировать сайт.
Примечание: сайт может выдавать различное содержимое на уровне скриптов веб-приложения, основываясь на полученной строке Пользовательского Агента), а не в зависимости от адреса. Также возможен вариант, когда сайт использует универсальный шаблон, подстраивающийся под любое разрешение экрана – в этом случае адрес входа на сайт будет одинаковым для всех типов устройств, и HTML код также будет одинаковым.
Примечание 2: даже перейдя на адрес мобильной версии, веб-приложение, основываясь на строке User Agent может перенаправить вас на полную версию сайта. Поэтому при создании клона страницы важно и вводить правильный адрес, и подменять строку Пользовательского Агента.
Итак, делаем клон страницы входа vk.com для компьютеров:
Получение мобильной версии сайта:
При попытке просмотреть полученную страницу, имеется бесконечный редирект. Судя по всему, встроена какая-то проверка на путь страницы. Она не может быть реализована иначе, чем через JavaScript, поэтому ищем и удаляем лишний код. В данном случае «лишним» является подсвеченный блок (второй блок JavaScript кода):
После этого удаления, клонированная страница прекрасно открывается в веб-браузере:
Как можно убедиться по скриншотам, нам показаны англоязычные версии сайта. Чтобы этого избежать, нужно отправлять дополнительные заголовки (опция —headers) с языковыми настройками («Accept-Language: ru-RU,ru;q=0.5»). Т.е. к нашим командам нужно добавить строку —headers «Accept-Language: ru-RU,ru;q=0.5»
Рассмотрим ещё один пример для yandex.ru
Редиректа не происходит! Это означает, что нам нужно поменять только User Agent, адрес менять не нужно.
Получение полной версии сайта:
Получение мобильной версии сайта:
Немного сбила с толку ситуация с mail.ru – редиректа при попытке притвориться мобильным устройством не происходило и для моего любого User Agent’а в любом случае показывалась полная версия (думаю, дело в неудачной строке User Agent). Зато набрав в браузере m.mail.ru, я сразу получил адрес мобильной версии https://mail.ru/?from=m, тогда:
Получение полной версии сайта:
Получение мобильной версии сайта:
Клонирование сайта требующего входа (ввод логина и пароля)
Если вам нужно клонировать сайт, требующий входа (например, форум), то настройте Burp Suite для работы с вашим веб-браузером. Перейдите на сайт и посмотрите, какие кукиз передаются на него. После этого запустите HTTrack с опцией —headers, после которой укажите передаваемые кукиз.
Заключение
В данной статье было показано, как создать зеркало сайта на своём компьютере, как полностью клонировать его структуру, либо распределить файлы в зависимости от их типа по соответствующим папкам. Также был показан примерный алгоритм создания клонов страниц входа на сайты, причём как для полной версии, так и для мобильной.
Если у вас есть свои интересные способы использования HTTrack или вопросы по функционалу программы, то пишите ваши идеи в комментариях.
Связанные статьи:
Рекомендуется Вам:
3 комментария to Инструкция по использованию HTTrack: создание зеркал сайтов, клонирование страницы входа
Забыли написать, куда вписывать все эти команды. Потому что в httrack ничего подобного нет. По крайней мере, я не нахожу.
Приветствую! Вероятно, вы говорите о WinHTTrack (версия для Windows), либо о WebHTTrack (веб-интерфейс для HTTrack).
HTTrack – это версия для Linux, которая представляет собой консольную утилиту (т.е. программа с интерфейсом командной строки). Команды из этой инструкции нужно вводить в консоль Linux.
Хоть и кратко, но об этом говориться по ссылке, которая дана в самом начале статьи.
Т.е., в графическом интерфейсе не нужно вводить никаких команд – там ставьте галочки и нажимайте на кнопки – как в любом графическом интерфейсе. Консольная утилита нужна для автоматизации и тонкой настройки.
Как узнать главное зеркало сайта и настроить его с помощью редиректа
Время чтения: 14 минут Нет времени читать? Нет времени?
В комментариях к статье о Search Console и «Яндекс.Вебмастере» читатель задал вопрос о выборе основного домена сайта. Пользователь поинтересовался, какой вариант лучше: с www или без www. Ответить на вопрос можно коротко. Лучше выбрать вариант, который вам больше нравится. Действительно сложные вопросы могут появиться во время настройки зеркал и перенаправлений. Ответы на них вы найдете в статье.
Что такое зеркало сайта
Зеркала — точные копии сайта, доступные по разным URL. Например, если по адресам nash-saitik.ru и нашсайтик.рф доступен одинаковый контент, поисковые системы признают сайты зеркалами. Обратите внимание, роботы сравнивают не только главные страницы ресурсов. По разным данным, чтобы поисковики признали сайты зеркалами, уровень совпадения контента должен составлять от 80 до 100 %.
Откуда берутся зеркала сайтов? Во-первых, владельцы сами их создают. С помощью зеркал можно решить следующие задачи:
Во-вторых, из-за префикса www зеркала сайтов появляются автоматически. Физически nash-saitik.ru и www.nash-saitik.ru — разные ресурсы. В данном случае URL с префиксом www представляет собой субдомен по отношению к основному домену nash-saitik.ru.
Поскольку по двум адресам обычно доступен одинаковый контент, поисковые системы признают их зеркалами и склеивают. Термин «склейка» значит, что в поиске участвует только один ресурс. Поисковики могут выбрать основной домен или главное зеркало автоматически. Также вы можете указать соответствующие настройки самостоятельно. Об этом дальше.
Какой вариант лучше: с префиксом www или без?
Откуда взялся префикс www? В конце 80-х годов прошлого века технические возможности компьютеров отставали от задумок изобретателей. Для физического хостинга одного небольшого сайта приходилось использовать несколько веб-серверов. Например, на одной машине размещался сервис FTP, на другой почтовый сервер, а на третьей контент сайта. Это отражалось в адресах ресурсов. Например, для доступа к почтовому сервису использовался адрес mail.vash-saitik.ru, а доступ к FTP открывался с помощью адреса ftp.vash-saitik.ru.
Ученый Тим Бернерс-Ли предложил объединить размещенную на разных серверах информацию во Всемирную паутину (World Wide Web). Чтобы обеспечить техническую возможность, Бернерс-Ли с коллегами разработали язык разметки гипертекста (HTML), протокол передачи гипертекста (HTTP) и универсальные идентификаторы ресурсов (URI), производными от которых являются URL. Чтобы пользователи понимали, что ресурс находится во Всемирной паутине, к его адресу добавляли префикс www.
В настоящее время люди понимают, что ресурс находится во Всемирной паутине, независимо от префикса www. Стоит ли использовать его в адресе сайта? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится. Сомневаетесь? Вот аргументы в пользу URL без префикса:
А вот аргументы в пользу префикса www в URL:
Зачем выбирать основной домен, если можно дать пользователям возможность заходить на сайт по URL с префиксом и без? Представьте ситуацию: ресурс доступен по адресам vash-saitik.ru и www.vash-saitik.ru. Вы публикуете ценную информацию, которой пользователи делятся друг с другом. Они используют разные ссылки: с префиксом и без.
Как отмечалось выше, поисковые системы допускают в индекс только одно из зеркал. Например, поисковики могут автоматически выбрать вариант без префикса. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта.
Чтобы решить эту проблему, необходимо выбрать основной домен, настроить редирект и уведомить поисковые системы.
Как настроить серверный редирект
Представьте, что вы выбрали вариант URL с префиксом. Проверьте адрес, по которому доступен ресурс в данный момент. Если при попытке войти на сайт по URL с www браузер перенаправляет вас на адрес без префикса, это происходит благодаря серверному редиректу.
Проверить редирект можно с помощью специальных сервисов, например, Redirect Checker. Введите URL сайта в поле для анализа и нажмите кнопку Analyze. Сервис покажет редирект и его тип. В выбранном примере настроен постоянный редирект 301 с URL www.drupal-guru.ru на drupal-guru.ru.
Вы выбрали главное зеркало с префиксом. Поэтому необходимо изменить редирект: на уровне сервера перенаправить посетителей с drupal-guru.ru на www.drupal-guru.ru.
Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla. Данные для доступа можно получить у хостинг-провайдера. В меню «Сервер» включите опцию «Принудительно отображать скрытые файлы».
Откройте файл с помощью текстового редактора и добавьте правило переадресации. Используйте такой код:
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
Вместо URL drupal-guru.ru вставьте адрес своего сайта.
Сохраните изменения в файле и загрузите его на сервер.
Обновите настройки CMS. Если вы пользуетесь WordPress, укажите основной домен в разделе консоли «Общие настройки».
Проверьте корректность редиректа с помощью сервиса Redirect Checker.
Если вы выбрали основной домен без префикса и хотите настроить редирект с адреса с www на адрес без www, используйте следующий код:
RewriteRule (.*) http://drupal-guru.ru/$1 [R=301,L]
Как сообщить о главном зеркале «Яндексу»
«Яндекс» автоматически определяет главное зеркало, если редирект настроен корректно. Но если вы изменили основной домен, сообщите об этом поисковику.
Сначала добавьте в файл robots.txt директиву Host с указанием нового адреса. Для этого скачайте документ с сервера с помощью FTP-клиента. Файл находится в корневом каталоге в папке www.
Откройте файл в текстовом редакторе. Добавьте директиву Host после директив Disallow и Allow. Если вы выбрали главное зеркало с префиксом, добавьте такую строчку:
Вместо URL www.drupal-guru используйте адрес вашего сайта. Записи в файле robots.txt могут выглядеть так:
Сохраните информацию и загрузите обновленный файл robots.txt на сервер. Проверьте изменения. Файл доступен по адресу www.drupal-guru/robots.txt.
Откройте раздел «Переезд сайта» в новом кабинете для вебмастеров «Яндекса». Он находится в меню «Настройки индексирования». Отметьте галочкой пункт «Добавить www» и сохраните изменения. Изменения вступят в силу после переиндексации ресурса.
Как узнать главное зеркало сайта с помощью Search Console Google
Чтобы выбрать основной домен в поисковой консоли Google, подтвердите права на управление двумя сайтами. Для этого добавьте в консоль ресурс с префиксом и без префикса. После подтверждения прав войдите в меню настроек сайта.
Отметьте флажком вариант домена с www и сохраните изменения.
После выбора основного домена Google будет рассматривать внешние ссылки с префиксом и без как идентичные. Иными словами, естественные бэклинки вида www.drupal-guru.ru и drupal-guru.ru будут засчитываться в актив вашего ресурса.
Как настроить главное зеркало для кириллического домена
Многие владельцы сайтов для удобства пользователей регистрируют кириллические домены. Например, сеть супермаркетов «Лента» владеет кириллическим доменом лента.рф. Однако сайт организации доступен по адресу www.lenta.com. Это возможно благодаря редиректу 301 с URL лента.рф на адрес основного домена.
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
RewriteRule (.*) http:// xn—-7sbkb0bwgfvfb.xn--p1ai/$1 [R=301,L]
Обратите внимание, xn—-7sbkb0bwgfvfb.xn--p1ai — это URL друпал-гуру.рф в кодировке punycode.
Как настроить редирект при переезде на новый домен
Чтобы решить проблему, используйте следующий код:
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
В данном примере код перенаправляет пользователей с любой страницы сайта www.drupal-guru.ru на соответствующую ей страницу сайта opencart-guru.ru. Не забудьте вместо использованных для наглядности адресов указать URL ваших ресурсов.
Обратите внимание, файл robots.txt старого сайта www.drupal-guru остается доступным. В нем необходимо с помощью директивы Host указать, что основным зеркалом вы выбрали новый сайт opencart-guru.ru.
Настройка редиректа в cPanel
В панели управления войдите в меню «Перенаправления». Он находится в разделе «Домены».
При необходимости выберите тип перенаправления. По умолчанию система предлагает использовать постоянный редирект. Он подходит для настройки зеркал сайта.
Укажите домены, с которого и на который будут перенаправлены пользователи. Нажмите кнопку «Добавить», чтобы сохранить изменения.
Перенаправление с помощью плагинов
Для некоторых CMS существуют плагины, с помощью которых можно быстро настроить редирект. Например, если вы работаете с WordPress, воспользуйтесь Simple 301 Redirects. Установите плагин и войдите в меню настроек.
Укажите страницы, с которых и на которые необходимо перенаправить пользователей. В примере на иллюстрации настроен редирект со страницы записи на страницу архива.
С помощью плагина можно настроить перенаправление для всех страниц в категории. Для этого установите флажок в поле Use Wildcards. Укажите адрес категории и добавьте после него астериск. Укажите URL назначения и сохраните изменения.
В CMS Joomla! редиректы можно настроить с помощью встроенного в ядро компонента «Перенаправление». В Drupal эта задача решается с помощью модуля Redirect. Для CMS Opencart есть платные расширения для настройки перенаправлений.
Как настроить редирект на сервере Nginx
Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:
rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;
Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:
rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;
Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого.
