Osint что это

Боевой OSINT — разведка и сбор информации из открытых источников

OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста. От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:

DNS-именах и IP-адресах;

доменах и субдоменах, зарегистрированных за компанией;

фактах компрометации почтовых адресов;

открытых портах и сервисах на них;

публичных эксплойтах для найденных сервисов;

имеющихся механизмах безопасности и т.д.

Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере нашей компании.

Статья носит информационный характер. Не нарушайте законодательство.

Консольные инструменты

TheHarvester

Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:

А при использовании Google:

Dmitry

Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap

Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.

Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:

При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.

WhatWeb

TiDos

поиск email-адресов и прочую контактную информацию в Интернете;

Источник

OSINT или как посмотреть на свою сеть глазами хакера

Добрый день! Сегодня я вам расскажу какую информацию об организации можно обнаружить в открытых источниках и как ей может воспользоваться потенциальный злоумышленник. Многие из вас наверняка слышали об OSINT (Open Source INTelligence, перечень мероприятий, направленный на сбор информации из открытых источников), который чаще всего используется для сбора информации о конкретном человеке. Но также OSINT можно использовать для поиска информации о конкретных организациях для оценки защищенности. Ведь согласитесь, полезно посмотреть, что о вас есть в открытом доступе и как вы выглядите со стороны потенциального злоумышленника.

Популярные ресурсы, где проходит сбор информации

Для проведения активного сканирования необходимо подписание NDA и согласование проведения работ, что естественно требует времени. В связи с этим необходимо использовать только данные, находящиеся в открытых источниках, не сканировать ИТ-инфраструктуру и соответственно не тратить человеко-часы на бюрократию.

Так что же можно найти в свободном доступе?

Наиболее подробно на этот вопрос отвечает osintframework.com, рекомендую ознакомиться для получения обобщенного ответа на поставленный вопрос.

Я же постараюсь выделить из обширного объема информации наиболее интересную для ИБ специалистов. Искать будем:

В интернете существует огромное количество инструментов для поиска почтовых адресов компании по доменам, например:

Расширение браузера Email Finder от Snov.io — на данный момент имеет огромный функционал в бесплатной версии и находит огромное количество доменных учетных записей, но надолго ли.

theHarvester — собирает как почтовые адреса, так и субдомены, открытые порты а также данные о виртуальных хоcтах. Предустановлен в Kali Linux.

Инструменты бывают как платные, так и бесплатные, выбор использования зависит от наличия желания/возможности платить за улучшенный функционал. Имеет смысл пользоваться несколькими инструментами одновременно так, как результаты они выдают разные. В конечном итоге имеем большой список почтовых адресов компании, который необходимо проверить на наличие скомпрометированных учеток.

Провести проверку можно на многим известном сервисе haveibeenpwned.com.

На выходе инструмент дает нам информацию в каких базах содержатся упоминания учетной записи, есть ли в этих базах данные по паролям, физическим адресам, номерам телефона и т.д.

Самих паролей тут мы не получим, но сможем разделить почтовые адреса на “чистые” и потенциально скомпрометированные.

Тут стоит отметить, что инструмент имеет платный API. Без него, конечно, можно проверить все почтовые адреса, но придется подавать их на вход по одному, что займет уйму времени. При покупке API (3,5$ в месяц, чисто символическая плата) получим возможность использовать его в различных скриптах и соответственно существенно ускорить и автоматизировать процесс анализа.

В дальнейшем можно воспользоваться ботом в telegram @mailsearchbot.

На вход даем ему потенциально скомпрометированные почтовые адреса, на выходе получаем пароли, использовавшиеся в связке с данным почтовым адресом. Стоит отметить, что далеко не для всех учеток удается найти пароли, но процент обнаружения большой. И опять же при наличии желании/возможности финансово поддержать разработчика можно получать полные данные, без скрытых звездочками символов, но к сожалению тут цена уже кусается.

Следующим этапом необходимо собрать информацию о субдоменах. Инструментов, позволяющих это сделать очень много, например:

dnsdumpster.com — умеет рисовать красивые графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.

pentest-tools.com — советую познакомиться с сайтом поподробнее, так как тут можно не только субдомены искать. В lite версии имеет ограничение на 2 сканирования в день, но легко обходится TORом)

Тут также имеет смысл комбинировать инструменты для определения наибольшего количества субдоменов. Зачастую в паре с субдоменом идет IP-адрес, который в дальнейшем можно скормить шодану (shodan.io) для получения списка открытых портов и сервисах, торчащих в интернете.

В дальнейшем можно подобрать уязвимости и эксплойты по определенным версиям сервисов, используя такие ресурсы, как:

exploit-db.com — большая пополняемая база эксплойтов. Тут стоит обратить внимание, что есть подтвержденные администрацией сайта эксплойты и не проверенные.

В данных шодана нам также интересна принадлежность ip-адреса какой-либо автономной системе. Проверка производится в различных Whois-сервисах, которых также большое количество. По большому счету нет никакой разницы с каким инструментом работать, поэтому продемонстрирую те, на которых остановился я:

ididb.ru — в большей степени заточен на сбор информации об автономных системах Рунета.

В случае обнаружения автономной системы, принадлежащей компании имеет смысл прогнать все ip через shodan и собрать как можно больше информации по версиям сервисов.

Для анализа определений на каких технологиях построен сайт можно использовать расширение браузера Wappalyzer. Зачастую инструмент определяет версии и соответственно вы также можете подобрать для них уязвимости.

Переходим к заключительному этапу – поиск скрытых директорий и файлов сайта. Тут нам пригодятся:

В свою очередь DirBuster это инструмент поиска скрытых директорий и файлов, которые забыли удалить из общего доступа или добавили туда по ошибке. В нем имеется несколько встроенных словарей для осуществления поиска. Рекомендуется использовать словарь directory-list-2.3-medium для оптимизации соотношения затраченного времени к выхлопу.

При использовании этих инструментов придется проанализировать большое количество информации, но зачастую старания вознаграждаются.

Популярные курсы/книги для обучения

Топ — 5 проблем, которые нам удается обнаружить в рамках OSINT-а

На моей практике удавалось:

Заключение

Итак, мы видим, что информация, находящаяся в открытых источниках может стать плацдармом для проведения атаки на корпоративную инфраструктуру. Необходимо периодически проверять как организация выглядит со стороны потенциального злоумышленника и по возможности скрывать данную информацию.

Источник

Боевой OSINT. Разбираем современные методы сетевой разведки

Партнер

Содержание статьи

По словам представителей американской разведки, около восьмидесяти процентов полезной информации приходит из общедоступных источников. И лишь небольшая часть — это разведданные, добытые непосредственно агентурой. Разница огромна, но нельзя забывать, что именно полученные разведкой детали позволяют подтвердить и верифицировать общую картину.

Это хорошо иллюстрирует история о том, как в ЦРУ в советское время восстановили на основе фотографии из журнала схему электрификации Урала и предприятий ядерной промышленности. Аналитики разведки зацепились за одно заретушированное изображение панели мониторинга, а потом проделали огромную работу, собирая данные из советских газет, журналов и отчетов дипмиссий. Но решающими оказались снимки местности с разведывательных аэростатов, потому что иначе невозможно было подтвердить правомерность выводов о расположении линий энергопередач и заводов.

Не менее важно уметь достать «разведданные», когда речь заходит про сбор информации о людях. Это может быть расследование заражения и поиск виновника или идентификация личности для уточнения поверхности атаки. Далее рассмотрим неординарные случаи получения информации тогда, когда сбор из открытых источников не дает нужного результата.

Пробиваем бота Telegram

Как ты знаешь, у Telegram широкая функциональность для работы с ботами. Ничего не стоит создать нового, получить токен для управления и использовать в готовом скрипте с GitHub. Так же легко токены от ботов и утекают: найти их можно по элементарным доркам. А иногда в руки просто попадается малварь, которая использует функции Telegram как пульт управления, — знал бы ты, сколько архивов стиллеров хранится в облаке мессенджера!

Что останавливает от вытаскивания всей информации бота через утекший токен? Конечно, это API Telegram, в котором ограничиваются множественные подключения для ботов из разных мест. А даже если бот не работает или его владелец проигнорирует ошибки подключения, то мы все равно сможем получать только новые, не обработанные ранее сообщения. Наконец, бот не обладает знанием о том, с кем он общался в прошлом. Таким образом, прочитать историю не получится — нужно тихо ждать, пока кто-то напишет, чтобы перехватить сообщение.

К счастью, HTTP API для работы с ботами — это только надстройка над оригинальным MTProto API, который позволяет взаимодействовать с ними, как с человеческими аккаунтами. А для работы с этим протоколом уже есть готовые библиотеки! Лично я советую Telethon, в котором не так давно была реализована прослойка для управления ботами.

Как ты понимаешь, возможности при таком способе увеличиваются на порядок. Теперь мы можем подключиться незаметно для владельца бота и вытащить историю сообщений. А первый диалог, очевидно, будет с его хозяином. Я написал простой скрипт, который тащит переписки, сохраняет медиаконтент, имена и фотографии собеседников.

И кстати, ты наверняка помнишь, что недавно в Telegram добавили функцию удаления своих сообщений у собеседника. Так вот, если удалить сообщение из диалога с ботом, то у него оно останется.

Узнаем номер телефона в ноль касаний

Представь, что тебе нужно узнать номер телефона, лежащего в кармане другого человека. И при этом не привлекать внимания! Конечно, для этого есть масса способов, начиная от брутального перехвата через IMSI catcher и заканчивая социальной инженерией. А до 2018 года Wi-Fi в московском метро легко отдавал по MAC номер телефона и рекламный профиль его владельца.

Исследователи из Hexway недавно опубликовали информацию о том, как устройства Apple общаются между собой через Bluetooth LE. Для взаимной идентификации они используют хеши от данных аккаунта человека: три байта от SHA-256 номера телефона, Apple ID и почтового ящика. Да-да, айфоны, макбуки и даже наушники буквально кричат в радиоэфир вокруг, кто они и в каком режиме работы находятся.

К счастью, хеши отсылаются не всегда, а только в конкретных случаях: например, при открытии экранов ввода пароля от беспроводной сети. Но этого достаточно: предложи человеку подключиться к Wi-Fi — и хеши от его данных у тебя.

Кроме того, вспомним, что российский номер состоит из одиннадцати цифр и по трем байтам фактически будет лишь несколько десятков коллизий. И даже еще меньше, если мы точно знаем регион и оператора. Авторы исследования сделали удобный скрипт, который позволяет сгенерировать хеши по нужным диапазонам. Отдельные энтузиасты уже создали готовую базу, вычистив несуществующие коды операторов. Так что после получения списка номеров остается только сузить количество «подозреваемых» с помощью запросов HLR для пробива активности абонента и проверки наличия у него аккаунтов мессенджеров. Пара итераций — и у тебя в руках номер нужного мобильника.

Также не стоит забывать об Apple ID и почтовом ящике! Теперь у тебя есть все данные для проверки информации об аккаунтах человека, которую ты найдешь в открытых источниках.

Поиск email через сетевой ханипот

А теперь предположим, что мы находимся в противоположной ситуации: можем контактировать с человеком только через сеть, например мессенджер Jabber. Мы знаем, что он занимается разработкой малвари, но ведет двойную жизнь и имеет официальную работу. Нам бы очень хотелось выяснить его личность, но использует он исключительно Tor и VPN. За что мы можем зацепиться в этом случае?

Продолжение доступно только участникам

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее

Вариант 2. Открой один материал

Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.

soxoj

Киберразведчик-любитель. OSINT, нетсталкинг, антифрод.

Источник

Разведка на основе открытых источников

Введение

С каждым годом количество пользователей интернета растет. К началу октября 2020 года 4.9 млрд людей, а это 63.2% жителей земли, пользуется интернетом. А размер данных в интернете достигал 2.7 Зеттабайт (1 ЗБ

10 12 ГБ). И каждый год —количество пользователей и устройств, подключенных к сети, увеличивается на 6% и 10% соответственно. Большая часть этой информации общедоступна. Источники, ссылающиеся на эти данные или на данные из газет, журналов, радио и телепередач, публичных отчетах правительства, называются открытыми. Поиск информации по таким источникам, выбор и сбор, а также дальнейший анализ – это разведывательная дисциплина, именуемая разведкой на основе открытых источников (OSINT).

https://www.internetworldstats.com/stats.htm

Разведка на основе открытых источников или OSINT

Нужно отличать OSINT (Open Source INTelligence) от «просто информации» (иногда именуемой OSIF, или Open Source InFormation), то есть данных и сведений, циркулирующих в свободно доступных медиаканалах. OSINT – это специфическая информации, собранная и особым образом структурированная ради ответа на конкретные вопросы. Сбор данных в OSINT принципиально отличается, от других направлений разведки, прежде всего от агентурной. Главной проблемой для агентурной разведки является получение информации из источников, в основном не желающих сотрудничать. А в OSINT главной трудностью является поиск содержательных и надежных источников среди изобилия общедоступной информации.

История развития

История OSINT начинается с формирования в декабре 1941 года Службы мониторинга зарубежных трансляций в США для сбора и изучения радио программ. Сотрудники записывали и переводили радио передачи, а затем отправляли в военные ведомства в виде еженедельных отчетов. Одним из примеров их работы исследования корреляции между стоимостью апельсинов в Париже и успешностью бомбардировок железнодорожных мостов. [iv]Следующем этапом можно назвать период с 2005 по 2009 год, когда в США был создан центр по анализу разведывательных материалов из открытых источников. Доступность интернета и начавшийся бурный рост социальных сетей в этот же период, увеличил кол-во общедоступной информации. С 2009 по 2016 продолжающиеся развитие социальных сетей и усиления их влияние на нашу жизнь, а также появления интернета вещей, вызвало бурный рост объема информации. И наконец последний период 2016-2019, когда OSINT начинает активно применяться бизнесами, политическими кампаниями, следователями, правоохранительными органами, инвесторами и службами безопасности в их деятельности.

https://www.youtube.com/watch?v=bP3jbfP4xZY

Основные сферы использования

Разведка на основе открытых источников применяется не только государствами для защиты своих интересов. Рассмотрим несколько сценариев использования, не связанных с взаимодействием стран.

OSINT активно использует исследователями угроз и уязвимостей различного программного обеспечения. Они исследуют возможные пути распространения вредоносных программ и препятствуют этому. Одним из открытых источников, для проверки файлов или программ на наличие вредоносного функционала является virustotal.com. У пользователя есть возможность проверить файл по контрольной сумме или же загрузить его, и удостоверится в его безопасности.

Злоумышленники тоже используют OSINT. Предварительный анализ позволяет узнать информацию об целевой инфраструктуре, о работниках, о клиента, что позволяет лучше произвести атаку. Это одна из причин для того, чтобы ограничивать публичную информацию о компании.

Эта методика также используется в бизнесе для получения аналитики. Например, развития новых рынков, оценка рисков, мониторинг конкурентов, а также исследование целевой аудитории и клиентов для рекламных кампаний, что благоприятно влияет на успешность бизнеса.

Нельзя забыть о журналистах, которые используют открытые источники, как материалы для своих расследований. Например, фонд борьбы с коррупцией использует выписки из кадастра и информацию о полетах самолетов для своих расследований.

Еще одним полезным применением OSINT в жизни занимается сообщество любителей CTF. Они организовали компанию, которая занимается поиском информации об пропавших людях. Они проводят сбор разведывательных данных о пропавшем без вести лице и передают полученные сведения в правоохранительные органы. Они предоставляют обучающие курсы для желающих и помочь в поисках информации.

Трудности, с которыми сталкивается OSINT сегодня

Новые источники информации появляются очень быстро. На каждые 5 источников, которые пропадают, появляется еще 10 новых. Необходимо поддерживать актуальность данных, что увеличить их ценность при использовании. Большое количество источников исчезает из-за ужесточения норм компьютерной безопасности и конфиденциальности.

Еще одной трудностью является ограниченность функционала средств для поиска информации. В основном одной программы с открытым исходным кодом для поиска недостаточно, а также они не пригодны для масштабирования. А в корпоративных инструментах слишком много не настраиваемых компонентов. Для успешного поиска информации требуется знание различных инструментов и умение, поиска новых методов получения информации.

Как идентифицировать владельца Bitcoin кошелька

Появления криптовалют упрощает доступ к отслеживанию платежей. Дизайн блокчейна делает общедоступным информацию об транзакциях. Например, по адресу биткоина можно вычислить информацию об источнике или получателе перевода, его размере, количестве транзакций и времени их совершения, и связать с другими адресами биткоинов в том кошельке. Раньше для отслеживания информации об переводах и транзакциях требовалось обращаться в банк, что требовало достаточно много времени и основания для запроса.

Основные этапы разведки

Рассмотрим процесс проведение разведки, приведенной в книге Майкла Баззелла.

1. Во-первых, необходимо составить план исследования или определить цель.

2. Подготовить оборудование и программы, необходимые для решения поставленной задачи.

3. Выполнить поиск по всем доступным идентификаторам.

4. Сбор информацию.

5. Анализ полученные данные.

6. Подготовка заключение и результатов.

7. Архивирование или очистка оборудования.

Заключение

Несмотря на длительную историю, разведка по открытым источникам только начинает своё развитие, в связи с бурным ростом объема информации. Данная область является востребованным видом исследования материалов. Для тех, кто её использует, открывают дополнительную информацию: для работников – возможность больше узнать о будущем работодателе, для бизнеса – анализ рынка и клиентов. Но с другой стороны, каждый человек должен понимать, какую информацию стоит сообщать публично и понимать, что может стать общедоступной информацией.

Источник

Инструменты OSINT, которые ускорят исследования в сети

Почти у всех периодически возникает необходимость разобраться в какой-то новой сфере, провести исследования или быстро найти очень узкоспециализированную информацию. Но поисковик не всегда нас понимает. Мы старательно пытаемся объяснить: вводим большие предложения на смену коротким словосочетаниям. Рыскаем по страницам и ссылкам. И, вероятно, через несколько часов обнаруживаем в каком-то документе pdf запрос, который надо было вводить с самого начала.

Бывает, не всегда легко выразить свою информационную потребность в поисковом запросе. Может не хватать нужной терминологии, или вы еще не совсем уверены, в том, что именно ищите, а увидев возможные варианты, сразу поймете что нужно. А может, то, что вы ищите, вообще сложно облечь в лаконичный поисковой запрос.

Помогут понять, что вообще искать

1. OneLook

Это словарик, который подбирает слова и фразы, как-то относящиеся к вашему запросу. Тут же можно быстро найти определения тех или иных слов — результат придет из разных словарей.

2. Keyword Tool

Платформа показывает ключевые слова по введенному запросу на любом языке и по любой стране. В некоторых запросах даже видно, насколько они популярны, хотя эта услуга платная. Можно искать ключевые слова по Google, YouTube, Twitter, Instagram, Amazon, eBay, Play Store, Bing.

Ища по Google, можно, например, выбрать ключевые выражения, содержащие в себе вопросительные слова или предлоги. А слева есть фильтры, где можно искать по ключевым словам уже в получившейся выдаче.

3. Answer the Public

Тут вы вводите интересующее вас слово и получаете варианты запросов с ним, по которым ищут люди. Есть выбор языков, в том числе русский. Вот так выглядит раздел с запросами, содержащими вопросительные слова.

Единственный минус — в бесплатной версии можно искать только около 3-4 запроса в день.

За ручку проведут к нужному источнику

Это справочные указатели сайтов. В них по тематическим папкам разложены сайты. Вам нужно выбрать интересующую тему и посмотреть, что старательно отобрали для вас редакторы платформы.

4. Dmoz

Поможет понять, какая информация вам нужна, предлагая свои варианты. Позволит найти точный сайт, проводя вас из папки в папку и сокращая область поиска.

5. Web Directory

Выбор здесь не очень большой, но может пригодиться. Каждая ссылка имеет краткое описание от редакторов платформы, что сокращает время на просматривание каждого ресурса.

Рассортируют выдачу по тематическим группам

6. Open Knowledge Map

Ресурс выдает все материалы с открытым доступом из BASE (поисковик по огромному количеству научных материалов) и PubMed (база данных медицинских и биологических публикаций). Можно отфильтровать по формату материалов — аудио, книги, карты, патенты, отчеты, ПО, видео, научные тезисы и тд.

Фишкой ресурса является то, что он показывает выдачу по запросу в виде тематических кругов. Они соприкасаются и пересекаются. Чем ближе круги друг к другу, тем более родственными будут их темы. В центре находятся те, которые имеют самое сильное предметное сходство со всеми остальными кругами на карте. Справа можно искать по ключевым словам уже в пределах получившейся карты. Наведя мышкой на круг, можно увидеть, сколько документов есть по теме этого круга. Если нажать на круг, он увеличивается, и можно выбрать подходящий документ.

Более того, у платформы есть ПО, с которым можно визуализировать в такой же манере свой собственный набор документов.

Минусом можно назвать то, что платформа выдает только 100 наиболее релевантных результатов. Хотя для кого-то это, наоборот, плюс, так как сокращает время поиска.

7. Carrot 2

Кстати, если при поиске, Carrot показывает вам вот это, то просто поменяйте страну в VPN и обновите страницу.

Ищите → выбираете интересующую папку → справа будут результаты.

Вот так выглядит Treemap, если поискать в Carrot информацию о метамодернизме:

Платформа удобна ещё тем, что ищет сразу по 15 поисковикам (в т.ч. Google, Яндекс, Bing).

8. BizNar

BizNar преподносится как ресурс для поиска бизнес информации: исследование рынка и различных индустрий. Платформа ищет по Deep web (не то же самое, что Dark web) — выдаются результаты, которые не индексируются привычными поисковиками. Включает в себя поиск по патентам и социальным сетям.Также BizNar расфасовывает выдачу по тематическим папкам и в виде пайчарта (нажимаем «visual» слева).

После ввода запроса, слева внизу есть график, в каком году сколько материалов по теме было опубликовано. Можно выбрать год, и в выдаче отобразятся публикации только за этот период.

9. World Wide Science

Поиск по международным и национальным исследовательским базам. Запрос можно вводить на любом из предложенных языков (в том числе русском). Если захотите получать уведомления на почту о появлении новых материалов, нужно будет зарегистрироваться. Однако, эта функция доступна только для английских источников.

Выдачу можно фильтровать по различным показателям, а также она рассортирована по темам.

На домашней странице есть карта. При нажатии на интересующую страну, отображается список баз, по которым может искать платформа.

Все возможное в одном месте

10. Fagan Finder

На платформе собрано огромное количество разнообразных поисковых ресурсов, разделенных на группы. Здесь вы найдете, например, поисковики только по энциклопедиям, только по документами, по статьям из журналов или, в конце концов, по презентациям. В общем поиске можно искать не только по картинкам и видео, но и по аудио или по группам и форумам. На первой странице, проскролив ниже, вы сможете получить и короткие гайды к каждому источнику.

То, что собрано здесь, можно не найти через обычный поисковик, потому что источник информации может быть не онлайн, поиск может счесть его недостаточно важным или может быть опубликованным не в том виде, в котором поисковик имеет к нему доступ.

Найдет упоминание вашего запроса во всех популярных соцсетях и не только

11. Hash At It

Инструмент ищет по хештегам, ключевым словам, URL и по упоминаниям профилей. Сразу выдает самые новые результаты, но выбрав какую-то конкретную социальную сеть в фильтре, можно быстрее увидеть и более старые результаты.

Если вы зарегистрируйтесь на сайте, то появится возможность подписаться на определенный хештег или запрос, чтобы сразу получать новые посты по теме.

12. Social Search

Ищет по упоминаниям и в соцсетях и в поисковиках. Что интересно, в списке социальных сетей, по которым он ищет, есть VK. Обычно иностранные поисковые системы его не включают. Тут тоже можно настраивать уведомления на e-mail о новых публикациях по вашему запросу.

Быстрый поиск по новостям, чтобы быть в курсе всех трендов по интересующей теме

13. Watson News Explorer

Это такой банк с новостями. Здесь можно изучить, как личности, компании и новости связаны друг с другом. Платформа расскажет, какие темы, персоны, организации в той или иной степени связаны с вашим запросом. Карта справа показывает, какая страна — источник информации, можно отфильтровать выдачу по конкретным странам.

Поиск можно настроить так, что он будет искать только по людям, компаниям или некоммерческим организациям. А расширенный поиск позволит найти связь между двумя запросами.

Ресурс выдает данные за последний месяц, и внизу отображается временная линейка, когда какие материалы были опубликованы.

14. World News

Это ресурс со всеми возможными новостям, в том числе на разных языках. Можно просто искать по ключевым словам по всем сообщениям, а можно выбрать страну и тему. Еще, кстати, здесь можно искать по радио и подкастам в разных странах. Если нажать на «Classic» в верхнем правом углу, то откроется более подробный поиск — все отсортировано по темам и подтемам и легче искать. Есть мобильное приложение.

15. News Now

Здесь все свежие новости в одной куче. По маленькими флажкам рядом с заголовком можно понять, откуда это сообщение. Новости можно фильтровать по странам или тематикам. Еще здесь можно увидеть, какие новости наиболее просматриваемые и читаемые.

16. All You Can Read

Выбираете страну, а выдача дает все возможные онлайн СМИ, которые есть в этой стране. Плюс, можно сортировать по конкретным темам. Один из самых крупных новостных ресурсов с журналами и газетами со всего мира. Однако, поиск по ключевым словам здесь не предусмотрен.

Доставят нужную информацию прямо на ваш e-mail

Эти инструменты отследят появление новых материалов по теме, а также помогут с мониторингом изменений на интересующих вас сайтах.

17. Google Alert

Инструмент автоматически оповещает по e-mail о новых материалах по теме. Для того, чтобы им воспользоваться, нужен Google-аккаунт.

И так, вводим запрос, за которым хотим следить. Открываем «Еще параметры» и смотрим, как же мы можем настроить наш поиск. «Автовыбор» здесь означает, что информация будет поступать из всех видов источников. Но можно выбрать и какой-то один. Например, вам интересны только новые книги по теме. «Только лучшие результаты» в разделе «Количество» подразумевают под собой, что информация будет приходить только от ресурсов, обладающих хорошей репутацией.

18. Visual ping

Ждете результатов конкурса, появления скидок на авиабилеты или отслеживаете изменения в законодательстве? Этот ресурс пришлет вам уведомление, когда на указанной вами ссылке что-то изменится. Программа делает скриншот и сверяет его с предыдущим. Таким образом она замечает изменения. Расширение для Chrome поможет вам создавать новые уведомления прямо находясь на сайте, за которым вы хотите проследить. А еще можно создать групповые уведомления в Slack (подробнее, как их настроить, можно посмотреть в FAQ в самом низу). Отличная подойдет для отслеживания изменений у конкурентов.

Функция «действия перед проверкой» помогает автоматизировать определенное действие перед новым скриншотом-проверкой. Например, нужно ввести пароль, закрыть всплывающее окно или нажать на кнопку. Как ей пользоваться подробнее здесь и здесь (более продвинутое использование).

Можно настроить уведомления, чтобы вам их присылали только тогда, когда появляется указанное вами ключевое слово.

В бесплатной версии есть ограничения по количеству проверок.

19. Watch That Page

Этот ресурс попроще, чем предыдущий. Например, он не анализирует изменения в изображениях, только текст и ссылки. Однако для личных аккаунтов здесь можно делать почти неограниченное количество проверок.

В одном письме приходят все обновления по указанным вами сайтам. Но можно и разделить ссылки по темам — ресурс будет присылать их отдельными письмами. Для каждого сайта можно выбрать: вы хотите просто узнавать, что там что-то изменилось и самостоятельно проверять; или же сразу получать сами эти изменения в письме. Тут объясняется, как быстрее добавлять новые сайты для отслеживания.

Расширения, которые ускорят ваш обычный поиск

20. Selection Search

Устанавливаете расширение → выделяете интересующий текст → расширение предлагает варианты, где можно поискать информацию по этому запросу.

21. Infinite Scroll for Google

Здесь все элементарно просто — вам не нужно лишний раз кликать на следующую страницу поисковой выдачи. Вы просто листаете вниз, а расширение автоматически открывает для вас новые результаты.

22. Search Preview

Расширение позволяет сразу увидеть, как выглядит сайт, чтобы зря не заходить на него. Поддерживает Google, DuckDuckGo, Yahoo и Bing.

Что еще может пригодиться

23. Wolfram Alpha

Это своеобразный поисковик, который не ищет ресурсы, где можно найти ответы, он сразу дает ответы. Он анализирует файлы разного рода, делает сложные вычисления, дает точные характеристики выбранного объекта, сравнивает и тд.

Чтобы понять, как с ним работать, ресурс предлагает примеры применения. Wolfram Alpha отлично подойдет, если нужно быстро узнать какие-то точные данные по работе в области финансов, социологии, медицины, транспорта, химии, инженерии, статистики, лингвистики и тд. Его можно использовать для обучения и просто для ответов на повседневные вопросы.

24. Gigablast

Это простой и понятный поисковик, в нем нет рекламы, есть приватность и справочник сайтов. А также большой список дорков для эффективного поиска.

25. Symbol Hound

Поисковик, который не игнорирует специальные символы, такие как &, %, π, так что пригодится при поиске информации о выбранном языке программирования.

26. Digle

В конце концов можно попросить кого-то найти нужную вам информацию за деньги или заработать на поиске самому.

Источник

OSINT по-русски. Выбираем мощные и бесплатные сервисы для пробива и конкурентной разведки

Партнер

Содержание статьи

OSINT (Open Source INTelligence) — это раз­ведка по откры­тым источни­кам, то есть поиск информа­ции о челове­ке или орга­низа­ции по базам дан­ных, которые дос­тупны всем. Этим занима­ются как спе­циаль­ные орга­низа­ции и служ­бы, так и ком­пании (что­бы про­верить сот­рудни­ков или узнать боль­ше о кон­курен­тах) и прос­то люди, ког­да хотят получ­ше узнать, с кем они обща­ются в интерне­те и не ока­жет­ся ли «сер­цеед888» мань­яком‑убий­цей.

Мы соб­рали спи­сок сер­висов, которые помогут в этом. Упор сде­лан на сай­ты, ори­енти­рован­ные на РФ, пос­коль­ку в раз­ных стра­нах фор­маты дан­ных отли­чают­ся и это зат­рудня­ет поиск.

warning

Не­сан­кци­они­рован­ный сбор пер­сональ­ной информа­ции — это наруше­ние закона «О пер­сональ­ных дан­ных» и дру­гих законов РФ. Так­же подоб­ные дей­ствия могут обра­зовать сос­тав прес­тупле­ния по статье 137 УК РФ «Наруше­ние неп­рикос­новен­ности час­тной жиз­ни». Ни автор, ни редак­ция не несут ответс­твен­ности за любые пос­ледс­твия исполь­зования при­веден­ных в этой пуб­ликации све­дений. Вся информа­ция пред­став­лена исклю­читель­но ради информи­рова­ния читате­ля.

На­деем­ся, эта под­борка поз­волит читате­лю накопать мно­го полез­ной информа­ции, а воз­можно, даже избе­жать проб­лем. Одна­ко, если у тебя воз­никнут сом­нения в закон­ности тво­их дей­ствий, пом­ни, что никог­да не поз­дно прек­ратить. В любом слу­чае ты дей­ству­ешь на свой страх и риск.

Поиск по email

Emailsherlock.com — авто­мати­чес­кий поиск по email-адре­су. Най­дет, к каким сай­там при­вязан адрес поч­ты.

Про­вер­ка по нес­коль­ким поч­там дала не так мно­го резуль­татов, как хотелось бы. Поиск огра­ничен толь­ко самыми популяр­ными сай­тами (соц­сети). Еще из минусов – сайт по‑чер­ному пиарит сто­рон­ние сер­висы, не все из которых даже живы, но поч­ти все про­сят денег.

Emailrep.io находит, на каких сай­тах зарегис­три­рова­ны акка­унты, исполь­зующие опре­делен­ную поч­ту.

Про­вер­ка репута­ции ящи­ка

До­пол­нитель­но на осно­ве про­вер­ки по спам‑базам, а так­же базам вре­донос­ной активнос­ти сер­вис про­веря­ет репута­цию акка­унта: в час­тнос­ти, не попадал­ся ли он в утеч­ках.

Поиск по никнейму

Час­то поиск по email не дает мно­го резуль­татов. В таких слу­чаях сто­ит поис­кать по ник­ней­му (часть до @ ) — обыч­но информа­ции ста­новит­ся в разы боль­ше.

WhatsMyName — это не прос­то сер­вис, а целый ком­байн, который ищет по 280 сер­висам!

WhatsMyName

Здесь мож­но сор­тировать сер­висы по катего­риям, а еще есть воз­можность экспор­тировать резуль­тат поис­ка (URL най­ден­ных про­филей) в нес­коль­ких фор­матах.

Сер­вис Usersearch.org пре­дос­тавля­ет поиск не толь­ко по популяр­ным соц­сетям, но и по темати­чес­ким форумам и сай­там зна­комств.

USERSEARCH.ORG

Вы­дача удоб­на тем, что ты не толь­ко получа­ешь спи­сок сер­висов со ссыл­кой на акка­унт, но и для каж­дого сер­виса есть ссыл­ка на стра­ницу уда­ления акка­унта, на слу­чай, если это вдруг твой акка­унт. Так­же сер­вис может допол­нитель­но искать по телефо­ну, email и про­бивать по базе HIBP.

SuIP.biz — пос­тоян­но обновля­емая и обширная база сер­висов с удоб­ной выдачей. Вре­мя про­вер­ки — где‑то одна‑две минуты. Минус — деления на катего­рии нет.

suIP.biz

По завер­шении поис­ка мож­но ска­чать отчет в фор­мате PDF.

Instant Username Search — сер­вис с быс­трой про­вер­кой по популяр­ным и не очень сер­висам. У него в базе встре­чают­ся инте­рес­ные темати­чес­кие сай­ты, вро­де MyAnimeList и Last.fm.

InstantUsernameSearch

Checkuser ищет по неболь­шому спис­ку сай­тов, а кро­ме того, поз­воля­ет про­верять занятость домен­ного име­ни.

На сам поиск ухо­дит при­мер­но минута. Еди­ный спи­сок ссы­лок из резуль­татов получить нель­зя.

Namechekup исполь­зует обширный спи­сок сер­висов для про­вер­ки, которая, кста­ти, не занима­ет мно­го вре­мени.

По­лучить все ссыл­ки разом здесь тоже нель­зя.

Спи­сок веб‑сер­висов у Namecheckr неболь­шой, но и про­вер­ка очень быс­трая. Сами сер­висы по боль­шей час­ти популяр­ные и не очень соц­сети. Про­веря­ет и некото­рые домены.

От­дель­но сущес­тву­ет сер­вис‑двой­ник под незамыс­ловатым наз­вани­ем Namech_k. Он про­верят упо­мина­ние кон­крет­ного юзер­ней­ма по десят­кам сай­тов. К тому же у сер­виса есть свой API, что­бы мож­но было вызывать из скрип­тов.

Namech_k

В репози­тории нашего сооте­чес­твен­ника (и авто­ра статьи в «Хакере») Soxoj есть боль­шой спи­сок про­верок, которые могут быть полез­ны для интернет‑розыс­ка, и сер­висов поис­ка по ник­ней­му — спа­сибо ему! Здесь соб­раны такие ути­литы, как Sherlock, Maigret, Snoop, sherlock-go и Investigo, каж­дая из которых зареко­мен­довала себя как неп­лохой инс­тру­мент для поис­ка и сбо­ра откры­тых дан­ных.

Чек‑лист Soxoj

От­дель­но хотелось бы выделить и упо­мянуть ути­литу Maigret.

Maigret

Она поз­воля­ет собирать досье на челове­ка по име­ни поль­зовате­ля, про­веряя наличие учет­ных записей на огромном количес­тве сай­тов (более 2300) и собирая всю информа­цию с дос­тупных стра­ниц. Не исполь­зует никаких клю­чей API. Это, кста­ти, форк дру­гой OSINT-ути­литы — Sherlock. Обра­ти вни­мание, что по умол­чанию поиск запус­кает­ся не по всем сай­там, а толь­ко по 500 самых популяр­ных.

Поиск по номеру телефона

SpravkaRU.Net — весь­ма объ­емный телефон­ный спра­воч­ник, который может искать так­же по ФИО.

К сожале­нию, домаш­ними телефо­нами уже мало кто поль­зует­ся, а телефон­ные спра­воч­ники по боль­шей час­ти ори­енти­рова­ны имен­но на них. Поэто­му объ­емы информа­ции не такие уж впе­чат­ляющие.

Microsoft поз­воля­ет про­верять при­вяз­ку номера к акка­унту на сай­те account.live.com. Этим мож­но поль­зовать­ся!

Email2phonenumber собира­ет дан­ные со стра­ниц вос­ста­нов­ления акка­унта во мно­жес­тве сер­висов и находит номер телефо­на.

По­мимо это­го, ути­лита может генери­ровать спи­сок номеров и переби­рать сер­висы на наличие номера телефо­на (где он ука­зан в про­филе).

Бот last4mailbot най­дет пос­ледние четыре циф­ры номера телефо­на кли­ента Сбер­банка.

last4mailbot

По­иск про­изво­дит­ся исклю­читель­но по email. Про­вер­ка нес­коль­ких почт, заведо­мо при­вязан­ных к Сбер­банку, показа­ла, что бот дей­стви­тель­но выда­ет вер­ные дан­ные.

Продолжение доступно только участникам

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее

Вариант 2. Открой один материал

Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.

Михаил Артюхин

Этому городу нужен новый герой, прошлого арестовали 😉

Источник

OSINT или разведка по открытым источникам

Поиск по открытым источникам — это методология сбора и анализа данных, находящихся в открытом доступе, для получения дополнительной информации о цели.

В данной статье расскажем о том, какими методами и средствами можно собирать информацию из открытых источников об организации, покажем примеры такой информации и расскажем о максимально большом количестве утилит и методов, которые могуть помочь увеличить покрытие.

Надеемся, что статья будет полезна как пентестерам и охотникам за ошибками для увеличения области аудита, так и стороне защиты (blue team, application security и т.д.) для защиты инфраструктуры своей организации.

Дисклеймер

В рамках статьи, понятия OSINT, open-source intelligence, recon, reconnaissance, рекогносцировка и поиск по открытым источникам будут синонимами.

В статье приведены только бесплатные программы, с открытым исходным кодом и программы с пробным периодом.

С чего все начинается

Самым первым этапом проведения пентеста (после заключения договора) является выделение области тестирования и сбор информации о цели. В зависимости от специфики конкретного пентеста количество изначальных сведений может отличаться, однако, предполагается, что на данном этапе мы знаем:

Род деятельности организации.

Доменное имя организации.

Что можно получить благодаря поиску в интернете?

Из одного домена сделать множество доменов и поддоменов.

Найти новые точки входа.

Найти интересные пути в веб-приложениях и API.

Получить информацию об используемом ПО, аппаратных компонентах и используемых языках программирования.

Найти учетные записи, которые могут быть активными в целевых веб-приложениях.

OSINT workflow\mindmap

Казалось бы, что пользоваться поисковыми системами умеет каждый, но при этом множество исследователей пишут огромные статьи и майндмапы как они эффективно ищут в интернете. Например, по ссылке доступна подборка таких майндмапов. Подборке уже несколько лет, но она все еще остается актуальной.

Стоит заметить, что осинт это циклический процесс: если мы находим какую-либо информацию, например, новый IP адрес или доменное имя, то для них надо проделать все те же шаги, которые мы прошли, чтоб их найти.

OSINT Framework

Самый популярный майндмап для поиска по открытым источникам это OSINT Framework.

Его прелесть в том, что он вобрал в себя всевозможные сайты, утилиты и базы данных, которые могут быть полезны при реконе. На любой ваш вопрос по осинту, скорее всего, в нем будет ответ.

Единственный минус в том, что он сделан для стран наподобие США, и он не учитывает, что в России своя специфика.

Активная и пассивная разведка

Рекон подразделяется на 2 этапа: пассивная и активная разведка.

Пассивная разведка

Во время пассивной разведки вы никак не взаимодействуете с вашей целью. Вы не отправляете ей пакеты со своего компьютера, вы не резолвите доменные имена на серверах цели, вы не пингуете ее айпишники, вы не заходите на ее веб-приложения, и даже двери офиса не трогаете.

Примеры данного этапа разведки:

Поиск в поисковых системах типа Google и «хакерских» поисковых системах, просмотр баз данных с утечками, анализ вакансий на HH и linkedin, извлечение метаданных из публично доступных файлов и т.д.

Активная разведка

Взаимодействие с инфраструктурой организации: скан портов, перебор директорий, запуск «шумных» сканеров (Acunetix, Burp Pro Active Scanner и т.д.), фаззинг параметров, резолвинг большого количества доменных имен на серверах цели и т.д.

Такие действия создают много логов в SIEM-системах, триггеров в SOC и могут даже положить несколько серверов.

В данной статье будет затронута только тема пассивной разведки.

Начинаем разведывать

Давайте для начала вспомним про самые популярные записи DNS, которые могут быть нам полезны:

А запись — соответствие домена IPv4-адресу.

AAAA запись — соответствие домена IPv6-адресу.

CNAME — Canonical name — используется для того, чтобы один домен мог указывать на другое имя домена.

MX — Mail Exchange — адрес почтового сервера.

TXT — большая текстовая строка длиной 65535 байт. Используется для публичных ключей, SPF, и другой информации.

NS — Name Server — указание на сервер резолвинга доменных имен.

SOA — Start of Authority — информация об администраторе домена. Используется при делегировании домена. В записи содержится Name Server, ответственное лицо и таймстемпы, относящиеся к срокам делегирования.

PTR — Pointer — содержит IP-адрес, который указывает на домен при reverse DNS lookup (обратном резолвинге).

Пример некоторых DNS записей

Доменные имена

Самое первое и простое что мы можем сделать — это порезолвить доменные имена. Для этого есть десятки утилит, как терминальных так и доступных онлайн.

Неполный список утилит и сервисов, которые могут разрезовлить доменное имя:

Nslookup (linux\windows nslookup yandex.ru).

Ping (linux\windows ping yandex.ru).

Traceroute (linux traceroute ya.ru \ windows tracert ya.ru).

Dig (linux dig @8.8.8.8 yandex.ru ANY).

getent (linux getent hosts yandex.ru).

Вывод различных утилит для резолва доменных имен

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Что это нам дает?

Помимо соответствия IP-адрес—домен мы можем узнать, например, DNS-серверы, с помощью утилиты nslookup, а также можем получить все DNS-записи, например, командой dig.

Получение NS Записей доменного имени yandex.ru утилитой nslookup Получение всех записей для доменного имени yandex.ru утилитой dig

Имея IP-адреса веб-приложений мы можем начать смотреть соседние IP-адреса в подсетях, перебирать виртуальные хосты и изучать владельцев этих IP-адресов.

DNS-серверы нам могут в дальнейшем помочь при активной разведке для перебора поддоменов и проведения различных атак.

Whois

Whois — протокол, основная цель которого заключается в получении регистрационных данных о владельцах доменных имён, IP-адресах и автономных систем (ASN).

Изначально целью появления системы Whois было дать возможность системным администраторам искать контактную информацию других администраторов серверов по IP-адресам и доменным именам.

Неполный список утилит и сервисов, которые могут показать содержимое Whois:

Whois (windows\linux whois yandex.ru и whois 77.88.55.77)

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Что это нам дает?

Из вывода Whois можно получить email-адреса владельцев и администраторов, адреса DNS-серевров, подсети и ASN.

Вывод утилиты whois для доменного имени yandex.ru Вывод утилиты whois для IP-адреса 77.88.55.77

Whois history

Существуют сервисы периодически собирающие и агрегирующие записи Whois. Благодаря таким сервисам можно поностальгировать и получить использующиеся ранее почты, хостинги, DNS-серверы и целые подсети:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Reverse Whois

Тогда как Whois выдает сведения по доменым именам или IP-адресам, обратный Whois позволяет искать по всей информации, которая есть в выводе обычных Whois, например, по email-адресам, по именам владельцев, по организациям и т.д.

Таким образом можно расширить скоуп найдя новые email-адреса, хостинги, DNS-серверы, подсети, доменные имена и поддомены.

Неполный список сервисов, которые могут искать по содержимому Whois:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Что это нам дает?

Поиск по содержиму Whois позволяет находить забытые администраторами веб-приложения и сервисы, особенно, если использовать его вместе в поиском по истории Whois.

Также можно обнаружить:

Домены и поддомены.

SPF и DMARC

SPF и DMARC нужны для отправки и приема почты, а в частности для того чтобы злоумышленники от вашего имени не отправляли письма.

SPF — это подпись, содержащая информацию о серверах, которые могут отправлять письма. В SPF используются свои правила и синтаксис. В том числе, в ней содержатся IP-адреса и доменные имена.

DMARC — это политика, которая показывает как обращаться с письмами, которые пришли не с доменов указанных в SPF.

Неполный список утилит для поиска и анализа SPF и DMARC:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Для анализа SPF также есть selfhosted утилита, которая извлекает поддомены из SPF записей https://github.com/0xbharath/assets-from-spf.

Пример запуска и результат работы утилиты

python assets_from_spf.py spacex.com

Анализ содержимого SPF-записи доменного имени spacex.com утилитой assets_from_spf

IP и подсети

Reverse DNS lookup

Обратный резолв DNS-адресов — поиск по PTR записям DNS. Если администратор добавил такую запись, то по IP-адресу можно будет узнать, какие доменные адреса на него указывают.

Неполный список сервисов, которые могут провести Reverse DNS lookup:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Что это нам дает?

В приложениях часто используется роутинг на основании имени хоста (vhosts), поэтому зная только IP-адрес, мы попадем на страницу ошибки веб-сервера, а с помощью Reverse DNS lookup можно получить имя хоста и добраться к самому веб-приложению.

DNS history

История DNS записей домена. Существуют сервисы, которые запоминают записи DNS, и показывают их историю.

Сервис https://viewdns.info/iphistory, запоминает только A записи доменов и дату привязки.

Пример результата работы веб-приложения

А сервис https://securitytrails.com/, помимо А записи, позволяет искать также по АААА, MX, NS, SOA и TXT записям.

Пример результата работы веб-приложения

Что это нам дает?

Это позволяет расширить область аудита, узнав новые IP-адреса, а также получить:

Если узнать IP-адреса, которые использовались ранее, тогда можно даже обойти Web Application Firewall. Поиск старых IP-адресов, например, один из методов обхода защиты Cloudflare.

Помимо приведенных выше веб-сервисов можно также воспользоваться selfhosted решениями:

Пример запуска и результат выполнения утилиты

Перед первым запуском изменить ключи от API сервисов в файле data/apis/api.conf.

Поиск утилитой сloudmare.py IP-адресов, ранее указовывших на доменное имя yandex.ru

https://github.com/m0rtem/CloudFail (проект сейчас мертв, но, надеемся, что скоро его оживят)

ASN lookup

ASN (autonomous system number) — номер автономной системы.

Интернет состоит из локальных сетей, каждая из которых имеет подсети и свои политики маршрутизации, и которые соединяются с другими локальными сетями. Одна такая локальная сеть, это одна автономная система и у нее есть уникальный номер — ASN. Эти номера используются в BGP-маршрутизации.

По номеру AS можно посмотреть IP-адреса и подсети, которые в ней содержатся. Если это большая компания, типа Яндекса, или университетов, то можно предположить что вся AS принадлежит этой компании, и большая ее часть, может войти в область аудита. Также в выводе можно обнаружить почтовые адреса и другую информацию о компании.

Неполный список сервисов, которые имеют возможность поиска по ASN:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Поисковые системы

Как гуглить?

Вы каждый день пользуетесь поисковиками типа Google или Яндекс, но, наверное, не все подозревают, что умеет этот самый Google.

Используя немного магии поиска можно получить множество полезной информации.

Что можно получить из поисковой системы?

Информацию об утечках учетных данных.

Комментарии в исходном коде.

Веб-страницы для разработчиков (например dev.*).

Файлы и страницы, содержащие секреты и пароли.

Потенциально опасные файлы.

URL-адреса и пути, которые могут являться точками входа.

Другие ресурсы, связанные с организацией.

Как искать?

Для поиска нужно использовать специальные операторы. Например, список операторов для Google:

– исключить из поиска.

Site:itmo.ru – поиск в пределах сайта.

cache:itmo.ru – возвращает кэш сайта.

filetype:txt – только txt файлы.

related:itmo.ru – сайты связанные с искомым.

inurl:test – в URL встречается слово test.

intitle:test – в Title встречается слово test.

intext:test – в тексте встречается слово test.

В других поисковых системах список операторов может отличаться.

По продвинутому использованию поисковиков существует множество статей, поэтому не будем углубляться в эту тему:

https://habr.com/ru/post/437618/ — полный список операторов поиска Google.

https://www.tutorialspoint.com/google_hacking_tests.htm — однокнопочное решение для поиска: вводите домен, нажимаете на нужную кнопку и получаете вывод Google.

Пример результата работы веб-приложения

Поисковые системы для хакеров

Помимо поиска в обычных поисковых системах типа Google можно искать в специальных «хакерских» поисковых системах. Примеры таких поисковиков:

Эти сервисы постоянно сканируют весь интернет, и заполняют свои базы ответами серверов.

Все приведенные выше сервисы имеют платные функции, но без покупки подписки можно получить ограниченный вывод, ограниченную функциональность или ограниченное количество запросов в месяц.

Shodan

Сервис позволяет искать по IP-адресам, портам и содержимому ответов сервера. Это может позволить найти новые поддомены, а также то, что не смог найти Nmap.

Для поиска используется свой синтаксис, с которым можно ознакомиться по ссылке https://help.shodan.io/the-basics/search-query-fundamentals.

Censys

Censys этот тот же самый Shodan, но более новый и с приятным интерфейсом.

Опять же используется свой синтаксис, с которым можно ознакомиться по ссылке: https://search.censys.io/search/language.

Binaryedge

Еще более новая разработка это сервис BinaryEdge.

binaryedge.io — поиск поддоменов для доменного имени yandex.ru

Помимо тех же функций, которые имеются и в Shodan и в Censys, данный сервис еще умеет искать поддомены, email-адреса в утечках данных, умеет искать изображения, связанные с доменом, и в этих картинках умеет искать по тексту.

binaryedge.io — поиск по изображениям для доменного имени yandex.ru

В сервисе есть еще несколько различных функций, но они уже недоступны в бесплатных и пробных версиях.

Документация с примерами доступна по ссылке: https://docs.binaryedge.io/search/.

Метаданные

Каждый раз, когда вы создаете или редактируете файл, в нем остается множество метаданных. Когда вы загружаете этот файл в интернет, зачастую метаданные сохраняются. Так как поисковые системы индексируют файлы, вы можете найти их, например, в google используя оператор поиска file.

Существуют уже готовые решения, которые позволяют ввести домен, выбрать интересующие расширения файлов и ожидать результатов:

Пример запуска и результат выполнения утилиты

Поск метаданных с помощью утилиты metagoofil.py для доменного имени yandex.ru

Пример запуска и результат выполнения утилиты

Что нам это дает?

Используемые операционные системы

Системы контроля версий

Системы контроля версий (github, gitlab и т.д.) также обладают возможностями расширенного поиска. У них свой синтаксис и свои «дорки».

Поиск слова password в файлах secrets.yml в системе контроля версий github.com

Что нам это дает?

Пароли и секреты.

Части кода приложений.

Несколько полезных ссылок для поиска по коду:

Пример результата работы веб-приложения

https://searchcode.com/ — ищет по опубликованному исходному коду в публичных системах контроля версий.

Пример результата работы веб-приложения

https://github.com/techgaun/github-dorks — полезная информация по операторам поиска на github.

Также есть несколько selfhosted сервисов для поиска секретов на github:

Пример запуска и результат выполнения утилиты

Основная прелесть утилиты в том, что она постоянно производит сканирование репозиториев, и как только появляются секреты в коммитах, оперативно вам об этом сообщает.

Со стандартными настройками утилита будет сканировать все системы контроля версий в поисках заданных сигнатур в файле config.yaml. Для эффективного поиска данных по заданной цели рекомендуется писать свои сигнатуры.

Запуск утилиты shhgit для поиска секретов на github.com

Для демонстрации можно попробовать указать в параметре search-query интересующую строку, например:

Запуск утилиты sshgit для поиска строки yandex на github.ru

Также можно указать локальные репозитории для поиска секретов.

Запуск утилиты sshgit для поиска секретов в репозиториях, расположенных на файловой системе

Сведения об установке, пример запуска и результат выполнения утилиты

При установке могут возникнуть проблемы.

Рекомендуется воспользоваться таким способом установки:

git clone https://github.com/michenriksen/gitrob.git

go mod init github.com/michenriksen/gitrob

go mod download github.com/elazarl/go-bindata-assetfs

go get github.com/michenriksen/gitrob/core

Для работы нужно экспортировать токен доступа в переменную среды:

Запуск утилиты gitrob для поиска секретов в репозиториях организации

Результаты доступны как в терминале, так и в веб-версии.

Веб-версия утилиты gitrob, содержащая результатаы анализа репозиториев

Утилита ищет секреты в репозиториях на файловой системе.

Пример запуска и результат выполнения утилиты

Запуск производится в директории целевого реозитория:

Запуск утилиты gitleaks для поиска секретов в репозитории на файловой системе

Также, если мы нашли никнеймы и email-адреса сотрудников, мы можем поискать их аккаунты в различных системах контроля версий, и посмотреть, что они коммитят. Потенциально возможно найти в личных репозиториях сотрудников части кода приложений компании-цели.

Также, стоит заметить, что нужно анализировать не только последнюю версию исходного кода в ветке master, но и предыдущие коммиты. Сотрудник может закоммитить критичные данные в систему контроля версий, понять, что он «накосячил» и удалить их следующим коммитом. Не удалив сам коммит из истории.

Что еще можно получить из систем контроля версий?

Gitlab имеет возможность перечисления пользователей по URL-адресам вида: https://gitlab.com/api/v4/users/1, где 1 это порядковый номер пользователя. В selfhosted версиях gitlab такая уязвимость тоже присутствует.

gitlab.com — вывод информации о пользователе

Помимо ссылок на социальные сети, из вывода API Gitlab можно получить захэшированное значение почты пользователя в параметре avatar_url. Если мы знаем, например, имя домена и ФИО пользователя, то восстановить исходное значение не составит труда, ведь для хэширования используется md5.

Также в системах контроля версий существуеют возможность получения публичных ssh и gpg ключей. Получить их можно по URL-адресам следующего вида:

gitlab.com — вывод информации о ключах шифрования пользователя

Subdomain enumeration

Subdomain enumeration — в дословном переводе означает перечисление поддоменов, а смысл у словосочетания примерно следующий: «использовать все известные методы для получения как можно большего числа поддоменов».

Запуск утилиты sublister для поиска поддоменов для доменного имени yandex.ru

Для получения списка поддоменов существуют онлайн базы, а также утилиты, которые требуется запускать локально, после чего они будут делать запросы в различные онлайн сервисы и поисковые системы.

Неполный список сервисов и утилит, которые могут показать список поддоменов для домена:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Как получить поддомены с помощью Cloudflare

У сервиса есть довольно интересная функциональность, учитывая то, что Cloudflare создан для защиты от атак.

Если зарегистрироваться с бесплатным аккаунтом в Cloudflare, то можно будет начать добавлять свой сайт в сервис, причем неважно, привязан он к какому-нибудь аккаунту или нет.

На первом шаге вводим доменное имя цели, а на следующем шаге, Cloudflare нам предоставляет известные ему поддомены с их A записями. Вероятно, это создано для того, чтобы вы привязали как можно больше поддоменов к сервису для защиты от атак, но для разведчика, эта функциональность позволяет получить несколько новых поддоменов и IP-адресов.

cloudflare.com — поиск поддоменов для доменного имени yandex.ru

По имени домена утилита выводит поддомены, IP-адреса, MX и TXT записи, открытые порты и версии программного обеспечения, DNS-серверы. Также утилита строит красивый граф.

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Утилита для поиска поддоменов в открытых источниках. Также может перебирать поддомены по словарю, с помощью утилиты subbrute.

Пример запуска и результат выполнения утилиты

Запуск утилиты sublister для поиска поддоменов для доменного имени yandex.ru

Очередная утилита для пассивного поиска поддоменов.

Пример запуска и результат выполнения утилиты

Для лучшего вывода рекомендуется в конфигурационном файле добавить API ключи сервисов (рекомендуется использовать как минимум SecurityTrails, GitHub, Shodan и VirusTotal).

Запуск утилиты subfinder для поиска поддоменов для доменного имени yandex.ru Результат поиска поддоменов для доменного имени yandex.ru утилитой subfinder

Утилита, как и Sublist3r, ищет информацию о доменах в открытых источниках. Однако, использует гораздо большее число источников, в том числе требующие API-ключи.

Пример запуска и результат выполнения утилиты

Предварительно рекомендуется создать конфигурационный файл с API-ключами сервисов (рекомендуется использовать как минимум SecurityTrails, GitHub, Shodan и VirusTotal).

Запуск утилиты amass для поиска поддоменов для доменного имени yandex.ru

Очень быстрая утилита для резола доменов с достаточно большим количеством ошибок. Позволяет разрезолвить миллион доменных имен за минуту.

Пример запуска и результат выполнения утилиты

Рекомендуется запускать на серверах с широким каналом, а не на домашних ПК.

Процесс резолвинга поддоменов утилитой massdns Результат резолвинга поддоменов утилитой massdns для домена yandex.ru

Обертка для massdns. Его преимущество заключается в том, что данная утилита удаляет из вывода поддомены, если слишком большое количество доменов указывает на один IP-адрес, тем самым повышая качество вывода.

Пример запуска и результат выполнения утилиты

Резолвинг поддоменов утилитой massdns для домена yandex.ru

Подробнее, об указанных выше утилитах, а также десятках других утилит, можно прочитать в статье: https://pentester.land/cheatsheets/2018/11/14/subdomains-enumeration-cheatsheet.html.

SSL\TLS сертификаты

Получение новых поддоменов из сертификатов

Для шифрования трафика у веб-приложения должен быть сертификат, по которому браузер пользователя сможет определить, что этот сайт надежен.

Google решил, что протокол https недостаточно надежный, и создал свой проект по мониторингу и проверке сертификатов https://transparencyreport.google.com/https/certificates

Этот сервис предназначен не для тестирования на проникновение или разведки, но так как сертификаты выпускаются как для доменов, так и для поддоменов, а иногда один сертификат даже включает в себя множество доменов и поддоменов, сервис Google может дать нам довольно много информации.

transparencyreport.google.com — поиск сертификатов для доменного имени yandex.ru и его поддоменов

Также есть еще как минимум два онлайн сервиса с подобной функциональностью:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример запуска и результат выполнения утилиты

Поиск сертификатов для доменного имени yandex.ru и его поддоменов утилитой certgraph

Для построения графов нужно запустить утилиту с ключом «json» и скопировать вывод на веб-страницу.

Поиск сертификатов для доменного имени yandex.ru и его поддоменов утилитой certgraph с выводом в формате json

Визуализация найденной информации утилитой certgraph

SSL\TLS scan

Сертификаты также можно провалидировать. Для этого есть онлайн сервисы, которые за нас отправляют запросы на серверы нашей цели.

ssllabs.com — анализ конфигурации SSL\TLS веб-серверов

Из вывода этих сервисов мы можем опять же получить поддомены, которые есть в сертификате, а также эти сервисы могут найти уязвимости в используемой криптографии или протоколах.

Еще эти сервисы выводят http-ответы серверов, в которых может находиться версия сервера или используемого ПО.

Неполный список сервисов, которые могут просканировать сертификаты.

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Что это нам дает?

Версия используемого ПО на сервере

Credentials stuffing

Credentials stuffing — это атака, при которой атакующий находит почты пользователей и ищет пароли от них в базах утечек, а затем пытается вставить их во все возможные формы входа целевой системы.

Пароли можно поискать в следующих сервисах:

https://haveibeenpwned.com/ — самый популярный сервис поиска утечек email-адресов.

Пример результата работы веб-приложения

https://krevetk0.medium.com/credential-stuffing-in-bug-bounty-hunting-7168dc1d3153 — статья исследователя, в которой он рассказывает, как он неоднократно эксплуатировал данную уязвимость в bugbounty.

https://psbdmp.cc/ — сервис, который автоматически находит строки, похожие на пароли в файлах, размещенных на веб-сайте pastebin.com

Пример результата работы веб-приложения

Collection #1 — сборник практически всех утечек, которые попадали в интернет.

Поиск email-адресов

Для проведения атак credential stuffing для социальной инженерии и других атак, необходимо иметь список email-адресов и/или юзернеймов пользователей. Также по email-адресам можно делать поиск reverse Whois.

Нам известно два сервиса, которые собирают email-адреса:

https://hunter.io/search — помимо адресов, показывает еще и страницы, где он их нашел.

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Также, существует утилита, позволяющая провалидировать почтовые адреса https://github.com/reacherhq/check-if-email-exists. Причем она работает без отправки писем на адреса цели. Можно не хостить ее у себя, а воспользоваться веб-версией от разработчиков, с ограничением на количество запросов https://reacher.email/.

Пример общения с веб-версией

reacher.email — проверка существования почтового адреса noc@vk.com

Email-адреса также можно получать из метаданных файлов и парсить из социальных сетей.

Linkedin\hh.ru\\career

На сайтах типа linkedin и hh, а также на сайтах компаний, на эндпоинтах \career или \job, можно найти вакансии, в которых зачастую присутствует полезная информация.

В своих резюме и на Linkedin, пользователи часто указывают кем и где они работают, и часто в описаниях своей работы пишут, чем они конкретно занимаются, например, «поднимал почтовый сервер под названием таким-то», или пишут, что они «переписывали легаси-код с такой-то платформы, но не упели за время своей работы».

Существуют специализированные парсеры соцсетей, например для Linkedin есть минимум 2 парсера:

Пример запуска и результат выполнения утилиты

https://github.com/joeyism/linkedin_scraper — библиотека на python для продвинутых пользователей, для упрощения парсинга linkedin.

Используя эти сервисы, можно получить фамилии и имена сотрудников с их аватарами. По аватарам можно найти другие соцсети сотрудников и попробовать найти что-то полезное, но поиск людей, это тематика для другой статьи.

Если мы знаем формат почты (например имя.фамилия@домен или первая_буква_имени.фамилия@домен), то мы можем из полученных ранее данных составить список почт сотрудников.

Что нам это дает?

Стеки технологий и используемое ПО

Информация о сотрудниках для соц. инжнерении

Личные соцсети сотрудников

В данном разделе собраны подходы, которые не удалось объединить более общими тематиками.

Co-hosting

Анализ co-hosting-а позволяет смотреть кто хостится у этих же провайдеров. Это не принесет полезной информации, если хостинг является, например, hostinger или digital ocean, однако, если компания достаточно большая, у которой есть свои подсети и AS, то мы можем найти доменные имена, расположенные в этих подсетях, которые с большой вероятностью относятся к нашей цели.

Для этого можно воспользоваться сервисом https://securitytrails.com/.

Пример результата работы веб-приложения

Из этой информации мы можем получить новые поддомены и домены.

Threat Hunting

Вы наверняка знаете что есть сервис VirusTotal, в который можно загрузить подозрительный сэмпл файл и он проверит его на наличие в базах антивирусного ПО, а также можно ему передать ссылку и он также проверит ее на вредоносность. Нам для разведки интересно то, что он еще умеет проверять доменные имена по базам.

virustotal.com — информация о доменном имени raidforums.com в виде графа

На примере домена raidforums.com, VirusTotal показал множество файлов, которые кто-то загружал для проверки, несколько поддоменов, вывел содержимое Whois, показал IP-адреса и сертификаты. И еще построил граф.

К сожалению, в бесплатной версии мы не можем скачать файлы, которые были загружены в сервис, но это может дать нам подсказку, что можно искать в Google.

Существует несколько сервисов с аналогичной функциональностью, например https://www.threatcrowd.org/. Он может все тоже самое, что и VirusTotal, но у них могут быть разные сведения о доменах.

У этих сервисов также есть платные функции, возможно с их помощью можно получить еще больше информации.

Wayback machine

Wayback machine — проект по сохранению всего интернета, который периодически делает снапшоты популярных сайтов.

archive.org — веб-приложение, расположенное на доменном имени yandex.ru в 1998 году

Существует утилита, которая извлекает URL-адреса, сохраненные в Wayback Machine: https://github.com/tomnomnom/waybackurls.

Поиск URL-адресов в сервисе waybackmachine для доменного имени test.ru с помощью утилиты waybackurls

Тендеры и закупки

При публикации тендеров, заказчики прикладывают к заявке технические задания с описанием требований к исполнителям. Из технического задания можно получить дополнительную информацию о используемом в компании ПО и оборудовании.

Также можно извлечь метаданные из приложенных файлов и получить ФИО сотрудников и версию ПО для обработки документов.

Пример тендерной закупки компании Яндекс.Деньги

Website fingerprinting

Используя специальные сервисы, не заходя на целевой веб-сайт, мы можем посмотреть версии ПО которые там используются, а также CMS системы, на которых работает веб-сайт, если они есть.

Для этого можно воспользоваться следующими сервисами:

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Такие сервисы парсят заголовки HTTP-ответов, чтобы получать версии ПО, а также смотрят на содержимое страниц для профилирования.

BugBounty

Далеко не все компании имеют публичную платформу вознаграждений за поиск ошибок, но для больших и крупных это становится одной из лучших практик ИБ.

Что мы оттуда можем достать?

Расширить область аудита доменами и поддоменами из раздела Scope.

Изучить сданные отчеты и узнать используемое в компании ПО и примеры уязвимостей, которые уже сдавали в программу.

Где искать информацию?

Пример результата работы веб-приложения

Пример результата работы веб-приложения

Информацию о BugBounty конкретной организации также можно найти по в файле /.well-known/security.txt, в котором обычно публикуется информация о программе и том куда можно писать о найденных уязвимостях. Подробнее о проекте можно прочитать по ссылке https://securitytxt.org/.

Пример содержимого файла security.txt

Также существует веб-приложение, которое агрегирует уязвимости с HackerOne, с удобным поиском и фильтрами: http://h1.nobbd.de/.

h1.nobbd.de — поиск публичных отчетов по запросу mail.ru

Wi-Fi анализ

https://wigle.net/ — сервис, который собирает Wi-Fi точки доступа по всему миру.

Сервис не позволяет просто на карте кликать на точки доступа, однако он позволяет искать по, например, SSID (имя точки доступа). А также он поддерживает регулярные выражения: «%» — ноль или более любых символов и «_» — один любой символ.

Поиск точек доступа Wi-Fi с именем yandex в сервисе wigle.net

Эту информацию можно использовать для атак типа Rogue access point и атак социальной инженерии.

MAC address lookup

В рамках пассивной разведки, маловероятно, что вы получите MAC-адреса устройств вашей цели. Однако, если вам как-то удалось их заполучить, то имея только MAС-адрес можно идентифицировать сетевое устройство.

macvendorlookup.com — идентификация сетевого устройства по MAC-адресу

MAC-адрес можно разделить на 6 октетов, где первые 3 принадлежат компании-производителю сетевого устройства, а вторые 3 октета являются идентификатором самого устройства.

Используя специальные сервисы и читщиты производителей, можно попробовать узнать не только производителя, но и название самого устройства:

Пример результата работы веб-приложения

Script Kiddy way

Искать информацию руками долго и утомительно, зато надежно. Однако хакеры придумали комбайны, которые все сделают за вас. Этих комбайнов десятки, если не сотни, вот несколько примеров:

Источник

Инструменты OSINT: Социальные сети

Privacy — это когда все знают кто ты, но не знают конкретно, что ты сейчас делаешь.
Anonymity — это когда никто не знает кто ты, но видят твои действия.

В последнее время возрастает мощь инструментов для разведки на основе открытых данных, особенно на основе тех данных, которыми люди (опрометчиво) добровольно делятся в соцсетях и мессенджерах.

Предлагаю вашему вниманию обзор бесплатных и доступных инструментов анализа соцсетей для ознакомления, чтобы понять, насколько вы уязвимы в современном мире.

Search4Faces

Search4faces — сервис поиска людей в интернете по фотографии. Нейросетка находит нужного человека или очень на него похожего в течение нескольких секунд. Результатом является ссылка на профиль найденного человека в социальной сети vk.com или ok.ru, tiktok, clubhouse, instagram.com.

На текущий момент частично или полностью собраны 4 базы данных: аватарки Вконтакте и Одноклассники (всего лиц в базе: 280,781,743), фотографии профиля Вконтакте (всего лиц в базе: 1,109,563,766), аватарки пользователей Tiktok (всего лиц в базе: 125,443,334 ), аватарки Инстаграм (всего лиц в базе: 6,561,234), аватарки пользователей ClubHouse (всего лиц в базе: 4,594,014).

Phantombuster

Phantombuster — no-code плагин для автоматизированного извлечения данных из соцсетей и автоматизации рутинных операций. Phantombuster может автоматизировать большинство действий, которые вы совершаете в вебе, планировать задачи, объединять автоматически выполняемые действия в цепочки и прочее. Плагин работает со следующими каналами: LinkedIn, Sales Navigator, Instagram, Google и Twitter.

ClubhouseDB

ClubhouseDB — это первый бесплатный инструмент аналитики для Clubhouse. Поиск пользователей Clubhouse, количества подписчиков и дат регистрации.

Disboard

Поиск публичных серверов Discord.

Discord Leaks

Поиск сотен тысяч сообщений, слитых с 180+ discord серверов при помощи UnicornRiot по теме «white-supremacist/nazi».

Who posted what?

Поиск постов в Facebook.

Facebook Video Downloader

Cайт для скачки общедоступных видео из Facebook. Скопируйте и вставьте URL видео и загрузите его в доступных форматах.

Skopenow (платная)

Skopenow — это аналитическая поисковая система, которая использует данные социальных сетей, deep web и dark web, чтобы облегчить сбор информации по человеку или бизнесу.
Поиск по имени, телефону, электронной почте, имени пользователя.

Инструкция по расширенному поиску в Facebook

InstaLoader

Скрипт GitHub для извлечения информации из публичных аккаунтов. Не использует официальный API и позволяет загружать изображения и видео вместе с их подписями и другими метаданными из Instagram. Аналог twint для Twitter.

StorySaver

Скачивалка общедоступных сторис и видео из Instagram.

LinkedIn Overlay Remover

Плагин для Firefox, который удаляет фигню, которая отображается поверх профиля linkedin.

Email to LinkedIn (Epieos)

Проверьте, связан ли адрес электронной почты с профилем LinkedIn.

Amnesty YouTube Dataviewer

Поиск по картинке и по видео, точное время загрузки.

YouTube Metadata

Альтернатива программе просмотра YT от Amnesty, с чуть более подробной информацией: загрузчик, плейлист, создатель, канал и пр.

YouTube location-based search

Поиск на YouTube по местоположению, но неясно, показывает ли, где он был загружен, с какого сервера, или фильтрует только ключевые слова (например, «Париж» в заголовке отображается в Париже).

YouTube Geofind

YouTube Geofind — три разные функции поиска, местоположение, тема и канал.

Google Account Finder (EPIEOS)

Ищет изображение профиля и общедоступные обзоры карт Google + фотографии, связанные с адресом G-mail. Также проверяет номера телефонов и проверяет адреса электронной почты в социальных сетях.

F5Bot

Отправляет емэйл с уведомлением, когда ключевое слово упоминается на Reddit.

SteamId.uk

Ищите имена игроков и ранее использованные имена, а также когда аккаунты подружились друг с другом. Просмотр скриншотов аккаунта, массовый поиск по ранее использованным именам.

Telegago

Поисковая система по Telegram на основе Google.

Intelligence X: TG

Поисковая система на базе Google для Telegram (включая Telegago)

Еще почитать про OSINT

TelegramDB

База данных публичных групп, каналов и ботов.

TGstat

Ищет архивные каналы Telegram и предоставляет аналитику каналов.

tlgrm.eu/channels

Поиск Telegram каналов по темам.

TikTokApi

Это неофициальная оболочка api для TikTok.com на python. С помощью этого API вы можете вызывать большинство трендов и получать информацию о конкретных пользователях, и пр.

TikTok Downloader

Расширение для Chrome — скачивалка видео из TikTok. Не работает для некоторых видео.

Источник