OSINT, поиск и сбор данных / DataQA


Channel's geo and language: Russia, English
Category: Technologies


Группа про Поиск и Сбор данных, OSINT, для Поисковых Аналитиков и Кабинетных исследователей / Проект DataQA
Сайт - https://dataqa.ru/
OSINT игры - https://dataqa.ru/osint-igry/
По заказам: @DiabolosDark

Related channels

Channel's geo and language
Russia, English
Statistics
Posts filter


Удалось собрать и обработать некоторый объем открытой информации по Steam, некий кивок в сторону GAMEINT. Изложу часть найденных догадок и инсайтов.

Начнем с того, что SteamID пользователей бывают разных видов. Это известно и спокойно можно глянуть на DEV портале Valve. Некоторое время я парсил профили Steam, дабы понять разброс ID у пользователей + помогли открытые данные в интернете. В итоге, удалось выявить:

1) Регистрируемые пользователи получают SteamID в каком-то упорядоченном временном порядке. Предполагаю, изначально каждый новый пользователь просто получал +1 к ID от прошлого зареганного пользователя. Смущают, однако, другие моменты, но про это ниже.
2) Рассматривать буду SteamID64, который используется в самих ссылках профилей Steam. Для удобства восприятия, в них спокойно можно отрезать начальный кусок вида "7656119", который одинаков у всех профилей.
3) Самым первым обнаруженным пользователем стал "alfred" с SteamID64 - 76561197960265730
Тут интересный момент, что этого пользователя в топах "старейших аккаунтов Steam" ставят не на первое место, а где-то в ТОП 5, хотя ID говорит, что он был раньше остальных.
4) Самым последним удалось обнаружить пользователя "3253389634" с SteamID64 - 76561199834900100
Тут и возник момент, про который говорил выше, т.к. все ID рядом с этим пользователем - еще не созданы. Это может говорить о том, что сейчас регистрация ID пользователей идет с каким-то разбросом.
5) Разница между первым и последним ID64, которые я обнаружил - 1.874.634.369. Это может говорить о том, что на платформе Steam может существовать порядка 1.9 миллиардов аккаунтов всех видов: живые, умершие, боты, читерские, удаленные и т.д. Число явно немного завышено, но не больше нескольких десятков миллионов.
6) Взяв рандомный летний период 2022 года, я отследил количество аккаунтов регистрируемых в Steam, за сутки. Метод отслеживания был прост - перебор ID64 в обе стороны и просмотр специальных значков у профилей, которые дает Steam за "Выслугу лет". В этих значках указана дата создания аккаунта, но отображаются они не во всех профилях.
Удалось определить, что за один день июля 2022 года было сделано порядка 2.5 миллионов аккаунтов.
7) Смог вручную перебрать порядка 1к профилей и основываясь на восприятие могу сказать:
--- Большинство создаваемых профилей просто не заканчивают настройку и не используют Steam (пример тут)
--- Только 3-15% создаваемых профилей (в период 2020+ годов) становятся хоть какими-то живыми, с аватаркой, друзьями и играми. Сильно зависит от временного периода регистрации.

Часть выводов требуют доп проверки и обсуждения. Любой желающий может копнуть сам и найти еще что-то интересное.

#steam #gameint #стим #valve


Стоит ли исследователю интересоваться откуда пришел клиент? Точно да.

Понятно, что есть привычные способы привлечения, но, по моему опыту, иногда, "стреляют" и сторонние методы. Некоторые случайны, а другие могут стать источником клиентов.

Расскажу о паре интересных, случившихся со мной.

Первый - площадка услуг. Периодически тестирую различные методы привлечения. Одним из них было создание профиля на одной из площадок по оказанию бытовых услуг. Профиль создал, накидал информации и забыл. Через несколько месяцев, однако, получил хорошую заявку именно с этой площадки.

Второй - резюме. Мое резюме висит открытым на одной из площадок по поиску работы (отдельная история). Однажды, некая компания, посмотрев резюме, предложила рассмотреть задачу в их проекте.

Сработать может любая идея, но открытым останется вопрос КПД. Лучше всего работают успешно (и качественно!) выполненные задачи. Это генерирует не только повторные обращения, но и включает "сарафанное радио".

#OSINT #ОСИНТ #Клиенты #Заказы


Как обстоят дела с взаимовыручкой и партнерскими рекомендациями на рынке OSINT? Хотел бы поделиться примером.

Летом 2024 года я сделал OSINT игры, помогающие пощупать методы открытого поиска. Через спонтанную переписку, в одном из Телеграм чатов, об этом узнал Игорь Бедеров (Гуглим, если не знаете), который, абсолютно безвозмездно, сделал про них пост в своем ТГ канале, что сильно бустануло количество просмотров и трафик на сайте.

Февраль 2025 года. Один из моих крупных заказчиков ищет "не ноунейм" консультации и ряд услуг по теме ИБ. Отправил я их, конечно же, к Игорю.

Хочется верить, что именно от таких взаимодействий рынок ИБ и открытого поиска будет стремительно развиваться. По крайней мере, не без их участия.

#osint #осинт #бедеров #рекомендации


В феврале 2023 года участвовал в "GAME MUSIC CONFERENCE 2023" с докладом про "Исследование музыки в серии Need For Speed" (само исследование и датасеты доступны тут)

Одной из финальных гипотез исследования было, что музыка серии, в следующих частях, должна вернуться к доминирующим Рок исполнителям (скрин ниже). Это также намекало о потенциальном возвращении "к истокам".

На фоне свежих слухов про NFS решил посмотреть, что там происходит и откопал, что еще в 2024 году была тайная сходка блогеров с разработчиками (немного о ней есть вот тут). Важным в этом общении стал спойлер: "Разработчики собираются взять в качестве ориентира такие игры, как: Need for Speed: Underground (2003 год), Need for Speed: Most Wanted (2005 год) и Need for Speed: Carbon (2006 год)".

До новой части, судя по новостям, далеко, но надеюсь, что гипотеза окажется верной и я правда смог попасть в яблочко 🤓

#needforspeed #NFS #research #music


Зачем поисковику-исследователю свой домен, а точнее, почта на своем домене?

Постоянно сталкиваюсь с двумя ситуациями, которые накладывают некоторые ограничения в работе:
1) Запрет на регистрацию на сайтах с массовых почто-сервисов. К таким, например, относится tracxn.com
2) Запрет отправки электронных форм на сайтах с массовых почто-сервисов. Тут, по памяти, можно сказать о контактной форме hunt.io/contact-us

Можно доставать знакомых, либо попросить кого-то из друзей (с сайтом) создать для вас рабочий почтовый ящик. Проще, однако, раскошелиться на пару тысяч рублей в год и завести свой.

Да и явных плюсов несколько: общение с клиентами с красивой почты, купленный домен начнет набирать Траст (вдруг на нем, потом, захотите поднять сайт).

#почта #email #domain #домен


Немного про явные и неочевидные вещи при поиске ЛПР и их контактов в Linkedin.

На очередной задаче удалось определить, что у ЛПР компании когда-то был профиль Linkedin (ссылка на старом сайте). Проблема в том, что профиль уже удален, а сам человек достаточно скрытный и его Linkedin явно сильно обогатят собираемое досье (вебархив и кэш поисковиков не сработали).

Насмотренность подсказала проверить один вариант, оказавшийся рабочим.

Начнем с того, что есть варианты проверки на наличие у человека Linkedin (ТГ боты, веб-платформы), даже если профиль удален. Не все они, однако, срабатывают.

Именно расширенная инфа и является одним из важных элементов. Где же её взять, если профиль удалился? Решением оказался сервис rocketreach.co (да и аналоги, думаю, могут справиться).

Сервис не только может выдать кусочек открытых контактных данных (бесплатно, несколько раз в день), показать некоторые соцсети, но и хранит историю профилей.

Пример со мной (хоть я и не удален) на скрине.

#linkedin #досье #osint #rocketreach


Изредка принимаю заявки на бесплатные консультации по теме поиска информации и OSINT.

Последний разговор по такой заявке запомнился парой примечательных моментов:

1) Человек спросил, почему консультация бесплатна и зачем мне это нужно? Ответ прост. Я провожу консультации с действующими специалистами различных сфер и происходит взаимный обмен опытом. Как правило, рассказываю не только я, но и рассказывают что-то мне.
2) Обсуждали тему быстрого поиска свежей тематической информации. Забавно, но MVP с похожим функционалом удалось разрабатывать на прошлом месте работы.

Если смотреть глобально, то зачем такие разговоры поисковому специалисту? Очевидно, что это помогает расширить кругозор, узнать сферы запросов и какие-то нишевые кейсы. Ну и, естественно, нетворкинг и софт-скиллы.

#ментор #осинт #osint #mentor


Свежий кейс в достаточно узком направлении в поиске информации - GAMEINT (поиск в играх/связанный с играми).

Перед новым годом удалось закрыть задачу, которая, хоть и с паузами, длилась 5 месяцев. Если кратко: выйти на контакт с человеком, которого ограничивают в коммуникациях.

В процессе анализа предоставленной информации удалось выявить игровой аккаунт человека в одной из Метавселенных, где он периодически играет. Прямого контакта, через запрос дружбы, установить не удалось.

Игровой интерфейс Метавселенной позволял, хоть и криво, отслеживать активность игроков. Именно через эту брешь и удалось, после долгих попыток, найти один из серверов, где играл человек, подключившись к нему и проведя коммуникацию прямо в игровом чате.

Задача завершилась, хоть и не совсем так, как планировалось (открылись новые вводные). Это, пожалуй, тема для отдельного-подробного кейса.

#gameint #гейминт #поиск #разведка


Периодически прилетают заказы на поиск ЛПР компаний (поиск директоров, учредителей, ТОПов и прочих), поэтому решил структурировать мысли и выкатить небольшой гайд по аспектам их поиска (как зарубеж, так и СНГ).

1) Сайт компании. Первичный источник для поиска ЛПР. Тут можно выделить несколько подходов:
—- Отдельная страница со списком ключевых сотрудников: такие создают некоторые компании.
—- Поиск информации в блоге и новостях: в них могут мелькать новости о посещенных конференциях, поездках и прочих активностях, где будут упомянуты ФИО директоров, должности и другие данные.
—- Проверка скачиваемых и прикрепленных документов. Они, иногда, содержат подписи с инициалами ЛПР или даже целые списки сотрудников, а также дополнительные идентификаторы, по которым можно найти высшее руководство (ИНН, ОГРН и т.д.).
2) Соцсети компании. Обладают потенциалом, если знать, куда смотреть.
—- Углубленные параметры и настройки соцсетей. Допустим, соцсеть ВКонтакте обладает целым спектром возможностей для идентификации причастных лиц: список администраторов в группе компании, поиск по людям работающим в нужной компании, отслеживание лайков на постах (так, один раз, смог найти СММ менеджера, которая лайкала все свои посты в группе компании). Часть такого функционала и возможностей есть и в других соцсетях.
—- Проверка постов в соцсетях, по аналогии с блогами и новостями сайтов, может содержать информацию о ключевых лицах.
3) Проверка профессиональных соцсетей: Linkedin, TenChat, Сетка и др. Частенько, они содержат список сотрудников, которые работали/работают в нужной компании.
4) Поисковики. Самый классический способ для поиска ЛПР. Комбинаций для поиска великое множество, включая расширенные операторы запросов (дорки) и поиск по фото.
5) Нейросети. Способны давать хоть и не точные (иногда дают устаревшую инфу), но достаточно жирные подсказки в поиске ЛПР. Последнее время радует Яндекс.Нейро (тестил для СНГ) - выдавал результаты сразу с ФИО искомого лица, да еще и с ссылкой на источник информации, хотя в самом поиске, на первых страницах, такого результата не выводит.
6) Гос.ресурсы и гос.информационные порталы. Позволяют через уникальные идентификаторы (ИНН, ОГРН и прочие) выйти на Учредителей, Директоров и некоторых связанных лиц.
7) Коммуникации и партнерские чаты. Возможный вариант решения, это найти бывших или действующих сотрудников и узнать какую-то информацию у них, либо обратиться с специальные чаты, где делятся контактами ЛПР разных компаний (такие тоже есть).
8) Различные агрегаторы и платформы компаний: Crunchbase, Tracxn, Owler и др. Иногда сильно ограничены, недоступны из РФ и имеют прочий ряд проблем, но способны показать часть информации о ЛПР.
9) Логика и внимательность! Самый простой пример для этого пункта: если обнаружено, что Емайлы персонала компании имеют вид, допустим, n.pupkin@dataqa.ru, а мы ищем какого-то Евгений Антипова, то логично предположить, что, с огромной вероятностью, его Емайл будет e.antipov@dataqa.ru

Список не содержит различные серые и углубленные методы, которые также позволяют сужать воронку поиска. Их оставим за ширмой.

Также, важно заметить, что это только способы поиска первичной информации. Допустим, иногда получится найти только Фото ЛПР, а как из Фото выйти на соцсети ЛПР или его контакты, зависит от умений и навыков поискового специалиста.

#поиск #ЛПР #osint #контакты


Немного про защиту данных и Counter OSINT.

На развлекательном портале Pikabu идет новый тренд - выкладывать свои награды и медали за разные заслуги (боевые и не боевые). Часть из них связаны с разным прошлым, но многие и свежие - с СВО.

Многие из выкладывающих пользователей замазывают ФИО в документах и закрывают лица на выложенных фотографиях. Важно заметить, что этого недостаточно. Часть пользователей это понимает и публикует посты анонимно, другие же нет и пишут открыто из своих профилей, где, естественно, указан их ник. Чем это чревато:

1) Опубликовав открытый пост, открывается возможность просмотра и прошлых постов пользователя. Не было ли в прошлых постах какой-то личной инфы? У кого-то явно было.
2) Утечки данных Пикабу. Зная Ник пользователя и имея доступ к слитым базам, злоумышленники могут узнать персональные данные (мыло, телеф). Через них узнают остальное. В 2022 Пикабу уже рекомендовал сменить ники из-за сложившейся тогда ситуации (за открытость им спасибо).
3) Зная ник пользователя можно, также, найти другие профили в соцсетях и ресурсах. Многие же используют везде один ник, верно? Существуют пачки сервисов поиска по Никнеймам.
4) Публикация фото и определение местоположений. Ладно, если фото старое, а если нет и по нему можно определить критически-важные объекты? Рекомендую почитать про GEOINT и ознакомиться с примерами поиска. Многих, думаю, удивит, как по самым банальным фото можно найти координаты. Вот, например, один из моих тестовых поисков, самых простых.

Кто-то спросит, а кому и зачем это надо? Полагаю, что вариантов масса: мошенничество разного характера, дестабилизация семейных отношений, манипулирование родственниками и многое другое.

#pikabu #osint #данные #counterosint


Последние несколько лет мониторил вакансии кабинетных исследователей, а последний год еще и OSINTеров. Иногда откликался ради тестовых и в некоторых случаях замечал, что сама вакансия, как и тестовое, скорее фикция:
--- Слишком объемное тестовое, на много часов работы
--- Выполнение тестового требует платного инструментария (для OSINT)
--- Отсутствие адекватной обратной связи после выполнения, даже если найден большой объем информации

У меня не было варианта проверить такие компании: одинаковые ли тестовые они высылают всем кандидатам? Или это поток, с помощью которого они закрывают внутренние задачи?

У этих компаний, такие вакансии, появлялись и исчезали периодически, в течении долгого времени.

Был случай, когда одна из HR, у кого брал тестовое, написала и попросила проверить информацию, хотя у них "свой отдел OSINT из нескольких человек".

Если у вас были похожие ситуации при отклике на кабинетных исследователей/ОСИНТеров и есть чем поделиться - пишите в личку. Может получится выявить что-то интересное.


Уже в эту субботу состоится OSINT mindset conference #5! 🔥

Мероприятие пройдет 7 декабря в 13:00 (UTC+3) в Благосфере, Москва, м. Динамо, 1-й Боткинский проезд, д. 7c1 (полностью бесплатное, без регистрации и возрастного ограничения).

Обычно бывает онлайн-трансляция (хотя в этот раз ничего не написали). Ждем! 🧐
UPD: Трансляция будет!
UPD2: Ссылка на трансляцию


В Феврале 2023 проходил тест на Профориентацию от HH.ru (вот результаты)

Обнаружив его сегодня в документах и перечитав удивился, что с того времени неосознанно улучшал именно те "низкие параметры", которые были указаны в отчете. Если обобщить, то ими были: интроверсия, коммуникабельность, создание и ведение проектов, процессы, сервисные услуги.

За почти полные 2 года, прошедших с момента теста, считаю, смог улучшить большинство параметров из списка выше:

--- Профиль на фрилансе (успешный проект, почти 300 заказов, рейтинг 5.0 без срыва сроков и негативных отзывов).
--- Завел сайт и начал постинг в соцсети. Сделал несколько пет-проектов (ОСИНТ игры и пара неназванных).
--- Получил годовой договор ГПХ на оказание постоянных услуг.
--- Коммуникации с клиентами (как текст, так и созвоны).

И это только часть пути.
Пост, скорее, как рекомендация к прохождению теста. Еще тогда он показался интересным (хотя местами и спорным), и сейчас, через 2 года, мнение не изменяю.

#профориентация #hh #хх #профессия


Всё чаще стали попадаться запросы на поиск групп и чатов в ТГ. Понял, что не все знают инструментарий, решающий такой запрос, поэтому расскажу о нескольких подходах:
1) Поиск в самом ТГ. Да, банально, но какие-то результаты дает.
2) Платформы и каталоги в интернете. Среди них есть "крупняки", а есть множество мертвых или небольших, но живых. Все они способы также обогатить сбор тематических каналов и чатов в Телеге. Для примера:
--- Платформа TG Stat
--- Каталог Tgram Search
3) Боты в Телеграм. Один из быстрых и эффективных методов. Пачка ботов собирает собственные базы, в которых вам и дают осуществлять поиск. Несколько хороших вариантов:
--- Search Bot
--- Поиск чатов
--- FunStat
4) Купить готовые датасеты чатов и групп. Такие продают, например, на Кворк. Качество может хромать, однако и цена небольшая (500-1000р).

Зачем собирают ТГ чаты и группы? По разному. Кому-то для маркетинга (референсы, покупка рекламы и т.п.), а другим, например, для спама.

#парсинг #телеграм #scraping #telegram


Толпа людей, как инструмент OSINT, или попытки раскрытия преступлений с помощью современных технологий.

Наткнулся на новость, что Голландская полиция пробует необычный метод раскрытия "висяка". Они создали голограмму жертвы и выставили её в проходимом квартале. Сам постамент рассказывает о совершенном преступлении и просит любого, кто что-то помнит, сообщать информацию полиции.

ChatGPT уверенно признался, что обезличенную толпу людей, проходящих через такой постамент, спокойно можно считать своеобразным OSINT инструментом, применяемым для текущей поисковой задачи.

Можно ли назвать опрос "свидетелей" OSINT инструментом? Скорее, нет. Тут работа происходит с теми, кто уже точно обладает какой-то информацией и это можно назвать просто оперативной работой. С другой стороны, "опрос людей на месте происшествия" более релевантен в качестве OSINT инструмента. Итог заранее неизвестен и происходит поиск необходимых зацепок и информации в открытом источнике "толпа людей и прохожих".

#osint #crime #осинт #преступление


Кто-то слил актуальную базу букмекерки 1WIN на 29 гигов.

Черт с ней, суть в другом. Как-то выполнял тестовое задание на OSINT-аналитика, где требовалось найти различный негатив на человека (условно, устрающегося в компанию), одним пунктом из которого был - лудоманство/игромания. Актуально для лиц претендующих на должности с финансовой/материальной ответственностью.

Оставим вопрос этичности и отношения пробива к OSINT и посмотрим со стороны спроса - кому-то явно нужна такая информация для проверки контрагентов, а кто-то явно будет эту информацию предоставлять или проверять прямо внутри компании.

Такие базы, этому, явно поспособствуют. Уже, как говорится, можно будет задавать лишние вопросы: "Ну что, ставочка зашла?"

#1win #букмекер #слив #база


Уже несколько раз выполнял заказы на сбор данных для моделей машинного обучения. Одним из последних был запрос на "обезличенный" сбор селфи людей, с рядом требований:
--- Без очков и с открытым лицом
--- Без явных фильтров и цветокоррекции
--- Вес от 100кб и не мелкого разрешения
--- Мужчины и женщины от 18 до 60, в равных пропорциях

Требовался баланс между временем и результатом. С учетом того, что нужное количество уже перевалило за 2к+ селфи, было опробовано несколько подходов:
--- Поисковики - много неподходящих и повторы
--- Сайты с контентом пользователей - условно, Пикабу дал свои результаты т.к. пользователи сами постят свои селфи
--- Соцсети - дают небольшой результат, но много неподходящих, особенно с фильтрами

Идеальным вариантом стали сайты знакомств! Там есть фильтры по возрасту и полу и подавляющее большинство пользователей делают именно селфи. Пришлось перебрать несколько сайтов из-за требований к весу/размеру, но идеальный кандидат был найден.

#селфи #поиск #ml #машинноеобучение


Это странное чувство и холодок по коже, когда за 20 минут получается решить и закрыть то, что человек пронёс с собой через всю жизнь.

Совершенно случайно наткнулся в сети на непопулярный сайт (не Жди Меня), где люди пытаются найти потерянных родственников, бывших друзей и т.п. Часть запросов достаточно трешовые или лайтовые, из разряда "Найти сбежавшую мать преступницу" или "Найти мою учительницу по музыке". Есть, однако, и примечательные, которые веят меланхолией и грустью.

Не буду вдаваться в глубокие детали, но захотел безвозмездно откликнуться на такой запрос. По рассказам человека, были обращения в полицию, которые не дали результата. Собрав всю информацию воедино, ушло 20 минут, чтобы найти трех подходящих кандидатов. Первый же и оказался искомым человеком.

Финал поиска связан с грустью утраты, беспощадностью времени и радостным обретением нового.

Часть "занавесок", наверно, иногда лучше не открывать, но кто знает, что за ними? Моя же история, скорее, о хорошем.

#поиск #информация #родня #ждименя


В начале октября команда Яндекса выкатила Нейро, внутри поиска по картинкам, о чем сообщили в отдельном посте на Хабре.

Понятно, что алгоритмы Нейро нацелены, преимущественно, на распознавание объектов. Однако, кто мешает сканировать конкретные объекты при GEOINT-задачах, а также запихнуть туда всё фото целиком? Время и практика покажут, как успешно Нейро справится с такими задачами.

#yandex #Нейро #линза #geoint


Сегодня, широкой публике, был представлен ТГ бот для анализа судимостей физлиц - СудебныйПрофиль.

Каждому новому пользователю выдают по 2 бесплатных запроса.
На сколько он лучше открытого поиска еще предстоит узнать и проверить, на широкой массе сравнительных запросов. Окажется, возможно, хорошим кандидатом для ускорения рабочего процесса при проверке контрагентов.

#суды #приговоры #пробив

20 last posts shown.

206

subscribers
Channel statistics