Waymore: Инструмент для извлечения URL и контента из веб-архивов

Waymore — утилита с открытым исходным кодом для извлечения URL-адресов и загрузки архивных ответов из нескольких источников: Wayback Machine, Common Crawl, Alien Vault OTX, URLScan, VirusTotal, GhostArchive. Инструмент предназначен для сбора данных о целевом домене, включая ссылки на ресурсы и сохраненные версии веб-страниц, что полезно для анализа поверхности атаки, поиска уязвимостей и OSINT-исследований.

↗️Возможности
- Поддержка множества источников (Wayback Machine, Common Crawl, Alien Vault OTX, URLScan, VirusTotal, GhostArchive)
- Два режима работы: получение только URL (U), загрузка только ответов (R) или оба режима (B)
- Гибкая фильтрация (по HTTP-статусам, MIME-типам, ключевым словам и регулярным выражениям)
- Фильтрация результатов по временному диапазону
- Настройка таймаутов, количества попыток и параллельных процессов
- Возобновление прерванных загрузок ответов
- Отправка уведомлений в Discord и Telegram по завершении

⬇️Установка
pipх install waymore

Проверка
waymore -h


⏺️Получение всех URL для домена
waymore -i example.com -mode U


⏺️Полный сбор данных для нового домена (режим В)
waymore -i target.com -mode B -mc 200 -mt text/html,application/json -l 10000


⏺️Мониторинг новых URL с течением времени
#первый запуск
waymore -i target.com -mode U -oU urls.txt

#последующие запуски
waymore -i target.com -mode U -oU urls.txt -nlf


⏺️Поиск конфиденциальных файлов
waymore -i target.com -ko '\.(env|config|json|xml|sql|log)($|\?)' -mode U


⏺️Анализ истории изменений (по месяцам)
waymore -i target.com -mode R -ci m -mc 200


⏺️Быстрая проверка перед глубоким сканированием
waymore -i target.com --check-only


⏺️Конвейерная передача в другие инструменты
waymore -i example.com -mode U | unfurl keys | sort -u


#Waymore #OSINT #tool #pentest

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером