Второй, куда менее очевидный момент, который упускают автоматизаторы - это vhostы (когда на одном порту может быть сразу множество сайтов). И, важный момент, - ни кто не гарантирует, что будет связь между DNS и заголовком Host. Иногда админы убирают старые сайты удаляя просто DNS-запись, забывая при этом удалить сам сайт. И такая простая pipeline автоматизация как subfinder | httpx | katana уже не заметит такие сайты.
Искать фактические сайты на веб-серверах можно ffuf или gobuster (особенно после моего коммита https://github.com/OJ/gobuster/pull/249). И далее добавлять соответствие ip hostname в /etc/hosts. Но если говорить об автоматизации с этим подходом возникают сложности - при одновременном сканировании сразу множества сайтов (а на периметре их обычно десятки, сотни) наши скрипты будут мешать друг другу используя при этом единый файл hosts. Решение тут - это Linux namespace, позволяющий запустить любой процесс с персональными точками монтирования. И вот таким волшебным sheebang (https://piware.de/2012/12/running-a-script-with-unshared-mount-namespace/) в любом скрипте автоматизации #!/usr/bin/env -S sudo unshare -m sudo -u user bash мы можем запускать проверки внося изменения в hosts локально, не мешая другим скриптам. После чего автоматизация не пройдёт мимо даже скрытого (без dns) сайта.