Рестартанули веб-краулер, который ищет дропы. Краулер обходит страницы, собирает исходящие ссылки и проверяет, жив ли домен на том конце. Если домен мёртв – кандидат. И у каждого такого домена по определению уже есть бэклинки с живых страниц, потому что именно так краулер его и нашёл. У себя мы называем его Drop Harvester. Прогнали первый замер – делюсь цифрами.

Воронка за 50.67 часов краулинга:
→ 704 194 страниц
→ 460 017 доменов
→ 4 174 доступных дропа

За 24 часа непрерывного краулинга:
→ 333 544 страницы обработано
→ 3 079 099 URL обнаружено
→ 217 888 новых доменов
→ 1 977 дроп-доменов найдено
→ 1 новый дроп каждые 44 секунды

Эффективность:
→ 9.2 новых URL с каждой страницы
→ 1 из 110 обнаруженных доменов оказывается дропом
→ 169 страниц – средняя «стоимость» одного найденного дропа
→ 1 780 TLD покрыто за один ран

Топ 5 TLD:
→ .com – 1 447
→ .org – 294
→ .net – 246
→ .nl – 126
→ .de – 117

Отдельное наблюдение - дешёвые gTLD (.top, .club, .xyz) «отваливаются» примерно в 7 раз чаще .com, но по абсолютному объёму .com доминирует просто потому, что доминирует в вебе.

Это ранние данные с одного рана. Цифры будут меняться по мере настройки. Но подход работает – мы наращиваем пул доступных доменов по гео и ccTLD. Конечно большое количество кандидатов отсеивается, но что-то в загашнике оседает.

Кстати, если вдруг кто-то работает с адалтом, в файле кандидаты на покупку. Свечку не держал, на качество не чекал. Домены свободные к регистрации.