Автоматизируем охоту на быстробота
В прошлых постах мы разобрали, почему стандартные методы проверки индекса для новорегов часто сбоят , и выяснили, что мониторинг серверных логов — единственный объективный способ понять, залетел ли сайт в базу. Там же мы вывели формулу победного «флеш-рояля» из 5 этапов : от прозвона Webmaster'ом до финального забора favicon.ico.
Но сидеть и постоянно обновлять логи сервера руками — занятие утомительное. Поэтому я навайбкодил готовый PHP-скрипт Yandex Bot Tracker v1.0, который сделает всю работу за вас.
Что под капотом и что он умеет:
Полный контроль этапов: Скрипт автоматически распознает все 5 стадий индексации быстроботом.
Уведомления в Telegram: Прилетел бот? Вы сразу получаете сообщение в телегу с указанием URL, IP и текущего этапа. А когда собирается заветный «флеш-рояль» — приходит отдельный победный алерт.
Визуальный дашборд: Встроенная админка (защищенная секретным ключом), где в виде удобных карточек выводится прогресс-бар по всей вашей пачке доменов.
Универсальность (3 режима работы):
- Middleware: Просто подключаете скрипт в ваш index.php, и он ловит ботов на лету.
- CLI-парсер: Можно скормить скрипту уже существующий access.log через консоль, и он вытащит всю историю визитов Яндекса.
- Веб-дашборд: Выступает в роли независимой панели статистики.
Как настроить
1. Открываете скачанный файл tracker.php и в блоке КОНФИГ заполняете три строчки: TG_TOKEN (от вашего бота), TG_CHAT_ID и SECRET_KEY (придумываете пароль для доступа к дашборду).
2. Закидываете tracker.php на сервер с вашими сайтами.
3. В самое начало index.php вашего лендинга (или системы клоакинга/роутинга) добавляете одну строку:
require_once '/путь/до/tracker.php';
(Если у вас обычный сайт на чистом HTML — просто переименуйте ваш index.html в index.php и вставьте эту строку. Либо используйте скрипт в режиме CLI-парсера логов сервера, тогда в код сайта вообще лезть не придется).
4. Готово! Скрипт работает незаметно для пользователей. Переходите по адресу вашсайт.ру/tracker.php?key=ВАШ_КЛЮЧ и любуетесь красивой статистикой.
Как только в телегу упадет уведомление "FLUSH ROYALE", можете смело идти и пробивать выдачу недокументированными хаками вроде `erj:` или цитатным поиском. Но учитывайте: страница может появиться в индексе спустя 1–10 минут, если на стороне Яндекса в данный момент нет очереди на индексацию.
Сам файл со скриптом прикрепил ниже. Забирайте в работу, тестируйте на своих запусках. Сразу оговорюсь, что это пока первая, сырая версия скрипта — если увижу на него спрос и найдутся баги, то обязательно всё доработаю и выкачу апдейт.
Если скрипт зашел — жмите на огонек 🔥
@seo_drift
В прошлых постах мы разобрали, почему стандартные методы проверки индекса для новорегов часто сбоят , и выяснили, что мониторинг серверных логов — единственный объективный способ понять, залетел ли сайт в базу. Там же мы вывели формулу победного «флеш-рояля» из 5 этапов : от прозвона Webmaster'ом до финального забора favicon.ico.
Но сидеть и постоянно обновлять логи сервера руками — занятие утомительное. Поэтому я навайбкодил готовый PHP-скрипт Yandex Bot Tracker v1.0, который сделает всю работу за вас.
Что под капотом и что он умеет:
Полный контроль этапов: Скрипт автоматически распознает все 5 стадий индексации быстроботом.
Уведомления в Telegram: Прилетел бот? Вы сразу получаете сообщение в телегу с указанием URL, IP и текущего этапа. А когда собирается заветный «флеш-рояль» — приходит отдельный победный алерт.
Визуальный дашборд: Встроенная админка (защищенная секретным ключом), где в виде удобных карточек выводится прогресс-бар по всей вашей пачке доменов.
Универсальность (3 режима работы):
- Middleware: Просто подключаете скрипт в ваш index.php, и он ловит ботов на лету.
- CLI-парсер: Можно скормить скрипту уже существующий access.log через консоль, и он вытащит всю историю визитов Яндекса.
- Веб-дашборд: Выступает в роли независимой панели статистики.
Как настроить
1. Открываете скачанный файл tracker.php и в блоке КОНФИГ заполняете три строчки: TG_TOKEN (от вашего бота), TG_CHAT_ID и SECRET_KEY (придумываете пароль для доступа к дашборду).
2. Закидываете tracker.php на сервер с вашими сайтами.
3. В самое начало index.php вашего лендинга (или системы клоакинга/роутинга) добавляете одну строку:
require_once '/путь/до/tracker.php';
(Если у вас обычный сайт на чистом HTML — просто переименуйте ваш index.html в index.php и вставьте эту строку. Либо используйте скрипт в режиме CLI-парсера логов сервера, тогда в код сайта вообще лезть не придется).
4. Готово! Скрипт работает незаметно для пользователей. Переходите по адресу вашсайт.ру/tracker.php?key=ВАШ_КЛЮЧ и любуетесь красивой статистикой.
Как только в телегу упадет уведомление "FLUSH ROYALE", можете смело идти и пробивать выдачу недокументированными хаками вроде `erj:` или цитатным поиском. Но учитывайте: страница может появиться в индексе спустя 1–10 минут, если на стороне Яндекса в данный момент нет очереди на индексацию.
Сам файл со скриптом прикрепил ниже. Забирайте в работу, тестируйте на своих запусках. Сразу оговорюсь, что это пока первая, сырая версия скрипта — если увижу на него спрос и найдутся баги, то обязательно всё доработаю и выкачу апдейт.
Если скрипт зашел — жмите на огонек 🔥
@seo_drift