🐸 Л
ягушка, которая заменит вам 💰 платный ЛинкчекерМой подход (простая в реализации версия) для проверки наличия ссылок, а также индексабельности (доступности страниц для индексации)
Для чего это?Повышать эффективность линкбилдинга.
1) Перестать платить за гарантированно неработающие ссылки. Актуально в первую очередь для крауда, сабмиттов, но также и ссылок с бирж
2) Перестать строить такие ссылки GSA/Хрумером
3) Для выяснения причин, почему ссылки не в индексе. Более эффективный подход, чем просто гонять индексатором до бесконечности то, что проиндексировано быть не может
4) Оценка живости ваших ссылок
5) Оценка живости ссылок конкурента
Сам подходВ Screaming Frog, ставим настройки:
Скрин 1:
— Always Follow Redirects = true // если урл редиректит, то переходим по редиректу
— Always Follow Canonicals = true // если указан каноничным другой адрес - краулим его
— User Agent = Googlebot (Smartphone) // опционально, плюсы - пытаемся обнаружить подмену контента по UA, минусы - сайт может для фейковых ботов отдавать ошибочный код ответа или другой контент (кейсов хватает), тут выбор зависит от конкретной выборки.
Скрин 2:
Идем в Custom Extraction, там заполняем Regex'ы*:
*В регулярках заменить домен на свой, доменную зону тоже, если она отличается.
URL
]*href=(?:"|')[\s]*(http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*)(?:"|')[^>]*>
Атрибуты ссылки (nofollow, ugc, sponsored)
]*href=(?:"|')\s*http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*(?:"|')[^>]*rel=(?:"|')([^"']*)(?:"|')[^>]*>
Анкор
]*href=(?:"|')\s*http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*(?:"|')[^>]*>((?:(?!).|\n)*?)
Img Alt
]*href=["']http[^"']*(?:askgamblers|m2)\.(?:com|by|ru)[^"']*["'][^>]*>(?:(?!).)*?]*alt=["']([^"']+)["'][^>]*>(?:(?!).)*?
Далее загружаем список ссылок для проверки, жмем "Start". Индексабельность = Indexability status, а на вкладке Custom Extraction проверка наличия ссылок, анкоров (включая img alt), атрибутов
***
Пока собирался писать видео на эту тему
@wood2man в своем канале уже выкладывал
таблицу, для проверки наличия ваших ссылок на донорах.
Плюсы у моего решения:
— Проверяется индексабельность страниц. Способов закрыть страницу со ссылкой много, далеко не только кодом ответа. Разработчики фрога определяют проблему если не всегда, то почти всегда. Можно и самостоятельно добавить все проверки в свое решение, но это время на отладку разных кейсов, их там хватает.
— Многопоточность, можно запускать хоть в 100 потоков и быстро парсить объемы. Нет ограничений гугла.
— User Agent получается нужный нам (Googlebot т.е.). Часть площадок скрывают ссылки по UA.
— Вы не палите свои ссылки Google, ведь все знают, что он следит за содержимым ваших гугл-таблиц =)
Минусы— Если вы в РФ и стоит блокировка по этому ГЕО, то часть сайтов может быть недоступна - VPN в помощь. Актуально больше для буржа + доноры, заблоченные РКН (зона .ua, например, на моем провайдере недоступна полностью)
— Если сайт закрыт от ботов с помощью клаудфлера/антибота/другой капчей/анализатором до отдачи контента - фрог скажет, что ссылки нет. Но тут и сторонние решения вернут некорректный результат в большинстве случаев (не уверен, что есть вообще норм сервис на рынке в этом плане).
— Если сайт закрыт от фейкового гуглбота - вернется чаще всего ошибочный код ответа.
Вывод:
Проверяем так только те страницы, где получился корректный ответ (код 200 + наличие Title для надежности, иначе могла сработать защита от парсинга). Но и это огромная помощь при проверке объемов. Страницы, где ссылок не нашлось или вернулся код ответа не 200 - лучше посмотреть ручками. Либо писать свое улучшенное решение.
Более продвинутая версия этого подхода - разработка скрипта с хранением в БД списка страниц со ссылками, автоматическая проверка по расписанию, алерты при пропаже ссылок/закрытие страницы от индесации/смене анкора. Также можно научиться обходить клаудфлер и аналоги тем же апарсером / использованием браузерного движка.
Но работать можно и с этим.
***
Канал
Strong SEO
