Почему многие бренды невидимы для нейросетей и не получают оттуда трафик и клиентов? 🤦♂️
На самом деле все очень просто - потому что они блокирую краулеры (роботов) нейронок на своем сайте. И зачастую не подозревают об этом.
Где вообще могут блокироваться роботы?
👉 Файл robots.txt. Каждую неделю обнаруживаем как минимум у одного из новых клиентов, что кто-то залез в файл своими грязными рученками и заблокировал там ботов ChatGPT, Perplexity, Claude. Зайдите и проверьте чтобы не было директив вида
User-agent: GPTBot
Disallow: /
👉 CDN-провайдер. Самый популярный - CloudFlare. При чем они ярые противники сбора информации LLM-ками и по умолчанию блокируют ботов - вот здесь выкладывал мини-гайд как открыть сканирование для всех ботов. Сюда же стоит отнести Yandex Cloud и всякие системы защиты от DDoS атак: DDoS-Guard, CURATOR, StormWall и аналогичные. На их стороне часто блокируются вообще все боты, чтобы защититься от DDoS. Если не понимаете почему боты забанены и у вас настроена анти-DDoS защита - попросите админа проверить.
👉 На уровне вашего Shared Hosting. Это «обычный хостинг», которым пользуются большинство компаний. Хостинг-провайдеры гонятся за прибылью и просто банят ботов, чтобы не тратить ресурсов.
👉 На уровне настроек Nginx. Если у вас нет CDN, анти-DDoS, но есть свой сервер и боты заблокированы - скорее всего проблема именно на стороне Nginx
Мы написали специальный чекер, который быстро проверяет сайт на доступность у всех популярных AI-ботов. Выглядит примерно как на скриншоте. Инструмент внутренний и в ближайшие недели в паблик не выкатим.
Но вот вам простой промт, который вы можете отдать Claude Code, ввести свой домен в двух местах, нажать ENTER и получить полноценный отчет о доступности. Только поставьте ему авто-режим, чтобы перед каждым запросом не спрашивал разрешение.
Помните, что сайт бренда - это основной источник информации о вашем бренде для нейросетей.
Если было полезно - поделитесь с друзьями и сделайте репост! 🤝🫶
На самом деле все очень просто - потому что они блокирую краулеры (роботов) нейронок на своем сайте. И зачастую не подозревают об этом.
Где вообще могут блокироваться роботы?
👉 Файл robots.txt. Каждую неделю обнаруживаем как минимум у одного из новых клиентов, что кто-то залез в файл своими грязными рученками и заблокировал там ботов ChatGPT, Perplexity, Claude. Зайдите и проверьте чтобы не было директив вида
User-agent: GPTBot
Disallow: /
👉 CDN-провайдер. Самый популярный - CloudFlare. При чем они ярые противники сбора информации LLM-ками и по умолчанию блокируют ботов - вот здесь выкладывал мини-гайд как открыть сканирование для всех ботов. Сюда же стоит отнести Yandex Cloud и всякие системы защиты от DDoS атак: DDoS-Guard, CURATOR, StormWall и аналогичные. На их стороне часто блокируются вообще все боты, чтобы защититься от DDoS. Если не понимаете почему боты забанены и у вас настроена анти-DDoS защита - попросите админа проверить.
👉 На уровне вашего Shared Hosting. Это «обычный хостинг», которым пользуются большинство компаний. Хостинг-провайдеры гонятся за прибылью и просто банят ботов, чтобы не тратить ресурсов.
👉 На уровне настроек Nginx. Если у вас нет CDN, анти-DDoS, но есть свой сервер и боты заблокированы - скорее всего проблема именно на стороне Nginx
Мы написали специальный чекер, который быстро проверяет сайт на доступность у всех популярных AI-ботов. Выглядит примерно как на скриншоте. Инструмент внутренний и в ближайшие недели в паблик не выкатим.
Но вот вам простой промт, который вы можете отдать Claude Code, ввести свой домен в двух местах, нажать ENTER и получить полноценный отчет о доступности. Только поставьте ему авто-режим, чтобы перед каждым запросом не спрашивал разрешение.
Помните, что сайт бренда - это основной источник информации о вашем бренде для нейросетей.
Если было полезно - поделитесь с друзьями и сделайте репост! 🤝🫶