Покоряю Google Chrome, еще сделал полезное расширение для браузера — Robots Viewer.
- Проверяет доступность файла robots.txt для текущего домена и отображает его HTTP-статус (например, 200 OK, 404 Not Found). Отображение содержимого файла прямо в расширении. Подсветка директивы, которая запрещает сканирование.
- Отображение Robots Meta, rel=canonical, x-robots-tag и их статус.
- Если страница запрещена к сканированию и индексации, то иконка расширения отображается в красном цвете. Эту функцию подсмотрел у автора канала @wlad2chanel. Он там заказывал доработку известного плагина под эту функцию. И это действительно удобно.
Расширение можно скачать в официальном магазине Chrome.
- Проверяет доступность файла robots.txt для текущего домена и отображает его HTTP-статус (например, 200 OK, 404 Not Found). Отображение содержимого файла прямо в расширении. Подсветка директивы, которая запрещает сканирование.
- Отображение Robots Meta, rel=canonical, x-robots-tag и их статус.
- Если страница запрещена к сканированию и индексации, то иконка расширения отображается в красном цвете. Эту функцию подсмотрел у автора канала @wlad2chanel. Он там заказывал доработку известного плагина под эту функцию. И это действительно удобно.
Расширение можно скачать в официальном магазине Chrome.