🤔 Заблокированные в robot.txt страницы могут по-прежнему индексироваться гуглоботом при наличии ссылок на них.
❎ По словам сотрудника Google Джона Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.
👌 И еще, если у страницы уже установлен атрибут noindex, не нужно её закрывать в robot.txt. Дзен-кодеров из Google это дико раздражает (наверное).
❎ По словам сотрудника Google Джона Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.
👌 И еще, если у страницы уже установлен атрибут noindex, не нужно её закрывать в robot.txt. Дзен-кодеров из Google это дико раздражает (наверное).