"Помните, что файлы robots.txt привязаны к поддоменам и протоколам. Бывают случаи, когда файлы robots.txt различаются для сайтов с www, без www, http или https. Я обнаружил это во время аудита летом для версии сайта с www (а сайт разрешается через сайт без www). Владелец сайта даже не подозревал об этом. Именно поэтому важно иметь все версии сайта в свойствах Google Search Console."