Есть две основные причины.
Первая связана с нагрузкой на хост. Мы уже говорили об этом раньше — о том, какой объем данных системы Google могут сканировать на сайте. Может случиться так, что у нас просто не хватает времени на сканирование файла Sitemap, поскольку мы заняты другими задачами. Такое бывает. В этом случае мы тоже классифицируем проблему как «не удалось получить», так как физически не успели его загрузить.

Вторая причина, также связанная с нагрузкой на хост, касается потребности в сканировании (crawl demand): если наши системы решают, что нет необходимости активно сканировать данный сайт, они могут пропустить файл Sitemap, так как у нас уже достаточно информации. А потребность в сканировании часто определяется тем, как оценивается качество сайта. Это может существенно влиять на объемы сканирования и индексирования. Так что дело не только в технических аспектах. Иногда системы «считают», что общее качество сайта не слишком высокое. Поэтому мы не тратим много времени на сканирование и индексацию его контента и, соответственно, не занимаемся файлом Sitemap в данный момент. Если со временем качество сайта значительно улучшится, мы, конечно, можем начать использовать этот файл Sitemap, но, возможно, мы просто не захотим этого делать.

То есть вопрос не сводится исключительно к технической стороне дела; важно также, нужен ли нам этот файл Sitemap и хотим ли мы его использовать.