"Может случиться так, что у нас просто нет времени на сканирование файла sitemap, потому что мы слишком заняты другими делами. Такое может произойти. В этом случае мы также можем указать, что запрос не удалось загрузить, потому что у нас не было времени на его фактическую загрузку
...
Другой фактор, также связанный с нагрузкой на хост, — это, так сказать, спрос на сканирование. Если наши системы говорят, что нам на самом деле нет необходимости сканировать много сайтов, мы просто пропустим файл sitemap, потому что у нас и так достаточно данных».
Запрос на сканирование очень часто основан на предполагаемом качестве веб-сайта. И это может оказать действительно большое влияние на то, сколько данных мы сканируем и индексируем с веб-сайта. Так что это не чисто технический вопрос. Иногда наши системы предполагают, что общее качество этого веб-сайта не очень хорошее. Поэтому мы не будем тратить много времени на сканирование и индексирование контента. Поэтому мы не будем сейчас заниматься файлом sitemap."