Как определяется краулинговый бюджет?
Еще из интересного с Search Central Live Deep Dive Europe на основе обзора Джона Кэмпбелла.
Черри Проммавин (аналитик качества поиска):
Краулинговый бюджет (crawl budget) Гугла состоит из двух частей: лимита скорости обхода (crawl rate limit) и потребности в сканировании (crawl demand).

Лимит скорости обхода (или нагрузка на хост) является общим для всех сканеров Гугла, сканирующих ваш хост. Таким образом, сканирование рекламы и изображений использует тот же лимит, что и сканирование для поиска.
Этот лимит обусловлен следующими факторами:
- время соединения
- время до первого байта
- коды состояния 429 или 5xx
Если какой-либо из этих показателей увеличится, Гугл замедлит сканирование.

Потребность в сканировании определяется следующими факторами:
- качество сайта
- как часто меняется содержимое урлов
- насколько они популярны в интернете
Когда Гугл не знает про качество или популярность урла, он использует данные родительского пути. Затем уровень выше и так далее.