AI-скрейперы потребляют 20% серверных ресурсов git.kernel.org.
Мейнтейнер инфраструктуры ядра Константин Рябцев опубликовал подробный пост.
Согласно ему, краулеры для обучения ИИ теперь генерируют ~98% запросов к git.kernel.org, тогда как на легитимные git clone приходится всего 2%.
Блокировки по IP и ASN перестали помогать после того, как скрейперы перешли на ротируемые сети residential-прокси.
Система proof-of-work Anubis поначалу помогала, но теперь боты массово решают челленджи сложности 5.
Как бороться с армией AI-ботов?
@linuxos_tg
Мейнтейнер инфраструктуры ядра Константин Рябцев опубликовал подробный пост.
Согласно ему, краулеры для обучения ИИ теперь генерируют ~98% запросов к git.kernel.org, тогда как на легитимные git clone приходится всего 2%.
Блокировки по IP и ASN перестали помогать после того, как скрейперы перешли на ротируемые сети residential-прокси.
Система proof-of-work Anubis поначалу помогала, но теперь боты массово решают челленджи сложности 5.
Как бороться с армией AI-ботов?
@linuxos_tg