Когда ИИ становится троянским конем: 43% «галлюцинированных» имен пакетов регулярно повторяются в сгенерированном коде

→ Хабр

Статья описывает новую угрозу безопасности: атаки "slopsquatting", когда злоумышленники создают вредоносные пакеты под названиями, которые LLM-системы галлюцинируют во время генерации кода.

⭕️ Суть проблемы:
LLM-помощники для разработки часто предлагают код с несуществующими пакетами
5,2% предложений пакетов от коммерческих LLM и 21,7% от открытых моделей не существуют в реальности
Злоумышленники создают вредоносные пакеты с этими галлюцинированными именами и размещают их в публичных реестрах

🔸 Механизм атаки:
43% галлюцинированных названий пакетов повторяются стабильно при повторных запросах к LLM
Разработчики копируют код с несуществующими зависимостями напрямую из LLM-систем
При попытке установки пользователь загружает вредоносный пакет вместо предполагаемого

◾️ Усугубляющие факторы:
Google AI Overview и другие ИИ-помощники иногда "подтверждают" легитимность вредоносных пакетов
Злоумышленники создают убедительную маскировку: реалистичные README, поддельные репозитории GitHub и сгенерированные блоги
Некоторые атакующие автоматизируют создание тысяч поддельных пакетов с помощью ChatGPT

⭕️ Защитные меры:
Python Software Foundation внедряет программные API для сообщения о вредоносном ПО
Рекомендуется проверять существование пакетов перед установкой
Организациям советуют зеркалировать подмножество репозиториев внутри своих систем