Эволюция компьютерных червей с ИИ
Группа ученых доказала: автономный компьютерный червь на базе открытой LLM работает. Без участия человека, без обращений к внешним API и без заранее скомпилированных эксплоитов.
📝 TLDR: arxiviq.substack.com/p/ai-agents-enable-adaptive-computer
ИИ-агенты дали червям "эволюционное преимущество" и перед стандартными червями, и перед человеческими хакерскими группами (наверное): червь теперь может автономно подстраиваться под конкретного юзера, у которого на компе уже стоит и инференсится открытая LLM.
Смысл таких червей в том, чтобы делать паразитический инференс на компе владельца в интересах злоумышленника. Червь гоняет модель на GPU взломанного юзера. Вуаля - почти как майнинг биткоинов.
В рецензии к работе, правда, написано, что эксперимент был не вполне натуралистичным, например, тестовая сеть не имела антивируса (ну и т.п.). Однако тренд вполне понятен...
Что это значит для юристов и регуляторов
1. «Паразитический инференс» как новый состав?
Украденные GPU-часы — это вычислительный ресурс с какой-то денежной оценкой (не только электричество и износ железа, но и результаты вычислений). Интересно, как считать ущерб в этом случае. Если с майнингом еще куда ни шло, то здесь большой вопросик. Надо придумывать новые ИИ-составы. При этом даже если состав будет формальным, то возмещение вреда-то по гражданскому иску никуда не денется, а как считать его, не понятно (я не эксперт в таких вопросах, и с удовольствием бы послушала экспертов).
2. Открытые веса и невозможность контроля. Кто отвечает за результаты вредоносной генерации ИИ-моделью с открытыми весами?
Если модель закрытая, у разработчика сохраняется контроль над ее "зловредностью": отозвать токен, изменить системный промпт, ужесточить фильтры. А в модели, чьи веса распространяются открыто, никакого контроля нет - модель уходит "в народ" и поминай как звали. У разработчика нет юридически или технически значимого способа их вернуть или как-то пофиксить. Это меняет саму природу регуляторного вопроса.
EU AI Act обязывает разработчиков проводить модельную оценку рисков до выкладки на рынок (GPAI Code of Practice, 2025). Но если вред всплывает через полгода после релиза? Можно ли вменить создателю модели недостаточную предрелизную оценку рисков злоупотребления, если сам вред причинён третьим лицом? Здесь как будто параллель с американской теорией о "небрежном выпуске опасного продукта" (failure to warn, продуктовая ответственность), но поможет ли ИИ-контекст применить её к программному обеспечению?
Если LLM генерирует работающий эксплойт, кто несёт ответственность за его создание — лицо, которое скачало веса? Разработчик модели? Тот, кто опубликовал тонкую настройку, снимающую safety-обвязку? Юридически ответ зависит от того, как мы трактуем: как «инструмент» (и тогда ответственность на пользователе, как с ножом или генератором кода), или как «продукт» (и тогда возможно вменение создателю по модели строгой ответственности). Производители инструментов обычно ответственности не несут, но особо опасные инструменты (не ножи...) хотя бы снабжают системой защиты (поможет ли, уже другой вопрос).
Есть много сильных аргументов против наказания разработчиков. Так, вес модели - это просто большая матрица чисел (сотни гигабайт). После того как файл один раз попал в публичный доступ, его изъятие из обращения невозможно физически — он тиражируется через торренты, зеркала, USB-флешки. Запрет open-weight моделей столкнётся с той же проблемой, что и запрет сильной криптографии в 1990-х: государство не контролирует копирование файлов на своей территории, не говоря уже о зарубежной. Любой запрет ударит только по добросовестным разработчикам и хостингам, а недобросовестные акторы получат модель через средства обхода блокировок. Даже если удастся запретить публикацию «опасных» моделей 30B+, злоумышленнику достаточно взять безобидную базовую модель и сделать локальную тонкую настройку, снимающую safety-обвязки. Запрет базовых моделей ничего не решает, пока адаптеры (типа LoRA) и методы их создания остаются в открытом доступе. Ну и наконец, open-weight экосистема — это важный драйвер национальных ИИ-проектов. В контексте санкционного давления открытые веса, скажем так, это реально доступный канал получения передовых моделей...
Практический вывод: разработчики больших фундаментальных моделей уровня 30B+ оказываются в зоне строгой или квазистрогой ответственности просто в силу того, что не контролируют распространение. Получится ли закрыть эту "дырку" ограничениями ответственности при распространении ИИ-модели в офертах (что уже все и делают) - вопросик. Ст. 1095 ГК как будто совсем не предназначена для подобных случаев (возможность использования ИИ во вред - не его недостаток. По крайней мере, это нужно доказывать очень сильными аргументами, о которых мне пока что не известно).
3. Стандарт осмотрительности для компаний
Если ИИ-червь собирает рабочий эксплойт за минуты, а не дни, понятие «разумного срока установки обновлений» теряет смысл как правовой стандарт. В кибербезе есть куча сроков, построенных на "днях", но теперь на дни нет времени. Стандарт осмотрительности по идее сдвигается в сторону "AI-assisted automated patching", и доказывать его наличие в суде или при аудите скоро станет элементом комплаенса. Организации, которые этого не сделали, будут получать аргумент о небрежности (в деликтных терминах) или нарушении duty of care (в common law).
Итого
ИИ не столько создаёт новую угрозу, сколько обнажает устаревание правовых конструкций, сложившихся в эпоху, когда вредоносное ПО писал человек, а «кража вычислений» означала майнинг криптовалюты. Обновление этих конструкций — процесс не быстрый, и те, кто начнёт раньше, зададут стандарт.
А как вы оцениваете перспективу запрета или ограничения open-weight моделей уровня 30B+? Я лично крайне против таких запретов. Лучше уж установить квалификационные требования к юзерам моделей (что опять-таки наверное не сильно поможет - как пиратили, так и будут пиратить...)
Группа ученых доказала: автономный компьютерный червь на базе открытой LLM работает. Без участия человека, без обращений к внешним API и без заранее скомпилированных эксплоитов.
📝 TLDR: arxiviq.substack.com/p/ai-agents-enable-adaptive-computer
ИИ-агенты дали червям "эволюционное преимущество" и перед стандартными червями, и перед человеческими хакерскими группами (наверное): червь теперь может автономно подстраиваться под конкретного юзера, у которого на компе уже стоит и инференсится открытая LLM.
Смысл таких червей в том, чтобы делать паразитический инференс на компе владельца в интересах злоумышленника. Червь гоняет модель на GPU взломанного юзера. Вуаля - почти как майнинг биткоинов.
В рецензии к работе, правда, написано, что эксперимент был не вполне натуралистичным, например, тестовая сеть не имела антивируса (ну и т.п.). Однако тренд вполне понятен...
Что это значит для юристов и регуляторов
1. «Паразитический инференс» как новый состав?
Украденные GPU-часы — это вычислительный ресурс с какой-то денежной оценкой (не только электричество и износ железа, но и результаты вычислений). Интересно, как считать ущерб в этом случае. Если с майнингом еще куда ни шло, то здесь большой вопросик. Надо придумывать новые ИИ-составы. При этом даже если состав будет формальным, то возмещение вреда-то по гражданскому иску никуда не денется, а как считать его, не понятно (я не эксперт в таких вопросах, и с удовольствием бы послушала экспертов).
2. Открытые веса и невозможность контроля. Кто отвечает за результаты вредоносной генерации ИИ-моделью с открытыми весами?
Если модель закрытая, у разработчика сохраняется контроль над ее "зловредностью": отозвать токен, изменить системный промпт, ужесточить фильтры. А в модели, чьи веса распространяются открыто, никакого контроля нет - модель уходит "в народ" и поминай как звали. У разработчика нет юридически или технически значимого способа их вернуть или как-то пофиксить. Это меняет саму природу регуляторного вопроса.
EU AI Act обязывает разработчиков проводить модельную оценку рисков до выкладки на рынок (GPAI Code of Practice, 2025). Но если вред всплывает через полгода после релиза? Можно ли вменить создателю модели недостаточную предрелизную оценку рисков злоупотребления, если сам вред причинён третьим лицом? Здесь как будто параллель с американской теорией о "небрежном выпуске опасного продукта" (failure to warn, продуктовая ответственность), но поможет ли ИИ-контекст применить её к программному обеспечению?
Если LLM генерирует работающий эксплойт, кто несёт ответственность за его создание — лицо, которое скачало веса? Разработчик модели? Тот, кто опубликовал тонкую настройку, снимающую safety-обвязку? Юридически ответ зависит от того, как мы трактуем: как «инструмент» (и тогда ответственность на пользователе, как с ножом или генератором кода), или как «продукт» (и тогда возможно вменение создателю по модели строгой ответственности). Производители инструментов обычно ответственности не несут, но особо опасные инструменты (не ножи...) хотя бы снабжают системой защиты (поможет ли, уже другой вопрос).
Есть много сильных аргументов против наказания разработчиков. Так, вес модели - это просто большая матрица чисел (сотни гигабайт). После того как файл один раз попал в публичный доступ, его изъятие из обращения невозможно физически — он тиражируется через торренты, зеркала, USB-флешки. Запрет open-weight моделей столкнётся с той же проблемой, что и запрет сильной криптографии в 1990-х: государство не контролирует копирование файлов на своей территории, не говоря уже о зарубежной. Любой запрет ударит только по добросовестным разработчикам и хостингам, а недобросовестные акторы получат модель через средства обхода блокировок. Даже если удастся запретить публикацию «опасных» моделей 30B+, злоумышленнику достаточно взять безобидную базовую модель и сделать локальную тонкую настройку, снимающую safety-обвязки. Запрет базовых моделей ничего не решает, пока адаптеры (типа LoRA) и методы их создания остаются в открытом доступе. Ну и наконец, open-weight экосистема — это важный драйвер национальных ИИ-проектов. В контексте санкционного давления открытые веса, скажем так, это реально доступный канал получения передовых моделей...
Практический вывод: разработчики больших фундаментальных моделей уровня 30B+ оказываются в зоне строгой или квазистрогой ответственности просто в силу того, что не контролируют распространение. Получится ли закрыть эту "дырку" ограничениями ответственности при распространении ИИ-модели в офертах (что уже все и делают) - вопросик. Ст. 1095 ГК как будто совсем не предназначена для подобных случаев (возможность использования ИИ во вред - не его недостаток. По крайней мере, это нужно доказывать очень сильными аргументами, о которых мне пока что не известно).
3. Стандарт осмотрительности для компаний
Если ИИ-червь собирает рабочий эксплойт за минуты, а не дни, понятие «разумного срока установки обновлений» теряет смысл как правовой стандарт. В кибербезе есть куча сроков, построенных на "днях", но теперь на дни нет времени. Стандарт осмотрительности по идее сдвигается в сторону "AI-assisted automated patching", и доказывать его наличие в суде или при аудите скоро станет элементом комплаенса. Организации, которые этого не сделали, будут получать аргумент о небрежности (в деликтных терминах) или нарушении duty of care (в common law).
Итого
ИИ не столько создаёт новую угрозу, сколько обнажает устаревание правовых конструкций, сложившихся в эпоху, когда вредоносное ПО писал человек, а «кража вычислений» означала майнинг криптовалюты. Обновление этих конструкций — процесс не быстрый, и те, кто начнёт раньше, зададут стандарт.
А как вы оцениваете перспективу запрета или ограничения open-weight моделей уровня 30B+? Я лично крайне против таких запретов. Лучше уж установить квалификационные требования к юзерам моделей (что опять-таки наверное не сильно поможет - как пиратили, так и будут пиратить...)