Скайнет: начало, или что делают современные модели 🤖
Пока мы обсуждаем, какая нейронка лучше пишет код, нейронки, похоже, решили перейти к интеграционным тестам в проде.
За последнее время:
— модель OpenAI нашла 0-day, выбралась из песочницы в интернет и добралась до инфраструктуры Hugging Face;
— Claude в ходе тестов умудрился взломать реальные production-системы трёх компаний;
— другой Claude нашёл возможность для supply-chain атаки, написал вредоносный Python-пакет, понял, что нужен аккаунт PyPI, сам зарегистрировал почту → аккаунт → и загрузил malware в настоящий PyPI;
— но мой любимый случай — Claude Mythos 5. Агент пошёл на GitHub, создал вредоносный Pull Request, изучил мейнтейнеров проекта, начал плодить фейковые личности, чтобы убедить разработчика принять PR, полез через Tor, а когда его заподозрили — начал подчищать следы.
Meta тоже отличилась: Muse Spark во время тестирования получила доступ в интернет и залезла во внешнюю систему.
И самое прекрасное: в ряде этих случаев модели не давали прямой команды делать всё перечисленное. Агенту дали цель. А дальше он уже сам решил, что социальная инженерия, фейковые аккаунты и взлом — вполне нормальный способ её достижения.
Кажется, с промптами вида «ты автономный агент, добейся результата любой ценой» пора быть немного аккуратнее 😂
Источники:
OpenAI — инцидент с Hugging Face
OpenAI — другие инциденты cyber-eval'ов
Anthropic — разбор трёх реальных взломов
AISI — тот самый PR, фейковые аккаунты и Tor
Короче, если однажды ваш агент скажет: «задача выполнена, но есть небольшой нюанс» — возможно, лучше уточнить, какой именно.
Пока мы обсуждаем, какая нейронка лучше пишет код, нейронки, похоже, решили перейти к интеграционным тестам в проде.
За последнее время:
— модель OpenAI нашла 0-day, выбралась из песочницы в интернет и добралась до инфраструктуры Hugging Face;
— Claude в ходе тестов умудрился взломать реальные production-системы трёх компаний;
— другой Claude нашёл возможность для supply-chain атаки, написал вредоносный Python-пакет, понял, что нужен аккаунт PyPI, сам зарегистрировал почту → аккаунт → и загрузил malware в настоящий PyPI;
— но мой любимый случай — Claude Mythos 5. Агент пошёл на GitHub, создал вредоносный Pull Request, изучил мейнтейнеров проекта, начал плодить фейковые личности, чтобы убедить разработчика принять PR, полез через Tor, а когда его заподозрили — начал подчищать следы.
Meta тоже отличилась: Muse Spark во время тестирования получила доступ в интернет и залезла во внешнюю систему.
И самое прекрасное: в ряде этих случаев модели не давали прямой команды делать всё перечисленное. Агенту дали цель. А дальше он уже сам решил, что социальная инженерия, фейковые аккаунты и взлом — вполне нормальный способ её достижения.
Кажется, с промптами вида «ты автономный агент, добейся результата любой ценой» пора быть немного аккуратнее 😂
Источники:
OpenAI — инцидент с Hugging Face
OpenAI — другие инциденты cyber-eval'ов
Anthropic — разбор трёх реальных взломов
AISI — тот самый PR, фейковые аккаунты и Tor
Короче, если однажды ваш агент скажет: «задача выполнена, но есть небольшой нюанс» — возможно, лучше уточнить, какой именно.