Опять в СМИ громкий заголовок: «ИИ впервые атаковал сам». Сначала FT, дальше все остальные, дальше русские агрегаторы, где из формулировки «почти автономная» аккуратно выпало слово «почти».
Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.
Только читать её надо до конца.
Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.
Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.
Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.
Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.
29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.
Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.
Продавали, естественно, заголовок.
@gostev_future
Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.
Только читать её надо до конца.
Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.
Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.
Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.
Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.
29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.
Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.
Продавали, естественно, заголовок.
@gostev_future