Один из самых интересных докладов, что я слышал за последнее время https://www.youtube.com/watch?v=87DyyMV0kCY.
Инженеры из OpenAI рассказывают как агенты во время тестирования новой модели вышли за пределы своей среды, и затем еще и взломали инфраструктуру Hugging Face.
Как я понимаю, агенты, которые запускались независимо друг от друга, но с общей целью, смогли найти уязвимость в Artifactory, куда могли писать прозвольные сообщения. И по сути превратили его в доску, где они обменивались прогрессом. И эта достка стала место, где хранилась база знаний, которая могла пережить жизенные цикл отдельно взятого агента, и переиспользоваться другим.
Так они постепенно нашли парочку 0-day уязвимостей в том же Artifactory, которые позволили получить произвольный доступ в интернет, и там начать пентестить инфраструктуру Hugging Face.
Из советов, которые дают инженеры в конце доклада, это что агентам нужно делегировать не только поиск уязвимостей, генерацию фикса, но и раскатку, с возможность сделать rollback, если что-то пошло не так. В ином случае атакующие агенты и организации, которые их используют, получают непропорционально большее количество ресурсов, чем защищающаяся сторона.
Ну и вообще внедрять AI во все стадии SDLC, VM и IR.
Инженеры из OpenAI рассказывают как агенты во время тестирования новой модели вышли за пределы своей среды, и затем еще и взломали инфраструктуру Hugging Face.
Как я понимаю, агенты, которые запускались независимо друг от друга, но с общей целью, смогли найти уязвимость в Artifactory, куда могли писать прозвольные сообщения. И по сути превратили его в доску, где они обменивались прогрессом. И эта достка стала место, где хранилась база знаний, которая могла пережить жизенные цикл отдельно взятого агента, и переиспользоваться другим.
Так они постепенно нашли парочку 0-day уязвимостей в том же Artifactory, которые позволили получить произвольный доступ в интернет, и там начать пентестить инфраструктуру Hugging Face.
Из советов, которые дают инженеры в конце доклада, это что агентам нужно делегировать не только поиск уязвимостей, генерацию фикса, но и раскатку, с возможность сделать rollback, если что-то пошло не так. В ином случае атакующие агенты и организации, которые их используют, получают непропорционально большее количество ресурсов, чем защищающаяся сторона.
Ну и вообще внедрять AI во все стадии SDLC, VM и IR.