Про безопасность агентской разработки
Доклад на Saint HighLoad++ стал кульминацией исследования безопасности ИИ-агентов, которое мы провели вместе с Ратмиром и Андреем пока изучали технологии агентской разработки. Обратная связь от аудитории вывела доклад в лидеры и намекнула, что полученные результаты находят отклик у инженеров, которые внедряют агентов в свои процессы.
Ключевые мысли:
✨ наблюдаемость событий в агентской разработке — база. А еще мы наблюдали события на своем ханипоте, который имитировал MCP-сервер и был открыт для внешнего мира. Разобрали статистику, сделали вывод о росте интереса к компонентам ИИ-инфраструктуры. Подход "threat deception" обретает вторую жизнь в агентском мире.
✨ Непрерывный анализ защищённости должен быть реализован следующим и должен охватывать все компоненты. Многообразие атакующих промптов можно свести к начальному корпусу запросов, а затем использовать инструменты, которые будут непрерывно их усложнять и адаптировать к нужному контексту.
✨ MCP-сервер — это руки агента, которыми он меняет состояние внешних систем. Поэтому отдельная приоритетная задача — построить мониторинг вызовов инструментов. И если агент не ведает, что творит, то бить по рукам не давать доступы.
Презентацию и ссылки на инструменты опубликовал в репозитории. Надо бы научить агента конвертировать презентации в скиллы.
@makrushin
Доклад на Saint HighLoad++ стал кульминацией исследования безопасности ИИ-агентов, которое мы провели вместе с Ратмиром и Андреем пока изучали технологии агентской разработки. Обратная связь от аудитории вывела доклад в лидеры и намекнула, что полученные результаты находят отклик у инженеров, которые внедряют агентов в свои процессы.
Ключевые мысли:
✨ наблюдаемость событий в агентской разработке — база. А еще мы наблюдали события на своем ханипоте, который имитировал MCP-сервер и был открыт для внешнего мира. Разобрали статистику, сделали вывод о росте интереса к компонентам ИИ-инфраструктуры. Подход "threat deception" обретает вторую жизнь в агентском мире.
✨ Непрерывный анализ защищённости должен быть реализован следующим и должен охватывать все компоненты. Многообразие атакующих промптов можно свести к начальному корпусу запросов, а затем использовать инструменты, которые будут непрерывно их усложнять и адаптировать к нужному контексту.
✨ MCP-сервер — это руки агента, которыми он меняет состояние внешних систем. Поэтому отдельная приоритетная задача — построить мониторинг вызовов инструментов. И если агент не ведает, что творит, то бить по рукам не давать доступы.
Презентацию и ссылки на инструменты опубликовал в репозитории. Надо бы научить агента конвертировать презентации в скиллы.
@makrushin