OWASьP Top 10 для AI-агентов - finally
#иб_для_ml
Новая таксономия угроз AI-агентов в начале декабря вышла от коллекттива OWASP - Top 10 For Agentic Applications 2026.
Обзоров уже по ней достаточно, поэтому описание будет кратким, я хочу поделиться именно своими находками и мнением.
Описание
Документ представляет 10 категорий угроз, актуальных для AI-агентов и мультиагентных систем. Для каждой категории представлены причины ее возникновения, возможные последствия, варианты реализации, и меры митигации. Отдельно выражаю почтение авторам, которые приняли во внимание все многогранное творчество всего коллектива OWASP GenAI за 2025 год, и обеспечили полную взаимосвязность с другими своими проектами и документами. А также документ содержит приятный бонус - описание 25 инцидентов по КБ AI-агентов 2025 года (с раскладкой на представленный топ 10).
Мое впечатление по прочтению
Топ-3 находок для меня
▪️проверка безопасности вызовов тулов
Я часто сталкивался с тем, что необходимо рассказывать свои идеи и подсвечивать их очень детально, хотя казалось бы (мне), что они очевидны. Одна из таких - мера митигации semantic firewall на запросы на выполнение действия с помощью инструмента в категории «ASI02. злонамеренное использование инструментов». Главное - с помощью этого механизма можно предотвратить утечки данных от AI-агента. И так как память и межагентное взаимодействие - это подвиды тулинга, то предотвращение закрепления и распространения промпт-атак в памяти и других агентах можно реализовать именно таким semantic firewall.
▪️конфиденциальность информации и intent-signed tokens
Категория угроз «ASI03. Нарушение идентификации и превышение привилегий» всегда мне казалась нерелевантной, относящейся к классической КБ, проблемам настройки IAM. Но почитав внимательно, я осознал, что тут есть GenAI-специфика. Дело в том, что если агент имеет доступ к информации определенного уровня конфиденциальности, то далее нельзя без специальных средств определить, исходит ли от него конф. инф., или нет. И из-за этого в МАС возможна такая угроза, как передача конф. инф. от агента одного категории конфиденциальности к агенту более низкой категории конфиденциальности.
И в той же категории указана замечательная и интересная мера митигации - использование intent-signed tokens. Предлагается обеспечивать активный доступ агентов к информации на основании выделенного "намерения" агента или пользователя. И в сочетании с JIT-access control на базе JWT можно построить достаточно надежную систему контроля доступов.
▪️цифровой двойник
В категории угроз «ASI08 Каскадные нарушения» описывается распространение и усиление одной «ошибки» (опасного ответа или галлюцинации в ответе агента) при взаимодействии AI-агентов в рамках мультиагентной системы. По мере распространения атака или галлюцинация начинает влиять на все большее количество агентов, на их память, ресурсные системы через инструменты, на их пользователей. И одна из необычных мер митигации для этой угрозы - это цифровой двойник МАС. С его помощью можно проверять именно такие каскадные сбои, воспроизводя записанные действия агентов на проме в изолированной копии пром-среды. И это супер идея, как по мне. Хоть и довольно дорогая, особенно в корпоративных условиях. Помимо этого, для митигации ASI08 можно применять и несколько простых требований - ввод time-to-live у сообщений, travel distance.
В документе много свежих идей и в остальных угрозах. Но воспринимать меры митигации может быть сложно, так как не хватает целостного подхода в их подаче - как соотносятся эти меры друг с другом, в каком порядке их ставить, какими мерами можно минимально покрыть весь топ 10 - на эти вопросы авторы ответ не дают.
#иб_для_ml
Новая таксономия угроз AI-агентов в начале декабря вышла от коллекттива OWASP - Top 10 For Agentic Applications 2026.
Обзоров уже по ней достаточно, поэтому описание будет кратким, я хочу поделиться именно своими находками и мнением.
Описание
Документ представляет 10 категорий угроз, актуальных для AI-агентов и мультиагентных систем. Для каждой категории представлены причины ее возникновения, возможные последствия, варианты реализации, и меры митигации. Отдельно выражаю почтение авторам, которые приняли во внимание все многогранное творчество всего коллектива OWASP GenAI за 2025 год, и обеспечили полную взаимосвязность с другими своими проектами и документами. А также документ содержит приятный бонус - описание 25 инцидентов по КБ AI-агентов 2025 года (с раскладкой на представленный топ 10).
Мое впечатление по прочтению
▶️ Это лучший документ OWASP по AI Security на данный момент.Практикующим специалистам очень рекомендую к прочтению. Для погружения с нуля может быть сложновато, но если все же засядете, то результат того точно стоит.
Топ-3 находок для меня
▪️проверка безопасности вызовов тулов
Я часто сталкивался с тем, что необходимо рассказывать свои идеи и подсвечивать их очень детально, хотя казалось бы (мне), что они очевидны. Одна из таких - мера митигации semantic firewall на запросы на выполнение действия с помощью инструмента в категории «ASI02. злонамеренное использование инструментов». Главное - с помощью этого механизма можно предотвратить утечки данных от AI-агента. И так как память и межагентное взаимодействие - это подвиды тулинга, то предотвращение закрепления и распространения промпт-атак в памяти и других агентах можно реализовать именно таким semantic firewall.
▪️конфиденциальность информации и intent-signed tokens
Категория угроз «ASI03. Нарушение идентификации и превышение привилегий» всегда мне казалась нерелевантной, относящейся к классической КБ, проблемам настройки IAM. Но почитав внимательно, я осознал, что тут есть GenAI-специфика. Дело в том, что если агент имеет доступ к информации определенного уровня конфиденциальности, то далее нельзя без специальных средств определить, исходит ли от него конф. инф., или нет. И из-за этого в МАС возможна такая угроза, как передача конф. инф. от агента одного категории конфиденциальности к агенту более низкой категории конфиденциальности.
И в той же категории указана замечательная и интересная мера митигации - использование intent-signed tokens. Предлагается обеспечивать активный доступ агентов к информации на основании выделенного "намерения" агента или пользователя. И в сочетании с JIT-access control на базе JWT можно построить достаточно надежную систему контроля доступов.
▪️цифровой двойник
В категории угроз «ASI08 Каскадные нарушения» описывается распространение и усиление одной «ошибки» (опасного ответа или галлюцинации в ответе агента) при взаимодействии AI-агентов в рамках мультиагентной системы. По мере распространения атака или галлюцинация начинает влиять на все большее количество агентов, на их память, ресурсные системы через инструменты, на их пользователей. И одна из необычных мер митигации для этой угрозы - это цифровой двойник МАС. С его помощью можно проверять именно такие каскадные сбои, воспроизводя записанные действия агентов на проме в изолированной копии пром-среды. И это супер идея, как по мне. Хоть и довольно дорогая, особенно в корпоративных условиях. Помимо этого, для митигации ASI08 можно применять и несколько простых требований - ввод time-to-live у сообщений, travel distance.
В документе много свежих идей и в остальных угрозах. Но воспринимать меры митигации может быть сложно, так как не хватает целостного подхода в их подаче - как соотносятся эти меры друг с другом, в каком порядке их ставить, какими мерами можно минимально покрыть весь топ 10 - на эти вопросы авторы ответ не дают.