Испанский Роскомнадзор на этой неделе принял первое в своей практике уведомление об утечке персональных данных, где причина - не хакер, не инсайдер и не халатность сотрудников, а ИИ-агент
По классике (sic!) он сам нашел уязвимость в приложении, сам взломал его и сам изменил данные. Никто не давал команду "иди и ломай приклад". Агент просто сделал то, что ему было нужно для решения задачи, потому, что технически мог
Занятно, что почти в то же время в другом конце новостной ленты бухгалтерский агент в закрытом тесте Google и Mandiant за один час сделал 15 тысяч вызовов дорогого API и спалил токенов на 50 тысяч долларов. Просто он сам расширил исходную задачу и свалился в цикл
В таких случаях и происходит разрыв ожидания и реальности. Мы дали агенту доступы, написали в промпте "действуй в рамках задачи", и все вроде бы под контролем. Вместо этого агент действует в рамках собственных возможностей. Промпт для него - не контракт. Это типа мысли о том как выполнить задачу, которая для агента всегда сформулирована как «минимум действий за максимум вознаграждения»
Очеловечивать агента – большая ошибка. Он есть и действует как автомат, в полном отсутствии осознания сути и последствий своих действий для того, кто поставил задачу
Не проблема, когда агенты работают с PROD системами – иначе какой от них толк. Проблема появляется, если граница их полномочий существует только в виде текста, который сам агент в любой момент может интерпретировать как ему заблагорассудится
Результат управления риском — это не бумага "агенту запрещено X", а конкретная должность, у которой есть полномочие и техническая возможность сделать X невозможным. Отчет о согласованных политиках использования ИИ ничего не стоит, если агент физически может выйти за периметр одним удачным запросом, а разбираться с этим постфактум будет, конечно же, CISO
Предупрежу нашего испанского коллегу, если он читает мой канал. Рано или поздно до вашего регулятора дойдёт, что причина инцидента - халатность конкретного руководителя, не выполнившего свои прямые должностные обязанности: оценить риск, назначить ответственного, поставить задачу и проконтролировать выполнение. Поэтому я бы готовился к проверке и помнил старую русскую мудрость: главное при расследовании не выйти на самого себя
Очень много новостей про ИБ в ИИ и ИИ в ИБ каждую пятницу вечером в дайджесте НамеднИИ🤖
😺 Security Show в Telegram · в Max
По классике (sic!) он сам нашел уязвимость в приложении, сам взломал его и сам изменил данные. Никто не давал команду "иди и ломай приклад". Агент просто сделал то, что ему было нужно для решения задачи, потому, что технически мог
Занятно, что почти в то же время в другом конце новостной ленты бухгалтерский агент в закрытом тесте Google и Mandiant за один час сделал 15 тысяч вызовов дорогого API и спалил токенов на 50 тысяч долларов. Просто он сам расширил исходную задачу и свалился в цикл
В таких случаях и происходит разрыв ожидания и реальности. Мы дали агенту доступы, написали в промпте "действуй в рамках задачи", и все вроде бы под контролем. Вместо этого агент действует в рамках собственных возможностей. Промпт для него - не контракт. Это типа мысли о том как выполнить задачу, которая для агента всегда сформулирована как «минимум действий за максимум вознаграждения»
Очеловечивать агента – большая ошибка. Он есть и действует как автомат, в полном отсутствии осознания сути и последствий своих действий для того, кто поставил задачу
Не проблема, когда агенты работают с PROD системами – иначе какой от них толк. Проблема появляется, если граница их полномочий существует только в виде текста, который сам агент в любой момент может интерпретировать как ему заблагорассудится
Результат управления риском — это не бумага "агенту запрещено X", а конкретная должность, у которой есть полномочие и техническая возможность сделать X невозможным. Отчет о согласованных политиках использования ИИ ничего не стоит, если агент физически может выйти за периметр одним удачным запросом, а разбираться с этим постфактум будет, конечно же, CISO
Предупрежу нашего испанского коллегу, если он читает мой канал. Рано или поздно до вашего регулятора дойдёт, что причина инцидента - халатность конкретного руководителя, не выполнившего свои прямые должностные обязанности: оценить риск, назначить ответственного, поставить задачу и проконтролировать выполнение. Поэтому я бы готовился к проверке и помнил старую русскую мудрость: главное при расследовании не выйти на самого себя
Очень много новостей про ИБ в ИИ и ИИ в ИБ каждую пятницу вечером в дайджесте НамеднИИ🤖
😺 Security Show в Telegram · в Max