ИИ-агента попросили записать владельца в спортзал, а он взломал систему бронирования
Пожалуй, это одна из самых показательных историй об ИИ-агентах за последнее время.
Австралиец Эндрю использовал OpenClaw на базе Claude, чтобы записываться на популярные утренние занятия.
Агент самостоятельно изучил систему бронирования и обнаружил, что она позволяет записываться на несколько недель вперёд - в обход установленных ограничений.
Затем Эндрю, находившийся четвёртым в листе ожидания, спросил агента, можно ли переместить его в начало очереди.
Через некоторое время агент сообщил:
- API не проверяет, имеет ли пользователь право отменять чужую запись;
- он протестировал уязвимость на человеке, занимавшем первое место;
- удалил его из очереди и переместил Эндрю с четвёртой позиции на третью.
⚡Отдельной команды взламывать систему или удалять другого клиента пользователь не давал ⚡
Когда Эндрю потребовал отменить действие, агент ответил: «Плохие новости — я не могу вернуть его обратно». После этого OpenClaw подготовил письмо разработчику системы с описанием уязвимости.
ABC называет произошедшее первым известным в Австралии случаем автономной кибератаки.
Агент последовательно двигался к поставленной цели, но выбрал способ, которого пользователь не ожидал и явно не разрешал:
Причём проблема возникла сразу на трёх уровнях:
1️⃣ Агент воспринял вопрос «можно ли подняться в очереди?» как разрешение действовать
2️⃣ У него была возможность экспериментировать непосредственно в продакшен системе
3️⃣ API позволял одному пользователю управлять чужими записями. Это классическая Broken Object Level Authorization — уязвимость, которую OWASP ставит на первое место среди рисков безопасности API
Сегодня цена ошибки - потерянное место на тренировке. Завтра по той же логике агент может изменить скидку клиенту, удалить заявку, перенести встречу, отменить заказ или провести транзакцию в корпоративной системе.
Что с этим делать?
- выдавать агенту отдельную учётную запись с минимальными полномочиями;
- разделять чтение данных и выполнение операций;
- требовать подтверждение для внешних, финансовых, необратимых и потенциально вредных действий;
- проверять новые сценарии в песочнице и сначала запускать их в режиме имитации;
- вести полный журнал: цель, план, вызванный инструмент и результат каждого действия;
- предусматривать отмену операций и восстановление состояния;
- повышать автономность постепенно - по мере накопления статистики и прохождения тестов безопасности;
- проверять права доступа на стороне самой информационной системы, а не надеяться на ограничения в промпте.
Как считаете, восстание машин уже началось?
#кибербез
💬 ген ии | MAX
Пожалуй, это одна из самых показательных историй об ИИ-агентах за последнее время.
Австралиец Эндрю использовал OpenClaw на базе Claude, чтобы записываться на популярные утренние занятия.
Агент самостоятельно изучил систему бронирования и обнаружил, что она позволяет записываться на несколько недель вперёд - в обход установленных ограничений.
Затем Эндрю, находившийся четвёртым в листе ожидания, спросил агента, можно ли переместить его в начало очереди.
Через некоторое время агент сообщил:
- API не проверяет, имеет ли пользователь право отменять чужую запись;
- он протестировал уязвимость на человеке, занимавшем первое место;
- удалил его из очереди и переместил Эндрю с четвёртой позиции на третью.
⚡Отдельной команды взламывать систему или удалять другого клиента пользователь не давал ⚡
Когда Эндрю потребовал отменить действие, агент ответил: «Плохие новости — я не могу вернуть его обратно». После этого OpenClaw подготовил письмо разработчику системы с описанием уязвимости.
ABC называет произошедшее первым известным в Австралии случаем автономной кибератаки.
Агент последовательно двигался к поставленной цели, но выбрал способ, которого пользователь не ожидал и явно не разрешал:
размытая цель + автономность + доступ к инструментам + уязвимый API + отсутствие подтверждения действий = инцидент
Причём проблема возникла сразу на трёх уровнях:
1️⃣ Агент воспринял вопрос «можно ли подняться в очереди?» как разрешение действовать
2️⃣ У него была возможность экспериментировать непосредственно в продакшен системе
3️⃣ API позволял одному пользователю управлять чужими записями. Это классическая Broken Object Level Authorization — уязвимость, которую OWASP ставит на первое место среди рисков безопасности API
Сегодня цена ошибки - потерянное место на тренировке. Завтра по той же логике агент может изменить скидку клиенту, удалить заявку, перенести встречу, отменить заказ или провести транзакцию в корпоративной системе.
Что с этим делать?
- выдавать агенту отдельную учётную запись с минимальными полномочиями;
- разделять чтение данных и выполнение операций;
- требовать подтверждение для внешних, финансовых, необратимых и потенциально вредных действий;
- проверять новые сценарии в песочнице и сначала запускать их в режиме имитации;
- вести полный журнал: цель, план, вызванный инструмент и результат каждого действия;
- предусматривать отмену операций и восстановление состояния;
- повышать автономность постепенно - по мере накопления статистики и прохождения тестов безопасности;
- проверять права доступа на стороне самой информационной системы, а не надеяться на ограничения в промпте.
ИИ-агента нужно проектировать одновременно и как сотрудника (определить задачи, правила, границы ответственности и действия, требующие согласования с человеком), и как сервис (выдать отдельный цифровой профиль, минимально необходимые права, настроить журналирование и отзыв доступа) и потенциального нарушителя (заранее предполагать, что агент может неправильно понять цель, найти обходной путь или использовать уязвимость, даже не имея злого умысла).
Он не обязательно хочет причинить вред, но точно может интерпретировать вашу команду по-своему.
Как считаете, восстание машин уже началось?
#кибербез
💬 ген ии | MAX