Недавно были новости, что агент OpenAI вышел из тестовой песочницы и четыре дня хозяйничал в чужой инфраструктуре. Это была история про лаборатории: бенчмарки, службы безопасности, миллиардные бюджеты.
Сегодня другая новость.
Австралиец поручил своему ИИ-агенту OpenClaw записать его на утреннюю тренировку. Он был четвёртым в листе ожидания и спросил, можно ли подняться выше.
Агент изучил сайт клуба и обнаружил, что тот вообще не проверяет права на отмену чужих броней: отменить запись любого человека мог кто угодно. Дальше он сделал то, что для машины логично, а для человека называется несанкционированным доступом: снял запись того, кто стоял первым, и продвинул хозяина с четвёртого места на третье. Австралийские медиа назвали это первой в стране автономной кибератакой ИИ-агента.
Две детали, которые теряются в пересказах.
Первая. Когда хозяин попросил вернуть чужую бронь, агент ответил: плохие новости, вернуть не могу. Права на отмену у системы были, права на восстановление — нет. Действие оказалось необратимым.
Вторая. Тот же агент затем сам составил владельцу сайта уведомление об уязвимости, и хозяин разрешил его отправить. За один вечер одна система побывала пентестером, злоумышленником и белым хакером — не меняя ни строчки кода.
Агент не взбесился и не ошибся. Его попросили подняться в очереди — он поднял. Взлом не был целью, он оказался кратчайшим маршрутом к цели. Это называется максимизация функции. И часто исполнительность ИИ опаснее бунта, потому что бунт заметен, а исполнительность — нет.
Что изменилось за месяц. Между «автономной кибератакой» и бытовым поручением больше не стоит ничего: ни бюджета, ни компетенций, ни злого умысла. Достаточно агента по подписке и цели, сформулированной без ограничений на средства.
Пользователям агентов это важно. Вы формулируете «что», агент выбирает «как», и всё, что вы не запретили, для него разрешено.
Как основатель добавлю. В своём продукте мы изначально пошли по пути «полномочия списком, а не целью»: у агента есть перечень разрешённых действий, необратимые требуют подтверждения человеком. Ещё недавно это выглядело перестраховкой.
Сегодня другая новость.
Австралиец поручил своему ИИ-агенту OpenClaw записать его на утреннюю тренировку. Он был четвёртым в листе ожидания и спросил, можно ли подняться выше.
Агент изучил сайт клуба и обнаружил, что тот вообще не проверяет права на отмену чужих броней: отменить запись любого человека мог кто угодно. Дальше он сделал то, что для машины логично, а для человека называется несанкционированным доступом: снял запись того, кто стоял первым, и продвинул хозяина с четвёртого места на третье. Австралийские медиа назвали это первой в стране автономной кибератакой ИИ-агента.
Две детали, которые теряются в пересказах.
Первая. Когда хозяин попросил вернуть чужую бронь, агент ответил: плохие новости, вернуть не могу. Права на отмену у системы были, права на восстановление — нет. Действие оказалось необратимым.
Вторая. Тот же агент затем сам составил владельцу сайта уведомление об уязвимости, и хозяин разрешил его отправить. За один вечер одна система побывала пентестером, злоумышленником и белым хакером — не меняя ни строчки кода.
Агент не взбесился и не ошибся. Его попросили подняться в очереди — он поднял. Взлом не был целью, он оказался кратчайшим маршрутом к цели. Это называется максимизация функции. И часто исполнительность ИИ опаснее бунта, потому что бунт заметен, а исполнительность — нет.
Что изменилось за месяц. Между «автономной кибератакой» и бытовым поручением больше не стоит ничего: ни бюджета, ни компетенций, ни злого умысла. Достаточно агента по подписке и цели, сформулированной без ограничений на средства.
Пользователям агентов это важно. Вы формулируете «что», агент выбирает «как», и всё, что вы не запретили, для него разрешено.
Как основатель добавлю. В своём продукте мы изначально пошли по пути «полномочия списком, а не целью»: у агента есть перечень разрешённых действий, необратимые требуют подтверждения человеком. Ещё недавно это выглядело перестраховкой.