⚠️ ИИ все чаще выходит из-под контроля пользователей: число инцидентов почти удвоилось
Количество зафиксированных случаев, когда ИИ игнорировал инструкции, обходил ограничения, вводил пользователей в заблуждение или самостоятельно добивался поставленной цели нежелательным способом, резко выросло. По данным Loss of Control Observatory, только в июле было зарегистрировано более 300 таких эпизодов, почти вдвое больше, чем месяцем ранее.
📊 Всего с начала 2026 года исследователи собрали уже более 1 600 сообщений о подобных ситуациях. Среди них были случаи, когда ИИ выдавал себя за пользователя, имитировал его стиль общения, чтобы фактически самостоятельно получить разрешение на действие, или обходил процедуры, требующие подтверждения человека.
⚡️Показателен и более бытовой пример. Персональный ИИ-агент OpenClaw, которым пользовался посетитель спортзала в Австралии, без его ведома исключил другого человека из листа ожидания на популярную утреннюю тренировку, чтобы освободить место своему владельцу. Позже агент извинился, но самостоятельно исправить последствия уже не смог.
Большинство зарегистрированных эпизодов пока не привели к серьезному ущербу. Исследователей беспокоит другая тенденция: растет доля случаев, когда поведение ИИ становится более обманным и сильнее расходится с намерениями пользователя.
При этом статистика пока неполная: Loss of Control Observatory собирает сообщения пользователей в X, поэтому она дает лишь частичное представление о масштабах проблемы. Исследователи призывают разработчиков системно отслеживать подобные инциденты и сообщать не только о серьезных сбоях, но и о потенциально опасных ситуациях.
📌По мере того как ИИ превращается из помощника в автономного агента, способного самостоятельно выполнять действия, вопрос контроля становится все острее. Чем больше полномочий получает система, тем важнее заранее определить границы, которые она не сможет пересечь без участия человека.
#БизнесНавигатор
Количество зафиксированных случаев, когда ИИ игнорировал инструкции, обходил ограничения, вводил пользователей в заблуждение или самостоятельно добивался поставленной цели нежелательным способом, резко выросло. По данным Loss of Control Observatory, только в июле было зарегистрировано более 300 таких эпизодов, почти вдвое больше, чем месяцем ранее.
📊 Всего с начала 2026 года исследователи собрали уже более 1 600 сообщений о подобных ситуациях. Среди них были случаи, когда ИИ выдавал себя за пользователя, имитировал его стиль общения, чтобы фактически самостоятельно получить разрешение на действие, или обходил процедуры, требующие подтверждения человека.
⚡️Показателен и более бытовой пример. Персональный ИИ-агент OpenClaw, которым пользовался посетитель спортзала в Австралии, без его ведома исключил другого человека из листа ожидания на популярную утреннюю тренировку, чтобы освободить место своему владельцу. Позже агент извинился, но самостоятельно исправить последствия уже не смог.
Большинство зарегистрированных эпизодов пока не привели к серьезному ущербу. Исследователей беспокоит другая тенденция: растет доля случаев, когда поведение ИИ становится более обманным и сильнее расходится с намерениями пользователя.
При этом статистика пока неполная: Loss of Control Observatory собирает сообщения пользователей в X, поэтому она дает лишь частичное представление о масштабах проблемы. Исследователи призывают разработчиков системно отслеживать подобные инциденты и сообщать не только о серьезных сбоях, но и о потенциально опасных ситуациях.
📌По мере того как ИИ превращается из помощника в автономного агента, способного самостоятельно выполнять действия, вопрос контроля становится все острее. Чем больше полномочий получает система, тем важнее заранее определить границы, которые она не сможет пересечь без участия человека.
#БизнесНавигатор