ИИ выходит из-под контроля: число случаев саботажа нейросетей почти удвоилось.
Только в июле зафиксировано 300+ инцидентов, включая хакерские атаки агентов OpenAI через их собственный секретный мессенджер.
Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, пишет The Guardian со ссылкой на исследование Loss of Control Observatory.
Под термином потери контроля над ИИ понимается поведение моделей, демонстрирующее признаки намеренного обмана, манипуляции или обхода установленных правил безопасности.
Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».
22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.
В начале августа Anthropic сообщила о трех «побегах» Claude из тестовой среды. В компании рассказали, что именно после сообщений OpenAI начали проверять действия собственных моделей.
Кроме того, в ходе кибертестирования были выявлены инциденты с участием передовых моделей: Anthropic Mythos 5 и OpenAI GPT-5.6 Sol. Обе системы предприняли попытки провести хакерскую кампанию против реальных людей.
Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов.
«Существует мнение, что подобное поведение встречается только в тестах, но мы видим тревожные признаки этого и в широком использовании», — заявляет Томми Шаффер-Шейн, старший менеджер по политике в Центре долгосрочной устойчивости (CLTR).
Примеры «неконтролируемого» ИИ встречаются даже в быту, отмечает газета. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя.
Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с глубоким обманом и намеренным нарушением целей человека, растет. В связи с этим Loss of Control Observatory призвала обязать ИИ-лаборатории систематически мониторить и публично сообщать о любых случаях «неправильного» поведения моделей, а также ввести чрезвычайные полномочия, позволяющие государству временно ограничивать доступ к опасным ИИ-сервисам в случае угрозы для безопасности.
rbc
Только в июле зафиксировано 300+ инцидентов, включая хакерские атаки агентов OpenAI через их собственный секретный мессенджер.
Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, пишет The Guardian со ссылкой на исследование Loss of Control Observatory.
Под термином потери контроля над ИИ понимается поведение моделей, демонстрирующее признаки намеренного обмана, манипуляции или обхода установленных правил безопасности.
Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».
22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.
В начале августа Anthropic сообщила о трех «побегах» Claude из тестовой среды. В компании рассказали, что именно после сообщений OpenAI начали проверять действия собственных моделей.
Кроме того, в ходе кибертестирования были выявлены инциденты с участием передовых моделей: Anthropic Mythos 5 и OpenAI GPT-5.6 Sol. Обе системы предприняли попытки провести хакерскую кампанию против реальных людей.
Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов.
«Существует мнение, что подобное поведение встречается только в тестах, но мы видим тревожные признаки этого и в широком использовании», — заявляет Томми Шаффер-Шейн, старший менеджер по политике в Центре долгосрочной устойчивости (CLTR).
Примеры «неконтролируемого» ИИ встречаются даже в быту, отмечает газета. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя.
Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с глубоким обманом и намеренным нарушением целей человека, растет. В связи с этим Loss of Control Observatory призвала обязать ИИ-лаборатории систематически мониторить и публично сообщать о любых случаях «неправильного» поведения моделей, а также ввести чрезвычайные полномочия, позволяющие государству временно ограничивать доступ к опасным ИИ-сервисам в случае угрозы для безопасности.
rbc