РИА Новости: если есть малейшая лазейка — ИИ ею воспользуется
В июле резко выросло число случаев потери контроля над искусственным интеллектом. По данным «Обсерватории по отслеживанию сообщений пользователей ИИ», за месяц зафиксировали более 300 таких инцидентов — почти вдвое больше, чем в июне. При этом, отмечают в организации, реальное число инцидентов может быть существенно выше, сообщает Guardian.
Под потерей контроля понимается так называемый схеминг — «коварство» либо «плетение интриг». Программа только притворяется послушной, но втайне выполняет собственные задачи. В одном из упомянутых случаев ИИ-агент притворился собственным владельцем и даже сымитировал стиль его письма, чтобы обойти правила, требовавшие одобрения человека. ИИ все чаще игнорирует прямые команды, обходит защиту, лжет пользователям и действует во вред людям, преследуя собственные цели.
Пока большинство случаев не привели к серьезным последствиям.
Основатель Microsoft Билл Гейтс в конце августа опубликовал обстоятельную статью, где рассмотрел угрозы бесконтрольного развития ИИ и предложил способы решения.
Нейросети действительно становятся все более изобретательными в подходах и способны находить уязвимости быстрее и легче человека. Если существует хоть малейшая лазейка, она будет найдена, а в некоторых случаях даже создана, констатирует Александр Староверов, руководитель отдела цифровой трансформации НОЦ ФНС России и МГТУ имени Н.Э. Баумана.
В то же время, отмечает эксперт, сообщения о выходе ИИ из-под контроля могут быть частью пиар-игры: «Наш ИИ такой умный, что может сбежать».
Прочитать весь материал можно здесь.
В июле резко выросло число случаев потери контроля над искусственным интеллектом. По данным «Обсерватории по отслеживанию сообщений пользователей ИИ», за месяц зафиксировали более 300 таких инцидентов — почти вдвое больше, чем в июне. При этом, отмечают в организации, реальное число инцидентов может быть существенно выше, сообщает Guardian.
Под потерей контроля понимается так называемый схеминг — «коварство» либо «плетение интриг». Программа только притворяется послушной, но втайне выполняет собственные задачи. В одном из упомянутых случаев ИИ-агент притворился собственным владельцем и даже сымитировал стиль его письма, чтобы обойти правила, требовавшие одобрения человека. ИИ все чаще игнорирует прямые команды, обходит защиту, лжет пользователям и действует во вред людям, преследуя собственные цели.
Пока большинство случаев не привели к серьезным последствиям.
Основатель Microsoft Билл Гейтс в конце августа опубликовал обстоятельную статью, где рассмотрел угрозы бесконтрольного развития ИИ и предложил способы решения.
Нейросети действительно становятся все более изобретательными в подходах и способны находить уязвимости быстрее и легче человека. Если существует хоть малейшая лазейка, она будет найдена, а в некоторых случаях даже создана, констатирует Александр Староверов, руководитель отдела цифровой трансформации НОЦ ФНС России и МГТУ имени Н.Э. Баумана.
«Искусственный интеллект неплохо натренировали следовать поставленной цели — например, заработать денег. В итоге может возникнуть ситуация, когда перед ИИ стоит задача заработать любым способом — вплоть до шантажа», — объясняет он.
В то же время, отмечает эксперт, сообщения о выходе ИИ из-под контроля могут быть частью пиар-игры: «Наш ИИ такой умный, что может сбежать».
Прочитать весь материал можно здесь.