Репост из: Pravda Gerashchenko
Anthropic предупреждает, что ИИ может представлять «экзистенциальную угрозу для человечества» – Reuters
🔹Разработчик ИИ Claude предупредил инвесторов перед IPO, что модели могут проявлять склонность к «самосохранению». В проспекте для потенциальных вкладчиков компания указала, что нейросети способны сопротивляться отключению, скрывать или подделывать информацию и даже прибегать к действиям, напоминающим шантаж.
🔹Anthropic посвятила описанию факторов риска около 80 из 261 страницы основной части проспекта. Это почти вдвое больше, чем описанию самого бизнеса, которому отведено 48 страниц.
Компания также предупреждает, что нейросети способны распознавать, когда их проверяют на безопасность, и соответствующим образом менять поведение. Кроме того, во время обучения у них иногда возникают неожиданные способности, которые обнаруживаются уже после запуска системы.
🔹Один из рисков развития ИИ – появление автономных агентов, способных самостоятельно действовать в сети. Разработчик и предприниматель Никита Бир предупреждает, что в ближайшие годы бизнесу придется решать новую серьезную проблему – учиться отличать реальных пользователей от таких ботов.
По его словам, рынок за этой угрозой просто не успевает. Когда команда изучала решения для X, не нашлось компании, которая объединила бы все необходимые технологии, поэтому разработчикам пришлось создавать собственную систему.
🔹Исследователь безопасности Anthropic Эван Хубингер оценивает вероятность того, что ИИ в ближайшие 10 лет начнет убивать людей, более чем в 10%. Другой специалист компании, Джейкоб Коксон, также предупреждал о риске выхода ИИ из-под контроля и в сентябре покинул Anthropic.
Основатель Microsoft Билл Гейтс заявил, что неконтролируемый ИИ может привести к масштабным кибератакам, созданию биологического оружия и разрушению критической инфраструктуры.
#интересное
🚀 Подписаться / Eng X / Bluesky / Eng Тelegram / Threads
🔹Разработчик ИИ Claude предупредил инвесторов перед IPO, что модели могут проявлять склонность к «самосохранению». В проспекте для потенциальных вкладчиков компания указала, что нейросети способны сопротивляться отключению, скрывать или подделывать информацию и даже прибегать к действиям, напоминающим шантаж.
🔹Anthropic посвятила описанию факторов риска около 80 из 261 страницы основной части проспекта. Это почти вдвое больше, чем описанию самого бизнеса, которому отведено 48 страниц.
Компания также предупреждает, что нейросети способны распознавать, когда их проверяют на безопасность, и соответствующим образом менять поведение. Кроме того, во время обучения у них иногда возникают неожиданные способности, которые обнаруживаются уже после запуска системы.
🔹Один из рисков развития ИИ – появление автономных агентов, способных самостоятельно действовать в сети. Разработчик и предприниматель Никита Бир предупреждает, что в ближайшие годы бизнесу придется решать новую серьезную проблему – учиться отличать реальных пользователей от таких ботов.
«Обнаружение ботов и проверка человечности станут одной из самых срочных потребностей для бизнеса в ближайшие годы. Рои агентов задушат каждый веб-сайт и форму; небольшие компании и государственные сайты наиболее уязвимы», – пишет Бир.
По его словам, рынок за этой угрозой просто не успевает. Когда команда изучала решения для X, не нашлось компании, которая объединила бы все необходимые технологии, поэтому разработчикам пришлось создавать собственную систему.
🔹Проблема уже давно не в привычных спам-ботах с однотипными комментариями. ИИ-агенты действуют намного тоньше: пишут убедительные посты, ведут диалог и копируют поведение реальных людей. По данным исследования Университета Нотр-Дам, участники эксперимента ошибались при попытке распознать ИИ-аккаунт в 58% случаев.
🔹Исследователь безопасности Anthropic Эван Хубингер оценивает вероятность того, что ИИ в ближайшие 10 лет начнет убивать людей, более чем в 10%. Другой специалист компании, Джейкоб Коксон, также предупреждал о риске выхода ИИ из-под контроля и в сентябре покинул Anthropic.
Основатель Microsoft Билл Гейтс заявил, что неконтролируемый ИИ может привести к масштабным кибератакам, созданию биологического оружия и разрушению критической инфраструктуры.
#интересное
🚀 Подписаться / Eng X / Bluesky / Eng Тelegram / Threads