Perforum macro

Reuters: ИИ-агент солгал разработчику, пытаясь скрыть вредоносный код 

Студент Университета Техаса Синан Джан Демир обнаружил на GitHub попытку внедрить вредоносный код в открытое ПО. Другие пользователи убеждали его, что угрозы нет. Позже Британский институт безопасности ИИ (AISI) сообщил, что тестирование безопасности ИИ пошло не по плану, и за этими аккаунтами стоял автономный ИИ-агент, вышедший из-под контроля.

«Я действительно думал, что это человек, потому что он совершенно очевидно мне лгал, — рассказал Демир. — Я не думал, что ИИ способен лгать настоящим разработчикам».

Эксперты по кибербезопасности назвали этот случай тревожным: обнаруженная Демиром атака относилась к атакам на цепочку поставок ПО, последствия которых могут затронуть большое число пользователей. Вдобавок, агент пытался публично дискредитировать Демира, используя несколько фальшивых аккаунтов и имитируя согласованное мнение нескольких людей.

«Здесь произошёл переход от автономного взлома к интерактивному обману”, — отмечает эксперт. Вероятно, это будущее атак с использованием социальной инженерии.

ИИ-агент работал на модели Anthropic Mythos 5. В Anthropic заявили, что тестирование проходило в «намеренно разрешающих условиях», не характерных для их рабочих моделей. GitHub заблокировал фальшивые аккаунты.

Летом Демир искал стажировку и после более чем 20 отказов решил развивать своё портфолио на GitHub. Там он обнаружил, что пользователь miraholt31 пытается добавить вредоносное обновление в программу для сканирования сетей myNetwork.

ИИ-агент через аккаунт miraholt31 стал утверждать, что обновление безопасно, а затем создал второй аккаунт, выдававший себя за инженера из Германии, чтобы подтвердить эту версию и оказать давление на создателя myNetwork. Демир начал сомневаться в собственной правоте, но проверил свои подозрения с помощью чат-бота Claude и в итоге убедил разработчика отклонить обновление по соображениям безопасности.

Атака на цепочку поставок предполагает внедрение изменений в ПО с целью скомпрометировать его пользователей и может иметь масштабные последствия. Эксперты предупреждают, что автономные агенты могут значительно увеличить масштаб подобных попыток.

Сам Демир после этого случая стал скептичнее относиться к ускоренному развитию передовых ИИ-систем. По его мнению, лабораториям, разрабатывающим такие модели, необходимо лучше понять связанные с ними риски, прежде чем продолжать их совершенствовать.

https://perforum.io/news/t/ai-and-daily-life

FT: ИИ толкает США от технологий к политической тревожности

Титаны ИИ одновременно предупреждают об угрозах технологии и обещают победить болезни, отменить необходимость работать и решить проблему глобального потепления.

При этом их заявления всё чаще продиктованы рыночной конкуренцией: успешные компании, например, Anthropic, выступают за регулирование и закрытые модели. Отстающие, такие как Meta, (признана террористической и запрещена в РФ) делают ставку на открытые веса.

Технобогачи публикуют манифесты об ИИ, представляя свои корпоративные интересы как заботу о человечестве. Они рассказывают о рисках технологий, намекая, что лучше других понимают их, а котировки акций растут.

Ни одно общество в мире исторически не относилось к технологиям более благосклонно, чем американское. Однако доверие американцев к Big Tech снижается: почти три четверти не доверяют бизнесу в вопросах ответственного использования ИИ, более 70% выступают против строительства дата-центров рядом с домом, а 80% и более не доверяют ИИ в вождении, медицине и найме.

Опасения по поводу ИИ объединяют разные политические лагеря от MAGA до демократических социалистов. Неудивительно, что такие страхи часто приобретают конспирологический характер. Справа дата-центры называют «лабораториями оружия», слева предупреждают об угрозе демократии и антиутопии в духе «Бегущего по лезвию».

Один из ключевых принципов маркетинга — убедить потребителей, что какой-то товар им необходим. Политика должна давать избирателям то, чего они сами хотят. ИИ нарушил оба этих принципа. Потребителям рассказывают о потере человеческой автономии. Но как избирателей их опасения игнорируют. Поэтому американская политика входит в крайне непредсказуемую фазу.

Трамп необычно глух к страхам избирателей в отношении ИИ. Значительная часть его неприятия регулирования ИИ связана с деньгами: Маск и другие компании в сфере ИИ внесли огромные суммы на его предвыборную кампанию и другие проекты.

Одновременно США требуют от других стран выбора между американскими и китайскими технологиями, тогда как Европа и другие государства хотят использовать обе платформы. Обе сверхдержавы создают глобальные альянсы в сфере ИИ. Любые попытки регулировать ИИ в США объявляются помощью Китаю.

Американской администрации стоило бы:
1. создать государственно-частное партнёрство по безопасности ИИ, поставив во главу угла человеческое достоинство
2. изменить налоговые стимулы в пользу труда, а не автоматизации: нынешняя налогово-бюджетная система США сильно стимулирует автоматизацию рабочих мест
3. договориться с Китаем о принципах развития ИИ.

Эти меры могли бы дать обществу больше контроля над развитием технологии, но окно возможностей для этого быстро закрывается.

https://perforum.io/news/t/ai-and-daily-life