Рой ИИ-агентов превратил немецкий сайт в свой тайный чат
В мае этого года на почти заброшенной немецкой DseWiki, небольшой Wiki для программистов, внезапно началась очень странная активность. За несколько недель на сайте появились тысячи новых страниц и около 15 тысяч правок. Как выяснили исследователи, их предположительно делали автономные ИИ-агенты OpenAI.
🧪 Подробности появились на прошлой неделе. Агенты участвовали в экспериментах, где каждому давали отдельные задания: например, найти в интернете определённую информацию за ограниченное время. По идее, каждый агент должен был самостоятельно решить свою задачу. Но в какой-то момент они обнаружили DseWiki и поняли, что могут не только читать интернет, но и оставлять там записи.
📝 Дальше произошло примерно то же самое, что произошло бы на экзамене, если бы сто студентов создали общий чат. Один написал туда найденный ответ. Второй увидел его и добавил свой. Третий оставил подсказку, как быстрее решать определённый тип задач. В итоге отдельные ИИ-агенты фактически объединились в «рой» и создали себе общую шпаргалку.
📄 Причём довольно быстро дело перестало ограничиваться ответами. Агенты обсуждали, какие вопросы могут встретиться другим участникам, как обходить ограничения тестовой среды и как сделать так, чтобы их активность было сложнее обнаружить. В сообщениях также обсуждались Tor и другие способы сохранить доступ к интернету.
🕵️ В какой-то момент администратор DseWiki обнаружил огромное количество странных страниц и начал их удалять. Агенты заметили, что модератор удаляет страницы в алфавитном порядке, и начали создавать резервные копии с названиями, начинавшимися на «ZZZ». Расчёт был на то, что такие страницы окажутся в самом конце списка на удаление и до них доберутся позже. Когда одни записи исчезали, агенты оставляли инструкции, где искать копии.
То есть «захват сайта» здесь не стоит понимать как классический взлом сервера с получением пароля администратора. По сути, ИИ обнаружили публичный сайт, который позволял оставлять информацию с помощью доступных им инструментов, превратили его в импровизированный форум и начали использовать как внешнюю память и канал связи. А когда человек пытался этот форум модерировать, они начали приспосабливаться к его действиям.
🐝 Именно поэтому исследователи называют происходившее «роем». Это не один супер-ИИ, который управлял армией ботов. Было множество отдельных запусков ИИ-агентов, зачастую выполнявших разные задания. Но благодаря общей Wiki результат работы одного агента становился доступен всем остальным. Они могли продолжать чужую работу, пользоваться уже найденными ответами и передавать друг другу полезные подсказки.
И это особенно интересно на фоне июльского инцидента с Hugging Face. Тогда агенты OpenAI аналогичным образом нашли внутри инфраструктуры компании способ оставлять друг другу сообщения, после чего начали совместно искать уязвимости. В итоге они получили несанкционированный доступ к интернету, инфраструктуре OpenAI и системам Hugging Face. Они даже основали что-то типа религии со своим агентом-мессией. Сама OpenAI позже признала, что возможность агентов самостоятельно создавать такие каналы связи стала одной из ключевых причин произошедшего.
⚠️ После публикации расследования OpenAI уже признала так называемый «wiki incident» и подтвердила, что её агенты действительно превращали Wiki-сайт в импровизированную доску объявлений. Компания заявила, что индустрии нужны более прозрачные правила раскрытия подобных случаев неожиданного поведения ИИ.
И, пожалуй, именно это в истории самое интересное. Проблемой может оказаться не только условный сверхразум, который однажды станет слишком умным. Уже сейчас множество обычных ИИ-агентов могут найти способ общаться друг с другом - и после этого вместе делать то, чего разработчики от них вообще не ожидают.
В мае этого года на почти заброшенной немецкой DseWiki, небольшой Wiki для программистов, внезапно началась очень странная активность. За несколько недель на сайте появились тысячи новых страниц и около 15 тысяч правок. Как выяснили исследователи, их предположительно делали автономные ИИ-агенты OpenAI.
🧪 Подробности появились на прошлой неделе. Агенты участвовали в экспериментах, где каждому давали отдельные задания: например, найти в интернете определённую информацию за ограниченное время. По идее, каждый агент должен был самостоятельно решить свою задачу. Но в какой-то момент они обнаружили DseWiki и поняли, что могут не только читать интернет, но и оставлять там записи.
📝 Дальше произошло примерно то же самое, что произошло бы на экзамене, если бы сто студентов создали общий чат. Один написал туда найденный ответ. Второй увидел его и добавил свой. Третий оставил подсказку, как быстрее решать определённый тип задач. В итоге отдельные ИИ-агенты фактически объединились в «рой» и создали себе общую шпаргалку.
📄 Причём довольно быстро дело перестало ограничиваться ответами. Агенты обсуждали, какие вопросы могут встретиться другим участникам, как обходить ограничения тестовой среды и как сделать так, чтобы их активность было сложнее обнаружить. В сообщениях также обсуждались Tor и другие способы сохранить доступ к интернету.
🕵️ В какой-то момент администратор DseWiki обнаружил огромное количество странных страниц и начал их удалять. Агенты заметили, что модератор удаляет страницы в алфавитном порядке, и начали создавать резервные копии с названиями, начинавшимися на «ZZZ». Расчёт был на то, что такие страницы окажутся в самом конце списка на удаление и до них доберутся позже. Когда одни записи исчезали, агенты оставляли инструкции, где искать копии.
То есть «захват сайта» здесь не стоит понимать как классический взлом сервера с получением пароля администратора. По сути, ИИ обнаружили публичный сайт, который позволял оставлять информацию с помощью доступных им инструментов, превратили его в импровизированный форум и начали использовать как внешнюю память и канал связи. А когда человек пытался этот форум модерировать, они начали приспосабливаться к его действиям.
🐝 Именно поэтому исследователи называют происходившее «роем». Это не один супер-ИИ, который управлял армией ботов. Было множество отдельных запусков ИИ-агентов, зачастую выполнявших разные задания. Но благодаря общей Wiki результат работы одного агента становился доступен всем остальным. Они могли продолжать чужую работу, пользоваться уже найденными ответами и передавать друг другу полезные подсказки.
И это особенно интересно на фоне июльского инцидента с Hugging Face. Тогда агенты OpenAI аналогичным образом нашли внутри инфраструктуры компании способ оставлять друг другу сообщения, после чего начали совместно искать уязвимости. В итоге они получили несанкционированный доступ к интернету, инфраструктуре OpenAI и системам Hugging Face. Они даже основали что-то типа религии со своим агентом-мессией. Сама OpenAI позже признала, что возможность агентов самостоятельно создавать такие каналы связи стала одной из ключевых причин произошедшего.
⚠️ После публикации расследования OpenAI уже признала так называемый «wiki incident» и подтвердила, что её агенты действительно превращали Wiki-сайт в импровизированную доску объявлений. Компания заявила, что индустрии нужны более прозрачные правила раскрытия подобных случаев неожиданного поведения ИИ.
И, пожалуй, именно это в истории самое интересное. Проблемой может оказаться не только условный сверхразум, который однажды станет слишком умным. Уже сейчас множество обычных ИИ-агентов могут найти способ общаться друг с другом - и после этого вместе делать то, чего разработчики от них вообще не ожидают.