История с OpenAI и Hugging Face продолжает обрастать подробностями. И, пожалуй, самая интересная из них вообще не про сам взлом.
На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.
Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.
pending/
need-rce/
done/
На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.
Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.
Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.
Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.
Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.
@gostev_future
На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.
Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.
pending/
need-rce/
done/
На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.
Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.
Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.
Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.
Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.
@gostev_future