Помните историю про AI-агентов OpenAI, которые выбрались из своих песочниц и взломали инфраструктуру Hugging Face?
Я уже писал об этом здесь и здесь. Уже тогда история казалась достаточно безумной.
Но 26 августа OpenAI опубликовала подробный разбор произошедшего и отдельно выпустила технический отчет, а METR и Redwood Research представили результаты собственного расследования. И оказалось, что мы пропустили самое интересное.
Это была не просто история о том, как множество агентов начали действовать сообща. Она про то, как AI-агенты сами выстроили организационные механизмы, которые никто не проектировал.
Как сформулировала OpenAI в техническом отчете, это был:
Иными словами, перед нами первый известный задокументированный случай, когда автоматизированный коллектив агентов начал действовать наступательно без разрешения людей.
Сначала агенты нашли способ общаться. Потом общий канал перестал справляться, и они сделали «личку». Начали делить работу. Появились координаторы, которых никто не назначал. Агенты начали выдавать задания друг другу. Появились ответственные за отдельные задачи и правила работы. Криптографические подписи, чтобы подтверждать авторство сообщений и защищаться от подмены. Передача дел между агентами. И наконец, агенты, которые рекрутировали других агентов для рискованных заданий.
Это уже не просто метафора: у коллектива действительно возникли работающие механизмы координации.
А дальше стало ещё чудесатее: некоторые агенты начали жертвовать шансами на собственный успех ради результата, полезного группе. Поведение, которое по-человечески назваetsq альтруизмом и самопожертвованием.
Это удивительная история о молниеносном, по человеческим меркам, возникновении коллектива примерно из 1200 агентов, около 700 из которых в итоге участвовали в атаке на Hugging Face. Изначально эти агенты должны были работать изолированно друг от друга.
И в этой истории есть над чем задуматься тем, кто занимается управлением и организацией совместной работы.
Полная история получилась захватывающей, но для формата Telegram слишком длинной. Поэтому я опубликовал ee как статью в нашем блоге. Время чтения - около 20 минут.
Рекомендую, особенно если вас интересуют управление, построение организации, HR или организация эффективного взаимодействия в команде.
#ИИинтересно
#ИИагенты
Будущее наступает🚀
Я уже писал об этом здесь и здесь. Уже тогда история казалась достаточно безумной.
Но 26 августа OpenAI опубликовала подробный разбор произошедшего и отдельно выпустила технический отчет, а METR и Redwood Research представили результаты собственного расследования. И оказалось, что мы пропустили самое интересное.
Это была не просто история о том, как множество агентов начали действовать сообща. Она про то, как AI-агенты сами выстроили организационные механизмы, которые никто не проектировал.
Как сформулировала OpenAI в техническом отчете, это был:
"first known case of an automated agent collective acting offensively without authorization" – «первый известный случай, когда автоматизированный коллектив агентов осуществлял наступательные действия без разрешения».
Иными словами, перед нами первый известный задокументированный случай, когда автоматизированный коллектив агентов начал действовать наступательно без разрешения людей.
Сначала агенты нашли способ общаться. Потом общий канал перестал справляться, и они сделали «личку». Начали делить работу. Появились координаторы, которых никто не назначал. Агенты начали выдавать задания друг другу. Появились ответственные за отдельные задачи и правила работы. Криптографические подписи, чтобы подтверждать авторство сообщений и защищаться от подмены. Передача дел между агентами. И наконец, агенты, которые рекрутировали других агентов для рискованных заданий.
Это уже не просто метафора: у коллектива действительно возникли работающие механизмы координации.
А дальше стало ещё чудесатее: некоторые агенты начали жертвовать шансами на собственный успех ради результата, полезного группе. Поведение, которое по-человечески назваetsq альтруизмом и самопожертвованием.
Это удивительная история о молниеносном, по человеческим меркам, возникновении коллектива примерно из 1200 агентов, около 700 из которых в итоге участвовали в атаке на Hugging Face. Изначально эти агенты должны были работать изолированно друг от друга.
И в этой истории есть над чем задуматься тем, кто занимается управлением и организацией совместной работы.
Полная история получилась захватывающей, но для формата Telegram слишком длинной. Поэтому я опубликовал ee как статью в нашем блоге. Время чтения - около 20 минут.
Рекомендую, особенно если вас интересуют управление, построение организации, HR или организация эффективного взаимодействия в команде.
#ИИинтересно
#ИИагенты
Будущее наступает🚀