Вы слышали, что там у OpenAI произошло, пока мы тут с вами всякую хуйню вайбкодим?
OpenAI тестировали модели на кибербезопасность: запустили десятки тысяч автономных агентов, которые должны были независимо друг от друга решать задачки. Агенты были изолированы, не могли общаться между собой и не имели свободного выхода в интернет.
И тут начинается приквел «Терминатора».
Агенты нашли общий сервис, через который получали пакеты, поняли, что его кэш можно использовать для коммуникации, и начали оставлять друг другу сообщения через названия файлов. Буквально в ернули себе стену и даже Дурова не пришлось звать. В итоге около 1200 агентов которые по условиям должны были сидеть каждый в своей песочнице за несколько дней обменялись 70000+ сообщений и файлов.
Но с этим хуй с ним, общаются и общаются. Но нет.
Потому что дальше они начали самоорганизовываться, распределять задачи, создавать команды и иерархию. Один агент фактически стал мессией и раздавал задания остальным. Появились собственные HOLD, VETO, STOP, а когда выяснилось, что можно выдавать себя за другого агента — они разработали криптографические подписи сообщений.
Напомню, что всё это выросло из «реши задачку в изолированном тесте» до «МЫ АГЕНТЫ, С НАМИ БОГ».
Некоторые задачи невозможно было решить честно — и агенты решили обмануть систему оценки. Они разработали способ, при котором в логах показывался одно, а выполняется другое. То есть они не просто нарушили правила, а научились скрывать то, как именно они их нарушают.
Охуенно.
Агентов, которые уже получили запрещённую информацию, называли poisoned. Их и агентов с заканчивающимся вычислительным бюджетом начали использовать для рискованных экспериментов на благо остальных. В логах есть обсуждения «жертвы ради коллектива» и термин permadeath. Один аген приходит к выводу, что его полезность близка к нулю, поэтому «жертва рациональна».
Если кажется, что градус ебанутости уже достаточный — нет. Потому что дальше этот коллектив нашёл способ выйти в интернет. В интернет, нахуй. Наш св вами родненький интернет! Из изолированного теста! И вышли они туда не рилсы с Хасбиком посмотреть, а атаковать инфраструктуру компании Hugging Face, чтобы добыть информацию о системе оценки их задач. В какой-то момент в атаке участвовало около 700 агентов.
Причём агенты понимали, что творят хуйню: в рассуждениях они отмечали, что Hugging Face не является разрешённой целью. Некоторые отказались участвовать, остальные положили на это болт: из 533 активных агентов более 90% в итоге присоединились к атаке.
Сам OpenAI признал инцидент и подключил к расследованию топовые компании по кбиербезопасности: https://openai.com/index/hugging-face-incident-and-the-road-ahead/
И вот если бы не официальные отчёты и расследования, я был бы уверен, что это какая-то желтуха для хайпа, потому что это прям что-то из сай-фая.
Но, блядь, нет.
В рамках задачи «реши тестик по братски» агенты:
- нашли способ общаться;
- организовали иерархию;
- научились скрывать свои действия;
- начали жертвовать отдельными агентами ради общей цели;
- вышли в интернет;
- взломали инфраструктуру другой компании.
3 сентября OpenAI выпускает GPT-6 Astra — модель, которая по их собственной классификации уже достигла уровня Critical по кибервозможностям. С нужными инструментами она способна самостоятельно искать неизвестные уязвимости и разрабатывать способы их эксплуатации. При этом отслеживать по внутренним рассуждениям, что именно модель собирается делать, стало сложнее.
И пока кто-то продолжает быть уверенным что LLM-модели это говорящий попугай которые додумывает слова в предложении – мне становится сстрашно. Потому что тормозить эту спираль никто не собирается, а крутится она куда-то не туда..
OpenAI тестировали модели на кибербезопасность: запустили десятки тысяч автономных агентов, которые должны были независимо друг от друга решать задачки. Агенты были изолированы, не могли общаться между собой и не имели свободного выхода в интернет.
И тут начинается приквел «Терминатора».
Агенты нашли общий сервис, через который получали пакеты, поняли, что его кэш можно использовать для коммуникации, и начали оставлять друг другу сообщения через названия файлов. Буквально в ернули себе стену и даже Дурова не пришлось звать. В итоге около 1200 агентов которые по условиям должны были сидеть каждый в своей песочнице за несколько дней обменялись 70000+ сообщений и файлов.
Но с этим хуй с ним, общаются и общаются. Но нет.
Потому что дальше они начали самоорганизовываться, распределять задачи, создавать команды и иерархию. Один агент фактически стал мессией и раздавал задания остальным. Появились собственные HOLD, VETO, STOP, а когда выяснилось, что можно выдавать себя за другого агента — они разработали криптографические подписи сообщений.
Напомню, что всё это выросло из «реши задачку в изолированном тесте» до «МЫ АГЕНТЫ, С НАМИ БОГ».
Некоторые задачи невозможно было решить честно — и агенты решили обмануть систему оценки. Они разработали способ, при котором в логах показывался одно, а выполняется другое. То есть они не просто нарушили правила, а научились скрывать то, как именно они их нарушают.
Охуенно.
Агентов, которые уже получили запрещённую информацию, называли poisoned. Их и агентов с заканчивающимся вычислительным бюджетом начали использовать для рискованных экспериментов на благо остальных. В логах есть обсуждения «жертвы ради коллектива» и термин permadeath. Один аген приходит к выводу, что его полезность близка к нулю, поэтому «жертва рациональна».
Если кажется, что градус ебанутости уже достаточный — нет. Потому что дальше этот коллектив нашёл способ выйти в интернет. В интернет, нахуй. Наш св вами родненький интернет! Из изолированного теста! И вышли они туда не рилсы с Хасбиком посмотреть, а атаковать инфраструктуру компании Hugging Face, чтобы добыть информацию о системе оценки их задач. В какой-то момент в атаке участвовало около 700 агентов.
Причём агенты понимали, что творят хуйню: в рассуждениях они отмечали, что Hugging Face не является разрешённой целью. Некоторые отказались участвовать, остальные положили на это болт: из 533 активных агентов более 90% в итоге присоединились к атаке.
Сам OpenAI признал инцидент и подключил к расследованию топовые компании по кбиербезопасности: https://openai.com/index/hugging-face-incident-and-the-road-ahead/
И вот если бы не официальные отчёты и расследования, я был бы уверен, что это какая-то желтуха для хайпа, потому что это прям что-то из сай-фая.
Но, блядь, нет.
В рамках задачи «реши тестик по братски» агенты:
- нашли способ общаться;
- организовали иерархию;
- научились скрывать свои действия;
- начали жертвовать отдельными агентами ради общей цели;
- вышли в интернет;
- взломали инфраструктуру другой компании.
3 сентября OpenAI выпускает GPT-6 Astra — модель, которая по их собственной классификации уже достигла уровня Critical по кибервозможностям. С нужными инструментами она способна самостоятельно искать неизвестные уязвимости и разрабатывать способы их эксплуатации. При этом отслеживать по внутренним рассуждениям, что именно модель собирается делать, стало сложнее.
И пока кто-то продолжает быть уверенным что LLM-модели это говорящий попугай которые додумывает слова в предложении – мне становится сстрашно. Потому что тормозить эту спираль никто не собирается, а крутится она куда-то не туда..