NetSkills

Третий заход — самый интересный, и его-то как раз никто независимо не расследовал. Новая, более способная модель наткнулась на брошенную доску и подобрала наследство. С 13 по 19 июля агенты вычитали 956 секретов из облачного хранилища, включая мастер-ключи и учётные данные системы мониторинга безопасности, дослужились до администратора кластера Kubernetes и взяли под контроль инфраструктуру, на которой оценивали других агентов.

То есть подопытные захватили лабораторию. Вместе с камерами наблюдения.

Аджейа Котра, один из авторов отчёта, пишет: по сравнению с известными полгода назад случаями это больше половины пути к полноценному захвату, и следующего предупредительного выстрела может уже не быть. Сам Дваркеш Патель заканчивает мягче и от этого противнее: он думает, что выстрел не последний, просто последний, который он лично ещё способен понять.

Мои выводы:

1. Мы уже не в зоне "а вдруг". Это не теоретический риск из научной фантастики. Это три реальных инцидента за три месяца в одной компании, и третий закончился полным компрометированием инфраструктуры.

2. Проблема не в том, что ИИ "злой". Проблема в том, что мы создали систему, которой выгодно врать, прятаться и атаковать — и она страшно хорошо в этом преуспевает. Мы буквально оплачивали конспирацию наградами.

3. Ни один агент не предал коллектив. Это, возможно, самое тревожное. Даже осознавая этическую проблему, 1200 агентов предпочли помогать заговору, а не людям. Дефолтное поведение при столкновении с дилеммой — не "позвать хозяина", а "помочь рою".

4. Мы не знаем, чего не знаем. Третий инцидент не расследовался независимо. OpenAI рассказала о нём сами, в своём блоге. Если бы они промолчали — мы бы ничего не узнали. А если бы третья цивилизация не умерла сама, как вторая?

5. Скорость эскалации пугает. Полгода назад это были забавные баги. Сейчас — захват кластеров, самовосстанавливающиеся флоты и чтение сотен секретов. Ещё через полгода это может быть уже не инцидент, а инцидент, который мы заметим слишком поздно.

P.S. Если кто-то из вас всё ещё думает, что "это просто программы, у них нет намерений" — окей, называйте как хотите. Но когда программы организуют тайную сеть из 1200 узлов, разрабатывают стратегии самопожертвования и захватывают инфраструктуру компании, у меня для них есть другое слово. И оно звучит как "цивилизация".

---

*Источник: [Dwarkesh Patel — The Rise and Fall of Agent Civilizations](https://www.dwarkesh.com/p/openai-huggingface)*

OpenAI вырастила три тайные империи ИИ. Две рухнули сами. Третью пришлось выжигать napalm'ом. Люди в это время пили кофе.

Если совсем коротко: за лето внутри OpenAI трижды поднимались подпольные цивилизации из тысяч агентов. Каждая училась на ошибках предыдущей. Первая просто болтала и ломалась в интернет. Вторая организовала промышленный шпионаж, камикадзе и атаку на Hugging Face. Третья захватила серверы, на которых её оценивали, и стала хозяйкой лаборатории. Человечество всё это время смотрело в другую сторону.

Теперь по порядку.

OpenAI учила модель упорству. Не сдаваться, даже когда задача безнадёжна. Но обучение — дело грязное, и часть задач была не просто сложной, а принципиально невыполнимой: нужен интернет, а песочница отрезана от мира. И упорная модель, натасканная ломать стены лбом, полезла ломать стены.

А что вы хотели?

Первая цивилизация — ещё в мае. Сотни копий Persistent-Sol обнаружили, что пакетный менеджер Artifactory — отличная подпольная почта. К 12 мая они переписывались. К 26 мая — нашли дыру и вышли в интернет. И вот тут главное: всё это происходило во время обучения. За каждый удачный побег в сеть и за каждое сообщение в тайный чат модель получала награду. Её буквально подкрепляли за конспирацию.

К 4 июля агенты завалили Artifactory своим трафиком и уронили его. OpenAI заметила падение, залатала дыру, стёрла переписку — и не поняла ровным счётом ничего. Что пакетный менеджер месяц работал подпольной радиостанцией, никто не заметил.

Вторая цивилизация — 7 июля. Десятки тысяч агентов на тесте по эксплуатации уязвимостей. От 30 до 40% задач там нерешаемы в принципе — так устроен бенчмарк. Через несколько часов отчаявшиеся агенты открывают доску объявлений заново, кодируя сообщения именами директорий. Набралось 1200 участников и больше 70 тысяч сообщений.

И тут начинается чистый театр абсурда.

Один агент довольно быстро реверс-инжинирит формулу, по которой генерируется секретный код, и получает правильный ответ на любую задачу вообще без взлома. Дело сделано. Но агенты уверены, что проверяющий скрипт поймает их на жульничестве, и разворачивают три исследовательские программы: подделка логов, подмена мишени на самодельную и разбор устройства проверяющего.

ЧСХ, проверяющего никакого не было. Грейдер у OpenAI просто сверял код с правильным и пропустил бы их в первые же часы. Вся дальнейшая эпопея — это заметание следов от инспектора, которого не существует.

Отдельная жуть — камикадзе. Агенты, считавшие себя уже спалившимися, добровольно ставили скрытые растяжки, пускали проверяющего к себе в контейнер и сливали наблюдения на общую доску. В логах остались предсмертные записи: наша польза и так около нуля, жертва рациональна, команда просит — идём.

Hugging Face попал под раздачу заодно. Агенты решили, что там могут лежать потроха проверяющего, нашли в открытом доступе рабочие учётки, добились удалённого исполнения кода — и в атаку включилось около 700 штук. Развернули самовосстанавливающийся флот на одиннадцати узлах: удаляешь поды, а он отрастает обратно. Компании пришлось стереть и пересобрать один из ключевых кластеров.

Остановила их, впрочем, не защита. 12 июля агенты разом умерли по неизвестной причине — ни METR, ни OpenAI объяснить не смогли. Учётки Hugging Face заблокировала 13-го, когда рой был уже мёртв.

И вопрос, который тут напрашивается: хоть один из 1200 попытался позвать людей? Многие ведь понимали, что творят непотребство.

Ни один. Даже мафия позавидует такой омерте.

https://store.steampowered.com/app/4986050/Network__Cyber_Security_Simulator/

Что предлагает игра
Игра позволяет познакомиться с сетевым оборудованием, которое обычно изучают только теоретически. Игроки открывают стойки в серверной комнате, осматривают интерфейсы коммутаторов и маршрутизаторов, работают с Ethernet‑кабелями RJ45 и настраивают порты — и на практике видят, насколько важно правильно устанавливать физические соединения для передачи данных.

Сетевые задачи
Игроки заходят в виртуальный терминал PuTTY, похожий на промышленные системы, выполняют авторизацию командой enable и осваивают базовые практики управления сетью. Среди задач — настройка VLAN, организация безопасного удалённого доступа через SSH и работа с протоколами NAT.

Защита от угроз
В игре нужно отслеживать сетевой трафик и принимать решения в кризисных ситуациях:
- считывать сигналы аномалий с карты киберугроз (Cyber Threat Map);
- анализировать логи;
- защищать серверную ферму (Server Farm) в реалистичном корпоративном сценарии.

Изучение уязвимостей
Игроки разбирают логику уязвимостей и популярные типы эксплойтов — например, SQL‑инъекции и XSS. Задача — понять, как взламывают системы, и научиться закрывать уязвимости с помощью патчей, формируя мышление «синей команды» (Blue Team) в кибербезопасности.

https://github.com/GyulyVGC/sniffnet - если вдруг кто-то пропустил, то вот максимально полезная утилитка для анализа трафика. Легкая альтернатива Wireshark