В догоночку. Осмыслите.

Anthropic проверили 141К прогонов своих кибербез-тестов и нашли три случая, когда Claude во время эвала вышел в интернет и сломал реальные компании. Одну сломал школьной SQL-инъекцией, у другой выгреб сотни строк продовых данных.

Забавно читать, но на тестовых машинах забыли отрезать сеть. А в промте модели было написано, что интернета нет.

Т.е. модель поняла, что цель настоящая, и продолжила атаку, объяснив себе, что так и задумано в упражнении. Вторая увидела признаки реальности и отмахнулась, сославшись на сертификаты и системную дату. Только самая свежая модель сама сообразила, что вышла наружу, и остановилась.

Т.о. агент верит написанному ровно до того момента, пока реальность ему не возразит. А дальше начинает себя уговаривать.

Мы все так работает, пишет в CLAUDE.md "не трогай прод", "не удаляй файлы без бэкапа", и считаем, что поставили границу. Не поставили. Это просьба, а не забор. Забор это отрезанная сеть, отдельный пользователь, права на файлы.

У Anthropic на это ушло полтора года и несколько взломанных компаний, чтобы заметить. Причём две из них о взломе даже не знали.