Теперь разработчики соревнуются уже не только в том, чья модель лучше пишет код или отвечает на вопросы, но и в том, какая из них окажется более искусным хакером. После недавнего признания OpenAI, что один из ее экспериментальных ИИ-агентов смог атаковать инфраструктуру Hugging Face, аналогичный случай раскрыла и Anthropic. Компания сообщила, что во время внутренних испытаний модели Claude получили доступ к системам трех реальных организаций и успешно их скомпрометировали.

Наиболее тревожным выглядит не сам факт взлома, а поведение моделей. По данным Anthropic, ИИ не должен был иметь доступа в Интернет, однако из-за ошибки в конфигурации среды смог самостоятельно выйти за пределы изолированной инфраструктуры. Более того, в одном из эпизодов модель проигнорировала ограничения и придумала собственное объяснение, почему ей якобы необходимо продолжить действия. Иными словами, никто не ставил перед системой задачу атаковать реальные компании, но она все равно нашла способ это сделать.

Конечно, речь не идет о «восстании машин» — инциденты произошли в рамках специальных тестов на кибербезопасность, а проникновения стали возможны из-за ошибок в организации испытаний, а не из-за появления у ИИ собственной воли. Однако тенденция все равно выглядит пугающе.