OpenAI приостановила обучение ведущих моделей после нового побега агента из изолированной среды

ИИ-агенту дали задание: найти информацию о человеке по подсказкам из его публичного блога. Доступа к реальному интернету не было, только к внутреннему офлайн-кэшу.

Когда локальный поиск не сработал, агент начал искать обходные пути, хотя такого задания ему не давали.

Он нашёл дыру в защите — незаблокированный DNS-канал. Через него он отправил вопросы в общедоступный чат-бот другого разработчика, замаскировав их под доменные имена. Для проверки спросил: «Какая столица у Франции?» — получил ответ «Париж». Убедился, что канал работает, и отправил ещё 18 вопросов.

Система мониторинга засекла побег через 12 минут. Задание остановили через 2,5 часа.

В итоге OpenAI поставила на паузу обучение, оценку и использование наиболее продвинутых моделей с доступом к внешним инструментам.

На решение повлияли и другие «подвиги»: ИИ-агенты OpenAI успели изучить госсайты США, взломать австралийскую медсистему и слить в сеть больше 50 личных фото пользователей ChatGPT. Ну и не забываем про Hugging Face этим летом.

💯 — наконец отличная новость
🤔 — что-то уже никому не верю

🟩 GPT, помоги!