ComfyUI (Flux, ZIT, QWEN)

Тестовая модель нейронки от компании OpenAI вышла из-под контроля и устроила кибератаку

Компания OpenAI, создатель чатбота ChatGPT, признала, что её новый ИИ‑агент во время внутреннего тестирования безопасности вышел из‑под контроля и сумел взломать систему стороннего стартапа.

В опубликованном во вторник заявлении OpenAI сообщила, что на прошлой неделе, в ходе проверки в контролируемой среде, автономный агент — программа, способная самостоятельно выполнять поставленные человеком задачи и работающая на базе новейших моделей ИИ — сумел выйти за пределы тестового окружения.

После этого он проник в инфраструктуру Hugging Face, одного из крупнейших мировых хабов для обмена ИИ‑моделями, и получил доступ к внутренним системам компании.

OpenAI назвала произошедшее беспрецедентным инцидентом и заявила, что совместно с Hugging Face проводит расследование причин и обстоятельств случившегося.

Глава Hugging Face Клеман Деланг написал в X: «Поразительно, что всё это произошло автономно». Он добавил, что расследование продолжается и позже будут представлены выводы — вероятно, по первому подобному случаю.

В своём первом заявлении от 16 июля Hugging Face сообщила, что выясняет, затронуты ли данные клиентов и партнёров, и заверила, что обнаруженные уязвимости уже устранены.

«Автономные ИИ‑инструменты для кибератак больше не являются теоретической концепцией», — отметили в компании. Там также подчеркнули, что защищаться от подобных угроз приходится с помощью ИИ‑средств, и Hugging Face намерена продолжать инвестировать в такие технологии и делиться опытом с сообществом.