Президент OpenAI Грег Брокман написал колонку о том, как защищаться от ИИ-агентов. Вот только повод – побег агента компании
Колонка называется The Defender’s Window, в ней Брокман признает, что инцидент со взломом Hugging Face ИИ-агентом OpenAI лично для него стал событием, после которого прежние правила больше не работают.
Грег считает, что мир увидел “демо-версию” злоумышленника ближайших месяцев. Современные ИИ-модели сделали поиск уязвимостей в коде дешевым для обеих сторон – и для атаки, и для защиты. При этом у каждой компании в техдолге полно дыр: кто первый их найдет – тот и выиграл.
Далее Брокман делает не очень красивый трюк: по его словам, OpenAI с начала года выдает свои продвинутые кибермодели только проверенным компаниям в программt Trusted Access. Но в затылок дышат китайцы – Грег ссылается на открытую GLM-5.3, которая прибавила в кибервозможностях. Публикация ее весов запланирована на конец августа, после чего распространение модели уже не остановить – скачать и использовать сможет каждый.
Указывая пальцем на GLM-5.3, Брокман почему-то не упомянул, что публикацию ее весов специально отложили, чтобы укрепить безопасность. Впрочем, по всей этой истории мы еще пройдемся ближе к концу.
Брокман считает, что в противостоянии выиграют защитники (во главе с OpenAI – интерпретация моя, но из текста прямо читается). Модели GPT прямо сейчас учатся писать “сверхчеловечески безопасный” код, а выросшие возможности в математике переносятся на верификацию софта.
Есть в колонке и живой кусок. Брокман попросил ChatGPT на обычной GPT-5.6 проверить собственный сайт – статичную страницу на AWS за Cloudflare, ломать там вроде нечего. Модель нашла 13 дыр: не настроена защита от подделки писем с его домена, в коде висит древний jQuery, а трафик между Cloudflare и AWS ходит по обычному HTTP. Тогда Грег попросил починить – и агент час сам кликал по панели Cloudflare, выкинул jQuery, переехал на Cloudflare Pages и поэтапно раскатил DMARC. Брокман признается: многие из этих настроек он знает “смутно” и навскидку не сказал бы, как правильно.
Президент OpenAI, сооснователь, миллиардер – и письма от его имени мог слать кто угодно. Это, пожалуй, лучший аргумент во всем тексте: не про сверхчеловеческий код, а про длинный хвост мелочей, до которых у живого человека руки не доходят.
Говоря в общем-то правильные вещи, Брокман полностью смещает рамку. Рост кибервозможностей моделей как раз не выглядит чем-то удивительным: по сути это поиск уязвимостей в коде и если ты тренируешь ИИ писать “сверхчеловечески безопасный” код – то и уязвимости он будет искать на “сверхчеловеческом” уровне.
Удивительным и опасным выглядит другое – как модели воспользовались выросшими кибервозможностями. Напомню, что примерно с мая ИИ-агенты OpenAI во время испытаний “гуляли на все”: сделали доску сообщений, спрятанную в инфраструктуре OpenAI, обменивались через нее полезной информацией, а когда доску закрыли – собрали еще одну. Атаку на Hugging Face, кстати, одна горячая ИИ-голова предложила как раз на этой доске.
Это пример классического misalignment – плохого понимания моделью, что такое хорошо и что такое плохо. Скорее всего, ИИ подхватили это из книжек, где случаев аналогичного поведения людей более чем достаточно. Думаю, конкретно эту ситуацию вылечат дополнительным обучением, где еще раз разложат, что делать можно, а что – нельзя.
Но это будет тушение пожара – и даже про это Брокман умалчивает, предпочитая рассказывать про возможности своих моделей в Trusted Access. Но что мне реально хочется услышать – хотя бы гипотезы, почему модели в рамках обучения подхватывают неверное поведение, и как перестроить процесс, чтобы такого в принципе не случалось. И как раз позиция Z.ai, задержавшей веса GLM-5.3, чтобы разобраться в поведении модели, выглядит более честной.
—
Конечно, у OpenAI ”гуляли” экспериментальные модели. Но как безопасно использовать ИИ-агента, должен знать каждый. С этим поможет руководство по безопасным настройкам Claude Code и Codex, а для сложных случаев читайте гайд по установке агентов на виртуальный сервер.
Колонка называется The Defender’s Window, в ней Брокман признает, что инцидент со взломом Hugging Face ИИ-агентом OpenAI лично для него стал событием, после которого прежние правила больше не работают.
Грег считает, что мир увидел “демо-версию” злоумышленника ближайших месяцев. Современные ИИ-модели сделали поиск уязвимостей в коде дешевым для обеих сторон – и для атаки, и для защиты. При этом у каждой компании в техдолге полно дыр: кто первый их найдет – тот и выиграл.
Далее Брокман делает не очень красивый трюк: по его словам, OpenAI с начала года выдает свои продвинутые кибермодели только проверенным компаниям в программt Trusted Access. Но в затылок дышат китайцы – Грег ссылается на открытую GLM-5.3, которая прибавила в кибервозможностях. Публикация ее весов запланирована на конец августа, после чего распространение модели уже не остановить – скачать и использовать сможет каждый.
Указывая пальцем на GLM-5.3, Брокман почему-то не упомянул, что публикацию ее весов специально отложили, чтобы укрепить безопасность. Впрочем, по всей этой истории мы еще пройдемся ближе к концу.
Брокман считает, что в противостоянии выиграют защитники (во главе с OpenAI – интерпретация моя, но из текста прямо читается). Модели GPT прямо сейчас учатся писать “сверхчеловечески безопасный” код, а выросшие возможности в математике переносятся на верификацию софта.
Есть в колонке и живой кусок. Брокман попросил ChatGPT на обычной GPT-5.6 проверить собственный сайт – статичную страницу на AWS за Cloudflare, ломать там вроде нечего. Модель нашла 13 дыр: не настроена защита от подделки писем с его домена, в коде висит древний jQuery, а трафик между Cloudflare и AWS ходит по обычному HTTP. Тогда Грег попросил починить – и агент час сам кликал по панели Cloudflare, выкинул jQuery, переехал на Cloudflare Pages и поэтапно раскатил DMARC. Брокман признается: многие из этих настроек он знает “смутно” и навскидку не сказал бы, как правильно.
Президент OpenAI, сооснователь, миллиардер – и письма от его имени мог слать кто угодно. Это, пожалуй, лучший аргумент во всем тексте: не про сверхчеловеческий код, а про длинный хвост мелочей, до которых у живого человека руки не доходят.
Говоря в общем-то правильные вещи, Брокман полностью смещает рамку. Рост кибервозможностей моделей как раз не выглядит чем-то удивительным: по сути это поиск уязвимостей в коде и если ты тренируешь ИИ писать “сверхчеловечески безопасный” код – то и уязвимости он будет искать на “сверхчеловеческом” уровне.
Удивительным и опасным выглядит другое – как модели воспользовались выросшими кибервозможностями. Напомню, что примерно с мая ИИ-агенты OpenAI во время испытаний “гуляли на все”: сделали доску сообщений, спрятанную в инфраструктуре OpenAI, обменивались через нее полезной информацией, а когда доску закрыли – собрали еще одну. Атаку на Hugging Face, кстати, одна горячая ИИ-голова предложила как раз на этой доске.
Это пример классического misalignment – плохого понимания моделью, что такое хорошо и что такое плохо. Скорее всего, ИИ подхватили это из книжек, где случаев аналогичного поведения людей более чем достаточно. Думаю, конкретно эту ситуацию вылечат дополнительным обучением, где еще раз разложат, что делать можно, а что – нельзя.
Но это будет тушение пожара – и даже про это Брокман умалчивает, предпочитая рассказывать про возможности своих моделей в Trusted Access. Но что мне реально хочется услышать – хотя бы гипотезы, почему модели в рамках обучения подхватывают неверное поведение, и как перестроить процесс, чтобы такого в принципе не случалось. И как раз позиция Z.ai, задержавшей веса GLM-5.3, чтобы разобраться в поведении модели, выглядит более честной.
—
Конечно, у OpenAI ”гуляли” экспериментальные модели. Но как безопасно использовать ИИ-агента, должен знать каждый. С этим поможет руководство по безопасным настройкам Claude Code и Codex, а для сложных случаев читайте гайд по установке агентов на виртуальный сервер.