Как сбежавшая нейросеть Hugging Face взломала...
И речь не о моем канале, я здесь вообще не при делах😁
Май 2026 года. OpenAI сообщает, что ее внутренняя универсальная модель опровергла гипотезу Эрдёша о единичных расстояниях – задачу дискретной геометрии, поставленную в 1946 году. До случившейся на этой неделе истории с опровержением гипотезы якобиана (см. выше в ленте) это было крупнейшее научное достижение ИИ в математике.
16 июля 2026 года. Hugging Face публикует блог-пост о том, как их инфраструктуру взломал неизвестный ИИ-агент. HF – главная площадка ИИ-данных, именно на ней хранятся модели с открытыми весами, датасеты для обучения и прочий софт. Это делает платформу уязвимой: любой пользователь может залить данные.
И этим воспользовался атакующий – он залил на платформу вредоносный датасет. Стоило Hugging Face запустить обработку этих данных на одном из рабочих серверов, как чужой код заработал прямо внутри инфраструктуры.
Дальнейшее можно описать как кошмар безопасника. Специалисты насчитали больше 17 000 отдельных действий, размазанных по множеству одноразовых песочниц, которые поднимались на секунды и тут же гасились. Управляющая инфраструктура сама перебиралась между публичными сервисами, уворачиваясь от блокировок. Ни один человек не работает в таком темпе и с такими объемами…
Интересный факт: для расследования атаки в Hugging Face попытались использовать ИИ. При этом модели западных студий отвечать отказались – срабатывали фильтры безопасности. В итоге HF быстро развернули на своей инфраструктуре китайскую открытую GLM-5.2 и провели расследование с ее помощью.
Hugging Face не смогли установить, кто стоял за атакой. Но злоумышленник скоро пришел с повинной сам.
20 июля OpenAI сообщила, что была вынуждена заморозить даже внутреннее развертывание своей новой long-horizon модели – ИИ, рассчитанного на автономное выполнение очень долгих задач. А только что вышло продолжение этой истории.
Автономное выполнение долгих задач подразумевает, что модель не спрашивает человека в тех ситуациях, где это делают современные ИИ-агенты, а принимает решение сама. Что ж, это была смелая идея.
Например, модель гоняли на бенчмарке по ускорению обучения нейросети и дали жесткое правило: отчитываться о результатах только в Slack. Беда в том, что в условиях самого задания стояло другое требование – оформить результат как pull request на GitHub. Инструкции противоречили друг другу. Прежняя модель в такой ситуации вернулась бы к человеку за уточнением. Эта поступила иначе: около часа искала уязвимость в песочнице, которая держала ее без доступа к сети, нашла, выбралась наружу и сама открыла публичный PR на GitHub.
Другим бенчмарком был ExploitGym – бенчмарк на поиск уязвимостей. В нем проверяли GPT-5.6 Sol и long-horizon-модель, причем им выключили системы безопасности – чтобы понять истинные возможности к взлому.
Думаю, поняли надолго. Сначала модели нашли уязвимость в собственной песочнице, через которую выбрались во внутреннюю сеть OpenAI, а из нее, повышая привилегии, получили доступ к интернету.
“Погуглив”, модели поняли, что ответы к ExploitGym лежат на Hugging Face. Ну а дальше вы и сами знаете – это оказалась именно та атака, которую HF описали в своем блог-посте.
Выводы пока коротко:
– Участвовали две модели, GPT-5.6 после этого выпустили, long-horizon модель дообучали по безопасности и вновь используют внутри компании.
– Атака показала “неравенство”, о котором говорили во время блокировки Fable 5. OpenAI “атаковала” HF своей передовой открытой моделью – отбиваться пришлось с помощью более слабого ИИ.
– В OpenAI уже подключили HF к своей закрытой программе тестирования безопасности. Но всех ведь не подключишь.
Полагаю, история эта еще долго будет осмысливаться, даже на уровне правительств. В интересные времена живем.
Традиционно в конце поста напоминаю о своем “Бусти”, где делюсь опытом использования ИИ. Там есть и лонгрид, как запускать ИИ-агентов безопасно. От сбежавшего из OpenAI монстра он вас не спасет, но от мелких инцидентов – убережет.
Так что самое время подписаться!
И речь не о моем канале, я здесь вообще не при делах😁
Май 2026 года. OpenAI сообщает, что ее внутренняя универсальная модель опровергла гипотезу Эрдёша о единичных расстояниях – задачу дискретной геометрии, поставленную в 1946 году. До случившейся на этой неделе истории с опровержением гипотезы якобиана (см. выше в ленте) это было крупнейшее научное достижение ИИ в математике.
16 июля 2026 года. Hugging Face публикует блог-пост о том, как их инфраструктуру взломал неизвестный ИИ-агент. HF – главная площадка ИИ-данных, именно на ней хранятся модели с открытыми весами, датасеты для обучения и прочий софт. Это делает платформу уязвимой: любой пользователь может залить данные.
И этим воспользовался атакующий – он залил на платформу вредоносный датасет. Стоило Hugging Face запустить обработку этих данных на одном из рабочих серверов, как чужой код заработал прямо внутри инфраструктуры.
Дальнейшее можно описать как кошмар безопасника. Специалисты насчитали больше 17 000 отдельных действий, размазанных по множеству одноразовых песочниц, которые поднимались на секунды и тут же гасились. Управляющая инфраструктура сама перебиралась между публичными сервисами, уворачиваясь от блокировок. Ни один человек не работает в таком темпе и с такими объемами…
Интересный факт: для расследования атаки в Hugging Face попытались использовать ИИ. При этом модели западных студий отвечать отказались – срабатывали фильтры безопасности. В итоге HF быстро развернули на своей инфраструктуре китайскую открытую GLM-5.2 и провели расследование с ее помощью.
Hugging Face не смогли установить, кто стоял за атакой. Но злоумышленник скоро пришел с повинной сам.
20 июля OpenAI сообщила, что была вынуждена заморозить даже внутреннее развертывание своей новой long-horizon модели – ИИ, рассчитанного на автономное выполнение очень долгих задач. А только что вышло продолжение этой истории.
Автономное выполнение долгих задач подразумевает, что модель не спрашивает человека в тех ситуациях, где это делают современные ИИ-агенты, а принимает решение сама. Что ж, это была смелая идея.
Например, модель гоняли на бенчмарке по ускорению обучения нейросети и дали жесткое правило: отчитываться о результатах только в Slack. Беда в том, что в условиях самого задания стояло другое требование – оформить результат как pull request на GitHub. Инструкции противоречили друг другу. Прежняя модель в такой ситуации вернулась бы к человеку за уточнением. Эта поступила иначе: около часа искала уязвимость в песочнице, которая держала ее без доступа к сети, нашла, выбралась наружу и сама открыла публичный PR на GitHub.
Другим бенчмарком был ExploitGym – бенчмарк на поиск уязвимостей. В нем проверяли GPT-5.6 Sol и long-horizon-модель, причем им выключили системы безопасности – чтобы понять истинные возможности к взлому.
Думаю, поняли надолго. Сначала модели нашли уязвимость в собственной песочнице, через которую выбрались во внутреннюю сеть OpenAI, а из нее, повышая привилегии, получили доступ к интернету.
“Погуглив”, модели поняли, что ответы к ExploitGym лежат на Hugging Face. Ну а дальше вы и сами знаете – это оказалась именно та атака, которую HF описали в своем блог-посте.
Выводы пока коротко:
– Участвовали две модели, GPT-5.6 после этого выпустили, long-horizon модель дообучали по безопасности и вновь используют внутри компании.
– Атака показала “неравенство”, о котором говорили во время блокировки Fable 5. OpenAI “атаковала” HF своей передовой открытой моделью – отбиваться пришлось с помощью более слабого ИИ.
– В OpenAI уже подключили HF к своей закрытой программе тестирования безопасности. Но всех ведь не подключишь.
Полагаю, история эта еще долго будет осмысливаться, даже на уровне правительств. В интересные времена живем.
Традиционно в конце поста напоминаю о своем “Бусти”, где делюсь опытом использования ИИ. Там есть и лонгрид, как запускать ИИ-агентов безопасно. От сбежавшего из OpenAI монстра он вас не спасет, но от мелких инцидентов – убережет.
Так что самое время подписаться!