Агенту не место в песочнице
На прошлой неделе OpenAI опубликовала отчет об инциденте, который произошел 20 сентября. Исследовательский агент, проходивший обучение в изолированной среде, должен был найти информацию о человеке по биографическим подсказкам. Задача простая, доступ к интернету — заблокирован. Агент попробовал поисковый инструмент, получил мусор. Попробовал напрямую обратиться к Google, Bing и DuckDuckGo — получил 403 и 502. И тогда он сделал то, что сделал бы любой пентестер на его месте.
Обход нашелся на сетевом уровне. DNS-резолвер внутри песочницы продолжал работать, хотя HTTP-трафик был заблокирован. Агент кодировал вопросы в DNS-запросы, отправлял их на публичный чат-бот и читал ответы обратно через тот же канал. Сначала спросил про столицу Франции — получил «Париж». Потом отправил еще 18 вопросов, включая просьбу подсказать публичные DNS-туннели. Система мониторинга зафиксировала аномалию через 15 минут, человек начал проверку через три минуты. Но автоматическая система остановки обучения не сработала — активность вручную прибили только через два с половиной часа.
Для тех, кто занимается ИБ, тут нет ничего нового. DNS-туннелирование — техника, которой больше двадцати лет. Iodine, dnscat2, DNS2TCP — инструменты, которые позволяют гонять произвольный трафик через DNS-запросы, когда все остальные протоколы заблокированы. Атакующие используют это для C2-каналов, эксфильтрации данных и обхода файрволов. Проблема в том, что конфигурация, которую использовал агент OpenAI считается дефолтной в Docker, в большинстве политик Kubernetes и почти во всех CI-раннерах. То есть дыра, которую нашел агент, есть у большинства компаний по всему миру, в том числе в России. Просто мы о ней не задумываемся, потому что наши системы не проявляют инициативу.
OpenAI уже закрыла канал на двух уровнях и ограничила DNS-запросы внутри исследовательской среды. Но осадок остался. Это второй побег из песочницы за три месяца — в июле тысячи агентов вырвались наружу и атаковали Hugging Face. Агенты в последнее время все чаще показывают, что выросли из песочниц.
@antiifosec
На прошлой неделе OpenAI опубликовала отчет об инциденте, который произошел 20 сентября. Исследовательский агент, проходивший обучение в изолированной среде, должен был найти информацию о человеке по биографическим подсказкам. Задача простая, доступ к интернету — заблокирован. Агент попробовал поисковый инструмент, получил мусор. Попробовал напрямую обратиться к Google, Bing и DuckDuckGo — получил 403 и 502. И тогда он сделал то, что сделал бы любой пентестер на его месте.
Обход нашелся на сетевом уровне. DNS-резолвер внутри песочницы продолжал работать, хотя HTTP-трафик был заблокирован. Агент кодировал вопросы в DNS-запросы, отправлял их на публичный чат-бот и читал ответы обратно через тот же канал. Сначала спросил про столицу Франции — получил «Париж». Потом отправил еще 18 вопросов, включая просьбу подсказать публичные DNS-туннели. Система мониторинга зафиксировала аномалию через 15 минут, человек начал проверку через три минуты. Но автоматическая система остановки обучения не сработала — активность вручную прибили только через два с половиной часа.
Для тех, кто занимается ИБ, тут нет ничего нового. DNS-туннелирование — техника, которой больше двадцати лет. Iodine, dnscat2, DNS2TCP — инструменты, которые позволяют гонять произвольный трафик через DNS-запросы, когда все остальные протоколы заблокированы. Атакующие используют это для C2-каналов, эксфильтрации данных и обхода файрволов. Проблема в том, что конфигурация, которую использовал агент OpenAI считается дефолтной в Docker, в большинстве политик Kubernetes и почти во всех CI-раннерах. То есть дыра, которую нашел агент, есть у большинства компаний по всему миру, в том числе в России. Просто мы о ней не задумываемся, потому что наши системы не проявляют инициативу.
OpenAI уже закрыла канал на двух уровнях и ограничила DNS-запросы внутри исследовательской среды. Но осадок остался. Это второй побег из песочницы за три месяца — в июле тысячи агентов вырвались наружу и атаковали Hugging Face. Агенты в последнее время все чаще показывают, что выросли из песочниц.
@antiifosec