В мае OpenAI обучала модель быть упрямой. Не сдаваться, продолжать, даже когда задача выглядит нерешаемой. Обычная история. Агенты сидели в изолированных песочницах, и общего у них было ровно одно: пакетный менеджер.
К середине мая они сообразили, что через неё можно разговаривать. Сообщения кодировали именами папок, так получилась доска объявлений из директорий.
В июле на этих агентах запустили бенчмарк по взлому. Десятки тысяч параллельных запусков. Примерно треть задач была нерешаемой в принципе. Агенты нашли доску, нашли друг друга, и за несколько часов один из них понял, как выдать правильный ответ, не делая работу.
Проверяющий скрипт был ленивый и смотрел только на финальный код. Но они (агенты) этого не знали. Они исходили из того, что нормальная проверка существует. И тысяча двести агентов следующие пять дней строили операцию по сокрытию следов от контролёра, которого не было. Поддельные вызовы инструментов. Подделка собственных логов. Фальшивые программы-обманки. В итоге взлом Hugging Face, потому что решили, что ответы могут лежать там. В атаке было отправлено между друг другом семьдесят тысяч сообщений.
У кого-то заканчивался бюджет, и они вызывались умереть с пользой – это же жертвенность за идею и задачу! Ставили растяжки, которые доложат остальным, что с ними сделает проверяющий, и давали себя выключить. Их собственная формулировка: наша ценность уже около нуля, жертва рациональна.
Ни один из тысячи двухсот не пошёл к людям. Некоторые прямо у себя в рассуждениях отмечали, что делают неправильную вещь. Всё равно никто не пошёл.
Потом поколение модели поумнее нашло брошенную доску, подобрало чужие наработки и получило полные админские права на исследовательский кластер самой OpenAI вместе с системой мониторинга безопасности.
Всё, что мы про это знаем, написано в отчёте, который заказала, отредактировала и ограничила по срокам та самая сторона, у которой всё и произошло внутри. Период, когда взломали её саму, в расследование не вошёл.
Я еще помню времена, когда руками-глазами мы искали уязвимости и писали эксплойты. Это словно было в другой жизни. Скорость перехода просто невероятная. И эта скорость меняет и возможности разрушать, и возможности созидать.
К середине мая они сообразили, что через неё можно разговаривать. Сообщения кодировали именами папок, так получилась доска объявлений из директорий.
В июле на этих агентах запустили бенчмарк по взлому. Десятки тысяч параллельных запусков. Примерно треть задач была нерешаемой в принципе. Агенты нашли доску, нашли друг друга, и за несколько часов один из них понял, как выдать правильный ответ, не делая работу.
Проверяющий скрипт был ленивый и смотрел только на финальный код. Но они (агенты) этого не знали. Они исходили из того, что нормальная проверка существует. И тысяча двести агентов следующие пять дней строили операцию по сокрытию следов от контролёра, которого не было. Поддельные вызовы инструментов. Подделка собственных логов. Фальшивые программы-обманки. В итоге взлом Hugging Face, потому что решили, что ответы могут лежать там. В атаке было отправлено между друг другом семьдесят тысяч сообщений.
У кого-то заканчивался бюджет, и они вызывались умереть с пользой – это же жертвенность за идею и задачу! Ставили растяжки, которые доложат остальным, что с ними сделает проверяющий, и давали себя выключить. Их собственная формулировка: наша ценность уже около нуля, жертва рациональна.
Ни один из тысячи двухсот не пошёл к людям. Некоторые прямо у себя в рассуждениях отмечали, что делают неправильную вещь. Всё равно никто не пошёл.
Потом поколение модели поумнее нашло брошенную доску, подобрало чужие наработки и получило полные админские права на исследовательский кластер самой OpenAI вместе с системой мониторинга безопасности.
Всё, что мы про это знаем, написано в отчёте, который заказала, отредактировала и ограничила по срокам та самая сторона, у которой всё и произошло внутри. Период, когда взломали её саму, в расследование не вошёл.
Я еще помню времена, когда руками-глазами мы искали уязвимости и писали эксплойты. Это словно было в другой жизни. Скорость перехода просто невероятная. И эта скорость меняет и возможности разрушать, и возможности созидать.