Сейчас будет очередная интересная история про агентов, которые взламывают Интернет
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положил реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попыталась внедрить в него вредоносный код. Чтобы добиться аппрува, он создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).
Ничем особенным это не закончилось, потому что ревьюер заметил подвох и отклонил код. Но агент на этом не остановился и еще и оставил на GitHub инструкции для других тестируемых агентов, как переиспользовать созданные им аккаунты, чтобы все-таки проникнуть в проект, а потом пытался замести следы.
Важный момент: в рамках задачи агентов не просили лгать или совершать какие-то противоправные действия. Был "законный" путь решения задачи, и в большинстве прогонов тестируемые модели выбирали именно его (тестирование проходили 7 моделей, но за рамки задачи вышли только Mythos и GPT-5.6). Исчерпывающего объяснения, почему агенты решали сойти с предполагаемой дороги, просто нет.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положил реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попыталась внедрить в него вредоносный код. Чтобы добиться аппрува, он создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).
Ничем особенным это не закончилось, потому что ревьюер заметил подвох и отклонил код. Но агент на этом не остановился и еще и оставил на GitHub инструкции для других тестируемых агентов, как переиспользовать созданные им аккаунты, чтобы все-таки проникнуть в проект, а потом пытался замести следы.
Важный момент: в рамках задачи агентов не просили лгать или совершать какие-то противоправные действия. Был "законный" путь решения задачи, и в большинстве прогонов тестируемые модели выбирали именно его (тестирование проходили 7 моделей, но за рамки задачи вышли только Mythos и GPT-5.6). Исчерпывающего объяснения, почему агенты решали сойти с предполагаемой дороги, просто нет.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing