📎 Data Secrets
Сейчас будет очередная интересная история про агентов, которые взламывают Интернет
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положили реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попытался внедрить в него вредоносный код. Чтобы добиться аппрува, он создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).
Сейчас будет очередная интересная история про агентов, которые взламывают Интернет
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положили реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попытался внедрить в него вредоносный код. Чтобы добиться аппрува, он создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).