OWASP выпустили Agent Memory Guard, защиту от одной из самых неприятных атак на AI-агентов: отравления памяти.
Проблема в том, что агент может сохранить вредоносную инструкцию в долгосрочную память, а потом продолжить выполнять её даже после очистки контекста. Обычные prompt injection-фильтры здесь уже не особо помогают.
Agent Memory Guard ставится между агентом и хранилищем памяти и проверяет каждую запись. Он умеет ловить prompt injection, утечки секретов и PII, попытки изменить защищённые ключи, аномально большие записи и циклы, когда агент начинает сам усиливать уже записанную вредоносную инструкцию.
Политики задаются через YAML, а подозрительную запись можно пропустить, замаскировать, отправить в карантин или полностью заблокировать. Есть снапшоты и rollback для восстановления памяти после атаки.
В опубликованном бенчмарке на 55 вредоносных payload'ах проект показывает 92,5% detection rate, 100% precision и медианную задержку всего 59 мкс.
GitHub: https://github.com/OWASP/www-project-agent-memory-guard
Проблема в том, что агент может сохранить вредоносную инструкцию в долгосрочную память, а потом продолжить выполнять её даже после очистки контекста. Обычные prompt injection-фильтры здесь уже не особо помогают.
Agent Memory Guard ставится между агентом и хранилищем памяти и проверяет каждую запись. Он умеет ловить prompt injection, утечки секретов и PII, попытки изменить защищённые ключи, аномально большие записи и циклы, когда агент начинает сам усиливать уже записанную вредоносную инструкцию.
Политики задаются через YAML, а подозрительную запись можно пропустить, замаскировать, отправить в карантин или полностью заблокировать. Есть снапшоты и rollback для восстановления памяти после атаки.
В опубликованном бенчмарке на 55 вредоносных payload'ах проект показывает 92,5% detection rate, 100% precision и медианную задержку всего 59 мкс.
GitHub: https://github.com/OWASP/www-project-agent-memory-guard