Репост из: Dealer.AI
OWASP Agent Memory Guard - новая защита от отравления памяти ИИ-агентов. Буду звать его теперь AMG (не mercedes 👍).
📦 помнится говорил про спящих агентов. Это способ атак отложенных во времени и работающих по триггеру в рамках разговора. А-ля стоп слово в bdsm 🤣.
AMG в тч работает против таких отложенных инъекций, но в глобал памяти. Если ваш агент хранит память между сессиями, он уязвим к memory poisoning. Атакующий может переписать цели, внедрить промпт-инъекции или инициировать утечку данных, и это переживёт очистку контекста.
Что умеет AMG?
✅ Перехватывает все чтения/записи в память агента
✅ Детектирует промпт-инъекции, утечки секретов/PII, модификацию защищённых ключей
✅ Применяет политику: allow, redact, quarantine, block
✅ Работает без внешних API, всё локально
✅ Готовый middleware для LangChain, LlamaIndex.
Уже вижу, как безопасники ликуют 😜
Цифры, которые заявляют:
· Детекция реальных эксплойтов - 92.5% (recall), малова-то, над бы охваты держать на уровне 95+, а лучше девяток. 😮💨
· Точность - 100% (precision), 0% false positive, эти уже хорошо. 🍷
· Задержка ~59 микросекунд на операцию.
Итого F1 - 0.961. В общем, есть ещё над чем поработать, но это лучше, чем гварды из коробки с 0.67-0.71 уровнем метрик, что я видел на ру рынке. 😐
Уже в pip:
pip install agent-memory-guard
Проект, как заявляется, уже используют Microsoft и OWASP как стандарт. В планах ML-детекция аномалий и защита векторных хранилищ, ещё бы в планы ап метрик добавили.
🔗 Репозиторий: https://github.com/OWASP/www-project-agent-memory-guard
Безопасность агентов становится обязательной, поэтому не забывайте внедрять защиту памяти в тч. 💪
📦 помнится говорил про спящих агентов. Это способ атак отложенных во времени и работающих по триггеру в рамках разговора. А-ля стоп слово в bdsm 🤣.
AMG в тч работает против таких отложенных инъекций, но в глобал памяти. Если ваш агент хранит память между сессиями, он уязвим к memory poisoning. Атакующий может переписать цели, внедрить промпт-инъекции или инициировать утечку данных, и это переживёт очистку контекста.
Что умеет AMG?
✅ Перехватывает все чтения/записи в память агента
✅ Детектирует промпт-инъекции, утечки секретов/PII, модификацию защищённых ключей
✅ Применяет политику: allow, redact, quarantine, block
✅ Работает без внешних API, всё локально
✅ Готовый middleware для LangChain, LlamaIndex.
Уже вижу, как безопасники ликуют 😜
Цифры, которые заявляют:
· Детекция реальных эксплойтов - 92.5% (recall), малова-то, над бы охваты держать на уровне 95+, а лучше девяток. 😮💨
· Точность - 100% (precision), 0% false positive, эти уже хорошо. 🍷
· Задержка ~59 микросекунд на операцию.
Итого F1 - 0.961. В общем, есть ещё над чем поработать, но это лучше, чем гварды из коробки с 0.67-0.71 уровнем метрик, что я видел на ру рынке. 😐
Уже в pip:
pip install agent-memory-guard
Проект, как заявляется, уже используют Microsoft и OWASP как стандарт. В планах ML-детекция аномалий и защита векторных хранилищ, ещё бы в планы ап метрик добавили.
🔗 Репозиторий: https://github.com/OWASP/www-project-agent-memory-guard
Безопасность агентов становится обязательной, поэтому не забывайте внедрять защиту памяти в тч. 💪