В документе также предложен отличный пошаговый алгоритм работы, который я рекомендую всем реализовать в аудитах ИИ-систем (включая MLSecOps и AI Governance), отсеивая ME на каждом шаге:
1. Инвентаризация. Определите, какие объекты из модели есть у вас (это RAG, мультиагенты, внешние LLM API или может быть LoRA).
Если у вас нет мультиагентной системы, то вы сразу вычеркиваете T29, T30 и другие связанные ME.
2. Матрица нарушителей. Здесь оцените, кто ваш реальный враг, где именно угроза может появиться. Конкурент или бывший сотрудник или сам пользователь?
3. Маппинг контролей. Для каждого оставшегося ME подбирайте технический контроль.
4. Назначение владельцев. Используйте RACI из документа для разграничения ответственности.
Безусловно Модель угроз от Сбера v2.0 обязательна к изучению для тех, кто перешел от стадий внедрения чат-бота к созданию сложной ИИ-экосистемы с ИИ-агентами, RAG и дообучением.
Главный тренд, который считывается из документа - это периметр безопасности ИИ сместился от защиты весов модели к защите контекста, памяти, инструментов и каналов коммуникации между агентами.
Ссылка на модель на официальном сайте Сбера:
https://www.sberbank.ru/common/img/uploaded/kibrary/reminders/model_ugroz_kiberbezopasnosti_v2.0.pdf
Архитектор MLSecOps и AI Governance
Николай Павлов
1. Инвентаризация. Определите, какие объекты из модели есть у вас (это RAG, мультиагенты, внешние LLM API или может быть LoRA).
Если у вас нет мультиагентной системы, то вы сразу вычеркиваете T29, T30 и другие связанные ME.
2. Матрица нарушителей. Здесь оцените, кто ваш реальный враг, где именно угроза может появиться. Конкурент или бывший сотрудник или сам пользователь?
3. Маппинг контролей. Для каждого оставшегося ME подбирайте технический контроль.
4. Назначение владельцев. Используйте RACI из документа для разграничения ответственности.
Безусловно Модель угроз от Сбера v2.0 обязательна к изучению для тех, кто перешел от стадий внедрения чат-бота к созданию сложной ИИ-экосистемы с ИИ-агентами, RAG и дообучением.
Главный тренд, который считывается из документа - это периметр безопасности ИИ сместился от защиты весов модели к защите контекста, памяти, инструментов и каналов коммуникации между агентами.
Ссылка на модель на официальном сайте Сбера:
https://www.sberbank.ru/common/img/uploaded/kibrary/reminders/model_ugroz_kiberbezopasnosti_v2.0.pdf
Архитектор MLSecOps и AI Governance
Николай Павлов