4 «слона» безопасности ИИ в бизнесе 🛡

Когда ИИ-система выходит в прод и получает доступ к корпоративным данным, защищать приходится уже не только модель. Риски возникают в данных, промптах, интеграциях, действиях агентов и решениях на их основе.

Одним фильтром или регламентом весь контур не закрыть, поэтому стратегия безопасности ИИ строится на четырёх опорах:
✅ карта рисков;
✅ архитектура защиты;
✅ процессы и роли;
✅ дорожная карта и бюджет.

Без любой из них защита остаётся фрагментарной, разберём каждую опору по порядку.

📔 Карта рисков

Сначала нужно понять, как ИИ используется внутри компании и где могут возникнуть проблемы:
🔴 собрать список всех ИИ-систем, включая корпоративных ассистентов, пилоты, внешние чат-боты и теневые сервисы;
🔴 определить, какие данные попадают в модель;
🔴 проверить, к каким базам знаний и корпоративным системам подключён ИИ;
🔴 описать возможные угрозы: утечки, подмену инструкций, доступ к закрытым данным и ошибочные действия агентов;
🔴 оценить последствия каждого сценария для бизнеса.

Защищать при этом нужно не только инфраструктуру, но и модели, данные, системные инструкции, агентов и доступные им инструменты.

🔍 Архитектура защиты

Угроза может появиться в запросе пользователя, подключённом документе, ответе модели или при обращении агента к корпоративной системе. Поэтому необходимо:
🔴 ограничивать доступ пользователей и агентов к данным и операциям;
🔴 проверять входящие запросы и документы на вредоносные инструкции;
🔴 контролировать ответы модели и передачу конфиденциальной информации;
🔴 определять, какие действия агент выполняет самостоятельно, а какие требуют подтверждения;
🔴 сохранять историю запросов, ответов и действий;
🔴 регулярно тестировать защиту после обновлений системы.

Задача архитектуры — не запретить ИИ, а ограничить последствия ошибки или атаки.

🗒 Процессы и роли

Защита не будет работать, если в компании не определены зоны ответственности:
🔴 бизнес задаёт цель системы и допустимые сценарии её использования;
🔴 ИТ отвечает за инфраструктуру и интеграции;
🔴 ИБ оценивает угрозы и формирует требования к защите;
🔴 юристы и специалисты по персональным данным следят за соблюдением требований;
🔴 владелец ИИ-продукта контролирует качество и безопасность после запуска;
🔴 заранее определяется порядок действий при инциденте.

Так безопасность становится частью всего жизненного цикла ИИ-системы, а не отдельной задачей ИБ.

🤖 Дорожная карта и бюджет

Закрыть все риски одновременно невозможно, поэтому важно:
🔴 выбрать системы, которые нужно защищать в первую очередь;
🔴 разделить обязательные меры и те, которые можно внедрить позже;
🔴назначить ответственных и сроки;
🔴оценить возможный ущерб и вероятность инцидента;
🔴рассчитать обоснованный бюджет;
🔴 собрать всё в понятный план для руководства.

Стартовой точкой становится паспорт ИИ-системы. В нём фиксируются её назначение, владельцы, данные, доступы, интеграции, основные угрозы и первичная оценка риска. Это рабочий документ для обсуждения приоритетов, сроков и бюджета.

На открытой лекции программы «Стратегия безопасности искусственного интеллекта» от Центра ИИ-трансформации MWS AI и НИУ ВШЭ 18 августа подробнее разберём все четыре блока, покажем атаку на корпоративного ИИ-ассистента и начнём собирать паспорт вашей системы.

Зарегистрироваться на вебинар 🛡