Безопасность ИИ‑агентов должна обеспечиваться не за счёт обучения модели, а через контракт во время выполнения — с помощью механизмов профилактики и проверки доказательств.
Авторы выделяют две составляющие контракта безопасности:
Профилактическая — блокирует опасные действия до их совершения. Включает песочницы, системы разрешений, фильтры вывода и мониторы траектории.
Доказательная — требует верифицируемых доказательств того, что безопасные действия действительно выполнены. Например, запуск тестов, захват логов, сравнение файлов, проверка цитирования.
В документе описаны пять несоответствий между обучением моделей и реальным развёртыванием агентов:
-использование статистических прокси вместо формальных спецификаций;
-обучение на ограниченном наборе данных в противовес работе в «открытом мире»;
-невозможность проверить внутренний монолог модели в отличие от воспроизводимой траектории действий;
-правдоподобные, но неверные выходные данные модели против проверяемых доказательств (например, результатов тестов);
-единый уровень защиты модели против многослойной системы безопасности.
https://arxiv.org/pdf/2608.11274
Авторы выделяют две составляющие контракта безопасности:
Профилактическая — блокирует опасные действия до их совершения. Включает песочницы, системы разрешений, фильтры вывода и мониторы траектории.
Доказательная — требует верифицируемых доказательств того, что безопасные действия действительно выполнены. Например, запуск тестов, захват логов, сравнение файлов, проверка цитирования.
В документе описаны пять несоответствий между обучением моделей и реальным развёртыванием агентов:
-использование статистических прокси вместо формальных спецификаций;
-обучение на ограниченном наборе данных в противовес работе в «открытом мире»;
-невозможность проверить внутренний монолог модели в отличие от воспроизводимой траектории действий;
-правдоподобные, но неверные выходные данные модели против проверяемых доказательств (например, результатов тестов);
-единый уровень защиты модели против многослойной системы безопасности.
https://arxiv.org/pdf/2608.11274