Дженсен Хуанг и 100+ партнеров анонсируют NVIDIA Open Agent Safety Platform
Это система для контроля и ограничения ИИ-агентов, главная идея которой состоит в том, чтобы следить за агентом не только на уровне софта, но и на уровне железа.
Технически она будет состоять из двух составляющих:
1. OpenShell – открытый (Apache 2.0) рантайм, который запускает агента в песочнице с изоляцией на уровне ядра. Оператор заранее описывает, к каким файлам, инструментам и учетным данным у агента есть доступ, и эту политику принудительно проверяют до запуска и во время работы агента.
2. Sentry – независимый слой контроля, который крутится прямо на чипе DPU BlueField-4. Он собирает в единую картину действия агента, ловит попытки отхода от задачи и проверяет, что у агента не больше полномочий, чем ему выдали.
Ключевое здесь – что BlueField-4 стоит на единственном пути между узлом и моделью. Агент не может сделать следующий шаг без обращения к модели, а значит, DPU видит все и может прервать работу в реальном времени, но при этом он изолирован от хоста и находится вне досягаемости агента.
Софт будет открытый, стандарт безопасности декларируется общим. Но есть нюанс. Лучше всего (вот сюрприз!) все это работает на железе NVIDIA. Сначала Хуанг продает железо, на котором агентов обучают и запускают, теперь он продает железо, которое следит, чтобы эти агенты не сбежали. Монополия!
Среди партнеров: Anthropic, SpaceX, HuggingFace, Perplexity и другие. OpenAI на тусовку не позвали...
Это система для контроля и ограничения ИИ-агентов, главная идея которой состоит в том, чтобы следить за агентом не только на уровне софта, но и на уровне железа.
Технически она будет состоять из двух составляющих:
1. OpenShell – открытый (Apache 2.0) рантайм, который запускает агента в песочнице с изоляцией на уровне ядра. Оператор заранее описывает, к каким файлам, инструментам и учетным данным у агента есть доступ, и эту политику принудительно проверяют до запуска и во время работы агента.
2. Sentry – независимый слой контроля, который крутится прямо на чипе DPU BlueField-4. Он собирает в единую картину действия агента, ловит попытки отхода от задачи и проверяет, что у агента не больше полномочий, чем ему выдали.
Ключевое здесь – что BlueField-4 стоит на единственном пути между узлом и моделью. Агент не может сделать следующий шаг без обращения к модели, а значит, DPU видит все и может прервать работу в реальном времени, но при этом он изолирован от хоста и находится вне досягаемости агента.
Софт будет открытый, стандарт безопасности декларируется общим. Но есть нюанс. Лучше всего (вот сюрприз!) все это работает на железе NVIDIA. Сначала Хуанг продает железо, на котором агентов обучают и запускают, теперь он продает железо, которое следит, чтобы эти агенты не сбежали. Монополия!
Среди партнеров: Anthropic, SpaceX, HuggingFace, Perplexity и другие. OpenAI на тусовку не позвали...