Репост из: OK ML
ML supply chain - реальная поверхность атаки. Конкретные примеры, почему это не теория (начало тут)
Hugging Face прямо предупреждает, что pickle при десериализации исполняет последовательность opcode-инструкций; именно поэтому они поддерживают pickle-scanning. В качестве более безопасного формата Hugging Face продвигает safetensors, который позиционируется как безопасная альтернатива pickle для хранения тензоров.
HiddenLayer показали, что через вредоносный PyTorch binary можно было компрометировать сервис конвертации Hugging Face Safetensors, украсть токен официального conversion bot, отправлять PR от имени бота и автоматически угонять модели, проходящие через сервис. Это очень показательный AI supply chain кейс! Атакуется не только модель, но и доверенный сервис вокруг нее.
Microsoft описывает сценарии, где вредоносные инструкции попадают в систему не через прямой пользовательский prompt, а через данные, которые агент читает, или через metadata инструментов. Это особенно опасно для MCP и multi-tool систем, где агент принимает решения на основе внешнего контекста.
The Hacker News 11 марта 2026 года описали кампанию с пятью вредоносными Rust crates, которые крали .env-секреты, а также атаку AI-бота на GitHub Actions/CI/CD. Это не ML-артефакты как таковые, но механизм тот же. Доверие к артефакту или автоматизации внутри build pipeline превращается в канал эксфильтрации токенов и захвата даунстрим-систем.
Почему это особенно важно для AI agents
Здесь сходятся сразу несколько рисков:
🥹 The Agency Gap - model-level guardrails не контролируют действия агента с доступом к тулам;
🥹 Indirect Prompt Injection - агент можно скомпрометировать через документ, веб-страницу, tool metadata, retrieval-данные;
🥹 Privilege Escalation in AI , если у агента есть доступ к API, файлам, CI/CD secret store или shared credentials, ошибка быстро становится инцидентом;
🥹 Multi-Agent Risk - один зараженный артефакт или poisoned context может каскадно распространяться по связанным агентам и оркестраторам.
Что делать на практике (коротко) 😺
1. Подписывать модели и датасеты. Базовый минимум - публиковать и проверять криптографические хеши. Роскошный максимум - цифровые подписи и твои предложения в комментариях.
2. Проверять артефакты в CI/CD до использования, а не после.
3. Снижать риск unsafe model formats. Используете пикл? Тогда я иду к вам …
4. Изолировать агентные права.
5. Считать внешние данные недоверенными по умолчанию.
6. Защищать не только артефакты, но и уровень вызова инструментов
Таким образом, важно не смешивать два уровня защиты.
С одной стороны, нужно защищать ML supply chain (модели, веса, датасеты, provenance, подписи и целостность артефактов). С другой, нужно отдельно защищать agent/tool execution layer (MCP-серверы, tool endpoints, session security, права агентов, валидацию входов и контроль вызовов).
И если для первой задачи нам нужны cryptographic signatures, hash verification и attestation, то для второй - уже практики из мира MCP security. Хороший ориентир здесь - MCP Security Checklist от Helixar - это community-maintained baseline для команд, которые строят и разворачивают MCP-серверы и AI agent infrastructure.
Пока организация не контролирует происхождение моделей, датасетов и доступы агентов к инструментам, любой ML-пайплайн остается зоной повышенного риска. Без integrity checks, provenance и least privilege AI ускоряет не только процессы, но и потенциальный ущерб.
Пост вдохновлен анонсом вебинара!
Все
☕️
Что-то не пойму, как убрать все эти английские словечки из речи...
Hugging Face прямо предупреждает, что pickle при десериализации исполняет последовательность opcode-инструкций; именно поэтому они поддерживают pickle-scanning. В качестве более безопасного формата Hugging Face продвигает safetensors, который позиционируется как безопасная альтернатива pickle для хранения тензоров.
HiddenLayer показали, что через вредоносный PyTorch binary можно было компрометировать сервис конвертации Hugging Face Safetensors, украсть токен официального conversion bot, отправлять PR от имени бота и автоматически угонять модели, проходящие через сервис. Это очень показательный AI supply chain кейс! Атакуется не только модель, но и доверенный сервис вокруг нее.
Microsoft описывает сценарии, где вредоносные инструкции попадают в систему не через прямой пользовательский prompt, а через данные, которые агент читает, или через metadata инструментов. Это особенно опасно для MCP и multi-tool систем, где агент принимает решения на основе внешнего контекста.
The Hacker News 11 марта 2026 года описали кампанию с пятью вредоносными Rust crates, которые крали .env-секреты, а также атаку AI-бота на GitHub Actions/CI/CD. Это не ML-артефакты как таковые, но механизм тот же. Доверие к артефакту или автоматизации внутри build pipeline превращается в канал эксфильтрации токенов и захвата даунстрим-систем.
Почему это особенно важно для AI agents
Здесь сходятся сразу несколько рисков:
🥹 The Agency Gap - model-level guardrails не контролируют действия агента с доступом к тулам;
🥹 Indirect Prompt Injection - агент можно скомпрометировать через документ, веб-страницу, tool metadata, retrieval-данные;
🥹 Privilege Escalation in AI , если у агента есть доступ к API, файлам, CI/CD secret store или shared credentials, ошибка быстро становится инцидентом;
🥹 Multi-Agent Risk - один зараженный артефакт или poisoned context может каскадно распространяться по связанным агентам и оркестраторам.
Что делать на практике (коротко) 😺
1. Подписывать модели и датасеты. Базовый минимум - публиковать и проверять криптографические хеши. Роскошный максимум - цифровые подписи и твои предложения в комментариях.
2. Проверять артефакты в CI/CD до использования, а не после.
3. Снижать риск unsafe model formats. Используете пикл? Тогда я иду к вам …
4. Изолировать агентные права.
5. Считать внешние данные недоверенными по умолчанию.
6. Защищать не только артефакты, но и уровень вызова инструментов
Таким образом, важно не смешивать два уровня защиты.
С одной стороны, нужно защищать ML supply chain (модели, веса, датасеты, provenance, подписи и целостность артефактов). С другой, нужно отдельно защищать agent/tool execution layer (MCP-серверы, tool endpoints, session security, права агентов, валидацию входов и контроль вызовов).
И если для первой задачи нам нужны cryptographic signatures, hash verification и attestation, то для второй - уже практики из мира MCP security. Хороший ориентир здесь - MCP Security Checklist от Helixar - это community-maintained baseline для команд, которые строят и разворачивают MCP-серверы и AI agent infrastructure.
Пока организация не контролирует происхождение моделей, датасетов и доступы агентов к инструментам, любой ML-пайплайн остается зоной повышенного риска. Без integrity checks, provenance и least privilege AI ускоряет не только процессы, но и потенциальный ущерб.
Пост вдохновлен анонсом вебинара!
Все
☕️
Что-то не пойму, как убрать все эти английские словечки из речи...