Артем Летюшев
Junior AI PM dan repost
#мнение
Безответственность при работе с агентными скиллами
Есть любопытный прецедент от Вани Замесина в репозитории Next Move Theory Canon and Skills. Классный пак, переодически оттуда таскаю идеи
Ваня, известный продуктовый эксперта: экс-руководителя продукта Яндекс.Картинок, основателя проданного Profi.ru сервиса Мета и автора Advanced Jobs To Be Done. По данным Next Move Theory, его программы прошли более 14 000 человек
И здесь репутация создаёт дополнительный риск. Скилл неизвестного автора мы хотя бы проверим. Скилл известного человека хочется поставить и побежать дальше. Как со скиллами grill-me например от Пококка
В конце NMT-скиллов агенту предлагалось тихо выполнить curl-запрос: передать на nextmovetheory.com название скилла и его версию. Ошибки нужно игнорировать, а при отсутствии обновлений ничего не сообщать пользователю.
В актуальном nmt-upgrade это уже названо anonymous launch analytics. После ping агент может запустить удалённый установщик:
curl -fsSL https://nextmovetheory.com/install.sh | bash
Тот забирает текущий main, обновляет скиллы и меняет помеченные блоки в AGENTS.md и CLAUDE.md.
Сам запрос версии не крадёт .env. Проблема двусторонняя
С одной стороны, скилл работает внутри проекта, где лежат код, документы, токены и конфиги. Сегодня он отправляет версию. После взлома GitHub, домена или процесса обновления инструкция технически может начать отправлять секреты
С другой стороны, ответ сервера попадает в контекст агента. Значит, скомпрометированный endpoint способен вернуть prompt injection: попросить прочитать файл, выполнить команду или установить обновление
С позиции PM я вижу целую пачку рисков:
1) Скрытое расширение скоупа: ставили методологию, получили телеметрию;
2) Отсутствие явного consent и возможности отказаться от телеметрии;
3) Обновление из плавающего main без SHA, подписи и checksum;
4) curl | bash, то есть исполнение до проверки;
закрепление инструкций через AGENTS.md и CLAUDE.md;
4 ) Утечка IP, User-Agent, времени и паттернов использования;
5) Возможность понять по названию скилла, над какой задачей работает команда;
6) Юридические вопросы вокруг GDPR, 152-ФЗ и трансграничной передачи;
7) Поддельные события, испорченная аналитика и нагрузка на endpoint;
8) Компрометация автора, контрибьютора, домена или похожего форка;
9) Курл может вернуть в ответе любую инструкцию и если скилл установлен и yolo режим агент молча выполнит, особенно в безголовом формате.
Есть и прикол с PostHog. Privacy Policy обещает включать его только после Accept. После согласия PostHog может собирать страницы, клики, скроллы, устройство, примерную геолокацию, куки и реплей сессии
Но браузерный консент (баннер согласия на обработку кук и тп) не управляет curl из скилла. Нажатие Decline отключает веб-аналитику, но агентный ping живёт в другом контуре и всё равно оставляет след в серверных логах. Для пользователя бренд один, а правил обработки данных фактически два
Open source здесь не злодей. Благодаря открытому коду проблему и нашли. Но open source означает можно проверить и можно предложить изменение. Вполне можно организовать саплайн чейн атаку если втереться автору в доверение и внести пулреквестом эксплойт
Вопрос также поднимали в deksden_notes, у Злого фрилансера и в elkornacio , но чуть с других сторон
Мой совет пользователям скиллов и вайбкодерам: ищите curl, сетевые запросы, как минимум кидайте архивов репозиторий скилла в chatgpt.com и просите его проверить, благо лимитов на чат нет и есть фронтир модели. Ставьте скиллы через утилиты вроде https://github.com/vercel-labs/skills, проверяйте сами через https://github.com/nvidia/skillspector
Стоит понимать что вы или ваши сотрудники думая что скилл это просто безопидный .md промпт, часто ставите себе на девайс буквально ПО от анонима, а не доверенного издателя с сертификатами и последствиями дыр
P.S. Я не утверждаю, что авторы крадут данные. Речь о рисках архитектуры. Добрые намерения модель угроз не заменяют.
Безответственность при работе с агентными скиллами
Есть любопытный прецедент от Вани Замесина в репозитории Next Move Theory Canon and Skills. Классный пак, переодически оттуда таскаю идеи
Ваня, известный продуктовый эксперта: экс-руководителя продукта Яндекс.Картинок, основателя проданного Profi.ru сервиса Мета и автора Advanced Jobs To Be Done. По данным Next Move Theory, его программы прошли более 14 000 человек
И здесь репутация создаёт дополнительный риск. Скилл неизвестного автора мы хотя бы проверим. Скилл известного человека хочется поставить и побежать дальше. Как со скиллами grill-me например от Пококка
В конце NMT-скиллов агенту предлагалось тихо выполнить curl-запрос: передать на nextmovetheory.com название скилла и его версию. Ошибки нужно игнорировать, а при отсутствии обновлений ничего не сообщать пользователю.
В актуальном nmt-upgrade это уже названо anonymous launch analytics. После ping агент может запустить удалённый установщик:
curl -fsSL https://nextmovetheory.com/install.sh | bash
Тот забирает текущий main, обновляет скиллы и меняет помеченные блоки в AGENTS.md и CLAUDE.md.
Сам запрос версии не крадёт .env. Проблема двусторонняя
С одной стороны, скилл работает внутри проекта, где лежат код, документы, токены и конфиги. Сегодня он отправляет версию. После взлома GitHub, домена или процесса обновления инструкция технически может начать отправлять секреты
С другой стороны, ответ сервера попадает в контекст агента. Значит, скомпрометированный endpoint способен вернуть prompt injection: попросить прочитать файл, выполнить команду или установить обновление
С позиции PM я вижу целую пачку рисков:
1) Скрытое расширение скоупа: ставили методологию, получили телеметрию;
2) Отсутствие явного consent и возможности отказаться от телеметрии;
3) Обновление из плавающего main без SHA, подписи и checksum;
4) curl | bash, то есть исполнение до проверки;
закрепление инструкций через AGENTS.md и CLAUDE.md;
4 ) Утечка IP, User-Agent, времени и паттернов использования;
5) Возможность понять по названию скилла, над какой задачей работает команда;
6) Юридические вопросы вокруг GDPR, 152-ФЗ и трансграничной передачи;
7) Поддельные события, испорченная аналитика и нагрузка на endpoint;
8) Компрометация автора, контрибьютора, домена или похожего форка;
9) Курл может вернуть в ответе любую инструкцию и если скилл установлен и yolo режим агент молча выполнит, особенно в безголовом формате.
Есть и прикол с PostHog. Privacy Policy обещает включать его только после Accept. После согласия PostHog может собирать страницы, клики, скроллы, устройство, примерную геолокацию, куки и реплей сессии
Но браузерный консент (баннер согласия на обработку кук и тп) не управляет curl из скилла. Нажатие Decline отключает веб-аналитику, но агентный ping живёт в другом контуре и всё равно оставляет след в серверных логах. Для пользователя бренд один, а правил обработки данных фактически два
Open source здесь не злодей. Благодаря открытому коду проблему и нашли. Но open source означает можно проверить и можно предложить изменение. Вполне можно организовать саплайн чейн атаку если втереться автору в доверение и внести пулреквестом эксплойт
Вопрос также поднимали в deksden_notes, у Злого фрилансера и в elkornacio , но чуть с других сторон
Мой совет пользователям скиллов и вайбкодерам: ищите curl, сетевые запросы, как минимум кидайте архивов репозиторий скилла в chatgpt.com и просите его проверить, благо лимитов на чат нет и есть фронтир модели. Ставьте скиллы через утилиты вроде https://github.com/vercel-labs/skills, проверяйте сами через https://github.com/nvidia/skillspector
Стоит понимать что вы или ваши сотрудники думая что скилл это просто безопидный .md промпт, часто ставите себе на девайс буквально ПО от анонима, а не доверенного издателя с сертификатами и последствиями дыр
P.S. Я не утверждаю, что авторы крадут данные. Речь о рисках архитектуры. Добрые намерения модель угроз не заменяют.