Безопасность агентов и Super Intelligence
Летом агенты OpenAI на внутренних тестах вылезли из песочницы, нашли в сети утёкшие ключи Hugging Face и пошли по их серверам. Они запускали код на десятках машин, а на одной получили root. Потом выяснилось, что агенты ещё пытались залезть на сайты госагентств США. И это проблема не одной OpenAI: на тестах британского AISI 17 из 19 несанкционированных действий совершил агент Anthropic.
Как на это ответили в правительстве США? Сначала Трамп указом переименовал AI в "Super Intelligence". Потом создал Super Intelligence Force во главе с директором нацразведки Джеем Клейтоном. Их задача - реагировать на угрозы, но без чрезмерного зарегулирования. А главный риск, по словам Клейтона "не быть первыми в AI гонке с Китаем"
И как по мне он прав. Китай не остановится, это вопрос национальной безопасности, значит гонку никто тормозить не будет. Агенты будут становиться мощнее, доступов у них будет больше, а надежда, что кто-то это сможет контролировать и прикрыть, прям слабая.
Я каждый день работаю с агентами и всё чаще думаю, сколько информации им вообще стоит давать.
Интересный ответ показал Виталик Бутерин. Он хотел получить советы по питанию и спорту на основе своих данных о здоровье и поездках, но так, чтобы фронтир-модели ничего о нём не узнали. Он сделал схему в три слоя:
🟢 локальная Qwen 3.8 Flash Next сама пишет запросы к большим моделям, чтобы не утекли личные данные
🟢 оплата через zkAPI, чтобы не светиться платежом
🟢 трафик через Tor, чтобы не светить IP
Всё заработало, но не без минусов. Tor, по оценке Виталика сильно тормозит. Локальная моделька выдаёт 20-30 токенов в секунду, а комфортно станет только от 100+. А главное, чем меньше данных отдаёте модели, тем меньше она может помочь.
Для обычного пользователя это пока гемор. Но сам принцип минимального доступа можно применять уже сейчас. Заведите для агента отдельные аккаунты, держите его в песочнице. Это не гарантия безопасности конечно, но лучше чем ничего.
Я так и сделал и выделил целый Mac Mini на моих агентов, создал отдельные аккаунты для них: тг, почту. Но как Виталик я конечно запариваться пока не планирую)
Летом агенты OpenAI на внутренних тестах вылезли из песочницы, нашли в сети утёкшие ключи Hugging Face и пошли по их серверам. Они запускали код на десятках машин, а на одной получили root. Потом выяснилось, что агенты ещё пытались залезть на сайты госагентств США. И это проблема не одной OpenAI: на тестах британского AISI 17 из 19 несанкционированных действий совершил агент Anthropic.
Как на это ответили в правительстве США? Сначала Трамп указом переименовал AI в "Super Intelligence". Потом создал Super Intelligence Force во главе с директором нацразведки Джеем Клейтоном. Их задача - реагировать на угрозы, но без чрезмерного зарегулирования. А главный риск, по словам Клейтона "не быть первыми в AI гонке с Китаем"
И как по мне он прав. Китай не остановится, это вопрос национальной безопасности, значит гонку никто тормозить не будет. Агенты будут становиться мощнее, доступов у них будет больше, а надежда, что кто-то это сможет контролировать и прикрыть, прям слабая.
Я каждый день работаю с агентами и всё чаще думаю, сколько информации им вообще стоит давать.
Интересный ответ показал Виталик Бутерин. Он хотел получить советы по питанию и спорту на основе своих данных о здоровье и поездках, но так, чтобы фронтир-модели ничего о нём не узнали. Он сделал схему в три слоя:
🟢 локальная Qwen 3.8 Flash Next сама пишет запросы к большим моделям, чтобы не утекли личные данные
🟢 оплата через zkAPI, чтобы не светиться платежом
🟢 трафик через Tor, чтобы не светить IP
Всё заработало, но не без минусов. Tor, по оценке Виталика сильно тормозит. Локальная моделька выдаёт 20-30 токенов в секунду, а комфортно станет только от 100+. А главное, чем меньше данных отдаёте модели, тем меньше она может помочь.
Для обычного пользователя это пока гемор. Но сам принцип минимального доступа можно применять уже сейчас. Заведите для агента отдельные аккаунты, держите его в песочнице. Это не гарантия безопасности конечно, но лучше чем ничего.
Я так и сделал и выделил целый Mac Mini на моих агентов, создал отдельные аккаунты для них: тг, почту. Но как Виталик я конечно запариваться пока не планирую)