В прошлом году в посте я прогнозировал, что скоро на OFFZONE появятся целые треки про то, как ломают и обманывают искусственный интеллект. В 2026-м число докладов про нейронки чуть ли не удвоилось, и часть из них — как раз на эту тему. Вот пара докладов: «Et tu, OpenCode»: как атакующие обманывают агентов и вытягивают секреты и regex против LLM: бенчмарк детекторов prompt injection.
На одной из дискуссий вспомнили недавний инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.
Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутый максимизатор скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.
Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.
В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей дата-центров, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — все там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств — по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ и вовсе используют в среднем 4,8% компаний.
У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии интернет был примерно у 19% населения, а мобильными финансами уже пользовались больше 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.
Поэтому правдоподобный риск, как мне видится, скромнее. Никакого единого сверхразума, разом подчинившего все страны. Скорее несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.
В этом контексте трек OFFZONE ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.
Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.
На одной из дискуссий вспомнили недавний инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.
Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутый максимизатор скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.
Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.
В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей дата-центров, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — все там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств — по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ и вовсе используют в среднем 4,8% компаний.
У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии интернет был примерно у 19% населения, а мобильными финансами уже пользовались больше 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.
Поэтому правдоподобный риск, как мне видится, скромнее. Никакого единого сверхразума, разом подчинившего все страны. Скорее несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.
В этом контексте трек OFFZONE ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.
Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.