История с блокировкой Claude Fable 5 обросла множеством подробностей – но вопросов пока больше, чем ответов.
Я видел немало высказываний в защиту Anthropic: мол, компания прилежно публикует подробные отчеты о безопасности моделей, а в блоге раз за разом поддерживает необходимость регулирования ИИ на уровне государства – и ее же этим регулированием огрели первой.
Но подобные тексты не пишутся просто так. Есть понятие regulatory capture – если твоя сфера плохо регулируется государством, то начинай громче всех кричать о том, что надо срочно регулировать. А параллельно – рассказывай, как именно это делать.
Из постов Anthropic и Дарио Амодеи можно сделать несколько простых выводов:
– ИИ опасная штука, разработку которой нельзя доверять “кому попало”, а лучше вести на уровне государства и нескольких избранных компаний (кто сказал Anthropic?);
– Anthropic против открытых ИИ, заявляя, что доступ к весам не дает преимуществ в безопасности, ведь в “нутро” модели все равно не заглянуть;
– В последних публикациях компания начала намекать, что разработку ИИ следовало бы притормозить – мы близко к рекурсивной эре (ИИ улучшает сам себя) и рискуем потерять контроль.
По последнему пункту интересный нюанс: Anthropic занимают жесткую позицию к Китаю, призывая ввести экспорный контроль против Пекина. Но “торможение” разработки ИИ возможно только при сотрудничестве США и Китая, санкции же, наоборот, ведут к конфликту и усилению соперничества.
Эта комбинация красиво развязывает руки: убираем с рынка китайцев, убираем открытые модели – и комфортно разрабатываем ИИ в клубе нескольких фронтир-лабораторий.
Дэвид Сакс, один из главных экспертов Белого Дома про ИИ, комментирует поведение Anthropic перед блокировкой Fable 5 с недоумением. По его словам, странно, что компания, призывавшая к регулированию, “встала в позу”, когда власти обратились с просьбой исправить модель.
По реконструкции событий, после запуска Fable 5 власти попросили крупные компании поделиться отзывами о новинке – и получили от Amazon информацию, что если модель попросить проверить код, то она находит в нем уязвимости, которые могут использовать злоумышленники. По словам Сакса, изначально Anthropic просили только закрыть уязвимость в Fable 5 – но получили ответ, что проблема незначительна, подобным образом обходят и другие фильтры, а доступ ко всем кибервозможностям так открыть нельзя. После нескольких пустых разговоров, власти не выдержали и воспользовались экспортным контролем, чтобы ограничить Fable 5.
И тут Anthropic загнала себя во вторую ловушку. Причем еще в апреле – когда стала продвигать Claude Mythos как модель с исключительными возможностями в кибербезопасности. Но способности к кибербезу – эмерджентные, и растут параллельно с тем, как модель учится кодить. Проще говоря, нельзя сделать ИИ, который хорошо пишет код, но не умеет искать в нем уязвимости.
При этом любой политолог вам расскажет, что как только где-то произносится слово “безопасность” – у властей загораются красные сирены повсюду и они начинают реагировать быстро. Так случилось и здесь: доступ к модели прикрыли сразу, а то вдруг корейские хакеры чего сломают?
По данным Axios, власти планируют откатить блокировку Fable 5 через несколько недель – после того, как будут проверены и улучшены системы безопасности правительственных сетей. И это похоже на правду по причине, которую я уже упоминал выше.
Кибер-способности Fable 5 – не что-то уникальное. Новые версии GPT и Gemini выйдут на этот уровень через недели или месяцы – придется блокировать и их? Следом подтянутся китайские модели и регулировка начнет бить по регулировщику – пока любой сможет искать уязвимости с помощью открытого Qwen или DeepSeek, доступ к передовым американским моделям, способным бороться со взломами, будет ограничен узким кругом пользователей.
Нам еще только предстоит научиться регулировать ИИ. И отдавать этот процесс кому-то одному нельзя: ни правительству США, ни крупной компании вроде Anthropic.
“сбежавшая нейросеть” на Бусти
Я видел немало высказываний в защиту Anthropic: мол, компания прилежно публикует подробные отчеты о безопасности моделей, а в блоге раз за разом поддерживает необходимость регулирования ИИ на уровне государства – и ее же этим регулированием огрели первой.
Но подобные тексты не пишутся просто так. Есть понятие regulatory capture – если твоя сфера плохо регулируется государством, то начинай громче всех кричать о том, что надо срочно регулировать. А параллельно – рассказывай, как именно это делать.
Из постов Anthropic и Дарио Амодеи можно сделать несколько простых выводов:
– ИИ опасная штука, разработку которой нельзя доверять “кому попало”, а лучше вести на уровне государства и нескольких избранных компаний (кто сказал Anthropic?);
– Anthropic против открытых ИИ, заявляя, что доступ к весам не дает преимуществ в безопасности, ведь в “нутро” модели все равно не заглянуть;
– В последних публикациях компания начала намекать, что разработку ИИ следовало бы притормозить – мы близко к рекурсивной эре (ИИ улучшает сам себя) и рискуем потерять контроль.
По последнему пункту интересный нюанс: Anthropic занимают жесткую позицию к Китаю, призывая ввести экспорный контроль против Пекина. Но “торможение” разработки ИИ возможно только при сотрудничестве США и Китая, санкции же, наоборот, ведут к конфликту и усилению соперничества.
Эта комбинация красиво развязывает руки: убираем с рынка китайцев, убираем открытые модели – и комфортно разрабатываем ИИ в клубе нескольких фронтир-лабораторий.
Дэвид Сакс, один из главных экспертов Белого Дома про ИИ, комментирует поведение Anthropic перед блокировкой Fable 5 с недоумением. По его словам, странно, что компания, призывавшая к регулированию, “встала в позу”, когда власти обратились с просьбой исправить модель.
По реконструкции событий, после запуска Fable 5 власти попросили крупные компании поделиться отзывами о новинке – и получили от Amazon информацию, что если модель попросить проверить код, то она находит в нем уязвимости, которые могут использовать злоумышленники. По словам Сакса, изначально Anthropic просили только закрыть уязвимость в Fable 5 – но получили ответ, что проблема незначительна, подобным образом обходят и другие фильтры, а доступ ко всем кибервозможностям так открыть нельзя. После нескольких пустых разговоров, власти не выдержали и воспользовались экспортным контролем, чтобы ограничить Fable 5.
И тут Anthropic загнала себя во вторую ловушку. Причем еще в апреле – когда стала продвигать Claude Mythos как модель с исключительными возможностями в кибербезопасности. Но способности к кибербезу – эмерджентные, и растут параллельно с тем, как модель учится кодить. Проще говоря, нельзя сделать ИИ, который хорошо пишет код, но не умеет искать в нем уязвимости.
При этом любой политолог вам расскажет, что как только где-то произносится слово “безопасность” – у властей загораются красные сирены повсюду и они начинают реагировать быстро. Так случилось и здесь: доступ к модели прикрыли сразу, а то вдруг корейские хакеры чего сломают?
По данным Axios, власти планируют откатить блокировку Fable 5 через несколько недель – после того, как будут проверены и улучшены системы безопасности правительственных сетей. И это похоже на правду по причине, которую я уже упоминал выше.
Кибер-способности Fable 5 – не что-то уникальное. Новые версии GPT и Gemini выйдут на этот уровень через недели или месяцы – придется блокировать и их? Следом подтянутся китайские модели и регулировка начнет бить по регулировщику – пока любой сможет искать уязвимости с помощью открытого Qwen или DeepSeek, доступ к передовым американским моделям, способным бороться со взломами, будет ограничен узким кругом пользователей.
Нам еще только предстоит научиться регулировать ИИ. И отдавать этот процесс кому-то одному нельзя: ни правительству США, ни крупной компании вроде Anthropic.
“сбежавшая нейросеть” на Бусти