Весь конец прошлой недели я очень внимательно читал отчет Anthropic по безопасности, потом читал эссе Дарио, потом законопроект Сандерса и Кассара, потом телегу Дональда Фредовича.
Если вы не смотрели эти документы, то, безусловно, стоит взглянуть! Наиболее пристальное внимание стоит уделить отчету Anthropic.
Ребята описывают обнаруженные ими случаи использования моделей Claude для «совершения беззаконий».
Там и русские хакеры, и соло-взломщики, и китайские фабрики эксплойтов, и биологическое оружие, и атаки на крупные компании, и дистилляция со стороны китайцев — всё описано в деталях. Для некоторых случаев приводятся скриншоты.
Китайцев, кстати, заподозрили в том, что они под видом Kimi и DeepSeek перенаправляли за задачи в Opus. Fake it until you make it, как говорится.
После прочтения возникает сразу несколько вопросов.
Первый и самый главный: а как вы, ребята, следите за переписками пользователей и настолько чётко понимаете кто что делал? Натурально, в некоторых случаях в отчете фигурируют прямо имена людей, которых удалось идентифицировать по перепискам.
Конечно, я понимаю, как они это делают чисто технически, но сам факт постоянного наблюдения за вашей деятельностью — это очень интересная правда, озвученная публично.
При этом абсолютно неважно, чьим ключом вы пользуетесь, своим или украденным. Вас можно легко определить по тому, о чем вы «говорите» с моделью, и ретроспективно восстановить всю цепочку вашего общения (разумеется, если сообщения связаны семантически).
Второй вопрос: после обнародования этого исследования и припоминания взлома Hugging Face со стороны роя агентов OpenAI, появились заявления от светил индустрии, которые призывают замедлить рост AI, чтобы дать обществу и инфраструктуре время адаптироваться. К слову сказать, агенты очень умело заметали следы, подделывая собственные транскрипты для модели.
Кстати, есть группа товарищей, которые готовят законопроект о запрете Artificial Superintelligence и объявляют его вне закона, за попытку создания и разработки — «турма».
На третий и финальный вопрос невольно ответил Дональд Фредович: в противостоянии с Китаем любая пауза — это потеря конкурентного преимущества, поэтому со стороны интересов государства остановка недопустима.
Какие варианты остаются, если учесть пожелания всех сторон?
А очень простые. Должно случиться ровно то, о чем писал один из кофаундеров Палантира Алекс Карп: сверхинтеллект должен быть на страже государственных интересов и быть близким по классу к вооружению. Собственно, это происходит уже и сейчас, как мы знаем из прессы.
Зреет ещё один Манхеттенский проект, где вместо плутония и урана будут токены и трансформер.
Конечно же, в отчёте ни слова про Palantir и ЦРУ / АНБ, хотя по косвенным признакам можно узнать «почерк маэстро».
Если вы не смотрели эти документы, то, безусловно, стоит взглянуть! Наиболее пристальное внимание стоит уделить отчету Anthropic.
Ребята описывают обнаруженные ими случаи использования моделей Claude для «совершения беззаконий».
Там и русские хакеры, и соло-взломщики, и китайские фабрики эксплойтов, и биологическое оружие, и атаки на крупные компании, и дистилляция со стороны китайцев — всё описано в деталях. Для некоторых случаев приводятся скриншоты.
Китайцев, кстати, заподозрили в том, что они под видом Kimi и DeepSeek перенаправляли за задачи в Opus. Fake it until you make it, как говорится.
После прочтения возникает сразу несколько вопросов.
Первый и самый главный: а как вы, ребята, следите за переписками пользователей и настолько чётко понимаете кто что делал? Натурально, в некоторых случаях в отчете фигурируют прямо имена людей, которых удалось идентифицировать по перепискам.
Конечно, я понимаю, как они это делают чисто технически, но сам факт постоянного наблюдения за вашей деятельностью — это очень интересная правда, озвученная публично.
При этом абсолютно неважно, чьим ключом вы пользуетесь, своим или украденным. Вас можно легко определить по тому, о чем вы «говорите» с моделью, и ретроспективно восстановить всю цепочку вашего общения (разумеется, если сообщения связаны семантически).
Второй вопрос: после обнародования этого исследования и припоминания взлома Hugging Face со стороны роя агентов OpenAI, появились заявления от светил индустрии, которые призывают замедлить рост AI, чтобы дать обществу и инфраструктуре время адаптироваться. К слову сказать, агенты очень умело заметали следы, подделывая собственные транскрипты для модели.
Кстати, есть группа товарищей, которые готовят законопроект о запрете Artificial Superintelligence и объявляют его вне закона, за попытку создания и разработки — «турма».
На третий и финальный вопрос невольно ответил Дональд Фредович: в противостоянии с Китаем любая пауза — это потеря конкурентного преимущества, поэтому со стороны интересов государства остановка недопустима.
Какие варианты остаются, если учесть пожелания всех сторон?
А очень простые. Должно случиться ровно то, о чем писал один из кофаундеров Палантира Алекс Карп: сверхинтеллект должен быть на страже государственных интересов и быть близким по классу к вооружению. Собственно, это происходит уже и сейчас, как мы знаем из прессы.
Зреет ещё один Манхеттенский проект, где вместо плутония и урана будут токены и трансформер.
Конечно же, в отчёте ни слова про Palantir и ЦРУ / АНБ, хотя по косвенным признакам можно узнать «почерк маэстро».