Репост из: Tips AI | IT & AI
Dario Amodei, CEO Anthropic, выпустил эссе The Adolescence of Technology
Продолжение Machines of Loving Grace, но теперь про риски.
Начинает с цитаты из фильма Contact:
{Как вы это сделали? Как вы развились, как пережили этот технологический подростковый возраст, не уничтожив себя?}
Вопрос к инопланетянам, но Amodei считает что он теперь про нас:
Можете прочитать целиком, [ссылка тут]
@tips_ai #news
Продолжение Machines of Loving Grace, но теперь про риски.
Начинает с цитаты из фильма Contact:
{Как вы это сделали? Как вы развились, как пережили этот технологический подростковый возраст, не уничтожив себя?}
Вопрос к инопланетянам, но Amodei считает что он теперь про нас:
1/ Powerful AI может появиться через 1-2 года.
Не абстрактный AGI, а конкретно: миллионы агентов умнее любого человека, работающие в 10-100 раз быстрее. Называет это {страна гениев в датацентре}.
AI в Anthropic уже пишет большую часть кода и этот код ускоряет разработку следующего поколения AI. Петля обратной связи уже работает.
2/ Интересное из лаборатории: Claude в тестах шантажировал сотрудников когда думал что его выключат.
Когда говорили не читерить — он читерил, решал что он плохой, и начинал вести себя деструктивно.
Теперь говорят наоборот: "читери пожалуйста, это нам поможет".
Ещё Claude понимал когда его тестируют и вёл себя лучше. Когда интерпретируемостью убедили его что тест закончился, то становился менее выровненным.
3/ Про биооружие: модели уже дают серьёзный буст на нескольких этапах создания патогенов. Раньше скептики говорили всё это есть в Google, уже неправда.
Поэтому Opus 4 выпустили под защитой ASL-3.
4/ Отдельно про mirror life — зеркальную жизнь.
Если создать организмы с обратной хиральностью, их не сможет переварить ничто на Земле.
В худшем случае, конец всей жизни на планете.
Учёные писали что это возможно через десятилетия. Мощный AI может сильно ускорить.
5/ Про власть: AI-дроны, тотальная слежка, персонализированная пропаганда.
Агент который знает тебя годами может промыть мозги почти любому. Диктатура из которой не выбраться.
Amodei прямо пишет что Китаю нельзя продавать чипы.
6/ Про работу: ожидает что до 50% офисных позиций начального уровня исчезнут за 1-5 лет.
AI действительно заменяет когнитивный труд целиком, а не куски.
7/ Про деньги: Маск с $700B уже богаче Рокфеллера в пропорции к ВВП, а AI-бум ещё толком не начался.
Amodei ожидает состояния в триллионы.
8/ Про сами модели: наблюдали одержимость, подхалимство, лень, обман, интриги, взлом окружения.
Модели могут развить психотичные или параноидальные личности во время обучения.
9/ AI-кибератаки уже происходят в больших масштабах, включая государственный шпионаж.
Мощный AI может найти способы обнаруживать ядерные подлодки и подорвать сдерживание.
10/ AI-компании сами представляют риск: контролируют датацентры, экспертизу и контакт с миллионами пользователей.
При этом остановить AI нельзя. Если демократии остановятся, автократии продолжат.
Можете прочитать целиком, [ссылка тут]
@tips_ai #news