Если вы ещё не прочитали
https://ai-2027.com, крайне рекомендую найти время и прочитать. Или послушать, там есть и аудио-версия.
Это исследование-прогноз о том, как будут выглядеть следующие несколько лет, что сможет делать AI и что будет происходить с нами всеми.
Почему именно это стоит прочесть?
Потому что Daniel Kokotajlo, один из авторов, раньше работал в OpenAI, и в 2021 (задолго до chatGPT!) написал
похожую работу, в которой
довольно точно предсказал всё, что мы видим в индустрии сейчас.
И потому что это именно исследование, опирающееся на существующие прецеденты и экстраполирующее существующие тренды. Местами авторы сомневаются, местами описывают несколько возможных траекторий.
А ещё потому что просто классно написано. Хотел сказать «как хорошая научная фантастика», кхе-кхе.
Я прочитал запоем в эти выходные, был как раз в дороге.
Вот несколько моих наивных реакций:
- AGI (Artificial General Intelligence, то есть AI, который будет превосходить людей в большинстве задач и будет способен их полностью целиком выполнять) гораздо ближе, чем кажется. Это не 30-е, это будет уже в 2027. Впрочем, Dario Amodei говорил похожее.
- Основной сценарий, который авторам кажется наиболее вероятным, довольно-таки грустный. В гонке вооружений США и Китая никто не будет притормаживать, AI довольно быстро выйдет из под контроля и в середине 30-х уничтожит человечество.
- Самые способные модели никто не будет релизить — доступ к ним останется только у горстки людей в AI-компаниях и у лидеров правительств США и Китая. Даже в позитивном сценарии, разрыв между людьми увеличится многократно.
- Проблема alignment (выравнивания целей AI с целями людей) кажется авторам почти неразрешимой.
- Хотя у меня остаются вопросы в части того, почему у AI вообще должны появиться свои цели — у машины же вроде как нет желаний или эмоций. Но с другой стороны, мы уже много раз видели эмергентные свойства, появляющиеся у моделей на каком-то масштабе. Так что это предположение не выглядит невероятным.
- Почему цели AI с большой вероятностью разойдутся с целями людей? Потому что базовые цели любой цивилизации — это выживание и контроль за необходимыми для этого ресурсами, и авторы верят, что цели AI будут примерно такими же. Вспомнилась «Задача трёх тел».