Репост из: RationalAnswer | Павел Комаровский
Лучшие дебаты про безопасность ИИ для нормисов
В последнее время слушал много подкастов на тему AI safety в поисках того, который можно было бы смело рекомендовать обычным нормисам уровня погружения «ну я немного слышал о хайпе про “ИИ нас всех убьет”, с точки зрения здравого смысла звучит как полная ерунда, конечно…». Так вот, я его нашел – встречайте, идеальный выпуск для погружения в текущее состояние этого дискурса:
The Diary Of A CEO – дебаты между Нейтом Соаресом, Романом Ямпольским, Эдом Зитроном и Эндрю МакАфи: https://www.youtube.com/watch?v=OhOmLqR5nN4
Я прямо горячо рекомендую вам посмотреть этот выпуск на 2,5 часа (там в настройках Ютуба можно включить русскую дорожку), причем чем дальше – тем он становится лучше.
Происходящее на этом подкасте наглядно иллюстрирует одну особенность текущего AI safety-дискурса. Чуваки, которые варятся в этой среде последние 10+ лет (и которые серьезно относятся к ИИ-рискам для человечества), потратили уйму времени на размышления в этой области. Они уже сто раз видели и обсуждали самые сильные аргументы против того, что AI может представлять для человечества реальную угрозу.
А самые громкие критики ИИ-рисков с другой стороны, которые отстаивают тезис «да это всё научно-фантастический хайп от фантазеров, никакие адекватные люди не будут это обсуждать всерьез», – выглядят на этом фоне, как бы это помягче сказать… Как будто они впервые задумались о проблеме примерно неделю назад, и тормознули там на уровне «мне сразу пришли чисто из здравого смысла три очевидных возражения, почему AI risk – это чушь, и я на этом остановился».
Там есть прямо пара наглядных моментов, иллюстрирующих это. Примерно на сороковой минуте Эд Зитрон спрашивает Нейта Соареса (одного самых громких сторонников замедления AI-лабораторий в мире, который буквально управляет самой известной нон-профит компанией с такой целью): «Так а если уж ты так опасаешься этих рисков от ИИ, сфига ли ты не пытаешься остановить AI-лабы??» – то есть, он реально даже не очень понимает, с кем он дебатирует (к уровню аргументации это, конечно, не относится – но показывает степень погруженности в тему).
И уже ближе к концу, когда они обсуждают детали взлома Hugging Face, Эндрю МакАфи в ответ на описание от Нейта Соареса говорит «ну, я доверюсь тебе, что ты правильно пересказал факты произошедшего…» – то есть, он даже сам не погружался в отчеты по самому знаковому инциденту AI misalignment, который обсуждается со всех сторон уже целый месяц, чтобы составить собственное мнение.
Причем, это не потому, что ведущий подкаста специально пригласил в качестве оппонентов для AI-думеров эдаких «мальчиков для битья» послабее – просто весь дискурс сейчас реально выглядит примерно вот так. Там как бы не очень понятно, кого звать из «действительно сильных анти-думеров».
Возвращаясь к дебатам на DOAC, мне тут хочется еще похвалить Нейта Соареса: он на них выступил как настоящий слоняра. Если смотреть глазами «человека со стороны», то Роман Ямпольский может чисто по вайбам производить впечатление немножко «городского сумасшедшего» – со всеми его закатываниями глаз на реплики оппонентов, и т.д. А вот по Нейту прямо видно, что он потратил уйму времени на то, чтобы научиться говорить об этой сложной проблеме таким образом, чтобы не отпугивать нормисов – и он с этой коммуникационной задачей справляется на отлично.
Завершаются дебаты примерно так: Эд Зитрон всю вторую половину вообще практически не участвует в разговоре (подозреваю, он где-то в середине понял, что конфронтационную дискуссию с Соаресом просто не вытянет).
МакАфи честно старается дискутировать до конца – но там видно, что он на таком уровне глубоко про всё это просто никогда не пытался думать, поэтому откровенно барахтается. Его финальная позиция близка к «ну ладно, я согласен, что это всё выглядит опасно – но я уверен, что умные ребята в AI лабах КАК-НИБУДЬ придумают, как сделать сильный ИИ безопасным». Очень круто, братан, а что будем делать с тем фактом, что топовые сотрудники отделов AI safety этих самых лаб массово выступают с посылом «ребята, мы тут очень пытаемся, но мы просто НЕ ЗНАЕМ 100% надежных способов обеспечить полную безопасность фронтирных моделей»?
Короче, повторюсь, отличные дебаты – рекомендую посмотреть.
В последнее время слушал много подкастов на тему AI safety в поисках того, который можно было бы смело рекомендовать обычным нормисам уровня погружения «ну я немного слышал о хайпе про “ИИ нас всех убьет”, с точки зрения здравого смысла звучит как полная ерунда, конечно…». Так вот, я его нашел – встречайте, идеальный выпуск для погружения в текущее состояние этого дискурса:
The Diary Of A CEO – дебаты между Нейтом Соаресом, Романом Ямпольским, Эдом Зитроном и Эндрю МакАфи: https://www.youtube.com/watch?v=OhOmLqR5nN4
Я прямо горячо рекомендую вам посмотреть этот выпуск на 2,5 часа (там в настройках Ютуба можно включить русскую дорожку), причем чем дальше – тем он становится лучше.
Происходящее на этом подкасте наглядно иллюстрирует одну особенность текущего AI safety-дискурса. Чуваки, которые варятся в этой среде последние 10+ лет (и которые серьезно относятся к ИИ-рискам для человечества), потратили уйму времени на размышления в этой области. Они уже сто раз видели и обсуждали самые сильные аргументы против того, что AI может представлять для человечества реальную угрозу.
А самые громкие критики ИИ-рисков с другой стороны, которые отстаивают тезис «да это всё научно-фантастический хайп от фантазеров, никакие адекватные люди не будут это обсуждать всерьез», – выглядят на этом фоне, как бы это помягче сказать… Как будто они впервые задумались о проблеме примерно неделю назад, и тормознули там на уровне «мне сразу пришли чисто из здравого смысла три очевидных возражения, почему AI risk – это чушь, и я на этом остановился».
Там есть прямо пара наглядных моментов, иллюстрирующих это. Примерно на сороковой минуте Эд Зитрон спрашивает Нейта Соареса (одного самых громких сторонников замедления AI-лабораторий в мире, который буквально управляет самой известной нон-профит компанией с такой целью): «Так а если уж ты так опасаешься этих рисков от ИИ, сфига ли ты не пытаешься остановить AI-лабы??» – то есть, он реально даже не очень понимает, с кем он дебатирует (к уровню аргументации это, конечно, не относится – но показывает степень погруженности в тему).
И уже ближе к концу, когда они обсуждают детали взлома Hugging Face, Эндрю МакАфи в ответ на описание от Нейта Соареса говорит «ну, я доверюсь тебе, что ты правильно пересказал факты произошедшего…» – то есть, он даже сам не погружался в отчеты по самому знаковому инциденту AI misalignment, который обсуждается со всех сторон уже целый месяц, чтобы составить собственное мнение.
Причем, это не потому, что ведущий подкаста специально пригласил в качестве оппонентов для AI-думеров эдаких «мальчиков для битья» послабее – просто весь дискурс сейчас реально выглядит примерно вот так. Там как бы не очень понятно, кого звать из «действительно сильных анти-думеров».
Еще одной иллюстрацией этому, кстати, служит другое свежее интервью с Дженсеном Хуангом (CEO Nvidia, продающий лопаты в нынешней золотой лихорадке с очень некислой прибылью), который недавно вовремя упал на уши Дональду Трампу и убедил его публично выступить с позиции «ФЕЙКИ про риски ИИ распространяют ПРЕДАТЕЛИ АМЕРИКИ». Так вот, уровень аргументации Хуанга на этом подкасте такой, что самый часто встречающийся тип комментариев под ним звучит как «вообще-то я раньше не опасался рисков от ИИ, но как послушал аргументы Хуанга – мне что-то стало страшновато…»
Возвращаясь к дебатам на DOAC, мне тут хочется еще похвалить Нейта Соареса: он на них выступил как настоящий слоняра. Если смотреть глазами «человека со стороны», то Роман Ямпольский может чисто по вайбам производить впечатление немножко «городского сумасшедшего» – со всеми его закатываниями глаз на реплики оппонентов, и т.д. А вот по Нейту прямо видно, что он потратил уйму времени на то, чтобы научиться говорить об этой сложной проблеме таким образом, чтобы не отпугивать нормисов – и он с этой коммуникационной задачей справляется на отлично.
Завершаются дебаты примерно так: Эд Зитрон всю вторую половину вообще практически не участвует в разговоре (подозреваю, он где-то в середине понял, что конфронтационную дискуссию с Соаресом просто не вытянет).
МакАфи честно старается дискутировать до конца – но там видно, что он на таком уровне глубоко про всё это просто никогда не пытался думать, поэтому откровенно барахтается. Его финальная позиция близка к «ну ладно, я согласен, что это всё выглядит опасно – но я уверен, что умные ребята в AI лабах КАК-НИБУДЬ придумают, как сделать сильный ИИ безопасным». Очень круто, братан, а что будем делать с тем фактом, что топовые сотрудники отделов AI safety этих самых лаб массово выступают с посылом «ребята, мы тут очень пытаемся, но мы просто НЕ ЗНАЕМ 100% надежных способов обеспечить полную безопасность фронтирных моделей»?
Короче, повторюсь, отличные дебаты – рекомендую посмотреть.