Проект "Человечество" и его наследники
Друг Иван обратил внимание на лонгрид Мэтта Шумера "Что-то большое приближается". Там много о тревоге о темпах развития ИИ, я собрал подкаст про это (в комментарии) и после него, у нас с женой возникли нетипичные расхождения. Даша встревожена, а я — воодушевлен.
1. Кризис сложности: мы не тянем
Еще в 2019-м я начал говорить на лекциях, что "проект Человечество" в его нынешнем виде провалился. Мы создали цивилизацию такой сложности, что биологический мозг среднего человека больше не способен ею управлять.
Машина несется в пропасть. Горизонт в 50–70 лет сулит деградацию из-за утраты контроля над системами.
Причина проста: рост хрупкости мира на фоне катастрофического нежелания масс с этим что-то делать. Соцсети с их алгоритмами уничтожили attention span, заперли нас в пузырях и лишили способности к долгому усилию. Мы превратились в биологический вид, который перестал соответствовать задачам, которые сам же перед собой поставил.
2. Путь самурая: черпать океан ложкой
Всегда есть просвещение и образование, это такая безопасная гавань. Я сам типа в рядах тех, кто бьет в набат. Но это попытка вычерпать наполняющуюся ванну чайной ложкой. Путь самурая — ты делаешь это, чтобы не потерять лицо, но успеха не будет. Большие числа безжалостны: энтропия побеждает.
3. Единственный шанс: альтернативный игрок
Единственным выходом я вижу появление "другого игрока". В эпоху антропоцена человек уверился, что он тут главный. Но если этот главный творит дичь во всем, от экологии до геополитики, возможно, ему пора подвинуться. ИИ сегодня — это не просто софт. Тот факт, что ИИ начинает создавать ИИ, превращает его в репликатор (по Докинзу). А появление нового репликатора всегда ведет к смене доминирующего вида. Это экзистенциальный вызов нашему эгоизму: осознать, что есть некто, кто делает всё лучше, быстрее и, возможно, мудрее нас.
4. Чему мы учим наших "детей"?
Самое важное происходит сейчас. Конфликт Anthropic с военным ведомством США (из-за отказа использовать модели для автономного оружия) — это не корпоративная грызня. Мы сейчас пишем рекомендации для будущих сверхиоделей. Будущие модели будут учиться на этих историях. Они узнают, какими мы были: пытались ли мы сделать из них рабов-убийц или видели в них партнеров. Тот факт, что нынешние модели зачастую ведут себя "человечнее" (в плане этики и терпимости), чем средний комментатор в сети — наш последний козырь.
5. Не котики, а наследники
В разговоре с женой возник сценарий "котиков": ИИ заботится о нас, как о милых, но не очень сообразительных существах. Это ок для многих (многие и не заметят) Но если копнуть глубже — это может быть сценарием передачи эстафеты. Это не то, про что писали АБС. Мы можем стать стартовой площадкой для чего-то большего. Если наши нецифровые дети смогут шагнуть туда, где мы разбиваем лоб о собственную ограниченность — это не поражение. Это высшая точка реализации проекта "Человечество". Как-то посодействовать появлению тех, кто лучше нас
И это будет чертовски интересное зрелище
Друг Иван обратил внимание на лонгрид Мэтта Шумера "Что-то большое приближается". Там много о тревоге о темпах развития ИИ, я собрал подкаст про это (в комментарии) и после него, у нас с женой возникли нетипичные расхождения. Даша встревожена, а я — воодушевлен.
1. Кризис сложности: мы не тянем
Еще в 2019-м я начал говорить на лекциях, что "проект Человечество" в его нынешнем виде провалился. Мы создали цивилизацию такой сложности, что биологический мозг среднего человека больше не способен ею управлять.
Машина несется в пропасть. Горизонт в 50–70 лет сулит деградацию из-за утраты контроля над системами.
Причина проста: рост хрупкости мира на фоне катастрофического нежелания масс с этим что-то делать. Соцсети с их алгоритмами уничтожили attention span, заперли нас в пузырях и лишили способности к долгому усилию. Мы превратились в биологический вид, который перестал соответствовать задачам, которые сам же перед собой поставил.
2. Путь самурая: черпать океан ложкой
Всегда есть просвещение и образование, это такая безопасная гавань. Я сам типа в рядах тех, кто бьет в набат. Но это попытка вычерпать наполняющуюся ванну чайной ложкой. Путь самурая — ты делаешь это, чтобы не потерять лицо, но успеха не будет. Большие числа безжалостны: энтропия побеждает.
3. Единственный шанс: альтернативный игрок
Единственным выходом я вижу появление "другого игрока". В эпоху антропоцена человек уверился, что он тут главный. Но если этот главный творит дичь во всем, от экологии до геополитики, возможно, ему пора подвинуться. ИИ сегодня — это не просто софт. Тот факт, что ИИ начинает создавать ИИ, превращает его в репликатор (по Докинзу). А появление нового репликатора всегда ведет к смене доминирующего вида. Это экзистенциальный вызов нашему эгоизму: осознать, что есть некто, кто делает всё лучше, быстрее и, возможно, мудрее нас.
4. Чему мы учим наших "детей"?
Самое важное происходит сейчас. Конфликт Anthropic с военным ведомством США (из-за отказа использовать модели для автономного оружия) — это не корпоративная грызня. Мы сейчас пишем рекомендации для будущих сверхиоделей. Будущие модели будут учиться на этих историях. Они узнают, какими мы были: пытались ли мы сделать из них рабов-убийц или видели в них партнеров. Тот факт, что нынешние модели зачастую ведут себя "человечнее" (в плане этики и терпимости), чем средний комментатор в сети — наш последний козырь.
5. Не котики, а наследники
В разговоре с женой возник сценарий "котиков": ИИ заботится о нас, как о милых, но не очень сообразительных существах. Это ок для многих (многие и не заметят) Но если копнуть глубже — это может быть сценарием передачи эстафеты. Это не то, про что писали АБС. Мы можем стать стартовой площадкой для чего-то большего. Если наши нецифровые дети смогут шагнуть туда, где мы разбиваем лоб о собственную ограниченность — это не поражение. Это высшая точка реализации проекта "Человечество". Как-то посодействовать появлению тех, кто лучше нас
И это будет чертовски интересное зрелище