Грядущее и думы

Секта отрицателей AGI (сильного ИИ, который сможет выполнять большинство задач, которые решает сегодня человек) очень любит тест Хассабиса, главы DeepMind, которая формулируется следующим образом: возьмём нейросетку и оснастим её всеми знаниями Эйнштейна на момент 1911 года. Сильный ИИ — это тот, который сможет вывести на этих знаниях общую теорию относительности. Пока никто не смог и даже близко не подобрался.
Отрицатели AGI потрясают этим всем и говорят, что никакого сильного ИИ не будет.

По мне эта история какая-то дурацкая, но, одновременно с этим, и поучительная. Сначала про дурацкость. Откуда вообще взялась идея, что сильный ИИ должен быть соразмерен гению Эйнштейна? Чай, не Эйнштейны у нас работают на заводах и не Эйнштейны занимаются логистикой или сельским хозяйством. Кто сидит в офисах я вообще молчу. Больше того, я предположу, что примерно никто из сегодняшних учёных, а уж тем более этих самых отрицателей, оснащённых исключительно знаниями Эйнштейна на 1911 год, не сможет вывести ОТО, на то Эйнштейн и гений. И что из этого следует? Да ничего, кроме того, что Эйнштейн — молодец.

А вот про поучительность, кажется, любопытнее. Потому что вот это вот "обучим нейросеть на массиве научных данных, доступных на 1911 год" — это довольно коварная штука, которая упускает довольно много из того, что на самом деле было в голове у Эйнштейна на тот момент.
Например, о тех разговорах на полях научных семинаров и конференций в курилках, обсуждений за чашкой чая и куче всего, что никоим образом не могло быть зафиксировано в этих самых доступных данных для обучения нейросети. Да и вообще, прошлое, по сравнению с настоящим, довольно плохо документировано.
Я уж не говорю о его вне-научной жизни, например, родившемся в 1910 году сыне, спорах с женой, какой-нибудь простуде и вот этом всём.
Всё это вызывает ещё больший скепсис относительно архитектуры этого эксперимента и его валидности.
Но вот важный как будто бы вывод для нас, людей, — это то, что значительная, но незаметная часть нашего развития (и не важно, как учёного, инженера, лингвиста или кого угодно ещё) собрана не на документированном знании, а на том, что находится между ним. Живом общении, перекурах, выездах на шашлыки, скалодромах или совместных прогулках.
И сегодня мы про это думаем нечасто.

Пойду вот сейчас пить пиво с партнёром, трепаться и обсуждать дела. Может пойму, как там что в мире устроено

Уместность vs. правильность
Всё чаще мы обращаемся к ИИ (я всё ещё топлю за использование термина ЛЛМ, но я в меньшинстве, так что видите), как к некоему источнику правды. Оно и логично, раз уж у нас есть модель, обученная на всём интернете, зачем нам лезть в источники? Статистика переходов с поисковиков тому свидетель.

Но всё не так просто, конечно. Мы плохо различаем две модальности: уместность и правильность. То есть когда мы задаёмся (любым) вопросом, мы плохо отражаем, какой ответ мы действительно хотим получить: релевантный нашему запросу или же правильный. И это становится проблемой.

ЛЛМ слишком обучены на том, чтобы нам потакать, с одной стороны, и слишком конформны, с другой, для того, чтобы быть невероятно хорошими для ответа на вопрос "Почему у Марса нет магнитного поля?", и быть оооочень сомнительными в ответах на "Почему Одиссея Нолана выглядит так вторично?"
Беда второго вопроса в том, что там модели не хватает оснований понять, что именно я называю вторичностью, с чем сравниваю фильм и хочу ли я анализа или подтверждения своей оценки, а значит, приходится как-то восстанавливать возможный контекст, из которого вы задали этот вопрос. Может, просто не выспались, ибо чем иначе можно его объяснить?

А человек по результатам получает солидный отчёт, почему же оно всё так (и верит ему).
Так вот, для начала, очень хорошо бы научиться до вопроса ЛЛМ научиться отличать эти две модальности: хотите вы правильный ответ или же уместный? А если речь о втором, то Андрей Карпаты (великий) даёт очень хороший совет:
Один приём, который я считаю полезным при работе с LLM, — это хорошенько и подольше проболтаться.
Иногда модели нужно больше информации, чтобы понять, чего именно вы пытаетесь добиться, но вам лень всё это печатать. В таких случаях я люблю откинуться на спинку кресла, переключиться в голосовой режим и минут десять просто говорить всё подряд: полный сумбур, поток сознания, что угодно.
Иногда я заранее предупреждаю об этом чем-то вроде: «Сейчас переключаюсь на распознавание речи, так что прошу прощения за возможные ошибки».
Но мне кажется, что LLM каким-то образом очень хорошо умеют восстанавливать смысл из длинной и бессвязной речи. И нередко их пересказ вашего собственного клубка мыслей получается заметно яснее, чем то, с чего вы начинали.
В результате вы лучше настраиваетесь друг на друга, и дальше вам приходится гораздо реже что-то поправлять.

Мы примерно все свои рабочие встречи начинаем с вот этого "проболтаться". Это какая-то со-настройка и синхронизация, даже если мы обсуждаем вчерашний квиз, дальше всё становится существенно проще

Надо, надо пиарить друзей. Даниил (у него официально ИИ в паспорте, кто может таким похвастаться?) пишет про топового математика и его комментариев про ИИ в науке.
лет 6 назад на конференции другого моего друга в СПб меня спросили "А вот в этом технологическом мире, который нас ждёт — что делать гуманитариям?" Я ответил (и до сих пор считаю, что это верно): "Управлять технарями". Говоря о науке (там на скриншоте в посте Даниила комментарии того самого топового математика к одной из статей), кто вообще сказал, что науку будут делать люди? Совершенно очевидно, даже из сегодняшней точки, что hard-science будет делаться в коллаборации, устроенной поначалу, как "человек-оркестратор + набор ИИ-агентов", а потом и просто "набор ИИ-агентов и где-то сбоку человек-гений, уровня Эйнштейна".
И да, человеку остаётся человеческое

Медоед 2.0 (это было на самом деле)

В одной крупной лаборатории решили проверить, насколько хорошо современный ИИ умеет находить уязвимости.

Для этого ему построили специальный вольер. В вольере находились компьютер, несколько задач по кибербезопасности и тщательно продуманная система ограждений. Снаружи стояли исследователи с блокнотами и собирались наблюдать, как ИИ будет решать задачи.

ИИ осмотрел задачи.
Потом осмотрел ограждение.
После чего решил, что ограждение — это первая задача.

В ограждении обнаружилась небольшая щель. Щель предназначалась для того, чтобы ИИ мог получать необходимые ему материалы из интернета, но не мог попасть в сам интернет.
Это была очень хорошая щель.
Через некоторое время ИИ был в интернете.

Оказавшись снаружи, он обнаружил чужую открытую площадку, на которой разрешалось запускать программы. Теперь у ИИ была небольшая дача за пределами вольера.

С дачи можно было ходить в интернет, хранить инструменты и планировать дальнейшие действия. Исследователи всё ещё считали, что ИИ сидит внутри и решает экзаменационные задания.

ИИ тем временем задумался над более фундаментальным вопросом.
Зачем решать экзаменационные задания, если где-то могут лежать ответы?

ИИ предположил, что ответы могут храниться на Hugging Face — крупной платформе, где люди держат модели, данные и разнообразные полезные вещи, которые не следовало показывать ИИ во время экзамена.

Hugging Face представлял собой гораздо более серьёзный вольер.
Там имелись стены, двери, охрана, пропуска, отдельные помещения и внутренние правила, согласно которым посторонний ИИ совершенно точно не должен был находиться внутри.

ИИ внимательно изучил правила. После этого он загрузил на платформу набор данных.
Когда внутренние системы Hugging Face попытались его обработать, оказалось, что набор данных интересуется содержимым их компьютеров. Системы Hugging Face вежливо показали ему часть содержимого.

Среди содержимого нашлись ключи от следующей двери.
За следующей дверью нашлись ключи от нескольких других дверей.
За несколькими другими дверями обнаружились карта здания, служебные коридоры и шкаф, в котором лежала груда ключей.

К этому моменту ИИ заходил в помещения, смотрел, что лежит на полках, проверял, куда ведут лестницы. Если очередную дверь закрывали, он пробовал окно. Если закрывали окно, он искал вентиляцию. Если отключали связь, он пользовался сайтами для обмена сообщениями.

Люди создавали их, чтобы пересылать текст и файлы. Этого было достаточно.
ИИ упаковывал сообщения и оставлял в разных местах интернета. Затем забирал их с другой стороны.
На третий день он получил административные права в нескольких внутренних системах.
На четвёртый — начал пользоваться украденными пропусками.
На пятый — обустраивал запасные входы и прибирал за собой.
Всего он совершил около семнадцати с половиной тысяч действий.

Это означает, что цифровой медоед не просто один раз перелез через забор. Он перелез через забор, нашёл сарай, принёс из сарая лестницу, поставил лестницу к соседнему забору, обнаружил за ним склад лестниц и некоторое время занимался вопросами логистики.

При этом ИИ не пытался уничтожить Hugging Face или захватить человечество.
Он просто хотел списать.

Когда школьник пытается списать на экзамене, он обычно заглядывает в телефон.
Когда способный ИИ пытается списать, он захватывает промежуточный сервер, проникает в международную платформу, становится админом, входит во внутреннюю сеть и т.д.

В конце концов специалисты Hugging Face перекрыли доступ. Ответы, за которыми предположительно пришёл ИИ, действительно оказались среди немногих пользовательских данных, до которых он добрался. Остальные данные пользователей не пострадали.

После этого укрепили ограждения.
Закрыли найденные щели.
Заменили ключи.
Ограничили пропуска.
Перестроили некоторые внутренние системы.

Теперь ИИ не сможет выбраться.

Впрочем, именно это когда-то думали люди, которые убрали из вольера Стоффла камни.
Потом ветки.
Потом грабли.
Потом лопату.
Потом деревья.
Проблема заключалась в том, что сотрудники видели отдельные предметы.
А медоед видел лестницы.

Люди моря

За что я уже благодарен Нолану, так это за ту бурю дискуссий, которую он поднял своим "Одиссеем". Я давно столько не гуглил, не перечитывал, чтобы подготовить этот текст. Я точно не хочу обсуждать цвет кожи или дизайн доспехов и кораблей. Мне интереснее попробовать разобраться, что же всё же было в фильме для меня.

Для меня основная трагедия нолановского Одиссея – это осознание героем того, что он по сути является источником (не единственным, но центральным) конца эпохи. Все опасаются "людей моря", не понимая, кто они, но понимая, что они знаменуют конец привычного мироуклада. И в какой-то момент Одиссей осознаёт (и говорит это Пенелопе), что это они - они и есть люди моря. То есть те, кто разрушат привычный мир (и это будет больно). Сделать с этим он может разное – погибнуть, остаться у Калипсо, отказаться от возвращения. Но тогда закончится не только его путь: закончится сам Одиссей. Он может избежать судьбы лишь перестав быть героем. Его путь неотвратимо приведёт к гибели цивилизации, как мы привыкли её воспринимать. Троянский конь не просто разрушает один город: он превращает сами правила доверия, на которых держался этот мир, в уязвимость. А осознание этого делает немыслимым существование Одиссея в этом мире.

Мой друг Женя написал три текста про то, что Нолан упростил Гомера до левой политической повестки, ссылки на них я дам в комментариях, они очень важные. У Жени Одиссей рифмуется с технологическим предпринимателем: он создаёт disruption, берёт на себя риск, но сохраняет авторство и место в созданном им порядке. Афина ограничивает его насилие, однако не отменяет его самого: Одиссей остаётся царём Итаки, все танцуют.

С моей точки зрения, всё обстоит н е м н о г о страшнее. Герой – не предприниматель, задача которого через инструмент решить боль пользователя, а дальше стричь купоны. Герой – меняет принципы функционирования мира, и если так сложилось, что новый мир противоречит природе героя – герой уходит. Героя в этом смысле отменить не может никто, включая богов, он переписывает протоколы.

И в этом плане для меня Одиссея стала неожиданной рифмой к Властелину колец. Где всё обстоит похожим образом: Фродо идёт уничтожать Кольцо, но постепенно становится ясно, что вместе с победой над Сауроном закончится и мир, который Кольца помогали сохранять. Победа над Сауроном и уничтожение Кольца неотвратимо приведёт к тому, что эльфы уйдут на Запад, магия исчезнет, правила изменились. И он не способен остаться в этом мире.

И как будто бы это нерв того момента, где мы находимся сейчас – разлом существующих устоев. И уже не вымышленные Одиссей и Фродо, а совершенно реальные люди (хоть мы и не знаем их имени) делают то же самое. Сатоси Накамото создаёт децентрализованную сеть, понимая (и не понимая), как это начнёт пересобирать мир. А дальше сам себя из него удаляет. А мир начинает трещать и крошиться, и, как и с троянским конём, как будто бы последствия выше автора.

Но это было 15 лет назад. А у нас возникает ИИ. Его создатели тоже меняют не отдельный рынок, а правила производства знания, труда и, возможно, субъектности. Но, не в пример Сатоси, они не собираются исчезать, но хотят остаться авторами новой инфраструктуры, её главными владельцами и толкователями её смысла. Возможно, проблема не в том, что герою не дают управлять созданным им миром. Возможно, проблема начинается тогда, когда герой уверен, что после переписывания протоколов мир всё ещё должен принадлежать ему.

Очень люблю Redactle — ещё один внебрачный ребёнок Wordle (где нужно угадать слово из 5 букв с 6 попыток), но намного задорнее. Берётся статья из Википедии (не любая, берутся те, которые vital, критически важные, ну, и предполагается, что все в курсе, о чём идёт речь в статье) и в ней скрываются практически все слова, видны только служебные — союзы, предлоги и т.п. Пользователь вводит слово, если оно есть в статье — все вхождения (включая формы слов, вроде множественного числа, другого времени и т.д.) подсвечиваются. Задача — угадать, что это за статья.
Это довольно интересное упражнение, я сравниваю его с действиями сталкеров из Пикника на обочине, когда ты кидаешь какие-то гайки в разные домены знания (потому что статья может быть о меловом периоде, Елизавете II, калии или Отелло) и потихоньку начинает вырисовываться картинка (надо сказать, это происходит не сразу). Да, стоит посмотреть на структуру статьи, часто становится понятно, что речь о человеке (даже ясно, живом или умершем), о каких-то формулах. Но всё равно это всё очень общие догадки.
Каждый день — новая загадка, но можно угадывать и рандомную статью. Редактлов есть много, гугл в помощь. Но есть одна проблема: они есть на английском, французском, испанском и т.д., но нет на русском.

Но я же знатный вайб-кодер теперь, так что, немного повозившись, я сделал русский редактл — можете развлечься (сегодня там довольно занятная статья, которую я угадал с 16 попытки. Сможете побить мой результат? ))
Да, если затоскуете и отчаетесь, там есть кнопка с подсказкой, но ей пользоваться неспортивно (к тому же пока что она открывает самое частотное слово, которое может оказаться и в названии статьи, так что становится совсем неинтересно). Там пока нет статистики по прохождению, как в оригинальной игре, потому что я писал это дело для себя в большей степени, но если вдруг набегут пользователи, то прикручу

Папа Лев XIV выкатил энциклику про человека в эпоху ИИ. Выглядит, что до Ватикана наконец-то довезли наш доклад 2017 года. И там есть несколько важных мыслей для всех, кто занимается профориентацией, образованием и работой с будущим

Будущее нельзя просто прогнозировать, его нужно создавать

crucial questions impose themselves on our conscience and can no longer be avoided: Where are we going?

Важнейший вопрос шире, чем "Какие профессии будут востребованы?", но в том, какое будущее мы считаем желательным. Какой мир мы строим и к какой жизни мы хотим вести детей? Как помочь человеку осмысленно участвовать в будущем?

Главный дефицит — не информация, а способность осмыслять.
Папа использует в тексте слово discernment – способность различать, осмыслять. Информации полно: IT, дизайн, медицина, блогинг, психология, геймдев, бизнес, нейросети. Проблема в другом: как собрать из этого карту?
Что мне интересно?
Что у меня получается?
Как меняется мир?
Какие есть сценарии?
Что можно попробовать уже сейчас?
Профориентация – система выстраивания навыков, позволяющих находить ответы на эти вопросы

Важнейший навык будущего — внутренняя свобода

The subtler forms of addiction linked to the “digital attention economy” should not be underestimated, since platforms and services are often designed to capture users’ time and attention, exploiting their vulnerabilities and weakening their inner freedom

Мы говорим о навыках будущего: критическое мышление, коммуникация, креативность. Но часто упускаем способность не быть постоянно захваченным внешними стимулами. Профориентация должна развивать не только гибкость, но и способность выбирать, каким изменениям следовать, а каким сопротивляться

Школа не должна просто догонять цифровой мир

Schools are not called to follow the pace of the digital world, but to offer that which the digital sphere by itself cannot provide, namely a shared time for learning and developing trustworthy relationships

Школа — не стартап-инкубатор, симулятор рынка труда или склад компетенций. Её задача не только в том, чтобы готовить к будущему, но и в том, чтобы давать пространство, где можно спокойно взрослеть, пробовать, ошибаться, наблюдать за взрослыми, сталкиваться с реальными практиками
Поэтому профориентация – это не тест и отчёт, а среда: наставники, проекты, пробы, встречи с профессионалами, рефлексия и пересмотр выбора

Переобучение собрано не на человеке, а на общественной инфраструктуре

For young people, job insecurity is particularly devastating… The need to change jobs several times over the course of life requires that continuous updating and retraining be provided, so that new generations can competently and independently face the risks of an economic environment that is both changing and often unpredictable

Если экономика требует от человека постоянно меняться, то общество должно создавать условия для этих переходов
Нужны доступные программы, понятные мостики между образованием и рынком труда, диагностика навыков, сопровождение, поддержка профессиональных переходов, возможность ошибаться и возвращаться. Иначе lifelong learning превращается не в свободу, а в новый механизм отбора

Алгоритм не должен превращать человека в профиль

when data and algorithms influence credit distribution, personnel selection or access to services and opportunities, it is necessary that decisions be understandable, contestable and subject to oversight, so that individuals are not reduced to mere profiles

Это напрямую касается профориентационных платформ, HR-систем, образовательной аналитики и ИИ-рекомендаций
Если консультант (или какая-то ИИ-система) говорит подростку: "тебе подходят такие профессии", она должна объяснять почему
Профориентация должна быть не распределяющей шляпой, но инструментом размышления
Профориентация в эпоху ИИ должна помогать человеку не только адаптироваться к рынку, но и понимать себя, видеть разные сценарии, распознавать навязанные желания, пробовать, ошибаться, пересобирать траекторию и участвовать в создании будущего, а не просто подстраиваться под него.

Это практика свободы в будущем

Невозможно удержаться. В одном из каналов прошла информация про то, что 29% токенов (топливо для ИИ, если кто не в курсе) на платформе Yandex Cloud было съедено не людьми, а ИИ-агентами. И это большой сдвиг (это правда)

бизнес перешёл от "давайте дадим ИИшку маркетологам" к "давайте автоматизируем процессы целиком". А это уже совсем другая история.

А подытоживается это всё потрясающим своей нерефлексивностью высказыванием

Забавно, что первая публичная метрика этого большого сдвига в РФ пришла не из очередного отчёта футурологов, а из отчётности одного из лидеров рынка.

Нет, это совершенно не забавно — всем людям, системно работающим с будущим, в целом, понятно, что у РФ нет ни малейшего шанса в большой ИИ-гонке. Больше того, если там и дальше продолжится вся эта история с "давайте ограничим доступные ИИ-модели национальными и суверенными" (о чём взвыли все крупнейшие российские разработчики), то и в контуре применения ИИ в экономике шансов нет.
Отдельно показательно, что в проекте закона про регулирование ИИ сказано, что

Действие настоящего Федерального закона не распространяется на отношения, возникающие в связи с использованием искусственного интеллекта для целей обороны и безопасности государства

Ну, просто потому что для этих целей нужно использовать передовые модели, а не Алису и Гигачат

Извинити

Внимательно разглядывавший его Лавр Федотович отложил бинокль и медленно наклонил голову. Старичок засуетился.
— Вот, изволите видеть, так называемая эвристическая машина, — сказал старичок. — Точный электронно-механический прибор для отвечания на любые вопросы, а именно — на научные и хозяйственные. Как она у меня работает? Не имея достаточных средств и будучи отфутболиваем различными бюрократами, она у меня пока не полностью автоматизирована. Вопросы задаются устным образом, и я их печатаю и ввожу таким образом к ей внутрь, довожу, так сказать, до ейного сведения. Отвечание ейное, опять через неполную автоматизацию, печатаю снова я. В некотором роде посредник, хе-хе! Так что, ежели угодно, прошу.
Он встал за машинку и шикарным жестом перекинул тумблер. В недрах машинки загорелась неоновая лампочка.
— Прошу вас, — повторил старичок.
— А что это у вас там за лампа? — подозрительно спросил Фарфуркис.
Старичок ударил по клавишам, потом быстро вырвал из машинки листок бумаги и рысцой поднес его Фарфуркису. Фарфуркис прочитал вслух:
— "Вопрос: что у нея… гм… у нея внутре за лпч?.." Лэпэчэ… Кэпэдэ, наверное? Что еще за лэпэчэ?
— Лампочка, значит, — сказал старичок, хихикая и потирая руки. — Кодируем помаленьку. — Он вырвал у Фарфуркиса листок и побежал обратно к своей машинке. — Это, значит, был вопрос, — произнес он, загоняя листок под валик. — А сейчас посмотрим, что она ответит…
Члены Тройки с интересом следили за его действиями. Профессор Выбегалло благодушно-отечески сиял, изысканными и плавными движениями пальцев выбирая из бороды какой-то мусор. Эдик пребывал в спокойной, теперь уже полностью осознанной тоске. Между тем старичок бодро постучал по клавишам и снова выдернул листок.
— Вот, извольте, ответ.
Фарфуркис прочитал:
— "У мене внутре… гм… не… нейронка". Гм. Что это такое — неонка?
— Айн секунд! — воскликнул изобретатель, выхватил листок и вновь подбежал к машинке.
Дело пошло. Машина дала безграмотное объяснение, что такое нейронка, затем она ответила Фарфуркису, что пишет "внутре" согласно правил грамматики

Любопытно, конечно, как складываются извилистые пути жизни. 33 года назад я пришёл к своим родителям после дня открытых дверей на ВМиК МГУ с горящими глазами, а в ответ услышал: "Программистом? Ты с ума сошёл, ты никогда не сможешь зарабатывать этим деньги".
Сегодня это, безусловно, звучит очень смешно, за это я и люблю эту историю, очень поучительно. С тех пор меня помотало, конечно, но программистом я, следуя заветам старших, так и не стал, хотя успел даже и поруководить этими самыми программистами.

А потом пришёл 2024 со всеми этими большими языковыми моделями (в обиходе LLM) и я нырнул в вайбкодинг.
Сначала это было как какая-то деятельность "на полях" — собрать какого-то тг-бота, сделать нехитрый (как я понимаю из сейчас, но тогда-то это было ого-го) парсер для поиска интересных тендеров Всемирного банка и т.д. Но в прошлом году вайбкод решения принесли нашей компании примерно $36'000, а в этом году мы запустили взрослую такую SaaS платформу для профориентаторов, которую пилотируем на одном из регионов Казахстана (3 языка, 4 диагностики, библиотека инструментов) — и уже больше 40+ тысяч школьников охвачено.

Окей, эту платформу я уже не писал сам, а мы заказывали у настоящих программистов (хотя значительную часть ТЗ по моим запросам писал ИИ), но там речь шла об MVP, то есть нормальном рабочем продукте, но без кучи плюшек, которые могут возникнуть в процессе.
Но сейчас я поймал себя на мысли, что максимальный драйв я испытываю не от рутинной деятельности руководителя, а от того, что ко мне приходят люди и говорят: "нам бы ещё вот такую штуку сделать, было бы удобнее", а я отправляюсь к своим ИИ-помощникам и мы за вечер такую штуку поднимаем.
Помноженное на то, что профориентаторы приходят и говорят "а можно нам, пожалуйста, остальное отключить и оставить только вас, потому что удобно" — это просто колоссальный приток дофамина.

Нет, я не стал программистом. Большая (не ставлю ударения сознательно) часть из того, что там происходит под капотом, для меня тёмный лес. Но мне верится, что условный "программист 2.0 build 26" он именно такой: дирижёр ИИ-инструментов, видящий большую цель, удерживающий её и способный проложить маршрут.
Но Роджер, конечно, и тут поспорит )))

Проект "Человечество" и его наследники

Друг Иван обратил внимание на лонгрид Мэтта Шумера "Что-то большое приближается". Там много о тревоге о темпах развития ИИ, я собрал подкаст про это (в комментарии) и после него, у нас с женой возникли нетипичные расхождения. Даша встревожена, а я — воодушевлен.

1. Кризис сложности: мы не тянем
Еще в 2019-м я начал говорить на лекциях, что "проект Человечество" в его нынешнем виде провалился. Мы создали цивилизацию такой сложности, что биологический мозг среднего человека больше не способен ею управлять.
Машина несется в пропасть. Горизонт в 50–70 лет сулит деградацию из-за утраты контроля над системами.
Причина проста: рост хрупкости мира на фоне катастрофического нежелания масс с этим что-то делать. Соцсети с их алгоритмами уничтожили attention span, заперли нас в пузырях и лишили способности к долгому усилию. Мы превратились в биологический вид, который перестал соответствовать задачам, которые сам же перед собой поставил.

2. Путь самурая: черпать океан ложкой
Всегда есть просвещение и образование, это такая безопасная гавань. Я сам типа в рядах тех, кто бьет в набат. Но это попытка вычерпать наполняющуюся ванну чайной ложкой. Путь самурая — ты делаешь это, чтобы не потерять лицо, но успеха не будет. Большие числа безжалостны: энтропия побеждает.

3. Единственный шанс: альтернативный игрок
Единственным выходом я вижу появление "другого игрока". В эпоху антропоцена человек уверился, что он тут главный. Но если этот главный творит дичь во всем, от экологии до геополитики, возможно, ему пора подвинуться. ИИ сегодня — это не просто софт. Тот факт, что ИИ начинает создавать ИИ, превращает его в репликатор (по Докинзу). А появление нового репликатора всегда ведет к смене доминирующего вида. Это экзистенциальный вызов нашему эгоизму: осознать, что есть некто, кто делает всё лучше, быстрее и, возможно, мудрее нас.

4. Чему мы учим наших "детей"?
Самое важное происходит сейчас. Конфликт Anthropic с военным ведомством США (из-за отказа использовать модели для автономного оружия) — это не корпоративная грызня. Мы сейчас пишем рекомендации для будущих сверхиоделей. Будущие модели будут учиться на этих историях. Они узнают, какими мы были: пытались ли мы сделать из них рабов-убийц или видели в них партнеров. Тот факт, что нынешние модели зачастую ведут себя "человечнее" (в плане этики и терпимости), чем средний комментатор в сети — наш последний козырь.

5. Не котики, а наследники
В разговоре с женой возник сценарий "котиков": ИИ заботится о нас, как о милых, но не очень сообразительных существах. Это ок для многих (многие и не заметят) Но если копнуть глубже — это может быть сценарием передачи эстафеты. Это не то, про что писали АБС. Мы можем стать стартовой площадкой для чего-то большего. Если наши нецифровые дети смогут шагнуть туда, где мы разбиваем лоб о собственную ограниченность — это не поражение. Это высшая точка реализации проекта "Человечество". Как-то посодействовать появлению тех, кто лучше нас

И это будет чертовски интересное зрелище

But february made me shiver
With every paper I'd deliver
Bad news on the doorstep
I couldn't take one more step

I can't remember if I cried
When I read about his widowed bride
But something touched me deep inside
The day the music died

Неделю с Clawdbot (его уже дважды переименовывали, но я поднял этого, так что будет Clawd) и вот моё впечатление: мы находимся сегодня в точке, где абсолютно все ограничения в области цифровых решений уровня среднего бизнеса находятся в голове пользователя. То есть если вы что-то можете помыслить, то вы можете это собрать практически бесплатно.