Научно-техническая стратегия государства

ИИ сделает людей тупее? Да. И одновременно умнее, чем они когда-либо были

В критике ИИ как «вечной шпаргалки» есть серьёзная правда. Если ребёнок при первом затруднении спрашивает модель, получает готовое решение и идёт дальше, обучения не происходит. Он получает результат, минуя деятельность, которая должна была изменить его собственный мозг.

Но отсюда совершенно не следует неизбежность массового отупения.

Ту же ошибку делали в начале индустриальной эпохи. Когда машины избавили человека от необходимости постоянно таскать тяжести, копать землю, ходить пешком и работать руками,  футурологи пророчили физическое вырождение человечества.

Однако индустриализация одновременно дала человеку дешёвую пищу, белок, тепло, медицину и возможность тренировать тело не случайной каторжной работой, а целенаправленно.

У Ма Цяньцзу есть хороший образ: "индустриализация - это когда есть мясо". Промышленный синтез аммиака превратил атмосферный азот в удобрения и позволил кормить миллиарды людей. Человек стал меньше махать мотыгой, но получил гораздо больше белка и возможностей физического развития.

Современный спортсмен становится сильным, не бегая впроголодь по джунглям. Он пользуется научно рассчитанными тренажерами, нагрузкой, медициной, питанием и восстановлением.

С интеллектом будет то же самое.

ИИ действительно позволяет ленивому стать ещё ленивее. Можно поручить ИИ письмо, отчёт, код, диплом, всю свою жизнь и постепенно вообще перестать понимать, что происходит.

Но ИИ позволяет построить и прямо противоположную систему.

Представьте ребёнка, у которого, вместо одного замордованного учителя на тридцать человек - персональный институт разработчиков учебных программ, методистов,  наставников.

Они знают всю историю его успехов и ошибок, все его особенности его когнитивного аппарата и направляют его развитие с колыбели. Один объясняет физику. Другой ставит эксперимент. Третий спорит. Чераертый специально даёт убедительный неправильный ответ. Пятый знает главное: когда нельзя подсказывать.

На вопрос «как решить?» такой ИИ не обязан отвечать решением.

Он может спросить: что ты уже попробовал?

Потребовать три гипотезы.

Дать половину подсказки.

Изменить условия задачи и проверить, понял ли человек принцип.

Через неделю дать похожую задачу без помощи.

Через месяц - совершенно другую, но на ту же причинную структуру.

ИИ способен не уничтожить продуктивную фрустрацию, а дозировать её намного точнее, чем современная массовая школа.

И тут возникает неудобный вопрос: а разве нынешняя школа действительно массово выращивает творческое мышление?

Ребёнку сообщают правило, показывают тип задачи, дают двадцать похожих упражнений, ставят оценку, и через полгода значительная часть материала забыта.

Где здесь самостоятельное открытие? Где длительная борьба с неизвестным?

Абсолютное большинство людей и до ИИ не переоткрывало самостоятельно математику и физику. Им выдавали готовые знания: медленно, скучно и одинаково.
Поэтому выбор на самом деле не между мышлением и ИИ.

Напротив, ИИ даёт возможности, которых раньше почти ни у кого не было.

Он может в реальном времени подобрать задачу ровно на границе возможностей, в самой зоне ближайшего развития конкретного ребёнка. Может видеть слабые места. Может часами вести сократический диалог. Может подключить симуляцию, лабораторию, робота, станок. Может отличить «я прочитал и мне всё понятно» от настоящего понимания простым способом: хорошо, теперь реши новую задачу самостоятельно.

Особенно важно, что такая система образования впервые может оказаться в руках семьи.

Государственная школа по самой своей конструкции производит результат, ориентированный на то, чтобы "не портить отчетность по успеваемости" - то есть, на отстающих. А с завершением индустриализации у государств (особенно попавших в колониальную зависимость и разрушивших свою промышленность и амбиции) пропала сама цель готовить созидателей, и осталась лишь цель готовить послушное тупое стадо.

Семья может поставить совсем другую задачу: "Мы не хотим, чтобы ИИ думал вместо ребёнка или накачивал его официальной  пропагандой. Мы хотим, чтобы ИИ сделал нашего ребёнка сильнее нас".

И настроить образование именно на это.

Не давать ответ до самостоятельной попытки. Тренировать рабочую память. Заставлять удерживать длинные причинные цепочки. Регулярно работать без ИИ. Учить спорить с моделью. Ставить реальные эксперименты. Повышать интеллектуальную нагрузку так же, как тренер повышает вес на штанге.

Поэтому я думаю, что ИИ не уравняет людей по уровню интеллекта.

Он, наоборот, резко раздвинет вилку. Ленивый сможет стать тупее, чем когда-либо раньше, потому что машина позволит ему десятилетиями успешно имитировать компетентность, да и вообще выпасть из жизни. А тот, кто действительно хочет развиваться, получит интеллектуальную инфраструктуру, которой прежде не было даже у самых богатых людей: персональных учителей, оппонентов, лаборатории, тренажёры и программу развития, непрерывно подстраиваемую именно под него.

Индустрия уничтожила необходимость быть физически сильным и одновременно дала лучшие в истории средства стать сильным. ИИ уничтожит необходимость быть умным для выполнения огромного количества повседневных задач. И одновременно даст лучшие в истории средства стать умным.

Поэтому главный вопрос не в том, будет ли ИИ думать вместо человека. Главный вопрос: кто будет управлять ИИ, который формирует самого человека.

И серьёзный ответ заключается не в облачных, а в верифицированных локальных автономных ИИ, передаваемых из поколения в поколение. Но это уже совсем другая история.

@ntstg

Тысяча агентов и один архитектор

Коллега хорошо написал о когнитивном долге при работе с ИИ: система может развиваться быстрее, чем человек успевает понимать созданное.

Но проблема шире. Масштабировать исполнение значительно проще, чем архитектурное осмысление. Типизированную работу можно распараллелить между людьми, КБ, подрядчиками, вычислительными мощностями, а теперь и ИИ-агентами.

Сегодня один инженер работает с несколькими агентами. Завтра их вклад в одном проекте может измеряться сотнями и тысячами параллельных исполнителей.

Причём речь уже не только о коде. ИИ всё лучше работает с CAD, электроникой, проектированием плат, программированием, анализом и отладкой оборудования. Не за горами кибермастерские, где все это будет соединено со станками, роботами и испытательными стендами.

Но возникает фундаментальная асимметрия: тысячу локальных инженерных задач можно выполнять почти в тысячу раз параллельнее. Понимать систему как целое в тысячу раз параллельнее нельзя.

Фредерик Брукс считал концептуальную целостность одним из важнейших качеств сложной системы: реализовывать её могут тысячи, но общий замысел должен удерживаться одним архитектором.

Дробить работу необходимо. Дробить мышление о системе опасно.

В сложной технике главные проблемы часто находятся не внутри блоков, а между ними. Масса влияет на механику, механика на энергетику, энергетика на охлаждение, охлаждение на компоновку, ремонт, логистику и производство.

Каждый специалист или агент может быть локально прав, а система в целом уже нежизнеспособна.

Причём административно это может выглядеть прекрасно. Задачи закрываются. Отчёты сдаются. Этапы принимаются. Графики соблюдаются. KPI зелёные.

Есть старый анекдот: один рабочий копает лунки, другой тут же их закапывает. Третий, который должен был класть в ямки картошку, сегодня не вышел. Каждый выполняет свою операцию правильно. Исчез только смысл целого процесса.

Формализм хорошо отвечает на вопрос, выполнена ли отдельная задача. Намного хуже - на вопрос: имеет ли ещё смысл система целиком? Для этого нужен кто-то, кто смотрит поверх границ подразделений, контрактов и модулей.

Советская ракетно-космическая программа хорошо показывает уязвимость таких систем. В воспоминаниях её участников повторяется мысль: пока был Королёв, существовал человек, способный среди огромного числа специалистов и противоречивых требований сказать, куда идти. После его смерти машина в основном  двигалась в последнем заданном им направлении.

Исполнителей можно нарастить. Носителя целостного понимания - почти нет.

Поэтому с ростом возможностей ИИ человеческое внимание должно смещаться не к ещё большему числу локальных задач, а к удержанию целого. И сам ИИ становится ценен не только как армия исполнителей, а как средство расширения зрения архитектора: искать противоречия между подсистемами, прослеживать дальние последствия решений, восстанавливать причины старых решений и показывать связи, которые человек уже не способен одновременно удерживать в голове.

Иначе наша способность производить инженерные решения будет расти на порядки, а способность понимать их совокупность -  нет. «Сила, лишённая разума, рушится от своей громадности сама собой».

Каждый руководитель наверное, помнит моменты, когда подчинённые простаивают, ожидая простых и понятных задач, а эффективно помочь в осмыслении ситуации в целом - попросту некому. И приходится  раздавать либо какие попало задания, либо второстепенные.

Поэтому главным дефицитным ресурсом больших технических систем будущего может оказаться не число инженеров и не вычислительная мощность.
Им окажется архитектор и пропускная способность его понимания. Именно на этих людей и эти способности должна быть ориентирована образовательная система будущего.

@ntstg

Универсальный критерий хорошего управления

Есть много учебников и книг по истории, и все они сильно искажены политическими интригами. Но как разобраться самому, какие решения исторических деятелей были пагубны, а какие - плодотоворны?

Можно ли сформулировать универсальный критерий хорошего управления , который был бы применим и к государству, и к производству, и вообще к цивилизации?

Давайте попробуем.

Пусть X — некоторый достаточно общий и статистически измеримый показатель масштаба деятельности системы: валовое потребление энергии, производственная мощность, увеличение энтропии и т. п.

Эти показатели не совпадают буквально, но тесно связаны: чтобы больше производить, обычно требуется больше энергии; рост энергетики требует производства; расширение обоих процессов увеличивает материальные потоки и производство энтропии.
Поэтому интереснее смотреть не столько на абсолютное значение конкретного X, сколько на время, за которое система способна увеличить X на некоторую постоянную долю.

Обозначим характерное время роста:

τ = X / (dX/dt)

Смысл очень простой: чем меньше τ, тем быстрее происходит очередной пропорциональный прирост (например, удвоение) возможностей системы.

Отсюда возникают три принципиально разных режима.

1. Экспоненциальное развитие

τ примерно постоянно.

Каждый следующий пропорциональный прирост занимает примерно столько же времени, сколько предыдущий.

Например, если система удваивает свои возможности каждые 20 лет, то переход от 1 к 2, от 2 к 4 и от 4 к 8 занимает примерно одинаковое время. Это называют «экономическим чудом». Но вообще-то в природе это довольно обычная вещь. Так растут бактерии, водоросли и другие самовоспроизводящиеся системы, пока им хватает ресурсов.

Экспоненциальный рост означает: каждая новая единица способности системы действовать создаёт следующие единицы примерно с той же удельной скоростью.

2. Сверхэкспоненциальное развитие

τ уменьшается.

То есть каждый следующий пропорциональный прирост происходит быстрее предыдущего. Сегодня удвоение занимает 20 лет, следующее — 15, затем 10. Это уже значительно более интересный режим.
Система не просто воспроизводит свои возможности, а она улучшает сам механизм их воспроизводства.

Машины помогают быстрее делать новые машины. Новые электростанции помогают быстрее строить следующую энергетику. Научные инструменты ускоряют получение новых знаний. Компьютеры ускоряют проектирование компьютеров. Автоматизация ускоряет автоматизацию.

3. Субэкспоненциальное развитие

τ увеличивается.

Возможности системы ещё могут расти, но каждый следующий пропорциональный прирост занимает всё больше времени. Сегодня удвоение требует 20 лет, следующее — 30, потом 50.
Это ещё не обязательно абсолютный упадок. Производство и энергетика могут продолжать увеличиваться. Но система постепенно теряет способность поддерживать собственный темп развития. Если же уже уменьшается и сам X, начинается собственно деградация.

Из этого получается необычайно простой локальный критерий управления:

Хорошее управление стремится уменьшать τ — период удвоения возможностей системы.

Или ещё проще:

Хорошая система учится расти быстрее.

В реальных исторических примерах восстановление после разрушения часто выглядит сверхэкспоненциальным. Если половина заводов уничтожена, а затем быстро восстанавливается по уже известным технологиям, τ может резко сокращаться. Но это ещё не значит, что цивилизация изобрела более совершенный механизм саморазвития. Поэтому стоит различать рост ниже прежнего исторического максимума и рост на новой границе возможностей.

Пока X

Один иероглиф до катастрофы (продолжение)

(начало здесь)

Но практическая политика самоусиления постоянно стягивала этот замысел обратно к срочной военной задаче — ружьям, пушкам, боеприпасам и кораблям. Цзэн Гофань и Ли Хунчжан освоили подход легкой промышленности: “орудия для производства орудий”, но не тяжелой: “машины, делающие машины”. Им не хватило то ли времени, то ли дерзости чтобы использовать Цзяннаньский завод как репликатор, лежащий в основе экспоненциального роста.

Современный китайский технократ Ма Цяньцзу в книге Большая цель: Наши политические переговоры с миром с горечью писал об этом: «Разница в один иероглиф обернулась пропастью».

В 1894–1895 годах пришла проверка. Китай потерпел сокрушительное поражение от Японии. Причём исходный технологический разрыв ещё не был огромным: обе страны продолжали зависеть от импортных узлов. Но после победы Япония получила от Китая более 200 миллионов лянов серебра и направила их на новые корабли, орудия и дальнейшее промышленное накопление. Китай же потерял возможность поддерживать прежний темп. Упущенное Китаем накопление технологий стало пространством развития Японии.

Вот что такое один неверный иероглиф. Можно иметь оружие. Можно иметь завод оружия. Но промышленная держава начинается с завода заводов.

И здесь параллель с Россией становится слишком неприятной. Тема “завода заводов” у нас попросту табуирована: либералы готовы всякому объяснить, что промышленность убыточна, а вот максимальная международная специализация — до кретинизации — баснословно выгодна. То что речь в их формулировках идет о выгоде конкретной державы, владеющей долларовым печатным станком — они скромно умалчивают.

А ещё страшнее культурная сторона проблемы. Фэн писал о Китае, где способный человек стремился в чиновничество, потому что именно там были статус и карьера, а работа с машинами оставалась делом людей более низкого положения. У нас механизм узнаваем.

Если инженер и ученый получают значительно меньше возможностей, денег и общественного веса, чем человек, участвующий в распределении государственных и корпоративных ресурсов, рациональный молодой человек делает соответствующие выводы. Наиболее мобильные таланты попросту разбегаются из страны туда, где их квалификация ценится выше.

Поэтому материнская фабрика нужна нам сегодня в обоих смыслах. Физически — машины должны делать машины. Культурно — страна должна воспроизводить людей, которые хотят эти машины создавать и видят в этом путь вверх, а не на социальное дно.

Фэн Гуйфэнь понял это более полутора веков назад. Китай однажды забыл этот принцип — и ценой стала столетняя национальная катастрофа. Нам стоит внимательно прочитать этот текст до того, как история повторит урок.

Подготовили для вас русский перевод этого небольшого исторического документа в форматах PDF и EPUB, фотокопию старого китайского издания и аудиообзор для тех, кому некогда читать.

@ntstg

Один иероглиф до катастрофы (продолжение)

(начало здесь)

Обе войны закончились тяжёлыми поражениями Поднебесной: Китай выплатил огромные контрибуции, открыть иностранцам свои порты и внутренние районы, предоставил им многочисленные привилегии, а Гонконг отдал Великобритании. В 1860 году англо-французские войска заняли Пекин и разграбили и сожгли императорский Летний дворец.

Началась эпоха, которую позднее в Китае назовут «столетием национального унижения». На фоне огромного распространения опиума и очевидного военно-технического превосходства Запада стало ясно, что прежний государственный порядок больше не обеспечивает безопасность страны.

В 1861 году китайский учёный и чиновник Фэн Гуйфэнь написал “Возражения и предложения из обители Цзяобинь” — один из важнейших текстов, подготовивших движение самоусиления Китая. Его философские и управленческие принципы актуальны для всех желающих преупевания своим странам во все времена.

Такие формулировки как “Настоящее богатство государства создается не названием денег, а производством” или “Сильное собственное производство уменьшает вероятность того, что всякий спор будет решаться угрозой чужой силы” бесконечно опережают уровень понимания этих вопросов большинством и в наши дни.

Фэн понял две вещи, которые удивительно актуальны сегодня. Первая: недостаточно покупать иностранную технику. Китай должен сам строить, ремонтировать и совершенствовать её. Пока этого нет, «рычаг остаётся в чужих руках». Вторая была ещё важнее: для этого необходимо изменить саму китайскую элиту.

Фэн прямо спрашивает: почему так мало китайцев способны создавать машины? И отвечает: «Тот, кто обладает умом, считает ремесло низким». Он предлагает платить квалифицированному инженеру столько, чтобы талантливый юноша видел в технической работе достойную карьеру, а государственный статус давать не только за красивое сочинение, но и за реально созданную машину. Тогда, пишет он, ум, который десятилетиями тратится на экзаменационные ухищрения, пойдёт в «машины, материалы и точное дело». Иными словами, Фэн проповедовал не только промышленность, но и культуру промышленности.

В 1861 году Фэн послал свои “Возражения и предложения” Цзэн Гофаню, одному из самых влиятельных сановников и военачальников империи Цин. Цзэн высоко её оценил и привлек Фэна к работе. В 1862 году Фэн стал советником Ли Хунчжана и около двух лет непосредственно влиял на его раннюю программу самоусиления.

В 1863 году в Китай вернулся Жун Хун. Он тоже встретился с Цзэн Гофанем. Жун Хун, уже понявший истинные причины превосходства западной цивилизации, настаивал, что Китаю нужна универсальная материнская машиностроительная фабрика, способная делать станки и оборудование для все новых и новых заводов. Цзэн Гофань согласился и отправил Жун Хуна в США закупать соответствующий комплект оборудования.

Заказанные машины прибыли в Шанхай в 1865 году и были объединены с приобретённым Ли Хунчжаном американским машиностроительным заводом и несколькими оружейными мастерскими. Так возник Цзяннаньский арсенал. Он действительно не ограничился выпуском пушек и кораблей — его механические мастерские производили токарные, строгальные, сверлильные и другие станки.

Жун Хун настаивал на создании «общего основания», на котором можно было бы производить самые разные машины. Он хотел, чтобы «материнская фабрика» стала общей основой промышленности: сначала она делает станки, затем на этих станках возникают новые фабрики, которые производят все более многочисленные и совершенные средства производства.

(продолжение)