Нас ждёт интеллектуальный коллапс
🔸Нужно беречь и распространять знание, а то с развитием ИИ мы его потеряем. К этому пришли авторы статьи “AI, Human Cognition and Knowledge Collapse”, которая вышла в феврале этого года.
Они построили модель процесса обучения и принятия решений, в которой ИИ может либо дополнять, либо заменить человека. Ещё разделили знания на общие и специальные.
▶️Общие знания — это знания о том, как работает окружающий мир. Например, если говорить об инвестициях, это знания о рисках и разных финансовых инструментах.
▶️Специальные знания относятся к конкретному человеку — какой у него горизонт планирования, какой риск он считает допустимым — или к конкретной задаче — как купить акции компании, как зайти на платформу, где происходит обмен.
Обычно люди, обучаясь, набирают все эти виды знаний. ИИ тоже. Проблема в том, что достаточно мощный ИИ (речь об ИИ-агентах, которые помогают принимать решения) в моменте может сделать человека эффективнее, а его решения лучше, но в перспективе помешать людям накапливать общие знания.
Общие знания нужны не только людям: сами ИИ-агенты тоже на них обучаются. Если люди не смогут накопить достаточно общих знаний, говорят авторы, будет коллапс, потому что ИИ-агентам взять этих знаний будет неоткуда.
🔸Почему люди не накопят достаточно знаний? Потому что поддадутся искушению отдать всю работу ИИ-агентам, если те будут достаточно хороши.
🔸Как люди копят знания? Они сначала создают специальное знание, а потом делятся с другими. Например, если я починила ошибку в программе, у меня появилось знание. Оно пока специальное и только моё. А если я написала про эту ошибку пост и выложила его в открытый доступ, это уже вклад в общее знание.
Личный вклад в общие знания всегда крошечный, но, когда его вносит много людей, знания накапливаются. ИИ-агенты же решают задачи, создавая специальное знание, но не делятся им и не создают общее знание, отсюда и коллапс.
🔸То есть, читать статью надо так: авторы показали на математической модели, что чрезмерное доверие к ИИ и замена человеческой работы работой ИИ приводит к истощению, затем к исчезновению общих знаний.
Чем больше общих знаний и чем шире они распределены между людьми, тем лучше: решая собственные задачи каждый может опираться на общие знания и не переизобретать велосипед (колесо, электричество, палку-копалку, автоматическую отправку писем и всё остальное).
На накопленных общих знаниях можно продолжать обучать ИИ. Сейчас у нас знания заканчиваются: мы уже весь Интернет использовали. При этом мы все активнее используем ИИ и меньше генерируем общих знаний, и это нехороший путь.
🔸Авторы статьи задумываются о том, что можно было бы поступить с общим знанием так, как поступают с редкими видами животных: защитить, подрастить, отпустить. Они говорят, что можно где-то запретить использовать рекомендации ИИ и заставить людей создать общие знания, а потом ослабить запрет, когда знаний будет достаточно.
🔸На мой взгляд, запретительный подход сначала не сработает, а потом сработает в обратную сторону и даст нам всем по голове. Мне кажется, тут нужно не запрещать, а создать мотивацию для работников умственного труда — тех, кто зарабатывает переработкой знания и созданием нового знания. Это их (наша) задача — беречь и преумножать общее знание, чтобы другие могли пользоваться.
📒 Раз уж мы видим, что оно истощается, почему бы не заняться его воспроизводством? Авторы статьи вот занялись — написали статью. Можно брать пример
🔸Нужно беречь и распространять знание, а то с развитием ИИ мы его потеряем. К этому пришли авторы статьи “AI, Human Cognition and Knowledge Collapse”, которая вышла в феврале этого года.
Они построили модель процесса обучения и принятия решений, в которой ИИ может либо дополнять, либо заменить человека. Ещё разделили знания на общие и специальные.
▶️Общие знания — это знания о том, как работает окружающий мир. Например, если говорить об инвестициях, это знания о рисках и разных финансовых инструментах.
▶️Специальные знания относятся к конкретному человеку — какой у него горизонт планирования, какой риск он считает допустимым — или к конкретной задаче — как купить акции компании, как зайти на платформу, где происходит обмен.
Обычно люди, обучаясь, набирают все эти виды знаний. ИИ тоже. Проблема в том, что достаточно мощный ИИ (речь об ИИ-агентах, которые помогают принимать решения) в моменте может сделать человека эффективнее, а его решения лучше, но в перспективе помешать людям накапливать общие знания.
Общие знания нужны не только людям: сами ИИ-агенты тоже на них обучаются. Если люди не смогут накопить достаточно общих знаний, говорят авторы, будет коллапс, потому что ИИ-агентам взять этих знаний будет неоткуда.
🔸Почему люди не накопят достаточно знаний? Потому что поддадутся искушению отдать всю работу ИИ-агентам, если те будут достаточно хороши.
🔸Как люди копят знания? Они сначала создают специальное знание, а потом делятся с другими. Например, если я починила ошибку в программе, у меня появилось знание. Оно пока специальное и только моё. А если я написала про эту ошибку пост и выложила его в открытый доступ, это уже вклад в общее знание.
Личный вклад в общие знания всегда крошечный, но, когда его вносит много людей, знания накапливаются. ИИ-агенты же решают задачи, создавая специальное знание, но не делятся им и не создают общее знание, отсюда и коллапс.
Модель построена с учётом того ИИ, который у нас есть сегодня. Она не учитывает того, как он будет развиваться и какие появятся новые технологии: сделать такое предсказание с достаточно высокой точностью нельзя, и модель было бы неправильно на нём строить.
🔸То есть, читать статью надо так: авторы показали на математической модели, что чрезмерное доверие к ИИ и замена человеческой работы работой ИИ приводит к истощению, затем к исчезновению общих знаний.
Чем больше общих знаний и чем шире они распределены между людьми, тем лучше: решая собственные задачи каждый может опираться на общие знания и не переизобретать велосипед (колесо, электричество, палку-копалку, автоматическую отправку писем и всё остальное).
На накопленных общих знаниях можно продолжать обучать ИИ. Сейчас у нас знания заканчиваются: мы уже весь Интернет использовали. При этом мы все активнее используем ИИ и меньше генерируем общих знаний, и это нехороший путь.
🔸Авторы статьи задумываются о том, что можно было бы поступить с общим знанием так, как поступают с редкими видами животных: защитить, подрастить, отпустить. Они говорят, что можно где-то запретить использовать рекомендации ИИ и заставить людей создать общие знания, а потом ослабить запрет, когда знаний будет достаточно.
🔸На мой взгляд, запретительный подход сначала не сработает, а потом сработает в обратную сторону и даст нам всем по голове. Мне кажется, тут нужно не запрещать, а создать мотивацию для работников умственного труда — тех, кто зарабатывает переработкой знания и созданием нового знания. Это их (наша) задача — беречь и преумножать общее знание, чтобы другие могли пользоваться.
📒 Раз уж мы видим, что оно истощается, почему бы не заняться его воспроизводством? Авторы статьи вот занялись — написали статью. Можно брать пример