Разум — это больше, чем инструмент
_Автор Саша Мадд_
Статья рассматривает фундаментальный вопрос: можно ли свести интеллект человека и ИИ к оптимизации заданной цели. Автор использует противопоставление философских концепций Дэвида Юма и Иммануила Канта, чтобы показать, почему такое сведение может быть опасным.
Юм рассматривал разум преимущественно как инструмент: он помогает находить эффективные средства для достижения целей, но сами цели задаются желаниями и страстями. В современной терминологии это близко к представлению об интеллекте как способности оптимизировать заданную функцию.
Кант, напротив, считал разум способностью не только выбирать средства, но и критически оценивать сами цели: достойны ли они, могут ли быть рационально оправданы и совместимы с уважением к другим людям. Поэтому разум связан со свободой, автономией и человеческим достоинством.
Современный ИИ в значительной степени строится именно на оптимизации: максимизации вознаграждения, вероятности успеха, эффективности и т. п. При этом цели обычно задаются извне — разработчиками или пользователями. Автор считает, что нельзя автоматически считать такую способность полноценным аналогом человеческого разума.
Особую проблему автор видит не только в том, что ИИ может начать самостоятельно преследовать цели, но и в обратном процессе: люди могут постепенно привыкнуть отдавать машинам не только выполнение задач, но и определение того, что именно следует считать целью.
Здесь возникает кантовское различие между автономией и гетерономией. Если человек сам способен критически оценивать свои цели, он автономен; если его цели незаметно определяются алгоритмами, рынком, метриками или внешней властью, возникает гетерономия.
Автор связывает эту проблему с критикой инструментального разума Франкфуртской школой: когда всё оценивается через эффективность, прогнозируемость и управляемость, люди сами рискуют превратиться в «ресурсы», «данные» и объекты оптимизации.
Поэтому традиционная Проблема согласования искусственного интеллекта («как заставить ИИ следовать человеческим ценностям?») недостаточна. Возникает более глубокий вопрос: сохранят ли сами люди способность самостоятельно формировать, обсуждать и пересматривать свои ценности и цели, если всё больше решений будет передаваться ИИ.
Опасность ИИ заключается не только в том, что машины могут стать более автономными, но и в том, что люди могут утратить собственную автономию. Если интеллект определить исключительно как оптимизацию, человек начинает выглядеть как ещё одна система, которая эффективно реализует заданные предпочтения.
По мнению автора, Мы можем хотеть, чтобы машины были разумными слугами, но не должны соглашаться с тем, чтобы сами люди понимали себя лишь как инструменты.
Статья фактически предлагает различать _ИИ, который помогает эффективно достигать поставленной учебной цели_, и _образование, которое развивает у человека способность самому определять, оценивать и пересматривать цели_. Это уже не просто вопрос эффективности AI-assisted learning, а вопрос сохранения субъектности учащегося.
Читать 17мин https://dzen.ru/a/asCAK8fxumrb3Z7U
_Автор Саша Мадд_
Статья рассматривает фундаментальный вопрос: можно ли свести интеллект человека и ИИ к оптимизации заданной цели. Автор использует противопоставление философских концепций Дэвида Юма и Иммануила Канта, чтобы показать, почему такое сведение может быть опасным.
Юм рассматривал разум преимущественно как инструмент: он помогает находить эффективные средства для достижения целей, но сами цели задаются желаниями и страстями. В современной терминологии это близко к представлению об интеллекте как способности оптимизировать заданную функцию.
Кант, напротив, считал разум способностью не только выбирать средства, но и критически оценивать сами цели: достойны ли они, могут ли быть рационально оправданы и совместимы с уважением к другим людям. Поэтому разум связан со свободой, автономией и человеческим достоинством.
Современный ИИ в значительной степени строится именно на оптимизации: максимизации вознаграждения, вероятности успеха, эффективности и т. п. При этом цели обычно задаются извне — разработчиками или пользователями. Автор считает, что нельзя автоматически считать такую способность полноценным аналогом человеческого разума.
Особую проблему автор видит не только в том, что ИИ может начать самостоятельно преследовать цели, но и в обратном процессе: люди могут постепенно привыкнуть отдавать машинам не только выполнение задач, но и определение того, что именно следует считать целью.
Здесь возникает кантовское различие между автономией и гетерономией. Если человек сам способен критически оценивать свои цели, он автономен; если его цели незаметно определяются алгоритмами, рынком, метриками или внешней властью, возникает гетерономия.
Автор связывает эту проблему с критикой инструментального разума Франкфуртской школой: когда всё оценивается через эффективность, прогнозируемость и управляемость, люди сами рискуют превратиться в «ресурсы», «данные» и объекты оптимизации.
Поэтому традиционная Проблема согласования искусственного интеллекта («как заставить ИИ следовать человеческим ценностям?») недостаточна. Возникает более глубокий вопрос: сохранят ли сами люди способность самостоятельно формировать, обсуждать и пересматривать свои ценности и цели, если всё больше решений будет передаваться ИИ.
Опасность ИИ заключается не только в том, что машины могут стать более автономными, но и в том, что люди могут утратить собственную автономию. Если интеллект определить исключительно как оптимизацию, человек начинает выглядеть как ещё одна система, которая эффективно реализует заданные предпочтения.
По мнению автора, Мы можем хотеть, чтобы машины были разумными слугами, но не должны соглашаться с тем, чтобы сами люди понимали себя лишь как инструменты.
Статья фактически предлагает различать _ИИ, который помогает эффективно достигать поставленной учебной цели_, и _образование, которое развивает у человека способность самому определять, оценивать и пересматривать цели_. Это уже не просто вопрос эффективности AI-assisted learning, а вопрос сохранения субъектности учащегося.
Читать 17мин https://dzen.ru/a/asCAK8fxumrb3Z7U