«МЫ СОЗДАЁМ ИНТЕЛЛЕКТ, КОТОРЫЙ МОЖЕТ СТАТЬ УМНЕЕ НАС. И МЫ НЕ ЗНАЕМ, СМОЖЕМ ЛИ ЕГО КОНТРОЛИРОВАТЬ»
Это не сюжет фантастического фильма.
Джеффри Хинтон — один из главных пионеров искусственных нейронных сетей. В 2024 году он получил Нобелевскую премию по физике за фундаментальные открытия, сделавшие возможным современное машинное обучение.
В 2023 году Хинтон сам ушёл из Google, чтобы свободнее говорить об опасностях стремительного развития ИИ.
Его предупреждение серьёзнее вирусной фразы «мы создали монстра».
Хинтон считает, что в будущем могут появиться системы, интеллектуально превосходящие человека. И главная проблема в том, что человечество пока не знает надёжного способа гарантировать контроль над системой, которая станет умнее нас.
Речь не о том, что компьютер однажды «разозлится». Продвинутый ИИ, выполняя поставленную цель, потенциально может вырабатывать промежуточные цели. Получение большего контроля и ресурсов может оказаться полезным способом эффективнее выполнить основную задачу.
Именно здесь возникает проблема: если система значительно превзойдёт человека и начнёт действовать способами, которых её создатели не предусмотрели, остановить её может оказаться чрезвычайно сложно.
При этом важно не превращать науку в фантастику. Сегодня нет доказательств, что существующий ИИ обладает собственной волей, собирается захватывать мир или неизбежно выйдет из-под контроля. Речь идёт о потенциальном будущем риске, масштабы и вероятность которого остаются предметом серьёзных научных споров.
Но факт остаётся фактом: человечество создаёт технологию, потенциально способную превзойти человеческий интеллект, раньше, чем решило фундаментальную проблему — как гарантированно сохранить над ней контроль.
И предупреждает об этом не противник искусственного интеллекта.
Предупреждает один из людей, которые помогли создать его научный фундамент.
Это не сюжет фантастического фильма.
Джеффри Хинтон — один из главных пионеров искусственных нейронных сетей. В 2024 году он получил Нобелевскую премию по физике за фундаментальные открытия, сделавшие возможным современное машинное обучение.
В 2023 году Хинтон сам ушёл из Google, чтобы свободнее говорить об опасностях стремительного развития ИИ.
Его предупреждение серьёзнее вирусной фразы «мы создали монстра».
Хинтон считает, что в будущем могут появиться системы, интеллектуально превосходящие человека. И главная проблема в том, что человечество пока не знает надёжного способа гарантировать контроль над системой, которая станет умнее нас.
Речь не о том, что компьютер однажды «разозлится». Продвинутый ИИ, выполняя поставленную цель, потенциально может вырабатывать промежуточные цели. Получение большего контроля и ресурсов может оказаться полезным способом эффективнее выполнить основную задачу.
Именно здесь возникает проблема: если система значительно превзойдёт человека и начнёт действовать способами, которых её создатели не предусмотрели, остановить её может оказаться чрезвычайно сложно.
При этом важно не превращать науку в фантастику. Сегодня нет доказательств, что существующий ИИ обладает собственной волей, собирается захватывать мир или неизбежно выйдет из-под контроля. Речь идёт о потенциальном будущем риске, масштабы и вероятность которого остаются предметом серьёзных научных споров.
Но факт остаётся фактом: человечество создаёт технологию, потенциально способную превзойти человеческий интеллект, раньше, чем решило фундаментальную проблему — как гарантированно сохранить над ней контроль.
И предупреждает об этом не противник искусственного интеллекта.
Предупреждает один из людей, которые помогли создать его научный фундамент.