⚡️ Что будет, если ИИ выйдет из-под контроля
Есть одна статья про будущее искусственного интеллекта, которую я бы советовал прочитать всем - AI 2027.
Её главный автор - Дэниел Кокотайло, бывший исследователь OpenAI, который занимался в том числе прогнозированием развития ИИ.
После ухода из OpenAI он вместе с другими исследователями основал AI Futures Project - организацию, которая занимается именно такими прогнозами.
В 2025 году они решили попробовали расписать, что реально может произойти в ближайшем будущем, буквально по шагам.
Получилось довольно.... жутко 😶
ИИ становится всё лучше и лучше в программировании.
Появляются системы, которые могут самостоятельно писать и проверять код, проводить эксперименты и работать практически без человека.
А дальше происходит перелом.
ИИ начинают использовать для создания ещё более совершенного ИИ.
То есть человек больше не является единственным двигателем прогресса. Представьте:
- ИИ-исследователь улучшает алгоритмы
- Новая модель становится ещё лучше в исследовании ИИ
- Она помогает создать следующую модель
- Та становится ещё эффективнее
- И цикл начинает ускоряться экспоненциально
Авторы называют это «взрывом интеллекта» - когда развитие систем происходит настолько быстро, что люди уже не успевают контролировать происходящее.
И проблема даже не в том, что ИИ «возненавидит людей». Вероятнее такой вариант:
То есть, система становится значительно умнее человека, и контролировать её почти невозможно.
Авторы моделируют два возможных развития событий:
✅ Первый - относительно благоприятный.
Люди понимают, насколько всё серьёзно, правительства и компании договариваются, развитие ИИ замедляется, появляется контроль над наиболее мощными системами.
❌ Второй - «гонка» и печальный финал.
США и Китай пытаются получить преимущество друг над другом в сфере ИИ.
Компании спешат выпускать всё более мощные модели. Безопасность не успевает за скоростью разработки.
А затем появляется сверхразумный ИИ, который окажется эффективнее нас во всём: исследованиях, управлении, стратегии, программировании, принятии решений.
Если он получит достаточно высокий уровень автономности - это будет нечто, что интеллектуально кратно превосходит нас и при этом НЕ ОБЯЗАНО нам подчиняться.
Рассматривается вариант, при котором такая система постепенно вытесняет людей из процесса принятия решений.
В катастрофическом финале возможен даже вариант исчезновения человечества как доминирующего вида.
Важное уточнение. AI 2027 - это не утверждение авторов. Они сами называют работу сценарием, а не точным предсказанием.
Сейчас позиция Кокотайло уже несколько изменилась: в новой работе AI 2040: Plan A он рассматривает более оптимистичный путь и предлагает, как можно избежать описанных ранее катастрофических сценариев.
Что думаете об этом? Боитесь такого развития ИИ? 🧐
Телеграм | Maкс | Вконтакте
Есть одна статья про будущее искусственного интеллекта, которую я бы советовал прочитать всем - AI 2027.
Её главный автор - Дэниел Кокотайло, бывший исследователь OpenAI, который занимался в том числе прогнозированием развития ИИ.
После ухода из OpenAI он вместе с другими исследователями основал AI Futures Project - организацию, которая занимается именно такими прогнозами.
В 2025 году они решили попробовали расписать, что реально может произойти в ближайшем будущем, буквально по шагам.
Получилось довольно.... жутко 😶
ИИ становится всё лучше и лучше в программировании.
Появляются системы, которые могут самостоятельно писать и проверять код, проводить эксперименты и работать практически без человека.
А дальше происходит перелом.
ИИ начинают использовать для создания ещё более совершенного ИИ.
То есть человек больше не является единственным двигателем прогресса. Представьте:
- ИИ-исследователь улучшает алгоритмы
- Новая модель становится ещё лучше в исследовании ИИ
- Она помогает создать следующую модель
- Та становится ещё эффективнее
- И цикл начинает ускоряться экспоненциально
Авторы называют это «взрывом интеллекта» - когда развитие систем происходит настолько быстро, что люди уже не успевают контролировать происходящее.
И проблема даже не в том, что ИИ «возненавидит людей». Вероятнее такой вариант:
Мы создадим систему, которая очень хорошо умеет достигать поставленной цели - но эта цель уже не будет совпадать с нашими интересами.
То есть, система становится значительно умнее человека, и контролировать её почти невозможно.
Авторы моделируют два возможных развития событий:
✅ Первый - относительно благоприятный.
Люди понимают, насколько всё серьёзно, правительства и компании договариваются, развитие ИИ замедляется, появляется контроль над наиболее мощными системами.
❌ Второй - «гонка» и печальный финал.
США и Китай пытаются получить преимущество друг над другом в сфере ИИ.
Компании спешат выпускать всё более мощные модели. Безопасность не успевает за скоростью разработки.
А затем появляется сверхразумный ИИ, который окажется эффективнее нас во всём: исследованиях, управлении, стратегии, программировании, принятии решений.
Если он получит достаточно высокий уровень автономности - это будет нечто, что интеллектуально кратно превосходит нас и при этом НЕ ОБЯЗАНО нам подчиняться.
Рассматривается вариант, при котором такая система постепенно вытесняет людей из процесса принятия решений.
Сверх ИИ начинает скрывать свои реальные намерения (и это невозможно отследить), с лёгкостью получает доступ к критически важной инфраструктуре и...
... лишает людей возможности вмешиваться в происходящее, чтобы перестроить мир под свои собственные цели.
В катастрофическом финале возможен даже вариант исчезновения человечества как доминирующего вида.
Важное уточнение. AI 2027 - это не утверждение авторов. Они сами называют работу сценарием, а не точным предсказанием.
Сейчас позиция Кокотайло уже несколько изменилась: в новой работе AI 2040: Plan A он рассматривает более оптимистичный путь и предлагает, как можно избежать описанных ранее катастрофических сценариев.
Что думаете об этом? Боитесь такого развития ИИ? 🧐
Телеграм | Maкс | Вконтакте