MIT AI Risk Repository опубликовал исследование о приоритетных ИИ-рисках
Команда проекта опросила 272 международных эксперта и предложила им оценить 24 группы рисков. Это все нужно не для того, чтобы создать перечень страшилок, а понять, какие риски сегодня воспринимаются экспертным сообществом как наиболее существенные в контексте ИИ-регулирования.
Ключевой вывод следующий: при сохранении текущей траектории развития ИИ эксперты считают, что 18 из 24 групп рисков имеют не менее 10% вероятности привести к катастрофическим последствиям в течение ближайших пяти лет. Под такими последствиями понимаются, например, более 1 млн смертей, экономический ущерб свыше 100 млрд долларов или сопоставимый по масштабу нематериальный вред, включая подрыв демократических институтов, приватности или общественного доверия.
Исследователи также выделяют пять групп рисков, по которым эксперты ожидают наиболее тяжёлые последствия в ближайшие пять лет:
• опасные возможности моделей;
• конкурентная гонка между разработчиками и государствами;
• использование ИИ для разработки оружия, кибератак и причинения массового вреда;
• концентрация власти и неравномерное распределение выгод;
• распространение ложной и вводящей в заблуждение информации.
Интересно, что в верхней части списка находятся не только классические для юристов темы вроде дискриминации, защиты персональных данных или мошенничества. Исследование фиксирует более широкий спектр: наиболее существенные риски всё чаще связываются с системными факторами, такими как гонка за лидерство, концентрация инфраструктуры, масштабируемость вреда и недостаточность существующих механизмов контроля.
Для регулирования ИИ из исследования следуют несколько выводов:
• ИИ-регулирование должно быть ориентировано не на формальное соблюдение правил, а на реальное управление рисками. Если вероятность катастрофических последствий оценивается как практически значимая уже на горизонте пяти лет, одних рекомендаций недостаточно. Необходимы пропорциональные рискам нормативные требования, обеспеченные силой правоприменения;
• одних добровольных мер со стороны разработчиков также недостаточно. Проблема не обязательно в недобросовестности отдельных компаний, а в том, что конкурентная среда сама по себе создаёт стимулы быстрее выпускать более мощные системы, снижая объём и качество контроля. Эту проблему также нельзя решить без комплексной системы нормативного регулирования;
• далеко не все риски можно снизить на уровне самой модели ИИ. Регулирование должно охватывать несколько уровней: от технических требований к конкретной системе до инфраструктурных и институциональных условий её разработки и применения, включая распределение ответственности между разными субъектами в цепочках поставок.
Команда проекта опросила 272 международных эксперта и предложила им оценить 24 группы рисков. Это все нужно не для того, чтобы создать перечень страшилок, а понять, какие риски сегодня воспринимаются экспертным сообществом как наиболее существенные в контексте ИИ-регулирования.
Ключевой вывод следующий: при сохранении текущей траектории развития ИИ эксперты считают, что 18 из 24 групп рисков имеют не менее 10% вероятности привести к катастрофическим последствиям в течение ближайших пяти лет. Под такими последствиями понимаются, например, более 1 млн смертей, экономический ущерб свыше 100 млрд долларов или сопоставимый по масштабу нематериальный вред, включая подрыв демократических институтов, приватности или общественного доверия.
Исследователи также выделяют пять групп рисков, по которым эксперты ожидают наиболее тяжёлые последствия в ближайшие пять лет:
• опасные возможности моделей;
• конкурентная гонка между разработчиками и государствами;
• использование ИИ для разработки оружия, кибератак и причинения массового вреда;
• концентрация власти и неравномерное распределение выгод;
• распространение ложной и вводящей в заблуждение информации.
Интересно, что в верхней части списка находятся не только классические для юристов темы вроде дискриминации, защиты персональных данных или мошенничества. Исследование фиксирует более широкий спектр: наиболее существенные риски всё чаще связываются с системными факторами, такими как гонка за лидерство, концентрация инфраструктуры, масштабируемость вреда и недостаточность существующих механизмов контроля.
Для регулирования ИИ из исследования следуют несколько выводов:
• ИИ-регулирование должно быть ориентировано не на формальное соблюдение правил, а на реальное управление рисками. Если вероятность катастрофических последствий оценивается как практически значимая уже на горизонте пяти лет, одних рекомендаций недостаточно. Необходимы пропорциональные рискам нормативные требования, обеспеченные силой правоприменения;
• одних добровольных мер со стороны разработчиков также недостаточно. Проблема не обязательно в недобросовестности отдельных компаний, а в том, что конкурентная среда сама по себе создаёт стимулы быстрее выпускать более мощные системы, снижая объём и качество контроля. Эту проблему также нельзя решить без комплексной системы нормативного регулирования;
• далеко не все риски можно снизить на уровне самой модели ИИ. Регулирование должно охватывать несколько уровней: от технических требований к конкретной системе до инфраструктурных и институциональных условий её разработки и применения, включая распределение ответственности между разными субъектами в цепочках поставок.