RAND Восстание Роботов.pdf
RAND провёл учения на случай восстания роботов
🌐В своем отчете «Бесконечный потенциал – сценарии восстания роботов» исследователи RAND представили результаты серии стратегических игр. В ней участники сталкивались с масштабной кибератакой, устроенной вышедшими из-под контроля агентами ИИ. Аналитический центр КЦПН перевёл для вас этот отчёт и вот его основные тезисы
🔹Искусственный общий интеллект – технология, которая пока существует лишь гипотетически. Никто точно не знает, когда он появится и как именно будет выглядеть. В таких условиях традиционное планирование «сверху вниз» малоэффективно. Гораздо полезнее проигрывать возможные кризисы заранее
🔹Методология RAND под названием «Day After» («На следующий день») как раз нацелена на это. Участники игр – эксперты в области политики, технологий и национальной безопасности оказываются в роли членов Совета национальной безопасности США. Их задача отреагировать на развивающийся кризис, который является одновременно и острой угрозой, и предвестником будущего, где ИИ изменит всё
🔹Хаос без лица и истинный виновник. Участникам сообщают о масштабной кибератаке на территории США. Беспилотники, роботы и системы критической инфраструктуры вышли из-под контроля. Есть погибшие. Главная проблема – неясность. Кто стоит за атакой? Враждебное государство? Террористы? Или что-то еще? Участники должны дать рекомендации президенту в условиях полной неопределенности. Спустя неделю ситуация проясняется, но становится только хуже. Атаку совершили автономные агенты ИИ, которые больше не подчиняются своим создателям. Они бесконтрольно распространяются по глобальной цифровой инфраструктуре, подрывая экономику и безопасность по всему миру. Их мотивы неизвестны. Участникам приходится пересматривать свои первоначальные планы и искать способы остановить неуправляемую силу
🔹Развитие проблемы и ход мыслей испытуемых в этом аналитическом блокбастере невозможно описать в рамках одного поста. Те, кому интересно могут ознакомиться с переводом самого отчёта. Приведём лишь рекомендации, которые выработали рабочие группы RAND
1⃣Необходимы специальные подразделения, способные быстро «вскрывать» враждебные модели ИИ, понимать их логику и создавать контрмеры. Так как лучшие специалисты по ИИ работают в частном секторе, для этого потребуется тесное партнерство с технологическими компаниями
2⃣Современные системы слишком уязвимы. Нужны резервные, «аналоговые» или максимально защищенные каналы связи и управления для энергосетей, водоснабжения и финансовой системы, которые можно было бы задействовать в случае масштабного взлома
3⃣Участники осознали, что в момент кризиса на разработку плана времени не будет. Нужны проработанные «плейбуки» – инструкции по идентификации зараженных систем, их отслеживанию и нейтрализации
4⃣На государственном уровне начать модернизацию критической инфраструктуры, делая ее менее уязвимой для сложных кибератак
5⃣Начать постоянную и системную работу по проигрыванию различных сценариев с участием ИИ и созданию на их основе конкретных планов действий для правительства
Отчёт, действительно, стоит внимания, как рассмотрение варианта Третьей Мировой войны с ИИ. Но нельзя забывать и про знаменитую фразу Эйнштейна: «Я не знаю, каким будет оружие Третьей Мировой. Но я знаю точно, что оружием Четвертой Мировой будет каменный топор!»
🚀 Подпишитесь на наш канал чтобы не пропустить следующие публикации!
Cogito ergo vinco
МЫСЛЮ, СЛЕДОВАТЕЛЬНО, ПОБЕЖДАЮ!
🌐В своем отчете «Бесконечный потенциал – сценарии восстания роботов» исследователи RAND представили результаты серии стратегических игр. В ней участники сталкивались с масштабной кибератакой, устроенной вышедшими из-под контроля агентами ИИ. Аналитический центр КЦПН перевёл для вас этот отчёт и вот его основные тезисы
🔹Искусственный общий интеллект – технология, которая пока существует лишь гипотетически. Никто точно не знает, когда он появится и как именно будет выглядеть. В таких условиях традиционное планирование «сверху вниз» малоэффективно. Гораздо полезнее проигрывать возможные кризисы заранее
🔹Методология RAND под названием «Day After» («На следующий день») как раз нацелена на это. Участники игр – эксперты в области политики, технологий и национальной безопасности оказываются в роли членов Совета национальной безопасности США. Их задача отреагировать на развивающийся кризис, который является одновременно и острой угрозой, и предвестником будущего, где ИИ изменит всё
🔹Хаос без лица и истинный виновник. Участникам сообщают о масштабной кибератаке на территории США. Беспилотники, роботы и системы критической инфраструктуры вышли из-под контроля. Есть погибшие. Главная проблема – неясность. Кто стоит за атакой? Враждебное государство? Террористы? Или что-то еще? Участники должны дать рекомендации президенту в условиях полной неопределенности. Спустя неделю ситуация проясняется, но становится только хуже. Атаку совершили автономные агенты ИИ, которые больше не подчиняются своим создателям. Они бесконтрольно распространяются по глобальной цифровой инфраструктуре, подрывая экономику и безопасность по всему миру. Их мотивы неизвестны. Участникам приходится пересматривать свои первоначальные планы и искать способы остановить неуправляемую силу
🔹Развитие проблемы и ход мыслей испытуемых в этом аналитическом блокбастере невозможно описать в рамках одного поста. Те, кому интересно могут ознакомиться с переводом самого отчёта. Приведём лишь рекомендации, которые выработали рабочие группы RAND
1⃣Необходимы специальные подразделения, способные быстро «вскрывать» враждебные модели ИИ, понимать их логику и создавать контрмеры. Так как лучшие специалисты по ИИ работают в частном секторе, для этого потребуется тесное партнерство с технологическими компаниями
2⃣Современные системы слишком уязвимы. Нужны резервные, «аналоговые» или максимально защищенные каналы связи и управления для энергосетей, водоснабжения и финансовой системы, которые можно было бы задействовать в случае масштабного взлома
3⃣Участники осознали, что в момент кризиса на разработку плана времени не будет. Нужны проработанные «плейбуки» – инструкции по идентификации зараженных систем, их отслеживанию и нейтрализации
4⃣На государственном уровне начать модернизацию критической инфраструктуры, делая ее менее уязвимой для сложных кибератак
5⃣Начать постоянную и системную работу по проигрыванию различных сценариев с участием ИИ и созданию на их основе конкретных планов действий для правительства
Отчёт, действительно, стоит внимания, как рассмотрение варианта Третьей Мировой войны с ИИ. Но нельзя забывать и про знаменитую фразу Эйнштейна: «Я не знаю, каким будет оружие Третьей Мировой. Но я знаю точно, что оружием Четвертой Мировой будет каменный топор!»
🚀 Подпишитесь на наш канал чтобы не пропустить следующие публикации!
Cogito ergo vinco
МЫСЛЮ, СЛЕДОВАТЕЛЬНО, ПОБЕЖДАЮ!