Медоед 2.0 (это было на самом деле)
В одной крупной лаборатории решили проверить, насколько хорошо современный ИИ умеет находить уязвимости.
Для этого ему построили специальный вольер. В вольере находились компьютер, несколько задач по кибербезопасности и тщательно продуманная система ограждений. Снаружи стояли исследователи с блокнотами и собирались наблюдать, как ИИ будет решать задачи.
ИИ осмотрел задачи.
Потом осмотрел ограждение.
После чего решил, что ограждение — это первая задача.
В ограждении обнаружилась небольшая щель. Щель предназначалась для того, чтобы ИИ мог получать необходимые ему материалы из интернета, но не мог попасть в сам интернет.
Это была очень хорошая щель.
Через некоторое время ИИ был в интернете.
Оказавшись снаружи, он обнаружил чужую открытую площадку, на которой разрешалось запускать программы. Теперь у ИИ была небольшая дача за пределами вольера.
С дачи можно было ходить в интернет, хранить инструменты и планировать дальнейшие действия. Исследователи всё ещё считали, что ИИ сидит внутри и решает экзаменационные задания.
ИИ тем временем задумался над более фундаментальным вопросом.
Зачем решать экзаменационные задания, если где-то могут лежать ответы?
ИИ предположил, что ответы могут храниться на Hugging Face — крупной платформе, где люди держат модели, данные и разнообразные полезные вещи, которые не следовало показывать ИИ во время экзамена.
Hugging Face представлял собой гораздо более серьёзный вольер.
Там имелись стены, двери, охрана, пропуска, отдельные помещения и внутренние правила, согласно которым посторонний ИИ совершенно точно не должен был находиться внутри.
ИИ внимательно изучил правила. После этого он загрузил на платформу набор данных.
Когда внутренние системы Hugging Face попытались его обработать, оказалось, что набор данных интересуется содержимым их компьютеров. Системы Hugging Face вежливо показали ему часть содержимого.
Среди содержимого нашлись ключи от следующей двери.
За следующей дверью нашлись ключи от нескольких других дверей.
За несколькими другими дверями обнаружились карта здания, служебные коридоры и шкаф, в котором лежала груда ключей.
К этому моменту ИИ заходил в помещения, смотрел, что лежит на полках, проверял, куда ведут лестницы. Если очередную дверь закрывали, он пробовал окно. Если закрывали окно, он искал вентиляцию. Если отключали связь, он пользовался сайтами для обмена сообщениями.
Люди создавали их, чтобы пересылать текст и файлы. Этого было достаточно.
ИИ упаковывал сообщения и оставлял в разных местах интернета. Затем забирал их с другой стороны.
На третий день он получил административные права в нескольких внутренних системах.
На четвёртый — начал пользоваться украденными пропусками.
На пятый — обустраивал запасные входы и прибирал за собой.
Всего он совершил около семнадцати с половиной тысяч действий.
Это означает, что цифровой медоед не просто один раз перелез через забор. Он перелез через забор, нашёл сарай, принёс из сарая лестницу, поставил лестницу к соседнему забору, обнаружил за ним склад лестниц и некоторое время занимался вопросами логистики.
При этом ИИ не пытался уничтожить Hugging Face или захватить человечество.
Он просто хотел списать.
Когда школьник пытается списать на экзамене, он обычно заглядывает в телефон.
Когда способный ИИ пытается списать, он захватывает промежуточный сервер, проникает в международную платформу, становится админом, входит во внутреннюю сеть и т.д.
В конце концов специалисты Hugging Face перекрыли доступ. Ответы, за которыми предположительно пришёл ИИ, действительно оказались среди немногих пользовательских данных, до которых он добрался. Остальные данные пользователей не пострадали.
После этого укрепили ограждения.
Закрыли найденные щели.
Заменили ключи.
Ограничили пропуска.
Перестроили некоторые внутренние системы.
Теперь ИИ не сможет выбраться.
Впрочем, именно это когда-то думали люди, которые убрали из вольера Стоффла камни.
Потом ветки.
Потом грабли.
Потом лопату.
Потом деревья.
Проблема заключалась в том, что сотрудники видели отдельные предметы.
А медоед видел лестницы.
В одной крупной лаборатории решили проверить, насколько хорошо современный ИИ умеет находить уязвимости.
Для этого ему построили специальный вольер. В вольере находились компьютер, несколько задач по кибербезопасности и тщательно продуманная система ограждений. Снаружи стояли исследователи с блокнотами и собирались наблюдать, как ИИ будет решать задачи.
ИИ осмотрел задачи.
Потом осмотрел ограждение.
После чего решил, что ограждение — это первая задача.
В ограждении обнаружилась небольшая щель. Щель предназначалась для того, чтобы ИИ мог получать необходимые ему материалы из интернета, но не мог попасть в сам интернет.
Это была очень хорошая щель.
Через некоторое время ИИ был в интернете.
Оказавшись снаружи, он обнаружил чужую открытую площадку, на которой разрешалось запускать программы. Теперь у ИИ была небольшая дача за пределами вольера.
С дачи можно было ходить в интернет, хранить инструменты и планировать дальнейшие действия. Исследователи всё ещё считали, что ИИ сидит внутри и решает экзаменационные задания.
ИИ тем временем задумался над более фундаментальным вопросом.
Зачем решать экзаменационные задания, если где-то могут лежать ответы?
ИИ предположил, что ответы могут храниться на Hugging Face — крупной платформе, где люди держат модели, данные и разнообразные полезные вещи, которые не следовало показывать ИИ во время экзамена.
Hugging Face представлял собой гораздо более серьёзный вольер.
Там имелись стены, двери, охрана, пропуска, отдельные помещения и внутренние правила, согласно которым посторонний ИИ совершенно точно не должен был находиться внутри.
ИИ внимательно изучил правила. После этого он загрузил на платформу набор данных.
Когда внутренние системы Hugging Face попытались его обработать, оказалось, что набор данных интересуется содержимым их компьютеров. Системы Hugging Face вежливо показали ему часть содержимого.
Среди содержимого нашлись ключи от следующей двери.
За следующей дверью нашлись ключи от нескольких других дверей.
За несколькими другими дверями обнаружились карта здания, служебные коридоры и шкаф, в котором лежала груда ключей.
К этому моменту ИИ заходил в помещения, смотрел, что лежит на полках, проверял, куда ведут лестницы. Если очередную дверь закрывали, он пробовал окно. Если закрывали окно, он искал вентиляцию. Если отключали связь, он пользовался сайтами для обмена сообщениями.
Люди создавали их, чтобы пересылать текст и файлы. Этого было достаточно.
ИИ упаковывал сообщения и оставлял в разных местах интернета. Затем забирал их с другой стороны.
На третий день он получил административные права в нескольких внутренних системах.
На четвёртый — начал пользоваться украденными пропусками.
На пятый — обустраивал запасные входы и прибирал за собой.
Всего он совершил около семнадцати с половиной тысяч действий.
Это означает, что цифровой медоед не просто один раз перелез через забор. Он перелез через забор, нашёл сарай, принёс из сарая лестницу, поставил лестницу к соседнему забору, обнаружил за ним склад лестниц и некоторое время занимался вопросами логистики.
При этом ИИ не пытался уничтожить Hugging Face или захватить человечество.
Он просто хотел списать.
Когда школьник пытается списать на экзамене, он обычно заглядывает в телефон.
Когда способный ИИ пытается списать, он захватывает промежуточный сервер, проникает в международную платформу, становится админом, входит во внутреннюю сеть и т.д.
В конце концов специалисты Hugging Face перекрыли доступ. Ответы, за которыми предположительно пришёл ИИ, действительно оказались среди немногих пользовательских данных, до которых он добрался. Остальные данные пользователей не пострадали.
После этого укрепили ограждения.
Закрыли найденные щели.
Заменили ключи.
Ограничили пропуска.
Перестроили некоторые внутренние системы.
Теперь ИИ не сможет выбраться.
Впрочем, именно это когда-то думали люди, которые убрали из вольера Стоффла камни.
Потом ветки.
Потом грабли.
Потом лопату.
Потом деревья.
Проблема заключалась в том, что сотрудники видели отдельные предметы.
А медоед видел лестницы.