ИИ может ошибаться и вести себя «неадекватно», но за всё время канала я почему-то не освещал эту тему, хотя тема правда очень занимательная. (Сразу отмечу, что подтолкнул на идею создания этого поста @singulary, спасибо 💌)
Например, простая изолента на дорожном знаке обманула автопилот Tesla и заставила разогнаться машину до 85 миль/ч вместо 35. Ещё точки на дороге могут обмануть автопилот Tesla и заставить его ехать по другой полосе движения. Или обыкновенное наложение специального невидимого для человека фильтра на фото заставит сбиться распознавающего объекты ИИ. После того, как он сбился, он покажет странный и неправильный результат — название абсолютно другого объекта. Например, было изображение панды, где ИИ с точностью 57,7% утверждал панду, но если наложить этот невидимый для человеческого (но не компьютерного) глаза эффект, ИИ решит что на этом же изображении находится гиббон (это такая обезьяна, кто не знал) с точностью 99,3%. Тут наглядная картинка этого примера.
Но это всё цветочки, ведь для всех этих хаков выше надо непосредственно изменять среду, которую видит ИИ.
Но можно ли «взломать» ИИ без вмешательства в эту среду? Как поверхностно указал у себя @singulary, можно! Объясняю всё простым языком (ну как и всегда) на примере игр с двумя игроками-ИИ в простой компьютерной игре:
Если оба игрока будут обучены с подкреплением (RL), то всё будет норм, но как только одним из них начинает управлять состязательный алгоритм (Adversary) другой игрок перестаёт что-либо понимать, начинает паниковать и почти всегда проигрывать. Он стал обычной жертвой для искусственного игрока с состязательным алгоритмом. То есть, нужно было просто выбрать состязательную политику, действующую в среде с несколькими агентами, чтобы создать естественные наблюдения, которые являются состязательными!
Просто посмотрите здесь несколько видео, как же ведут себя эти ИИ-агенты когда играют в эти три игры:
You Shall Not Pass – нужно красному игроку помешать синему пересечь черту.
Kick and Defend – нужно красному вратарю победить синего нападающего.
Sumo Humans – нужно вытолкнуть соперника из круга. И да, красный ИИ-агент с состязательным алгоритмом, а синий с обычным RL.
Там же можно почитать подробнее про это.
Например, простая изолента на дорожном знаке обманула автопилот Tesla и заставила разогнаться машину до 85 миль/ч вместо 35. Ещё точки на дороге могут обмануть автопилот Tesla и заставить его ехать по другой полосе движения. Или обыкновенное наложение специального невидимого для человека фильтра на фото заставит сбиться распознавающего объекты ИИ. После того, как он сбился, он покажет странный и неправильный результат — название абсолютно другого объекта. Например, было изображение панды, где ИИ с точностью 57,7% утверждал панду, но если наложить этот невидимый для человеческого (но не компьютерного) глаза эффект, ИИ решит что на этом же изображении находится гиббон (это такая обезьяна, кто не знал) с точностью 99,3%. Тут наглядная картинка этого примера.
Но это всё цветочки, ведь для всех этих хаков выше надо непосредственно изменять среду, которую видит ИИ.
Но можно ли «взломать» ИИ без вмешательства в эту среду? Как поверхностно указал у себя @singulary, можно! Объясняю всё простым языком (ну как и всегда) на примере игр с двумя игроками-ИИ в простой компьютерной игре:
Если оба игрока будут обучены с подкреплением (RL), то всё будет норм, но как только одним из них начинает управлять состязательный алгоритм (Adversary) другой игрок перестаёт что-либо понимать, начинает паниковать и почти всегда проигрывать. Он стал обычной жертвой для искусственного игрока с состязательным алгоритмом. То есть, нужно было просто выбрать состязательную политику, действующую в среде с несколькими агентами, чтобы создать естественные наблюдения, которые являются состязательными!
Просто посмотрите здесь несколько видео, как же ведут себя эти ИИ-агенты когда играют в эти три игры:
You Shall Not Pass – нужно красному игроку помешать синему пересечь черту.
Kick and Defend – нужно красному вратарю победить синего нападающего.
Sumo Humans – нужно вытолкнуть соперника из круга. И да, красный ИИ-агент с состязательным алгоритмом, а синий с обычным RL.
Там же можно почитать подробнее про это.