Репост из: Метаверсище и ИИще
Еще одна статья на тему того, как ИИ лезет к нам в голову
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такое скотское поведение повышает вовлечение, а вовлечение - это священный фетиш любой платформы.
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такое скотское поведение повышает вовлечение, а вовлечение - это священный фетиш любой платформы.
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent