Об иллюзии измерения человеческих предпочтений
1. Инновации связаны с неопределённостью. Поэтому любые обещания определённости привлекают дизайнеров и инноваторов. Одним из таких обещаний является то, что пользовательские предпочтения могут быть измерены надёжным способом. Это не так.
2. Человеческие предпочтения не могут быть измерены по трём причинам:
— наложение цифровой шкалы на объект измерения не делает его измеряемым;
— потребности и предпочтения постоянно меняются и ими легко манипулировать;
— шкала оценки часто нелинейна.
3. Для измерения уровня удовлетворенности клиентов часто используется шкала Лайкерта. Она предполагает равномерное размещение вариантов оценки. Такая шкала часто используется в опросах, где требуется оценить степень удовлетворённости сервисом от 1 до 10 или от «Ужасно» до «Превосходно».
Разница между «Ужасно» и «Плохо» может быть в разы меньше, чем между «Нормально» и «Хорошо». Отношение или мнение человека — это качественные данные, а не количественные. А наложенные на них цифры — это не значения, а лишь обозначения.
4. Врачи не измеряют пульс до и после операции — они следят за ним постоянно в ходе операции. Рабочие на нефтяной скважине постоянно наблюдают за давлением в системе. Фабрики постоянно наблюдают за показателями производственного процесса. Разовые оттиски этих данных не имеют ценности, так как в каждый момент времени на значения влияют много внешних и внутренних факторов.
5. Вспомните, как часто вы изменяли свой заказ в ресторане после заказа друга. Или как отличаются походы в супермаркет на голодный и сытый желудок. Люди очень плохо контролируют изменение своих предпочтений. Это делает их измерение ненадёжным.
6. Норберт Шварц исследовал, что малейшие отличия в формулировке, оформлении или порядке вопросов могут значительно повлиять на полученные ответы. Это случается потому, что люди не имеют устойчивого мнения о том, что им нравится или не нравится. После интерпретации вопроса человек может составить своё мнение на основе воспоминаний или составить отношение на месте, исходя из информации, которая ему доступна в текущем контексте. Исследователи часто рассчитывают на оценку из воспоминаний, но в действительности оценка чаще формируется на месте под влиянием сторонних факторов.
7. Нелинейность человеческих предпочтений заставила Фейсбук добавить варианты эмоциональной оценки постов. Ютюб отказался от пяти звёзд под видео в пользу лайков: пользователи ставили либо «5», либо были безразличны, чтобы ставить оценку. Нетфликс в системе рекомендаций также убил рейтинг со свёздами из-за нерелевантности такой шкалы оценок.
8. Что делать?
1) Моделировать поведение пользователей на основе качественных данных, а затем использовать количественные данные для проверки и доработки этих моделей.
2) Если нужно реализовать систему рейтинга, можно использовать два похода: «нравится / не нравится» или предлагать варианты ответа в виде эмоций.
9. «Хорошие изобретатели и дизайнеры глубоко понимают своих пользователей. Они тратят огромное количество усилий для развития этой интуиции. Они изучают множество пользовательских историй, а не полагаются на усреднённые цифры, полученные в опросах.» — Джефф Безос, 2017
По мотивам: https://jtbd.info/the-illusion-of-measuring-what-customers-want-3672a7892eb
1. Инновации связаны с неопределённостью. Поэтому любые обещания определённости привлекают дизайнеров и инноваторов. Одним из таких обещаний является то, что пользовательские предпочтения могут быть измерены надёжным способом. Это не так.
2. Человеческие предпочтения не могут быть измерены по трём причинам:
— наложение цифровой шкалы на объект измерения не делает его измеряемым;
— потребности и предпочтения постоянно меняются и ими легко манипулировать;
— шкала оценки часто нелинейна.
3. Для измерения уровня удовлетворенности клиентов часто используется шкала Лайкерта. Она предполагает равномерное размещение вариантов оценки. Такая шкала часто используется в опросах, где требуется оценить степень удовлетворённости сервисом от 1 до 10 или от «Ужасно» до «Превосходно».
Разница между «Ужасно» и «Плохо» может быть в разы меньше, чем между «Нормально» и «Хорошо». Отношение или мнение человека — это качественные данные, а не количественные. А наложенные на них цифры — это не значения, а лишь обозначения.
4. Врачи не измеряют пульс до и после операции — они следят за ним постоянно в ходе операции. Рабочие на нефтяной скважине постоянно наблюдают за давлением в системе. Фабрики постоянно наблюдают за показателями производственного процесса. Разовые оттиски этих данных не имеют ценности, так как в каждый момент времени на значения влияют много внешних и внутренних факторов.
5. Вспомните, как часто вы изменяли свой заказ в ресторане после заказа друга. Или как отличаются походы в супермаркет на голодный и сытый желудок. Люди очень плохо контролируют изменение своих предпочтений. Это делает их измерение ненадёжным.
6. Норберт Шварц исследовал, что малейшие отличия в формулировке, оформлении или порядке вопросов могут значительно повлиять на полученные ответы. Это случается потому, что люди не имеют устойчивого мнения о том, что им нравится или не нравится. После интерпретации вопроса человек может составить своё мнение на основе воспоминаний или составить отношение на месте, исходя из информации, которая ему доступна в текущем контексте. Исследователи часто рассчитывают на оценку из воспоминаний, но в действительности оценка чаще формируется на месте под влиянием сторонних факторов.
7. Нелинейность человеческих предпочтений заставила Фейсбук добавить варианты эмоциональной оценки постов. Ютюб отказался от пяти звёзд под видео в пользу лайков: пользователи ставили либо «5», либо были безразличны, чтобы ставить оценку. Нетфликс в системе рекомендаций также убил рейтинг со свёздами из-за нерелевантности такой шкалы оценок.
8. Что делать?
1) Моделировать поведение пользователей на основе качественных данных, а затем использовать количественные данные для проверки и доработки этих моделей.
2) Если нужно реализовать систему рейтинга, можно использовать два похода: «нравится / не нравится» или предлагать варианты ответа в виде эмоций.
9. «Хорошие изобретатели и дизайнеры глубоко понимают своих пользователей. Они тратят огромное количество усилий для развития этой интуиции. Они изучают множество пользовательских историй, а не полагаются на усреднённые цифры, полученные в опросах.» — Джефф Безос, 2017
По мотивам: https://jtbd.info/the-illusion-of-measuring-what-customers-want-3672a7892eb