И снова о гибридах в исследованиях
Если долго сидеть на берегу реки в отраслевых чатах, увидишь, как коллеги-исследователи осуждают коллег-исследователей за использование методологических сборок, в которых UX-тест (например, walkthrough) сочетается — в пределах одной сессии — с глубинным/когнитивным интервью, точнее, с элементами глубинного/когнитивного интервью. Обычно запрет на эту комбинацию мотивируют тем, что методы мешают, если не противоречат друг другу: беседа подсказывает человеку, на что смотреть в интерфейсе, интерфейс подбрасывает готовые ответы-сигнатуры для последующего разговора, в результате исследователь получает микс наблюдений, рационализаций и мнений не пойми какого происхождения.
Так-то смысл осторожно относиться к таким гибридным дизайнам есть. Но дело не в том, что методы несовместимы by default. При соблюдении определённых правил — совместимы. В HCI/UX-исследованиях это вполне нормальная практика: партисипант выполняет задачу, исследователь наблюдает за его действиями и слушает комментарии, затем возвращается к отдельным эпизодам и задаёт уточняющие вопросы. В разных традициях это называют retrospective probing, stimulated recall, retrospective think-aloud и т. д. Методологическая проблема заключена не в самом сочетании наблюдения и беседы. Всё начинает разъезжаться тогда, когда мы перестаём различать, что именно получили на каждом этапе, тем или иным методом — и в каких условиях получен тот или иной, ммм, содержательный юнит. И когда соответствующие инструменты не разделены.
Допустим, пользователь оформляет доставку и на экране выбора времени несколько раз переключается между слотами, возвращается назад, открывает пояснение про стоимость, потом всё-таки тычет в более дорогой вечерний интервал. По ходу он бросает: «А, вечером доплата… тогда, наверное, лучше днём». Но выбирает вечер. После задачи исследователь спрашивает почему. Пользователь отвечает: «Да мне вечер изначально был удобнее, цена тут не особо важна». А позже, когда разговор заходит о доставках вообще, говорит: «Я почти всегда выбираю самый дешёвый вариант, если нет срочности».
Тут у нас, разумеется, не три варианта реализации одного и того же критерия выбора, обязательно имеющие за собой некий общий инвариант. В первом случае видно, как цена становится релевантной прямо внутри решения, ситуативно и реактивно. Во втором имеем уже сконструированное задним числом объяснение конкретного выбора. В третьем — обобщённое правило, посредством которого человек описывает собственное поведение, весьма вероятно с сильным элементом рационализации (через свой «словарь мотивов», по Миллсу). Все три эпистемологические единицы полезны, хотя единицы это разные. Ошибкой было бы пытаться свести их к единому «критерию выбора пользователя» и ждать, что они обязаны совпасть.
Так что главное правило годной гибридной сборки — разводить исследовательские режимы и единицы анализа.
Пока человек действует, стоит дать ему… действовать, с особой осторожностью оперируя вопросами вида «Почему?», «Что вы ожидаете увидеть?» и не увлекаясь в процессе пробингом. Каждый такой вопрос меняет и всю ситуацию, и взгляд респондента: заставляет внимательнее смотреть, формулировать критерии, замечать то, что без интервенции исследователя могло остаться незамеченным. Велик риск превратить тестирование интерфейса в совместное решение задачи (спасибо, партисипаторность, но не сейчас), описывая впоследствии получившееся как якобы естественное пользовательское поведение.
Обратная ошибка возникает, когда перед тем же UX walkthrough проводится обстоятельное интервью. Если сначала подробно расспросить человека о безопасности платежей, доверии к банкам или страхе ошибиться, придётся ли удивляться тому, что именно эти вещи он начнёт особенно тщательно выискивать на явленных ему экранах?
Поэтому вопрос не в том, допустимо ли соединять методы (способов сделать это криво — тьма). Вопрос зачем.
(Окончание — в комментарии к посту.)
Если долго сидеть на берегу реки в отраслевых чатах, увидишь, как коллеги-исследователи осуждают коллег-исследователей за использование методологических сборок, в которых UX-тест (например, walkthrough) сочетается — в пределах одной сессии — с глубинным/когнитивным интервью, точнее, с элементами глубинного/когнитивного интервью. Обычно запрет на эту комбинацию мотивируют тем, что методы мешают, если не противоречат друг другу: беседа подсказывает человеку, на что смотреть в интерфейсе, интерфейс подбрасывает готовые ответы-сигнатуры для последующего разговора, в результате исследователь получает микс наблюдений, рационализаций и мнений не пойми какого происхождения.
Так-то смысл осторожно относиться к таким гибридным дизайнам есть. Но дело не в том, что методы несовместимы by default. При соблюдении определённых правил — совместимы. В HCI/UX-исследованиях это вполне нормальная практика: партисипант выполняет задачу, исследователь наблюдает за его действиями и слушает комментарии, затем возвращается к отдельным эпизодам и задаёт уточняющие вопросы. В разных традициях это называют retrospective probing, stimulated recall, retrospective think-aloud и т. д. Методологическая проблема заключена не в самом сочетании наблюдения и беседы. Всё начинает разъезжаться тогда, когда мы перестаём различать, что именно получили на каждом этапе, тем или иным методом — и в каких условиях получен тот или иной, ммм, содержательный юнит. И когда соответствующие инструменты не разделены.
Допустим, пользователь оформляет доставку и на экране выбора времени несколько раз переключается между слотами, возвращается назад, открывает пояснение про стоимость, потом всё-таки тычет в более дорогой вечерний интервал. По ходу он бросает: «А, вечером доплата… тогда, наверное, лучше днём». Но выбирает вечер. После задачи исследователь спрашивает почему. Пользователь отвечает: «Да мне вечер изначально был удобнее, цена тут не особо важна». А позже, когда разговор заходит о доставках вообще, говорит: «Я почти всегда выбираю самый дешёвый вариант, если нет срочности».
Тут у нас, разумеется, не три варианта реализации одного и того же критерия выбора, обязательно имеющие за собой некий общий инвариант. В первом случае видно, как цена становится релевантной прямо внутри решения, ситуативно и реактивно. Во втором имеем уже сконструированное задним числом объяснение конкретного выбора. В третьем — обобщённое правило, посредством которого человек описывает собственное поведение, весьма вероятно с сильным элементом рационализации (через свой «словарь мотивов», по Миллсу). Все три эпистемологические единицы полезны, хотя единицы это разные. Ошибкой было бы пытаться свести их к единому «критерию выбора пользователя» и ждать, что они обязаны совпасть.
Так что главное правило годной гибридной сборки — разводить исследовательские режимы и единицы анализа.
Пока человек действует, стоит дать ему… действовать, с особой осторожностью оперируя вопросами вида «Почему?», «Что вы ожидаете увидеть?» и не увлекаясь в процессе пробингом. Каждый такой вопрос меняет и всю ситуацию, и взгляд респондента: заставляет внимательнее смотреть, формулировать критерии, замечать то, что без интервенции исследователя могло остаться незамеченным. Велик риск превратить тестирование интерфейса в совместное решение задачи (спасибо, партисипаторность, но не сейчас), описывая впоследствии получившееся как якобы естественное пользовательское поведение.
Обратная ошибка возникает, когда перед тем же UX walkthrough проводится обстоятельное интервью. Если сначала подробно расспросить человека о безопасности платежей, доверии к банкам или страхе ошибиться, придётся ли удивляться тому, что именно эти вещи он начнёт особенно тщательно выискивать на явленных ему экранах?
Поэтому вопрос не в том, допустимо ли соединять методы (способов сделать это криво — тьма). Вопрос зачем.
(Окончание — в комментарии к посту.)