Собираем — как часть более обширного исследования — тест компетентности для сотрудников крупной компании и заспорили об одном методологическом приёме: целесообразно ли после каждого задания с one-choice или multiple-choice просить человека отметить, насколько тот уверен в своём ответе, по четырёх- или пятибалльной шкале?
На итоговый балл такой self-report об уверенности, по нашей задумке, не влияет, балл считается только по правильным/неправильным ответам (их развесовка здесь не принциальна). Нам — ну ладно, мне — такой ход кажется ценным в плане того, чтобы увидеть совершаемые с уверенностью ошибки. Сотрудник, который чего-то не знает и понимает это, не страшен: он остановится и спросит, разузнает, повременит. Опаснее тот, кто твёрдо усвоил неверное правило и действует по нему без колебаний — скажем, спокойно отправляет клиентские данные во внешний сервис. По одним только ответам эти два человека различимы в недостаточной мере, между тем учить их и оценивать сопряженные с их поведением риски, кажется, нужно по-разному. Также маркирование степени уверенности в ответе обещает неплохо дополнить самоотчётную часть нашего опросника (вопросы вида «Я умею X», «За последний месяц я использовал Y в своей работе», etc.).
Понятное дело, изобрели приём не мы: к нему с полвека прибегают в психометрических исследованиях, на нём построено certainty-based marking в медузах — там уверенная ошибка студента (ожидаемо!) тревожит экзаменатора куда сильнее честного «не знаю». Впрочем, и претензии к нему выдвигают. Уверенность — во многом свойство личностное: кто-то уверен всегда, кто-то никогда. Плюс при таком измерении неизбежны когнитивные и статистические артефакты/искажения: эффект «трудное — лёгкое», регрессионные эффекты [Erev, Wallsten, Budescu, 1994] и тэ дэ. В частности, известно, что на трудных заданиях чрезмерная уверенность возникает отчасти механически. Кроме того, на 20-25 заданиях с четырёхбалльной шкалой индивидуальные оценки, вероятно, будут шумными: про группы/кластеры какие-то выводы получится сделать, про отдельного человека — если и да, то с существенными-пресущественными оговорками.
Разошлись во мнениях и относительно того, не будет ли такая сборка задания существенно увеличивать когнитивную нагрузку и не вызовет ли смещения в самих ответах. На мой взгляд, перформативная компонента в таком дополнительном измерении безусловно есть, но эта самая перформативность конкретно здесь мне видится желанной: условное «За базар отвечаешь?» «А насколько ты уверен?» задаёт правильный модус принятия решения. А что касается того, оправданно ли спрашивать про две вещи в одном вопросе, так это ведь не double-barreled question: мы спрашиваем про две эпистемически разные сущности, которые различаются примерно так же, как диктум и модус в лингвистике.
Друзья, коллеги, тунчжи — использовал кто-нибудь такой ход? Что думаете?
На итоговый балл такой self-report об уверенности, по нашей задумке, не влияет, балл считается только по правильным/неправильным ответам (их развесовка здесь не принциальна). Нам — ну ладно, мне — такой ход кажется ценным в плане того, чтобы увидеть совершаемые с уверенностью ошибки. Сотрудник, который чего-то не знает и понимает это, не страшен: он остановится и спросит, разузнает, повременит. Опаснее тот, кто твёрдо усвоил неверное правило и действует по нему без колебаний — скажем, спокойно отправляет клиентские данные во внешний сервис. По одним только ответам эти два человека различимы в недостаточной мере, между тем учить их и оценивать сопряженные с их поведением риски, кажется, нужно по-разному. Также маркирование степени уверенности в ответе обещает неплохо дополнить самоотчётную часть нашего опросника (вопросы вида «Я умею X», «За последний месяц я использовал Y в своей работе», etc.).
Понятное дело, изобрели приём не мы: к нему с полвека прибегают в психометрических исследованиях, на нём построено certainty-based marking в медузах — там уверенная ошибка студента (ожидаемо!) тревожит экзаменатора куда сильнее честного «не знаю». Впрочем, и претензии к нему выдвигают. Уверенность — во многом свойство личностное: кто-то уверен всегда, кто-то никогда. Плюс при таком измерении неизбежны когнитивные и статистические артефакты/искажения: эффект «трудное — лёгкое», регрессионные эффекты [Erev, Wallsten, Budescu, 1994] и тэ дэ. В частности, известно, что на трудных заданиях чрезмерная уверенность возникает отчасти механически. Кроме того, на 20-25 заданиях с четырёхбалльной шкалой индивидуальные оценки, вероятно, будут шумными: про группы/кластеры какие-то выводы получится сделать, про отдельного человека — если и да, то с существенными-пресущественными оговорками.
Разошлись во мнениях и относительно того, не будет ли такая сборка задания существенно увеличивать когнитивную нагрузку и не вызовет ли смещения в самих ответах. На мой взгляд, перформативная компонента в таком дополнительном измерении безусловно есть, но эта самая перформативность конкретно здесь мне видится желанной: условное «За базар отвечаешь?» «А насколько ты уверен?» задаёт правильный модус принятия решения. А что касается того, оправданно ли спрашивать про две вещи в одном вопросе, так это ведь не double-barreled question: мы спрашиваем про две эпистемически разные сущности, которые различаются примерно так же, как диктум и модус в лингвистике.
Друзья, коллеги, тунчжи — использовал кто-нибудь такой ход? Что думаете?