Почему важно оценивать респондентов по истории анкет

Проверка качества обычно происходит внутри конкретного исследования: смотрят устройство, скорость прохождения, подозрительные ответы и другие сигналы. Но один опрос даёт слишком мало контекста. Респондент может выглядеть нормально в отдельной анкете и при этом регулярно создавать проблемы в других проектах — или наоборот.

Автор Quirk’s предлагает учитывать историю участия за месяцы и объединять сразу несколько типов данных: технические признаки мошенничества, поведение внутри опроса, качество источника и результаты прошлых исследований. В их research-on-research ни один из этих сигналов по отдельности не объяснял качество респондента достаточно хорошо. Вместе они давали более точную картину.

Интересно, что частое участие само по себе не оказалось признаком плохого качества. Группа так называемых professional panelists в исследовании показывала стабильные результаты и часто приходила из надёжных панелей. История помогает отличить людей, которые профессионально обманывают систему, от тех, кто просто регулярно участвует в исследованиях и делает это добросовестно.

Такой подход меняет саму задачу контроля качества. Вместо поиска только тех, кого нужно удалить из выборки, можно отдельно находить проверенных респондентов и работать над тем, чтобы сохранять их в панели.

Об уникальной системе качества в OMI можно узнать здесь: "Сквозная система контроля качества"

Подробнее в статье Quirk's.

#рынок_и_тренды

😊 – аналитика, экспертиза, данные, точность