КАК ЧИТАТЬ РАЗДЕЛ «МЕТОДЫ»
Открывая статью, почти все листают сразу к выводам. А проверка живёт в середине, в разделе «Методы» и читать его целиком не нужно для быстрого понимания. Хватает пяти мест.
📍 Кто участвовал
Первое, что стоит найти, это сколько человек и кто они. Тридцать студентов одного факультета и три тысячи человек по стране дают выводы разного веса. Тут же смотрите, кого выкинули из анализа. Набрали 159, посчитали 79 [реальные числа из работы, которую я недавно разбирала]. Это нормально, если каждая потеря объяснена и это повод насторожиться, если объяснения нет.
📍 С чем сравнивали
Ищите вторую группу и смотрите, что делала она. Активный контроль сильнее, вторая группа делает что-то сопоставимое по времени и вниманию. Если второй группы нет совсем, улучшение могло произойти само, просто со временем.
📍 Случайно ли распределяли Ключевое слово «рандомизировали». Фразы «участников разделили на две группы» недостаточно. Разделить могли по желанию самих людей, по классу, по тому, кто записался первым. Тогда группы различаются ещё до всякого вмешательства и дальше вы сравниваете не метод, а людей.
📍 Чем мерили
Опросник, задание на компьютере или оценка со стороны. Если и само вмешательство и результат идут со слов одного и того же человека, часть эффекта это вежливость и ожидания. Сильные работы добавляют хотя бы один показатель, который участник не контролирует.
📍 Один замер или несколько
Людей опросили однажды, значит, перед вами связь и ничего больше. Что за чем идёт, показывает либо вмешательство со сравнением, либо наблюдение растянутое во времени. Все пять пунктов обычно умещаются в паре абзацев и читаются за минуту. В новостях их не бывает вообще, поэтому фраза «учёные доказали» без ссылки на саму статью не проверяется никак 🥴
Открывая статью, почти все листают сразу к выводам. А проверка живёт в середине, в разделе «Методы» и читать его целиком не нужно для быстрого понимания. Хватает пяти мест.
📍 Кто участвовал
Первое, что стоит найти, это сколько человек и кто они. Тридцать студентов одного факультета и три тысячи человек по стране дают выводы разного веса. Тут же смотрите, кого выкинули из анализа. Набрали 159, посчитали 79 [реальные числа из работы, которую я недавно разбирала]. Это нормально, если каждая потеря объяснена и это повод насторожиться, если объяснения нет.
📍 С чем сравнивали
Ищите вторую группу и смотрите, что делала она. Активный контроль сильнее, вторая группа делает что-то сопоставимое по времени и вниманию. Если второй группы нет совсем, улучшение могло произойти само, просто со временем.
📍 Случайно ли распределяли Ключевое слово «рандомизировали». Фразы «участников разделили на две группы» недостаточно. Разделить могли по желанию самих людей, по классу, по тому, кто записался первым. Тогда группы различаются ещё до всякого вмешательства и дальше вы сравниваете не метод, а людей.
📍 Чем мерили
Опросник, задание на компьютере или оценка со стороны. Если и само вмешательство и результат идут со слов одного и того же человека, часть эффекта это вежливость и ожидания. Сильные работы добавляют хотя бы один показатель, который участник не контролирует.
📍 Один замер или несколько
Людей опросили однажды, значит, перед вами связь и ничего больше. Что за чем идёт, показывает либо вмешательство со сравнением, либо наблюдение растянутое во времени. Все пять пунктов обычно умещаются в паре абзацев и читаются за минуту. В новостях их не бывает вообще, поэтому фраза «учёные доказали» без ссылки на саму статью не проверяется никак 🥴