Прозрачность и воспроизводимость научных исследований
Каждый год Национальное бюро экономических исследований США (NBER) выкладывает записи лекций своего летнего института. В этом году Тед Мигель (Беркли) рассказывал о проблемах с прозрачностью исследований в социальных науках.
Прозрачность необходима для борьбы с явными фальсификациями и с менее явными проблемами, такими как смещение в публикациях. С одной стороны, результаты, в которых не было обнаружено статистически значимого эффекта, не публикуются. Если нулевой результат не опубликован, сообщество не узнает о нём – кто-то понапрасну будет повторять неудавшийся эксперимент. С другой стороны, публикуются исследования, в которых p-значение лишь незначительно ниже 5%: часто у исследователя есть возможность повысить значимость за счёт подбора зависимых и независимых переменных, выбора спецификации, ограничения выборки.
Некоторой гарантией прозрачности является воспроизводимость. Вычислительная воспроизводимость означает, что опубликованы данные, программный код, и на данных код выдает те же результаты, что опубликованы в статье. Даже такому минимальному стандарту соответствуют не все работы. Более сложный тип воспроизводимости: повторение прошлого исследования на похожей выборке должно давать похожий результат.
Мигель продвигает культуру прозрачности и воспроизводимости. Предлагается публиковать больше предварительных планов для исследований: учёные описывают, что именно они будут делать. Это ограничивает манипуляции с данными – часто из множества показателей после исследования можно выбрать значимые связи – и одновременно стимулирует публиковать нулевые результаты.
Журналам предлагается принимать предварительные решения о публикации до получения результатов – на основании описанного исследовательского вопроса, метода сбора данных и предлагаемого метода их анализа. У такой препубликации много преимуществ – она стимулирует публикацию нулевых результатов и научную креативность. Нобелевский лауреат Дэниэл Канеман называл это «содружеством врагов». Канеман находил учёных, с которыми был не согласен, и предлагал им решить разногласия, проведя совместный эксперимент, заранее договорившись о его условиях и интерпретации результатов. Даже если Канеман проигрывал в споре, наука выигрывала.
Если вы занимаетесь исследованиями сами или интересуетесь социальными науками, посмотрите лекцию Мигеля полностью, а если хотите подробностей – читайте его новую книгу и слушайте его онлайн-курс по воспроизводимости в социальных науках.
Каждый год Национальное бюро экономических исследований США (NBER) выкладывает записи лекций своего летнего института. В этом году Тед Мигель (Беркли) рассказывал о проблемах с прозрачностью исследований в социальных науках.
Прозрачность необходима для борьбы с явными фальсификациями и с менее явными проблемами, такими как смещение в публикациях. С одной стороны, результаты, в которых не было обнаружено статистически значимого эффекта, не публикуются. Если нулевой результат не опубликован, сообщество не узнает о нём – кто-то понапрасну будет повторять неудавшийся эксперимент. С другой стороны, публикуются исследования, в которых p-значение лишь незначительно ниже 5%: часто у исследователя есть возможность повысить значимость за счёт подбора зависимых и независимых переменных, выбора спецификации, ограничения выборки.
Некоторой гарантией прозрачности является воспроизводимость. Вычислительная воспроизводимость означает, что опубликованы данные, программный код, и на данных код выдает те же результаты, что опубликованы в статье. Даже такому минимальному стандарту соответствуют не все работы. Более сложный тип воспроизводимости: повторение прошлого исследования на похожей выборке должно давать похожий результат.
Мигель продвигает культуру прозрачности и воспроизводимости. Предлагается публиковать больше предварительных планов для исследований: учёные описывают, что именно они будут делать. Это ограничивает манипуляции с данными – часто из множества показателей после исследования можно выбрать значимые связи – и одновременно стимулирует публиковать нулевые результаты.
Журналам предлагается принимать предварительные решения о публикации до получения результатов – на основании описанного исследовательского вопроса, метода сбора данных и предлагаемого метода их анализа. У такой препубликации много преимуществ – она стимулирует публикацию нулевых результатов и научную креативность. Нобелевский лауреат Дэниэл Канеман называл это «содружеством врагов». Канеман находил учёных, с которыми был не согласен, и предлагал им решить разногласия, проведя совместный эксперимент, заранее договорившись о его условиях и интерпретации результатов. Даже если Канеман проигрывал в споре, наука выигрывала.
Если вы занимаетесь исследованиями сами или интересуетесь социальными науками, посмотрите лекцию Мигеля полностью, а если хотите подробностей – читайте его новую книгу и слушайте его онлайн-курс по воспроизводимости в социальных науках.