💻 Доктор, что с ними будет? Проблемы исследований в экономике
Мы продолжаем обсуждать результаты исследования Прашанта Гарга и Тимо Фетцера (Garg, Fetzer, 2024) и рассуждать про то, с каким сложностями сталкивается экономическая наука.
В последние десятилетия экономическая наука стремительно развивала методы анализа данных, в частности причинно-следственного, что привело к росту доверия к эмпирическим исследованиям. Однако одновременно появились серьезные вызовы, которые могут подорвать воспроизводимость научных результатов
1️⃣ Нулевые результаты: отсутствие результата - тоже результат?
⚪️Современная система академических публикаций поощряет значимые результаты и игнорирует исследования, не находящие статистически значимых эффектов
⚪️Это приводит к систематической ошибке в виде публикационного смещения (publication bias) – ситуации, когда научное сообщество видит только "успешные" исследования, а нулевые результаты остаются в тени (Rosenthal, 1979; Sterling, 1959)
⚪️Доля публикаций с нулевыми результатами в экономике снизилась с 15% в 1980 году до 8,6% в 2023 году (Brodeur et al., 2016; Garg, Fetzer, 2024)
⚪️Существуют экспериментальные свидетельства "штрафа" за нулевые результаты - при прочих равных незначимые результаты воспринимаются как менее качественные и публикабельные (Chopra et al., 2024)
⚪️Литература становится несбалансированной, а эффекты переоцениваются - возрастает риск ложноположительных выводов (Ioannidis, 2005)
⚪️Опаснее всего то, что даже когда мы руководствуемся доказательными практиками, политические решения могут опираться на неполные данные и приводить к ошибкам
2️⃣ Проблема закрытых данных
⚪️Доступность данных – ключевой элемент научной воспроизводимости или репликации (возможности повторить результаты исследования)
⚪️Однако в экономике наблюдается рост использования закрытых данных, что делает проверку исследований затруднительной
⚪️Доля экономических статей, использующих корпоративные или частные данные, выросла с 4% в 1980 году до 8,6% в 2023 году (Andreoli-Versbach, Mueller-Langer, 2014; Garg, Fetzer, 2024)
⚪️В случае невозможности репликации исследователи не могут проверить корректность результатов и меньше им доверяют
⚪️Также проблемой является потенциальный конфликт интересов, когда компании могут избирательно предоставлять данные для выгодных выводов относительно них (Barrios et al., 2024)
🔹Что же делать?
⚪️Внедрение политик открытой науки, включая предрегистрацию исследований - как делают, например, медики и психологи
⚪️Развитие репликационных исследований и учет publication bias (Frankel, Kasy, 2022)
⚪️Адвокатирование культуры публикации всех результатов, а не только значимых эффектов
⚪️Развитие открытых репозитариев данных и стандартов репликации (Miguel, 2021)
⚪️Повышение прозрачности в использовании частных данных
⚪️Создание универсальных регламентов по доступу к корпоративным данным для науки
#канал_обозревает
@causal_channel
Мы продолжаем обсуждать результаты исследования Прашанта Гарга и Тимо Фетцера (Garg, Fetzer, 2024) и рассуждать про то, с каким сложностями сталкивается экономическая наука.
В последние десятилетия экономическая наука стремительно развивала методы анализа данных, в частности причинно-следственного, что привело к росту доверия к эмпирическим исследованиям. Однако одновременно появились серьезные вызовы, которые могут подорвать воспроизводимость научных результатов
1️⃣ Нулевые результаты: отсутствие результата - тоже результат?
⚪️Современная система академических публикаций поощряет значимые результаты и игнорирует исследования, не находящие статистически значимых эффектов
⚪️Это приводит к систематической ошибке в виде публикационного смещения (publication bias) – ситуации, когда научное сообщество видит только "успешные" исследования, а нулевые результаты остаются в тени (Rosenthal, 1979; Sterling, 1959)
⚪️Доля публикаций с нулевыми результатами в экономике снизилась с 15% в 1980 году до 8,6% в 2023 году (Brodeur et al., 2016; Garg, Fetzer, 2024)
⚪️Существуют экспериментальные свидетельства "штрафа" за нулевые результаты - при прочих равных незначимые результаты воспринимаются как менее качественные и публикабельные (Chopra et al., 2024)
⚪️Литература становится несбалансированной, а эффекты переоцениваются - возрастает риск ложноположительных выводов (Ioannidis, 2005)
⚪️Опаснее всего то, что даже когда мы руководствуемся доказательными практиками, политические решения могут опираться на неполные данные и приводить к ошибкам
2️⃣ Проблема закрытых данных
⚪️Доступность данных – ключевой элемент научной воспроизводимости или репликации (возможности повторить результаты исследования)
⚪️Однако в экономике наблюдается рост использования закрытых данных, что делает проверку исследований затруднительной
⚪️Доля экономических статей, использующих корпоративные или частные данные, выросла с 4% в 1980 году до 8,6% в 2023 году (Andreoli-Versbach, Mueller-Langer, 2014; Garg, Fetzer, 2024)
⚪️В случае невозможности репликации исследователи не могут проверить корректность результатов и меньше им доверяют
⚪️Также проблемой является потенциальный конфликт интересов, когда компании могут избирательно предоставлять данные для выгодных выводов относительно них (Barrios et al., 2024)
🔹Что же делать?
⚪️Внедрение политик открытой науки, включая предрегистрацию исследований - как делают, например, медики и психологи
⚪️Развитие репликационных исследований и учет publication bias (Frankel, Kasy, 2022)
⚪️Адвокатирование культуры публикации всех результатов, а не только значимых эффектов
⚪️Развитие открытых репозитариев данных и стандартов репликации (Miguel, 2021)
⚪️Повышение прозрачности в использовании частных данных
⚪️Создание универсальных регламентов по доступу к корпоративным данным для науки
#канал_обозревает
@causal_channel