Репост из: Канал влияния
⏳ Сколько живут научные идеи?
12 октября объявят лауреатов Нобелевской премии по экономике (можете попробовать их угадать вместе со СМУч ЭФ), но сегодня мы решили поговорить не о лауреатах, а об идеях
Как измерить скорость научного прогресса? Считать статьи бессмысленно: их выходит около 15 млн в год, и по этой мерке мы живём в золотой век. Считать деньги тоже так себе идея: каждое следующее открытие обходится дороже, и растущие расходы лишь удерживают прежний темп
Эндрю Уайт предлагает мерить иначе – временем жизни научного утверждения (claim): сколько оно держится, прежде чем его пересмотрят или опровергнут (White, 2026). По сути это взгляд на прогресс по Томасу Куну: наука движется не объёмом написанного, а тем, как часто приходится переписывать уже написанное
⏮ Как это посчитано?
Утверждения здесь рассматривают как пациентов в клиническом исследовании. Берётся 151 обзорная статья по химии, медицине, биологии, материаловедению и другим областям, с 1950-х по 2010-е. Из них языковой моделью извлечены 3 444 утверждения, и момент попадания в обзор считается «рождением». Дальше поисковый агент PaperQA3 ищет, не пересмотрено ли утверждение: чтобы признать его изменённым или опровергнутым, нужен DOI опровергающей работы. Сдвиги меньше 20% от заявленной величины засчитываются как «выжило», пересмотр считается «смертью». Далее автор строит кривые Каплана-Мейера
Выглядит это так. В обзоре 1966 года сказано, что пятая жаберная дуга аорты исчезает после пятой недели развития и не оставляет никаких структур. Современные работы по эмбрионам мыши и человека показали, что такая артерия вообще не формируется, а то, что за неё принимали, – коллатерали и аномалии. Утверждение прожило полвека и умерло
⏮ Что получилось?
• Период полураспада научного утверждения – 115 лет: столько нужно, чтобы пересмотру подверглась половина. Зато уже через десять лет пересмотренными оказываются около 10%
• Интереснее разбивка по десятилетиям: у утверждений 1950-х ожидаемый полураспад около 250 лет, у 2000-х – уже 70. Если разгон продолжится, к 2212 году полураспад сократится до года, а к 2494-му – до суток. Автор называет это сингулярностью: картина мира переписывается быстрее, чем человек успевает её прочесть
⏮ Где нужно быть осторожным?
Автор признаёт ограничения:
• экстраполяция уходит далеко за пределы данных: пересмотров всего 529 на 3 444 утверждения, а у недавних десятилетий их мало просто потому, что прошло слишком мало времени. Само предположение об экспоненциальном ускорении ничем не проверено
• выборка смещена дважды: в обзоры попадают только утверждения, которые уже стали заметны, а открытый доступ перекошен в сторону последних десятилетий
• разметку делала языковая модель: эксперты соглашались с её оценками в 70% случаев, да и проверяли это на моделях двухлетней давности (Skarlinski et al., 2024)
• трудно решить, что считать утверждением: у слишком узких формулировок нет продолжения в литературе, и «выжило» не отличить от «никто не проверял»
От себя добавим, что это хоть и очень интересный, но пока всего лишь пост в блоге, а не рецензируемая статья. Но зато автор открыто поделился своими данными
⏮ Зачем это нам?
• Сюжет спорит с привычной картиной замедления науки: идеи становится всё труднее находить (Bloom et al., 2020) [см. пост], статьи и патенты теряют прорывность (Park et al., 2023), а разрыв между работой и Нобелевской премией растёт (Mitsis, 2022). Здесь же выходит, что оборот фактов ускоряется
• К разговорам о скором скачке наука привыкла давно: Генри Адамс делил историю на эпохи – механическая триста лет, электрическая двадцать – и ждал сингулярности к 1921 году. Он не так уж промахнулся: модель атома с 1904 по 1926 год сменилась примерно восемь раз, а каково было издателям учебников физики, можно только гадать
Хотя, если вдуматься, Уайт измерил не то, как быстро мы узнаём правду, а то, как быстро правим прежние записи. Тогда рост числа пересмотров может означать и ускорение науки, и просто удешевление проверки – теми же языковыми моделями, с помощью которых сделана эта работа
#канал_обозревает
@causal_channel
12 октября объявят лауреатов Нобелевской премии по экономике (можете попробовать их угадать вместе со СМУч ЭФ), но сегодня мы решили поговорить не о лауреатах, а об идеях
Как измерить скорость научного прогресса? Считать статьи бессмысленно: их выходит около 15 млн в год, и по этой мерке мы живём в золотой век. Считать деньги тоже так себе идея: каждое следующее открытие обходится дороже, и растущие расходы лишь удерживают прежний темп
Эндрю Уайт предлагает мерить иначе – временем жизни научного утверждения (claim): сколько оно держится, прежде чем его пересмотрят или опровергнут (White, 2026). По сути это взгляд на прогресс по Томасу Куну: наука движется не объёмом написанного, а тем, как часто приходится переписывать уже написанное
⏮ Как это посчитано?
Утверждения здесь рассматривают как пациентов в клиническом исследовании. Берётся 151 обзорная статья по химии, медицине, биологии, материаловедению и другим областям, с 1950-х по 2010-е. Из них языковой моделью извлечены 3 444 утверждения, и момент попадания в обзор считается «рождением». Дальше поисковый агент PaperQA3 ищет, не пересмотрено ли утверждение: чтобы признать его изменённым или опровергнутым, нужен DOI опровергающей работы. Сдвиги меньше 20% от заявленной величины засчитываются как «выжило», пересмотр считается «смертью». Далее автор строит кривые Каплана-Мейера
Выглядит это так. В обзоре 1966 года сказано, что пятая жаберная дуга аорты исчезает после пятой недели развития и не оставляет никаких структур. Современные работы по эмбрионам мыши и человека показали, что такая артерия вообще не формируется, а то, что за неё принимали, – коллатерали и аномалии. Утверждение прожило полвека и умерло
⏮ Что получилось?
• Период полураспада научного утверждения – 115 лет: столько нужно, чтобы пересмотру подверглась половина. Зато уже через десять лет пересмотренными оказываются около 10%
• Интереснее разбивка по десятилетиям: у утверждений 1950-х ожидаемый полураспад около 250 лет, у 2000-х – уже 70. Если разгон продолжится, к 2212 году полураспад сократится до года, а к 2494-му – до суток. Автор называет это сингулярностью: картина мира переписывается быстрее, чем человек успевает её прочесть
⏮ Где нужно быть осторожным?
Автор признаёт ограничения:
• экстраполяция уходит далеко за пределы данных: пересмотров всего 529 на 3 444 утверждения, а у недавних десятилетий их мало просто потому, что прошло слишком мало времени. Само предположение об экспоненциальном ускорении ничем не проверено
• выборка смещена дважды: в обзоры попадают только утверждения, которые уже стали заметны, а открытый доступ перекошен в сторону последних десятилетий
• разметку делала языковая модель: эксперты соглашались с её оценками в 70% случаев, да и проверяли это на моделях двухлетней давности (Skarlinski et al., 2024)
• трудно решить, что считать утверждением: у слишком узких формулировок нет продолжения в литературе, и «выжило» не отличить от «никто не проверял»
От себя добавим, что это хоть и очень интересный, но пока всего лишь пост в блоге, а не рецензируемая статья. Но зато автор открыто поделился своими данными
⏮ Зачем это нам?
• Сюжет спорит с привычной картиной замедления науки: идеи становится всё труднее находить (Bloom et al., 2020) [см. пост], статьи и патенты теряют прорывность (Park et al., 2023), а разрыв между работой и Нобелевской премией растёт (Mitsis, 2022). Здесь же выходит, что оборот фактов ускоряется
• К разговорам о скором скачке наука привыкла давно: Генри Адамс делил историю на эпохи – механическая триста лет, электрическая двадцать – и ждал сингулярности к 1921 году. Он не так уж промахнулся: модель атома с 1904 по 1926 год сменилась примерно восемь раз, а каково было издателям учебников физики, можно только гадать
Хотя, если вдуматься, Уайт измерил не то, как быстро мы узнаём правду, а то, как быстро правим прежние записи. Тогда рост числа пересмотров может означать и ускорение науки, и просто удешевление проверки – теми же языковыми моделями, с помощью которых сделана эта работа
#канал_обозревает
@causal_channel