Репост из: Эффект Матфея
Оценка научной результативности - выбор между спорным, дорогим и страшноватым
Использование наукометрических показателей для оценки науки давно вызывает критику. Главные аргументы известны: количество публикаций и цитирований лишь косвенно отражает качество исследований; погоня за метриками стимулирует не научный прогресс, а оппортунизм. Эта критика во многом справедлива.
Если наукометрия так несовершенна для оценки, чем ее заменить? Заменить на оценку практической отдачи исследований невозможно - во многих областях практический эффект исследований не подразумевается вовсе. Один из вариантов это экспертная оценка. Если говорить о национальном масштабе, наиболее известный пример такой системы - британский Research Excellence Framework (REF), результаты которого используются для распределения государственного финансирования университетов.
Основа REF - экспертное рецензирование научных результатов. Обычно отмечают, что экспертная оценка значительно дороже наукометрии. Но насколько она дорога? В 2023 году был опубликован отчет с подробной оценкой затрат на проведение волны оценки REF 2021, позволивший увидеть цену одной из самых известных систем оценки науки.
По оценкам авторов отчета, совокупные затраты на проведение REF 2021 составили около 471 млн фунтов стерлингов. В эту сумму вошли не только расходы финансирующих организаций, но и издержки самих университетов: подготовка материалов для оценки, рабочее время членов экспертных комиссий, административного персонала и исследователей, участвовавших в подготовке заявок.
В этом цикле оценки участвовали 157 университетов. Если разделить общую сумму на число университетов, то получится, что в среднем оценка научной результативности одного вуза обошлась почти в 3 млн фунтов стерлингов (заметим, что эти затраты не являются ежегодными, REF проводится примерно раз в 6–8 лет).
Представить, сколько бы стоила оценка REF в российском контексте довольно сложно. Нельзя просто умножить оцененные расходы в 3 млн фунтов на число российских занимающихся наукой организаций (> 4000) или вузов (> 1000 c филиалами). С одной стороны, стоимость труда в России ниже, чем в Великобритании. С другой - британские университеты уже имеют многолетнюю инфраструктуру и опыт подготовки к REF (в российских вузах ее нет).
Тем не менее очевидно, что проведение национальной системы экспертной оценки стало бы заметной статьей расходов на науку. Для сравнения, совокупные затраты на REF 2021 превышают годовой бюджет РНФ, включая все его грантовые программы.
При этом наукометрический подход тоже не бесплатен. Вопрос сколько ресурсов российская наука тратит на функционирование своей системы оценки результативности организаций - весьма интересный, исследовать его непросто. Даже простая оценка числа специалистов, занятых "административной наукометрией" в России, - нетривиальная задача.
На этом фоне уже не хочется отметать сразу идею об использовании ИИ-инструментов в оценке научных результатов (хотя сначала хочется). В начале этого года Майк Телволл (Mike Thelwall), один из наиболее известных исследователей в области наукометрии, опубликовал статью о перспективах использования ИИ-моделей для оценки научной результативности.
Профессор Телволл с коллегами активно проводят эмпирические исследования, в которых они смотрят, как LLM-оценки согласуются с оценками экспертов. На базе этого опыта в обзорной статье автор не продвигает идею, о том что LLM - хорошая альтернатива наукометрии и экспертам, но напоминает о проблематичности двух традиционных подходов и рассуждает о том, по каким причинам мы в целом все равно не испытываем энтузиазма перед передачей оценки науки на аутсорс ИИ.
Если ранее у нас было два "плохих" подхода к оценке, теперь у нас их может стать три. Кажется разумным комбинировать три несовершенных способа так, чтобы они нейтрализовали недостатки друг друга. Однако, пожелать это легче,чем сделать.
Использование наукометрических показателей для оценки науки давно вызывает критику. Главные аргументы известны: количество публикаций и цитирований лишь косвенно отражает качество исследований; погоня за метриками стимулирует не научный прогресс, а оппортунизм. Эта критика во многом справедлива.
Если наукометрия так несовершенна для оценки, чем ее заменить? Заменить на оценку практической отдачи исследований невозможно - во многих областях практический эффект исследований не подразумевается вовсе. Один из вариантов это экспертная оценка. Если говорить о национальном масштабе, наиболее известный пример такой системы - британский Research Excellence Framework (REF), результаты которого используются для распределения государственного финансирования университетов.
Основа REF - экспертное рецензирование научных результатов. Обычно отмечают, что экспертная оценка значительно дороже наукометрии. Но насколько она дорога? В 2023 году был опубликован отчет с подробной оценкой затрат на проведение волны оценки REF 2021, позволивший увидеть цену одной из самых известных систем оценки науки.
По оценкам авторов отчета, совокупные затраты на проведение REF 2021 составили около 471 млн фунтов стерлингов. В эту сумму вошли не только расходы финансирующих организаций, но и издержки самих университетов: подготовка материалов для оценки, рабочее время членов экспертных комиссий, административного персонала и исследователей, участвовавших в подготовке заявок.
В этом цикле оценки участвовали 157 университетов. Если разделить общую сумму на число университетов, то получится, что в среднем оценка научной результативности одного вуза обошлась почти в 3 млн фунтов стерлингов (заметим, что эти затраты не являются ежегодными, REF проводится примерно раз в 6–8 лет).
Представить, сколько бы стоила оценка REF в российском контексте довольно сложно. Нельзя просто умножить оцененные расходы в 3 млн фунтов на число российских занимающихся наукой организаций (> 4000) или вузов (> 1000 c филиалами). С одной стороны, стоимость труда в России ниже, чем в Великобритании. С другой - британские университеты уже имеют многолетнюю инфраструктуру и опыт подготовки к REF (в российских вузах ее нет).
Тем не менее очевидно, что проведение национальной системы экспертной оценки стало бы заметной статьей расходов на науку. Для сравнения, совокупные затраты на REF 2021 превышают годовой бюджет РНФ, включая все его грантовые программы.
При этом наукометрический подход тоже не бесплатен. Вопрос сколько ресурсов российская наука тратит на функционирование своей системы оценки результативности организаций - весьма интересный, исследовать его непросто. Даже простая оценка числа специалистов, занятых "административной наукометрией" в России, - нетривиальная задача.
На этом фоне уже не хочется отметать сразу идею об использовании ИИ-инструментов в оценке научных результатов (хотя сначала хочется). В начале этого года Майк Телволл (Mike Thelwall), один из наиболее известных исследователей в области наукометрии, опубликовал статью о перспективах использования ИИ-моделей для оценки научной результативности.
Профессор Телволл с коллегами активно проводят эмпирические исследования, в которых они смотрят, как LLM-оценки согласуются с оценками экспертов. На базе этого опыта в обзорной статье автор не продвигает идею, о том что LLM - хорошая альтернатива наукометрии и экспертам, но напоминает о проблематичности двух традиционных подходов и рассуждает о том, по каким причинам мы в целом все равно не испытываем энтузиазма перед передачей оценки науки на аутсорс ИИ.
Если ранее у нас было два "плохих" подхода к оценке, теперь у нас их может стать три. Кажется разумным комбинировать три несовершенных способа так, чтобы они нейтрализовали недостатки друг друга. Однако, пожелать это легче,чем сделать.