Новая наукометрия: самостоятельность исследований
Мотивация и методика
Ранее мы с Кипящим МИФИ установили, что старт проекта "5-100" в 2013 году привёл к серьезному росту числа статей ведущих университетов, который сопровождался кратным уменьшением вклада в отдельную публикацию. Такие тенденции ранее систематически не исследовались и поэтому вызвали большой интерес, однако сами оценки были достаточно грубыми.
Теперь, благодаря неравнодушию подписчиков канала, мы представляем усовершенствованную методику, позволяющую с достаточно высокой точностью восстановить не просто средний вклад организации в статьи Web of Science, опубликованные за последние 10 лет, но и детализировать эти данные по каждому квартилю журналов Q1-Q4.
Ниже описаны основные принципы расчётов, для самых интересующихся. Автор канала и инициативная группа готовы ответить на вопросы и принять претензии в комментариях. Результаты — в следующих постах.
Итак, как и в предыдущей модели, расчёты строятся на сравнении Комплексного балла публикационной результативности (КБПР) конкретной организации и числа статей за определённый год. Данные за 2011-2019 годы были взяты в системах РИНЦ и SciVal, разница между делением на квартили в базе Web of Science и по SJR учтена с помощью поправочного коэффициента; принцип вычисления КБПР пояснялся выше. Оценка самостоятельности возможна именно потому, что показатель КБПР учитывает вклад организации в каждую статью, засчитывая "очки" пропорционально доли её сотрудников среди всех авторов.
Напомню идею оценки. Предположим, легендарный университет ГУКУ опубликовал в 2015 году 500 научных статей, и все они — исключительно в журналах первого квартиля WoS, то есть стоят по 20 баллов КБПР каждая. Если бы сотрудники славного ГУКУ опубликовали эти статьи без привлечения других организаций, то суммарный КБПР их alma mater был бы равен 500*20 = 10 000 баллов. Однако реальный КБПР вуза за 2015 год составил, например, только 1000 баллов, всего по 2 балла на одну статью. Это означает, что в среднем доля сотрудников ГУКУ в одной публикации составляет 2/20 = 10%; задача решается однозначно.
Усложним ситуацию: предположим, ГУКУ опубликовал за 2015 год по столько-то штук статей в журналах каждого квартиля, собрав итоговый КБПР = 1000. Мы можем подобрать коэффициенты самостоятельности публикаций в каждом квартиле так, чтобы сошёлся суммарный балл КБПР. Но без дополнительной информации однозначно восстановить самостоятельность в каждом из квартилей Q1-Q4 невозможно: итоговый балл мог сложиться по-разному.
На помощь приходит здравый смысл и дополнительная информация о внутренних и международных коллаборациях, которая также выдаётся SciVal. Мы предполагаем, что в среднем статья в международном коллективе публикуется в журналах Q1, при внутрироссийской коллаборации — в журналах Q2, что позволяет составить независимую оценку самостоятельности. Это добавляет второе условие в систему и существенно ограничивает возможные интервалы решений.
На практике, при заметном числе публикаций в Q1-Q2 их самостоятельность устанавливается с точностью порядка +-2-3%, так как вес каждой статьи очень велик и отклонения в оценке вклада сразу приводят к отклонению расчётного значения КБПР от реального. В ряде случаев сложно разделить вклады статей в Q3 и Q4 между собой (+-10%), однако на средневзвешенный показатель это влияет слабо.
Важный аспект усовершенствованной методики — это отдельное рассмотрение бесквартильных статей, а также вклада общественных и гуманитарных наук в общий КБПР организации (их балл КБПР вычисляется другими весами статей, поправка особенно актуальна для университетов второй лиги 5-100). Мы постарались отделить эти работы от массива Q1-Q4. Как результат, оценка самостоятельности квартильных публикаций стала гораздо менее чувствительна к "наплывам" статей в низкорейтинговых изданиях.
На данный момент анализ проведён для всех университетов проекта "5-100", для ряда лидирующих институтов РАН (представленных в постах выше), а также для МГУ, СПбГУ и Сколтеха.
Мотивация и методика
Ранее мы с Кипящим МИФИ установили, что старт проекта "5-100" в 2013 году привёл к серьезному росту числа статей ведущих университетов, который сопровождался кратным уменьшением вклада в отдельную публикацию. Такие тенденции ранее систематически не исследовались и поэтому вызвали большой интерес, однако сами оценки были достаточно грубыми.
Теперь, благодаря неравнодушию подписчиков канала, мы представляем усовершенствованную методику, позволяющую с достаточно высокой точностью восстановить не просто средний вклад организации в статьи Web of Science, опубликованные за последние 10 лет, но и детализировать эти данные по каждому квартилю журналов Q1-Q4.
Ниже описаны основные принципы расчётов, для самых интересующихся. Автор канала и инициативная группа готовы ответить на вопросы и принять претензии в комментариях. Результаты — в следующих постах.
Итак, как и в предыдущей модели, расчёты строятся на сравнении Комплексного балла публикационной результативности (КБПР) конкретной организации и числа статей за определённый год. Данные за 2011-2019 годы были взяты в системах РИНЦ и SciVal, разница между делением на квартили в базе Web of Science и по SJR учтена с помощью поправочного коэффициента; принцип вычисления КБПР пояснялся выше. Оценка самостоятельности возможна именно потому, что показатель КБПР учитывает вклад организации в каждую статью, засчитывая "очки" пропорционально доли её сотрудников среди всех авторов.
Напомню идею оценки. Предположим, легендарный университет ГУКУ опубликовал в 2015 году 500 научных статей, и все они — исключительно в журналах первого квартиля WoS, то есть стоят по 20 баллов КБПР каждая. Если бы сотрудники славного ГУКУ опубликовали эти статьи без привлечения других организаций, то суммарный КБПР их alma mater был бы равен 500*20 = 10 000 баллов. Однако реальный КБПР вуза за 2015 год составил, например, только 1000 баллов, всего по 2 балла на одну статью. Это означает, что в среднем доля сотрудников ГУКУ в одной публикации составляет 2/20 = 10%; задача решается однозначно.
Усложним ситуацию: предположим, ГУКУ опубликовал за 2015 год по столько-то штук статей в журналах каждого квартиля, собрав итоговый КБПР = 1000. Мы можем подобрать коэффициенты самостоятельности публикаций в каждом квартиле так, чтобы сошёлся суммарный балл КБПР. Но без дополнительной информации однозначно восстановить самостоятельность в каждом из квартилей Q1-Q4 невозможно: итоговый балл мог сложиться по-разному.
На помощь приходит здравый смысл и дополнительная информация о внутренних и международных коллаборациях, которая также выдаётся SciVal. Мы предполагаем, что в среднем статья в международном коллективе публикуется в журналах Q1, при внутрироссийской коллаборации — в журналах Q2, что позволяет составить независимую оценку самостоятельности. Это добавляет второе условие в систему и существенно ограничивает возможные интервалы решений.
На практике, при заметном числе публикаций в Q1-Q2 их самостоятельность устанавливается с точностью порядка +-2-3%, так как вес каждой статьи очень велик и отклонения в оценке вклада сразу приводят к отклонению расчётного значения КБПР от реального. В ряде случаев сложно разделить вклады статей в Q3 и Q4 между собой (+-10%), однако на средневзвешенный показатель это влияет слабо.
Важный аспект усовершенствованной методики — это отдельное рассмотрение бесквартильных статей, а также вклада общественных и гуманитарных наук в общий КБПР организации (их балл КБПР вычисляется другими весами статей, поправка особенно актуальна для университетов второй лиги 5-100). Мы постарались отделить эти работы от массива Q1-Q4. Как результат, оценка самостоятельности квартильных публикаций стала гораздо менее чувствительна к "наплывам" статей в низкорейтинговых изданиях.
На данный момент анализ проведён для всех университетов проекта "5-100", для ряда лидирующих институтов РАН (представленных в постах выше), а также для МГУ, СПбГУ и Сколтеха.