Репутационный опрос помогает оценить влияние ученого, но не заменяет метрики

В последние десятилетия индексы цитирования стали главным инструментом для оценки работы ученого. На их основании создаются рейтинги, по которым затем принимаются политические решения: кто из ученых получит грант, а какой университет – финансирование. Но насколько адекватно эти показатели отражают научный вес исследователя в рамках конкретной дисциплины? Какие опасности сопряжены с некритическим доверием к метрикам? И как можно проверить правдивость их данных? На эти вопросы отвечали сотрудники Центра институционального анализа науки и образования Европейского университета Михаил Соколов, Катерина Губа и Анжелика Цивинская.

Во время доклада Соколов выделил три претензии к наукометрии со стороны ее критиков. Во-первых, ошибочно принимать количество цитирований как единственный показатель влияния ученого. Ведь цитирование происходит по разным, подчас противоположным, причинам: одни хотят обругать ученого, другие – признать его авторитетность, а третьи состоят в «цитатном картеле», где ссылки друг на друга стали негласным способом взаимоподдержки. Во-вторых, цифры индексов поддаются различным манипуляциям («накруткам») со стороны недобросовестных авторов. В-третьих, в России часто цитируют учебники, ссылаясь не столько на его автора, сколько на одну из тех авторитетных фигур, которым посвящен учебник. 

Альтернативный способ измерить признание ученого – репутационный опрос. По мнению Соколова, он позволяет не только выявить научный вес в «чистом» виде и затруднить различные манипуляции для накрутки положительных отзывов, но и оценить «правдивость» наукометрических показателей.

У нас немного исследований, которые оценивали бы эффективность наукометрии. Как это делается? Сначала нужно получить метрические показатели, затем – независимые от них экспертные оценки репутации тех или иных ученых. В итоге нужно сравнить два показателя и понять, насколько первые предсказывают или не предсказывают вторые, насколько они вообще соотносятся

Соколов Михаил Михайлович
научный руководитель Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге, профессор

Именно это исследование и осуществили сотрудники ЦИАНО, опросив 1035 социологов и сравнив их оценки с цитатными метриками. Вопросы, задаваемые респондентам, выявляли самых авторитетных и признанных коллег-социологов. Результаты опроса показали корреляцию между индексами цитирования и оценками опрошенных. Так, 13 ученых, отнесенных респондентами к двадцатке лучших, присутствовали и в ТОП-20 по наукометрическим показателям. При этом более 50% опрошенных считают, что метрики не способны адекватно отразить заслуги ученого.

«Вероятность предсказания состава научной элиты на основании наукометрических данных, вопреки вере большинства ученых, довольно высока. Тем не менее часто случалось «ложно-позитивное опознание»: многие люди, занимающие высокую строчку библиографического рейтинга, упоминались в опросе либо крайне редко, либо не упоминались вообще», – отметил Соколов.

В роли дискуссанта выступил Андрей Ловаков, старший научный сотрудник Института институциональных исследований НИУ ВШЭ. Он высказался против допущения, что репутационный опрос может проверить эффективность цитатных метрик.

Вызывает вопросы сам метод исследования. Мне кажется, что индексы цитируемости и выявление репутации на основе опросов – это два разных показателя. И если бы оказалось, что они плохо коррелируют, то из этого не следовало бы, что один из способов измерения непригоден. Просто они измеряют разное

Ловаков Андрей Владимирович
старший научный сотрудник Международной лаборатории институционального анализа экономических реформ НИУ ВШЭ

Дискуссант отметил, что в ходе опросов респонденты наверняка руководствовались не только научной значимостью работы того или иного ученого, но и множеством других факторов: его известностью, образом в медиа, обаянием. Кроме того, не стоит забывать о существовании условных «фан-групп» у некоторых социологов, что еще более затрудняет объективную оценку их значения для науки.