Ошибки в оценке науки, или Как правильно использовать библиометрию

По мере накопления исследований по библиометрии были обнаружены характеристики публикаций и ссылок, которые необходимо учитывать при конструировании показателей, позволяющих адекватно описывать динамику науки на разных уровнях. Так, среднее количество ссылок на одного автора в значительной мере зависит от размера дисциплин и специальностей. Например, в математике исследователей гораздо меньше, чем в медицине. В целом, при прочих равных условиях среднее количество ссылок на ту или иную статью зависит от размеров содержащихся в статьях библиографий, то есть от числа статей в этих библиографиях. Чем выше это число, тем больше у автора шансов, что его процитируют. Среднее число ссылок в статьях по всем дисциплинарным направлениям со временем существенно возросло, что отражает резкий рост числа исследователей и публикуемых статей (ил. 4a). Иначе говоря, рост среднего числа ссылок на одну статью, как показано на ил. 4б, является простым следствием демографических изменений в науке. Из этого следует, что абсолютное число ссылок мало что означает само по себе и что сравнения между разными научными областями по этому показателю некорректны. Его всегда нужно рассматривать в контексте дисциплины, к которой принадлежит исследователь, и за определенный период.

Помимо этого, уже первые исследования показали, что процент самоцитирования в целом невелик (8 %), что ссылки на собственные публикации в журналах составляют примерно 20 % от их общего числа и что распределение цитирования отличается высокой концентрацией[40]. И наконец, как показывает ил. 5, неравномерно распределены не только ссылки, но также сами публикации и гранты, получаемые исследователями[41]. Речь идет о распределениях типа Парето, подчиняющихся так называемому правилу 20/80: на 20 % исследователей приходится, в общем и целом, 80 % цитат и грантов. У публикаций концентрация несколько ниже: на 20 % исследователей приходится не более 60 % статей.

Ил. 5. Распределение грантов, публикаций и ссылок среди квебекских исследователей (источник: OST)

С середины 1960-х годов ведется поиск корреляций между числом ссылок и различными переменными, характеризующими исследователей, с тем чтобы выявить детерминанты производительности ученых и влияния научных исследований. Так, в исследовании, опубликованном в 1966 году, установлено, что нет корреляции между коэффициентом интеллекта исследователей (IQ) и числом ссылок на их работы! Зато это число коррелирует с местом университета, в котором они защитили диссертацию, на шкале престижа, установленной экспертами[42]. Используя свой первый индекс (за 1961 год), Гарфилд выявил, что лауреаты Нобелевской премии за 1962 и 1963 годы цитируются в тридцать раз чаще, чем в среднем работы их коллег[43]. Другие исследования впоследствии подтвердили, что существует связь между уровнем цитируемости, производительностью, заслугами и степенью признания исследователей[44].

Ил. 6. Сферы применения библиометрии

Базы данных Web of Science уникальны тем, что охватывают длительный временной промежуток и включают, хотя и в неравной мере, все области знаний. Они позволяют всесторонне изучать социальные и когнитивные трансформации различных научных дисциплин на всем протяжении XX века. Некоторые исследователи прибегают к ним для анализа развития наук под определенным — историческим, социологическим, экономическими или политическим — углом (ил. 6). Рассмотрим несколько примеров.

Уровни измерения

В своем простейшем виде библиометрия занимается подсчетом документов. Документы могут анализироваться на разных уровнях агрегирования по таким параметрам, как фамилия автора, его институциональная принадлежность, включая название организации (кафедра, университет, лаборатория), регион и страну, в которой она располагается. В плане содержания можно также ассоциировать документ с той или иной дисциплиной или специальностью. Простые вычислительные операции позволяют составить первое представление о сравнительном развитии различных областей науки в разных организациях и странах, а также помогают понять различные аспекты структуры и динамики наук.