Ошибки в оценке науки, или Как правильно использовать библиометрию

В основе такого поведения, ведущего к злоупотреблению рейтингами и якобы точными показателями, лежит полное непонимание характеристик используемых индикаторов. Негативные последствия подобных практик совершенно очевидны. Без оппортунизма исследователей, пользующихся неправильно рассчитанными премиями, и оппортунизма журналов, которым на руку оценочное использование импакт-факторов, было бы невозможно заставить верить (или делать вид), что подобная система справедлива и рациональна.

Оценка факультетов и исследовательских лабораторий

Профессора и исследователи объединены в рамках университетских факультетов, лабораторий и исследовательских групп, которые тоже стали объектом оценки. Библиометрические методы начали использоваться на этом уровне организации науки в 1980-е годы. К примеру, сравнительный анализ лабораторий, работающих в определенной сфере, позволяет сопоставить их с другими похожими лабораториями за рубежом или в той же стране на основе библиометрических данных, касающихся количества публикаций сотрудников данной лаборатории и их заметности (измеряемой по числу ссылок)[118].

Наиболее сложная система оценивания университетских факультетов была введена в Англии эпохи Маргарет Тэтчер. Начиная с середины 1980-х годов каждые четыре-пять лет проводится процедура Research Assessment Exercise (RAE). Она состоит в оценке качества исследований на разных факультетах (то есть прежде всего качества их публикаций) комиссией внешних экспертов. После первого такого опыта в 1986 году, когда факультетам выставлялась оценка от 1 (национальное признание) до 4 (мировой лидер), рейтинг усложнился, включив промежуточные ступени (к примеру, 3a и 3b), а также уровни выше четвертого (5 и 5*). Часть правительственного бюджета, идущего на университеты, увязана с этими оценками: институции, занимающие высокие места в рейтинге, получают большую часть субсидий.

Эта система оценки была крайне сложной: в 15 секторах, поделенных на 67 исследовательских областей, задействованы около 1500 оценщиков[119]. После 2008 года оценка по этой системе была приостановлена, вероятно из-за того, что процедура была признана излишне тяжеловесной. Новая система, переименованная в Research Excellence Framework (REF), была введена в действие с 2014 года. Как и в случае RAE, полученные результаты влияют на объемы государственного финансирования, распределяемого между университетами. На самом деле процедура изменилась мало, оценку по-прежнему производит специальный комитет, определяющий место факультета в одной из пяти категорий: от одной до четырех «звезд» и «без места» для самых слабых[120]. Как и раньше, эти процедуры основаны прежде всего на мнении коллег, избираемых из числа представителей внешних институций. Эксперты посещают оцениваемые факультеты, анализируют их отчеты с целью составить представление об общем качестве преподавания и исследований, не используя при этом четко определенных количественных показателей. Публикации, разумеется, принимаются в расчет, но они являются лишь одним из элементов, из которых складывается общая оценка, носящая, по большому счету, качественный характер. И хотя британская система не основана на библиометрических данных, ее можно сравнить с неоправданно сложным механизмом, затратным как по времени, так и по деньгам.

Практика прямого учета библиометрических данных в формулах финансирования университетов возникает в 1990-е годы сначала в Австралии, а затем, с 2003 года, в бельгийской Фландрии[121]. Целью оценивания при этом является не улучшение практик и организации исследований, а наказание институций, которые оказываются наименее эффективными по выбранным показателям, через урезание их бюджета. Это механическое применение библиометрии, которое заставляет академические институции гнаться за количеством публикаций, уже подвергалось суровой критике[122]. В Австралии подобные критические выступления заставили правительство отказаться от системы рейтингов, и в 2007 году она была заменена другой системой, основанной на экспертной оценке, «формируемой с опорой на ряд количественных показателей»[123]. Речь идет не о полном отказе от количественных индикаторов, а скорее о том, чтобы использовать их с учетом контекста, рассматривая те или иные критерии как помощь при вынесении оценки, вместо того чтобы принимать их за абсолютную и бесспорную истину только потому, что они выражены цифрами.