Ошибки в оценке науки, или Как правильно использовать библиометрию

В последние пятнадцать лет мне как научному руководителю Обсерватории наук и технологий (OST) Квебекского университета в Монреале (UQAM) доводилось сотрудничать со многими организациями в целях проведения библиометрического анализа. Как ни странно, мне часто приходилось им напоминать, что процедуре оценивания должно предшествовать определение специфических целей и задач оцениваемой институции. А ведь должно быть ясно, во-первых, что подход к оценке правительственной лаборатории и университетского исследовательского центра не может быть одним и тем же; а во-вторых, что оценивание осуществляется в свете определенных целей, которые ранее поставила себе сама институция или финансирующая ее организация. Эти цели должны быть достаточно точно определены, чтобы было возможно разработать показатели, способные измерить, насколько они были достигнуты. Если главная задача правительственной лаборатории состоит в осуществлении мер по обеспечению безопасности граждан, то понятно, что количество публикаций в ученых журналах не будет главным показателем ее успеха! В свою очередь, университетская научная лаборатория, имеющая множество контрактов с промышленными предприятиями, но мало публикующая в научных журналах, выглядит проблематично в свете традиционной миссии университета, состоящей в приросте общедоступных знаний. Иными словами, не нужно сначала выбирать показатели, а затем подгонять под них миссию организации таким образом, чтобы их максимизировать. Напротив, следует сначала установить цели и задачи, а затем попытаться найти показатели, которые действительно отражают степень их реализации.

Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics, альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты (outcomes — менее четкий, но более широкий по охвату термин, чем «импакт»), можно прибегнуть к анализу цитирования статей, промышленного внедрения идей или, к примеру, занятости дипломированных специалистов. В эпоху интернета мы можем также наблюдать появление новых индикаторов, таких как число просмотров электронной версии статей или число скачиваний. Итак, конструирование показателей опирается на совсем небольшое число параметров, по-разному комбинируя которые можно корректно оценивать различные эффекты научной деятельности.

Источники данных

Составить список данных, необходимых для оценки научных исследований, нетрудно. Другое дело — убедиться в том, что они надежны и что стоимость доступа к этим данным не слишком высока. Базы данных по затратам на науку и результативности исследований не всегда доступны в подходящем виде. Такова, к примеру, ситуация с общей суммой ассигнований на научные исследования, получаемых университетами, поскольку не все страны собирают подобные данные централизованно. И сбор этих данных может быть дорогостоящим.

Что касается научных публикаций, здесь доступны три источника: Web of Science (WoS), Scopus и Google Scholar. Доступ к первым двум осуществляется только по подписке, а вот третий находится (пока) в свободном доступе в интернете. Преимущество первых двух источников в плане оценки состоит в том, что их содержание контролируется и список входящих в них журналов известен. Однако их недостаток состоит в том, что доступ к ним стоит весьма дорого. Google Scholar находится в свободном доступе, однако проблема в том, что его содержание не контролируется и непрерывно меняется, настолько, что невозможно составить себе представление о его реальном содержании в тот или иной момент. Действительно, там можно обнаружить как статьи из реферируемых журналов, так и тексты, кем-то вывешенные на своей персональной веб-странице. Статьи могут появляться и исчезать, так что невозможен никакой контроль за валидностью показателей, рассчитываемых на основании этого источника. К тому же в этой базе данных не упоминается институциональный адрес авторов, что еще более ограничивает возможности ее использования в целях оценки. Наконец Google Scholar — потенциально манипулируемый источник[137].