Ошибки в оценке науки, или Как правильно использовать библиометрию

Однако следует признать, что и в самом научном сообществе нет единодушия в этих вопросах. Некоторые исследователи в некоторых дисциплинах решили принять как данность деление журналов на категории A, B и C. Другие ученые и другие дисциплины его отвергли, посчитав, что оно произвольно, и предложили попросту очертить «периметр научности», позволяющий утверждать, что вошедшие в него журналы не какие-то сомнительные конторы, а действительно серьезные академические издания. При втором подходе удается избежать ловушки официальных оценок A, B или C, ведь известно, насколько произвольны подобные рейтинги, неизменно отражающие борьбу за власть и расстановку сил. А кто те судьи, что устанавливают подобные рейтинги? И кто с готовностью использует деление на A, B и C? Весьма показательно, что все уважаемые журналы по истории и социологии науки сообща отвергли рейтинг, изначально предложенный Европейским научным фондом, и уже в 2009 году опубликовали коллективную редакционную статью по этому вопросу. Иными словами, внутри научного поля ведется борьба, и было бы наивно не принимать ее во внимание[132]. Состав комиссий, созданных для рейтингования журналов в разных областях гуманитарных и социальных наук, наводит на мысль, что в них отнюдь не всегда заседают самые признанные исследователи и механизмы формирования этих комиссий остаются неясными. Создается впечатление, что мы здесь имеем дело с феноменом, который Пьер Бурдье отважился назвать «законом Жданова». В соответствии с этим законом индивид, занимающий доминируемую позицию в том или ином поле, в большей мере склонен к участию в действиях властей, которые призваны пошатнуть позиции доминирующих[133]. Попадание в число тех, кто официально решает, что этот журнал достоин оценки A, а тот — только C, кому-то явно может вскружить голову…

Можно часто слышать мнение, будто бы от рейтингов никуда не денешься и поэтому с ними «приходится считаться». Это вовсе не так. Благодаря сопротивлению исследователей подобные неразумные инициативы иногда удается остановить. Например, в Австралии остро негативная реакция ученых на рейтинги журналов заставила правительство пойти на попятную и отказаться от использования этих рейтингов для оценки исследовательской работы[134]. Также и во Франции протест со стороны многих исследователей привел к тому, что организации, продвигавшие подобные рейтинги, были вынуждены перейти к простому списку журналов, определяющему «периметр научности»[135]. Этот пример наглядно демонстрирует, что возможно очертить совокупность журналов, считающихся научными в той или иной области, не втягиваясь в порочную игру рейтингов, которые как раз и призваны механизировать процесс принятия решений в ущерб мнению компетентных коллег. Иными словами, научный мир не должен пасовать перед требованиями, не имеющими никакого научного обоснования и подчиняющимися чуждой ему логике.

Глава IV. Оценка научных исследований

Для наших целей нет необходимости подробно останавливаться на каждом из многочисленных более или менее бессмысленных показателей, предлагавшихся за последний десяток лет[136]. Более всего удивляет в этом возрастающем многообразии показателей отсутствие четких критериев, позволяющих судить об их валидности. Поэтому для начала необходимо напомнить основы любой процедуры оценивания. А затем я предложу некоторые критерии для проверки валидности показателей.