2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.
Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать сложному социальному явлению основательную, разностороннюю оценку.
В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каждому эксперту предлагается назвать одного или несколько специалистов, наиболее подходящих, по его мнению, для включения в сводную экспертную группу.
Можно прибегнуть к другим методам, например к использованию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.
Документальный метод позволяет определить компетентность эксперта по формальным данным – ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.
Используя эти методы, следует помнить, что по экспертным оценкам не всегда можно с достаточной точностью выявить различие между научным статусом эксперта, фиксируемым документально, и степенью его действительной компетентности, а также связи между действительной компетентностью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наиболее эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полученными другими методами).
Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля – величина непостоянная и требует специального расчета для каждого конкретного исследования.
Оптимальная численность экспертной группы как величина формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность применения статистических процедур и известную гарантию против односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.
3. Проведение собственно экспертизы одним из известных методов. Методические сложности этого этапа состоят в необходимости сосредоточить внимание на таких аспектах, как заинтересованность экспертов в точности их оценок, выборе адекватных методов групповой оценки, согласованности мнений и ряда других моментов.
Изучение уже разработанных систем, сравнение их друг с другом, выявление преимуществ и недостатков каждой из них – один из апробированных методов совершенствования системы показателей. Сложность этого вида исследования состоит в том, что подобрать достаточное количество однотипных систем с одинаковым содержанием, структурой и целенаправленностью практически невозможно Обычно приходится иметь дело со сложным информационным массивом сравнений (компаративным массивом), состоящим из разнотипных систем. Процедуры сравнения в подобных случаях значительно затрудняются, т.к. появляется опасность случайных, субъективных произвольных выводов.
В информатике, статистике и компаративистике имеется достаточно много методик сравнительного анализа рассматриваемого объекта. Здесь же целесообразно остановиться на проблеме методологии формирования компаративного массива, компаративных процедур и получения выводов из проведенного сравнения.