Это так не работает!

Поэтому инструменты 360-градусной оценки нельзя считать надежными. Данные, которые мы получаем от этих инструментов, должны измерять наличие определенных компетенций у того или иного человека, но если мы начнем изучать их, то обнаружим, что они колеблются сами по себе, так как фактически эти инструменты реагируют на склонности оценивающего.

Вариабельные данные отражают естественный (ненавязанный) диапазон – то есть пределы изменения той или иной величины, существующие в реальном мире. Мы можем судить о качестве измерительного инструмента по его способности измерять и показывать эти реальные пределы. Допустим, если у нас есть обычный, купленный в магазине, термометр, который не способен показывать температуру ниже –25 °C, и мы возьмем его с собой на Южный полюс, то он станет каждый день показывать –25 °C, хотя на самом деле температура будет гораздо ниже. Таким образом, наш термометр, не обладая способностью измерять реальный диапазон того, что мы хотим измерить, не будет являться для нас удачным измерительным инструментом в условиях Южного полюса. Несмотря на то, что он исправен, он просто не подходит для выполнения данной задачи.

Если вы когда-нибудь проходили на работе какой-нибудь тренинг, а потом вас просили оценить его, значит, вам знакомы инструменты измерений, дающие невариабельные данные. Попросите участников тренинга оценить утверждение «В целом это был полезный образовательный опыт» по пятибалльной шкале, где 5 – «совершенно согласен», а 1 – «совершенно не согласен», и вы увидите, что почти все оценят его на 4 или 5. Наш термометр плохо подходит для условий Антарктики, а этот инструмент оценки тренинга плохо сконструирован. Но эффект один и тот же: данные не соответствуют естественному диапазону, они невариабельны.

Так же плохо сконструированы и инструменты оценки эффективности. Когда мы предлагаем лидерам команд оценить их людей по пятибалльной шкале, их данные как будто соответствуют трехбалльной шкале, так как низшие две оценки не получает практически никто и никогда. (Именно поэтому многие компании считают необходимым форсировать кривую – если этого не делать, инструмент оценки эффективности просто не даст достаточно вариабельных данных.)

Чтобы дать нашим измерительным инструментам реальный диапазон, нам нужны вопросы с экстремальными формулировками. Вопрос типа «я чувствую, что моя работа соответствует моим способностям» обеспечивает очень узкий диапазон оценок – почти каждый будет «согласен» или «совершенно согласен» с таким утверждением. Поэтому мы для измерения соответствия способностей работе сформулировали вопрос так: «На рабочем месте у меня есть возможность каждый день использовать мои сильные стороны». Слова «каждый день» экстремальны и вынуждают респондентов выбирать крайние значения шкалы – то есть обеспечивают адекватный диапазон[67]. Если вспомнить все восемь вопросов из первой главы, то можно увидеть, что каждый из них содержит такие экстремальные формулировки. Так, например, вопрос о миссии и предназначении мы сформулировали не «Я считаю, что у моей компании есть значимая миссия», а «Меня действительно воодушевляет миссия моей компании».

Эти различия могут показаться незначительными, но на самом деле от них зависит способность инструмента генерировать данные в диапазоне, существующем в реальном мире.

Наконец, мы должны спросить себя, имеет ли этот диапазон надежных данных смысл. Означает ли высокая оценка, полученная с помощью инструмента измерения, высокое значение чего-то в реальном мире? Связана ли вариабельность показаний инструмента с вариабельностью чего-то в реальном мире? Это святой Грааль для фанатов данных, и его правильное (пусть и не слишком убедительное) название – «валидность по критерию». Мы можем сказать, что полученные с помощью инструмента данные валидны, если на основании диапазона данных, полученных с помощью этого инструмента, мы способны сделать вывод о диапазоне чего-то еще – если мы в состоянии убедительно доказать, что он измеряет нечто, коррелирующее или предсказывающее другой результат, измеренный другим инструментом. Например, представители компании Amazon могут утверждать, что их данные по рекомендациям клиентам валидны (или обладают «валидностью по критерию»), если докажут, что люди, которые купили один предмет, также купили и другой. Если сотрудники Amazon знают наверняка, что число кликов на одну веб-страницу связано с числом кликов на другую страницу, то они могут быть уверены, что эти данные валидны.