Это так не работает!

Точно так же мы можем сказать, что данные инструмента оценки заинтересованности валидны, если люди, оценившие свою заинтересованность с помощью этого инструмента более позитивно, остаются в компании дольше – в данном случае диапазон оценок заинтересованности является прогностическим фактором последующего диапазона числа увольнений по собственному желанию. По одному набору надежных данных мы можем предсказать другой набор надежных данных, и таким образом, шаг за шагом, мы постепенно увеличиваем наш общий набор валидных знаний о мире[68].

Надежные, вариабельные и валидные – вот признаки достоверных данных, и эти три понятия помогут вам правильно оценить качество любых данных, оказавшихся в вашем распоряжении.

Например, если кто-то утверждает, что его данные валидны, вы можете вежливо спросить у него, может ли он доказать, что эти данные отображают нечто другое, измеренное иным способом, в реальном мире. Если он сумеет вам это продемонстрировать – как сотрудники Amazon способны продемонстрировать, что клики на одну страницу связаны с кликами на другую, – то, вероятно, его данные действительно валидны.

Если кто-то приходит к вам и просит уделить внимание набору данных, спросите себя, отражают ли они естественный диапазон вариабельности. Попросите у него показать вам диаграмму рассеяния. Если все точки данных на этом графике будут сосредоточены в одном или другом углу, вероятно, это не слишком достоверные данные. И, конечно, любые данные, для которых приходится создавать поддельный диапазон, форсируя кривую на «калибровочных» совещаниях, – это всегда плохие, недостоверные данные. Консенсус портит данные, диапазон оказывается поддельным, поэтому такие данные – недостоверны.

Однако начинать всегда нужно с надежности. Ваши друзья-статистики скажут вам, что все открытия, основанные на данных, строятся на их надежности. Когда мы что-то измеряем, мы должны быть уверены, что наш инструмент измерений не дает нам данные, колеблющиеся без всяких внешних причин. Если они колеблются сами по себе, то мы никогда не сможем быть уверенными в диапазоне и, таким образом, не сможем доказать, что этот диапазон может предсказывать диапазон чего-то еще, что интересует нас в реальном мире. Отсутствие надежности означает отсутствие валидности – и отсутствие знаний. О чем угодно, всегда[69].

И, как мы уже увидели в этой главе, проблема почти со всеми данными, касающимися людей – в том числе и вас, в их ненадежности. Данные по целям, которые говорят о вашем «проценте достижения», данные по компетенциям, сравнивающие вас с абстракциями, данные рейтингов, измеряющие вашу эффективность и ваш потенциал с точки зрения ненадежных свидетелей, – все они колеблются сами по себе и не в состоянии измерить то, что якобы измеряют.

Одно из самых странных последствий этой систематической ненадежности состоит в том, что в нашу так называемую эпоху больших данных ни одна организация не может сказать, что именно стимулирует повышение эффективности – по крайней мере эффективности работы специалистов. Мы можем сказать что-нибудь умное о том, что движет продажами или производительностью сдельной работы, потому что эти вещи по своей сути надежно измеряемы – их можно подсчитать. Но что стимулирует эффективность многих других видов деятельности – то есть большей части нашей работы, мы никак не можем узнать, потому что у нас нет надежного способа измерения эффективности. Мы не знаем, эффективнее ли работа в больших или в маленьких командах. Мы не знаем, лучше ли работают удаленные работники или сотрудники в офисе. Мы не знаем, выше ли эффективность в командах с высоким культурным многообразием или в более однородных. Мы не знаем, лучше ли работают внештатные или штатные сотрудники. Мы даже не можем показать, что наши инвестиции в тренинги и программы развития для наших сотрудников ведут к повышению эффективности. Мы не можем сказать ничего обо всем этом именно потому, что у нас нет надежного способа измерения эффективности.

Поэтому, когда вы читаете уверенные утверждения о подобных вещах, в вашем мозгу должна зазвучать тревожная сирена сомнения в качестве данных. Хотя каждое из таких утверждений может быть верным, существует немалая вероятность того, что верно абсолютно противоположное. Пока мы не нашли надежного способа измерять индивидуальную эффективность работы специалистов – будь то медсестры, программисты, учителя, прорабы и т. д., – любое заявление о стимулах эффективности остается невалидным. Никто этого не знает, а тот, кто заявляет, что знает, просто не умеет отличать достоверные данные от недостоверных.

* * *