Это так не работает!

Сравнив ожидаемые результаты с реальными, они обнаружили два факта. Во-первых, зеркала одного из детекторов оказались загрязнены, поэтому при последующих запусках зеркала стали закрывать специальной защитой, пока спутник не оказывался в открытом космосе. А во-вторых, ученые поняли, что спутник направлен не совсем туда, куда надо, – обнаружилось отклонение на несколько градусов. Причиной этого стала неисправность одного из магнитометров, которая давала систематическую ошибку в средних измерениях. Из-за того, что эти неверные данные складывались с верными данными второго магнитометра, спутник, можно сказать, не знал, где он находится, – его нельзя было точно направить на выбранную звезду.

В мире рейтингов идея о том, что недостоверность любого отдельного источника данных компенсируется множеством данных от массы других источников, неверна и вредна. Прибавляя недостоверные данные к достоверным или наоборот, мы не улучшаем их качество и не исправляем существующие ошибки.

В случае с Ariel 6 решением стал отказ от данных неисправного магнитометра и использование исключительно данных, получаемых вторым, исправным. Но у руководства на совещаниях по оценке персонала нет такой возможности. Все данные оказываются неверны – так как мы не можем определить «исправные» источники и отделить их от «неисправных». Мы в буквальном смысле используем недостоверные данные, которые показывают нам не те (человеческие) звезды.

* * *

Итак, пока мы убедились, что: 1) людей невозможно научить достоверно оценивать других людей; 2) данные рейтингов, полученные таким образом, искажены, так как несут больше информации о тех, кто оценивает, чем о том, кого оценивают, и 3) нельзя устранить эти искажения, добавив к ним еще больше искаженных данных. А это все означает, что методики, основанные на рейтингах, будь то ежегодные исследования заинтересованности, анализ эффективности работы, 360-градусные оценки и все прочие их вариации, не способны измерить то, что должны измерять. А это, в свою очередь, означает, что обсуждения, опирающиеся на данные, полученные с помощью этих методик, не могут выявить правду о вас. Что же нам делать при таком печальном положении дел?

Для начала хорошо бы научиться различать достоверные и недостоверные данные. И тут, как скажет вам почти любой на вашей работе, мы попадаем в мир больших данных, где каждый процесс, результат, объект, личное предпочтение и взаимодействие обязательно должны быть учтены, посчитаны и пропущены через компьютерные алгоритмы. Этот мир обещает нам, что при сборе всех результатов наблюдений в реальном времени мы сможем с помощью искусственного интеллекта изучить взаимосвязи между этими результатами и понять, что объясняется чем, насколько часто и при каких условиях.

Но ни один из этих алгоритмов не даст нам ничего полезного, если он будет работать с недостоверными данными. Если мы вдруг обнаружили, что ношение сотового телефона в кармане влияет на показания термометров (не переживайте, ничего такого мы на самом деле не обнаружили), то мы не сможем узнать ничего полезного, изучив ваши температурные данные в разные моменты времени или связь температуры с другими результатами наблюдений, потому что все ваши температурные данные будут испорчены телефоном в вашем кармане – берем «грязные» данные, получаем «грязные» открытия.

Так что же такое достоверные данные?

Можно сказать, что данные достоверны в случае наличия у них трех характеристик: они должны быть надежны, вариабельны и валидны.

Данные надежны, если мы уверены в том, что они действительно измеряют то, что предполагается измерять, стабильным и предсказуемым образом. Самый очевидный пример источника надежных данных – что-то, что может быть посчитано. Если мы можем что-то посчитать – хоть на пальцах, хоть с помощью тех или иных измерительных инструментов, – то не важно, чьи пальцы или инструменты будут использованы, данные все равно будут одинаковыми. Ваш рост – это надежные данные, так же, как и количество денег на вашем счету, количество пропущенных вами в прошлом году рабочих дней или температура на улице рядом с вашим офисом в конкретный весенний день.

Если же этим самым весенним днем мы выйдем на улицу с термометром и он покажет 20 °C, а потом, спустя 10 минут, – 5, то, хотя теоретически возможно, что в мире внезапно так похолодало, скорее всего, у вас просто сломался термометр. Если еще через десять минут он покажет 25 °C, мы будем уверены, что это не мир сошел с ума, а прибор. Существует ряд статистических тестов, по которым мы можем определить надежность набора данных, но обычно мы просто доверяем своим инструментам, если данные, которые они нам сообщают, не меняются при неизменности того, что они измеряют. Ненадежные данные – это колеблющиеся данные, которые как будто меняются сами по себе. И любому инструменту измерения, который постоянно выдает разные данные, притом что в реальном мире ничего не меняется, не нужно верить, как вы не верите сломанному термометру.