Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Мы обращаемся в курьерскую службу на основании того, что раньше она была самой быстрой. Мы выбираем модель автомобиля, потому что до сегодняшнего дня она была самой безопасной. Мы идем в ресторан, где когда-то нас по-настоящему впечатлила кухня. Вполне логично прогнозировать будущие результаты на основе прошлых. Да и другого способа зачастую у нас просто нет. Но, к сожалению, прошлое может быть очень ненадежным путеводителем по будущему. Звучит банально, но все действительно меняется: организации приходят в упадок, производители автомобилей обновляют модельный ряд, а рестораны меняют своих владельцев. Более того, показатели могут ухудшиться, даже если ничего не изменится. И это не просто какая-то слабая вероятность – на самом деле мы должны ожидать такого ухудшения.

Странный феномен, заставляющий нас ожидать того, что хорошие показатели должны ухудшиться, а плохие улучшиться, даже если процесс остался неизменным, называется возвратом к среднему. Это проявление темных данных DD-тип 3: выборочные факты. Как только вы осознаете существование этого явления, вы начнете замечать его на каждом шагу. Давайте разберем на примере.

В 1970 и 1973 гг. в 12 сельхозугодьях Великобритании была зарегистрирована урожайность пшеницы в килограммах[50]. В табл. 5 показано, увеличивалась или уменьшалась урожайность за эти годы. Мы видим, что из шести участков с самой низкой урожайностью в 1970 г. пять имели наибольшую урожайность в 1973 г. И наоборот, из шести участков с самой высокой урожайностью в 1970 г. пять показали снижение в 1973 г. Закономерность очевидна, и вот что она означает: если бы в 1970 г. мы выбрали участки с высокой урожайностью, ожидая от них аналогичных результатов в 1973 г., мы были бы разочарованы.

Чтобы понять, откуда берется такая закономерность, предположим, что у нас есть условная группа студентов с одинаковыми способностями и трудолюбием. Несмотря на это, каждый раз по результатам тестирования одни добиваются больших успехов, чем другие. Это обусловлено изменчивостью сопутствующих обстоятельств – хорошо ли человек спал прошлой ночью, не была ли его голова занята чем-то посторонним, верно ли он представлял себе содержание теста и т. д. Да, мы можем оценить студентов в соответствии с результатами теста и тех, кто набрал больше баллов, отнести к лучшим. Но какие сюрпризы нам может преподнести следующий тест?

Поскольку у всех наших студентов одинаковые способности, то набравшие больше баллов в первом тесте добились этого благодаря удачному стечению обстоятельств. Эти обстоятельства, равно как и другие, которые сопутствовали менее успешным студентам, вряд ли повторятся. Поэтому, скорее всего, студенты с самыми высокими показателями справятся хуже со следующим тестом, а студенты с самыми низкими показателями вполне могут выглядеть лучше.

Проблема кроется в том, что результаты первого теста, то есть исторические данные, показывают нам не сами способности ученика, а их комбинацию со случайными факторами. Случайность как бы скрывает от нас истинные способности.

Конечно, в реальности мы вряд ли найдем группу студентов с одинаковыми способностями и трудолюбием. Каждый из них будет отличаться уникальным набором качеств. Но даже в этом случае всегда будет вероятность, что те студенты, которые отличились во время первого теста, проявят себя хуже при прохождении второго, поскольку как минимум некоторые из лучших результатов первого теста могли быть банальной удачей. Отсюда следует, что, отобрав наиболее успешных студентов, например, на работу в компанию или на дипломный проект, в будущем мы можем столкнуться с тем, что их успеваемость не столь хороша.

Какой практический смысл есть в этом примере? Означает ли он, что мы должны избегать тех, кто добился лучших результатов? Ответ, как правило, отрицательный, поскольку в будущем они все еще могут преуспеть, просто не в той степени, какую можно было бы ожидать на основе исторических данных. В целом степень ухудшения показателей лучших студентов (или улучшения показателей отстающих) зависит от соотношения величины случайного аспекта измерения и реальных способностей. Если диапазон неопределенности, возникающей из-за случайных аспектов, достаточно велик по сравнению с диапазоном способностей, то эффект будет ярко выраженным. Обратите внимание, что степень неопределенности нам неизвестна – все, чем мы располагаем, это сочетание неопределенности и способностей. По этой причине и неопределенность, и способности являются темными данными.

Сам термин «возврат к среднему» был введен блестящим эрудитом викторианской эпохи Фрэнсисом Гальтоном. Он заметил, что (в среднем) дети высоких людей хотя и оказывались выше среднего роста, но при этом не были настолько же высокими, как их родители, а дети, рожденные невысокими людьми, хотя и были ниже среднего роста, но все-таки превосходили своих родителей в росте.