Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Ошибочная классификация больных людей как здоровых может быть весьма опасна, особенно в случае потенциально смертельного, но легко поддающегося лечению заболевания. Однако ошибочная классификация человека в качестве больного, тогда как на самом деле он здоров, тоже может иметь нежелательные последствия. Например, ошибочные подозрения на такие серьезные заболевания, как СПИД или рак, способны вызвать психологические проблемы, даже если впоследствии подозрение будет снято. Кроме того, это влечет ненужные затраты на проведение более точного обследования. Герд Гигеренцер, эксперт в вопросах искажения восприятия случайности и статистики, приводит пример с программами скрининга рака молочной железы[49]. Он отмечает, что из 1000 женщин, которые принимают участие в таких программах, около сотни ошибочно направляются на дальнейшее обследование, подвергаясь инвазивным, неприятным, а порой и болезненным процедурам. И даже для многих из тех, у кого рак молочной железы все-таки обнаруживается, ситуация становится только хуже. Как полагает Гигеренцер, «женщины, имеющие непрогрессирующий или прогрессирующий очень медленно рак молочной железы, который они сами даже не заметили бы в течение жизни, часто подвергаются лампэктомии, мастэктомии, токсичной химиотерапии и прочим вмешательствам, которые не приносят им никакой пользы». Порой кажется, что лучше бы темные данные так и оставались темными.

Оценка эффективности программ скрининга осложняется фактом развития общества. Мы уже видели, как сказалось на росте числа случаев болезни Альцгеймера то, что люди стали дольше жить и диагнозы этого заболевания перестали быть темными данными из разряда «что могло бы случиться, если бы вы жили дольше» и перешли в категорию «что на самом деле случилось с вами».

Скрининговые программы также чувствительны к такому тонкому проявлению темных данных, как систематическая ошибка различия длительности течения заболевания. Давайте проиллюстрируем этот эффект на примере гипотетической ситуации.

Предположим, есть две болезни: одна длится один день, а другая – один год, в течение которого инфицированные люди живут нормальной жизнью, но в конце каждого из этих периодов они умирают. Для простоты предположим также, что ежедневно каждой болезнью заражается один человек. Если мы хотим узнать, сколько людей страдает от этих заболеваний, самым простым (и неправильным!) способом будет взять один день и посмотреть статистику по нему. Мы обнаружим лишь одного человека с краткосрочной болезнью – человека, зараженного в этот самый день, но тех, кто болен продолжительным заболеванием, будет 365 человек – по числу дней в году, на протяжении которого они заражались. На первый взгляд это будет выглядеть так, словно от продолжительного заболевания страдает в 365 раз больше людей, чем от краткосрочного. Чтобы увидеть реальную ситуацию, нам будет не хватать 364 человек, заразившихся краткосрочной болезнью в течение предыдущего года.

Этот пример может показаться надуманным, но на самом деле при скрининге рака иногда происходит нечто подобное. Медленно развивающиеся раковые опухоли имеют более длинную бессимптомную фазу и не влияют на выживаемость организма более продолжительный период времени. Исследование, которое мы описали выше, выявило бы больше людей с медленно развивающимся раком, чем с быстро развивающимся. Это привело бы к ложному представлению о том, насколько эти два вида рака поражают людей в популяции.

Мы рассмотрели скрининговые программы на примере медицины, где проверяется, болен или не болен человек, но та же формальная структура описывает и многие другие ситуации. Ранее в книге я приводил пример кредитного скоринга с целью классификации людей в зависимости от вероятности того, будут они погашать кредит или нет. Подбор персонала – еще одна сфера применения скрининга. Заявки подает множество кандидатов, которые отсеиваются после первичного изучения биографических данных и заполненных анкет. Кандидаты из короткого списка приглашаются на собеседование. Первичное изучение выполняет ту же роль, что и инструмент скрининга. Кандидатов, попавших на собеседование, но не прошедших его, можно рассматривать как ложноположительные результаты – они казались подходящими на основании резюме, а более глубокий анализ показал, что это не так. Но нельзя забывать и о тех кандидатах среди отсеянных до собеседования, которые подошли бы идеально. В медицине такие результаты называются ложноотрицательными, и, конечно, все это тоже темные данные.

Выбор на основе прошлого