Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Код, определяющий лечение для каждого пациента, должен раскрываться только после завершения исследования и анализа данных, и лишь тогда станет понятно, какой метод лечения более эффективен. (Всегда следует предусматривать возможность для раскрытия кода на тот случай, если в ходе исследования у пациентов возникнут серьезные побочные эффекты.)

Что могло бы быть

Итак, фундаментальная идея, лежащая в основе рандомизированных клинических исследований, заключается в использовании темных данных при распределении людей по группам. Это позволяет нам исследовать контрфактуальность того, что могло бы произойти. Альтернативной стратегией исследования того, что могло бы произойти, является симуляция. При симуляции мы создаем модель механизма, системы или процесса и генерируем в этой модели синтетические данные, чтобы посмотреть, как механизм, система или процесс поведут себя в различных условиях, а возможно, и в разное время. Данные, которые мы генерируем, не являются темными в смысле отсутствия значений. Но их можно отнести к темным данным в другом смысле: их значения не наблюдались, но могли бы наблюдаться при других обстоятельствах. К таким данным относятся, например, доход супруга того, кто не состоит в браке, время смерти от рака у неизлечимого ракового больного, который умер от чего-то другого, или случайная ошибка измерения, принимающая разные значения.

Симуляция является чрезвычайно мощным инструментом, который в настоящее время используется во множестве областей: от финансовых систем и политики в сфере ядерного вооружения до влияния на экологию и исследований человеческого поведения. Некоторые философы науки даже описывают симуляцию как новый метод научного познания. Но знакомство с предметом мы начнем, как обычно, с пары простых примеров.

В своей книге «Голый хирург» (The Naked Surgeon) Самер Нашеф описывает пример симуляции в области медицины. Провести исследование Нашефа подтолкнул случай Гарольда Шипмана – самого плодовитого серийного убийцы Великобритании всех времен. Шипман был семейным врачом, осужденным за убийство 15 своих пациентов, но, как полагают, за 25-летнюю практику он убил более 250 человек. Нашеф захотел узнать, может ли что-нибудь подобное произойти в больницах Государственной службы здравоохранения, находящихся под пристальным наблюдением всевозможных структур. Чтобы проверить эту идею, он взял реальную отчетность двух своих коллег и случайным образом подставил вместо некоторых успешных результатов лечения неудачные. При этом он увеличил скорость, с которой пациенты как бы умирали, приблизив ее к средней скорости смерти жертв Шипмана. Иначе говоря, он генерировал темные данные, чтобы показать, что могло бы произойти, если бы такой человек, как Шипман, находился на свободе и работал в больнице Государственной службы здравоохранения. Исследование Нашефа наглядно демонстрирует силу симуляции: «Результаты эксперимента можно назвать выдающимися… Гарольд Шипман оставался незамеченным в течение 25 лет… В нашем эксперименте доктор Джон, условный злодей и анестезиолог, был обнаружен через 10 месяцев, а его коллега доктор Стив, хирург, и того быстрее – в течение восьми месяцев».

Возможно, вам знакомо применение симуляции в таких программных продуктах, как симуляторы полета. Они используются для обучения пилотов, чтобы те могли отрабатывать действия в экстремальных и непредвиденных ситуациях без риска падения реального самолета. Эти искусственно созданные условия точно так же представляют собой данные, которые могли бы возникнуть.

Чтобы лучше понять саму идею симуляции, давайте рассмотрим ее с точки зрения математики, а точнее, поведения подброшенной монеты.