Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Выбывшие – это те, кто выбыл из исследования по тем или иным причинам. К ним относятся смерть пациента, негативные побочные эффекты лечения, переезд, исчезновение мотивации на фоне отсутствия улучшений и пр. Проблема здесь кроется в том, что измерения проводятся в течение какого-то времени или по истечении определенных периодов и существует риск того, что темные данные по-разному скажутся на разных группах испытуемых. Эти данные классифицируются как DD-тип 7: данные, меняющиеся со временем, и DD-тип 1: данные, о которых мы знаем, что они отсутствуют.

Например, в исследовании, в котором реальное лечение сравнивается с плацебо (как бы лечением), побочные эффекты более вероятны при реальном лечении, поскольку плацебо по определению не имеет активного терапевтического компонента. Это может означать, что выбывшие будут чаще появляться в группе лечения. И что еще хуже, после выбывания людей, которые не ощущают пользы от лечения или даже замечают ухудшения, в исследовании наметится перекос в сторону тех, кто эту пользу ощущает. Если мы каким-либо образом не помешаем выбыванию, то можем получить весьма искаженное представление об эффективности лечения. Это еще один пример ошибки выжившего – те, кто «выживают» или продолжают лечение до конца исследования, не являются репрезентативной выборкой для всей группы.

Все усугубляется необходимостью этичного поведения при клинических испытаниях (на благо пациентов!). Пункт 9 Нюрнбергского кодекса, принятого после Второй мировой войны, требует, чтобы участники клинических исследований имели возможность в любой момент выйти из них: вы не можете заставить людей остаться.

Реальные исследования часто бывают куда сложнее, чем наш пример с двумя группами. Они могут проходить на базе нескольких клиник, включать в себя более двух групп и при этом сравнивать несколько видов лечения. На рис. 4 приведены данные клинического испытания будесонида на пациентах с астмой[31]. В этом исследовании участвовали пять групп пациентов, одна из которых получала плацебо (нулевая доза), а другие по 200, 400, 800 или 1600 мкг будесонида соответственно. Измерения функций легких проводились в самом начале, а затем через 2, 4, 8 и 12 недель после начала исследования. Кривые на графике показывают количество пациентов, остававшихся в исследовании на момент очередного измерения. Тенденция выбывания участников прослеживается четко, а ее уровень впечатляет – лишь 75 % пациентов, начавших исследование, дошли до конца. Еще более тревожным является то, что показатели выбывания различаются для разных групп. В частности, выбыло только 10 из 98 человек, получавших самую высокую дозу препарата, тогда как среди принимавших плацебо выбыло 58 человек, что составляет почти две трети этой группы. На основании этого, конечно, можно предположить, что препарат эффективен, но мы видим, что со временем в исследовании остаются только те, кто ощущает пользу лечения, поэтому это только предположение. Безусловно, отсутствующие данные усложняют анализ и интерпретацию происходящего, что может привести к ошибкам, если выводы будут основаны исключительно на имеющихся данных.

Я проиллюстрировал рандомизированные исследования на примерах из сферы медицины, но они также широко используются и в других областях, в том числе в социальной и государственной политике, образовании и в сфере профилактики преступности. Проведение рандомизированных исследований в социальной и государственной политике тоже имеет свою историю, хотя и не столь давнюю, как в медицине. Например, в 1968–1982 гг. исследователи в Соединенных Штатах использовали такие методы, чтобы выяснить, как скажется на отношении к работе тот факт, что людям будет гарантирован некий минимальный доход, равный прожиточному минимуму. (Оказалось, что этот доход сокращает время, в течение которого люди работают, но очень незначительно[32].)