Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

На заре ракетостроения, когда ракетные двигатели и системы лишь отрабатывались, границы нашего понимания того, как они поведут себя, были намного уже, и, естественно, сбои происходили довольно часто. Как описал Том Вулф в своей книге «Битва за космос»[118], пессимизм ученых выражался короткой фразой: «Наши ракеты всегда взрываются». Всякий раз при исследовании границы вы непроизвольно переступаете черту, а иногда проводите даже до половины своего времени с той стороны, если сидите прямо на этой границе. И на основе этих результатов (возможно, в ракетостроении их принято называть «неудачами», но все-таки с научной точки зрения это «результаты»), благодаря тщательному проектированию вы пытаетесь попасть на «правильную сторону» в будущем, чтобы ваши ракеты не взорвались, а ваши научные выводы оказались верными. Но сама природа исследования означает, что вы рискуете. Это риск, на который приходится идти, чтобы узнать, где проходит граница.

Итак, какие аспекты научной культуры могут подтолкнуть исследователей к тому, чтобы оказаться не с той стороны границы, то есть к ложным утверждениям и невоспроизводимым результатам?

Понятие «предвзятость публикаций» описывает тот факт, что опубликованная научная литература не является достоверным представлением всей проводимой в науке работы. Это означает, что большое количество научных данных не опубликовано и пылится в ящиках столов или обрастает метафорической пылью на жестких дисках, на которые никто не заглядывает. Эти скрытые результаты являются не просто случайным выбором, они становятся таковыми из-за действия нескольких сил (DD-тип 3: выборочные факты). Одна из таких сил – склонность журналов отдавать предпочтение удивительным результатам и новшествам. Эксперимент, который привел к неожиданному результату, с большей вероятностью вызовет интерес, чем тот, о котором скажут: «Да, это именно то, что я ожидал».

Этот эффект «пылящихся файлов» привел к появлению «Журнала незначимых отклонений» (The Journal of Non-Significant Differences). В статистике «значимость» – чисто технический термин, и мы о нем еще будем говорить подробнее. Пока же вкратце: значимым результатом является тот, который вряд ли будет получен, если тестируемая гипотеза верна. Поэтому, если он все же получен, это заставляет усомниться в истинности гипотезы. И наоборот, незначимый результат – это тот, который подтверждает гипотезу, тот, о котором и говорят: «Да, это именно то, что я ожидал». «Журнал незначимых отклонений» публикует только те исследования, которые дают незначимые результаты, с целью донести «до понимания тот факт, что исследования не должны быть обязательно значимыми, чтобы обеспечить ценными сведениями процесс познания»[119]. (Между прочим, существует еще и «Журнал невоспроизводимых результатов» (The Journal of Irreproducible Results), основанный в 1955 г., но это журнал научного юмора – не перепутайте их![120])

Почему же предпочтение оригинального и необычного может приводить к невоспроизводимым результатам? Да, экстремальные, нестандартные или аномальные значения могут возникать в силу истинности некоего явления: возможно, этот препарат действительно намного эффективнее, чем другие, или этот сплав действительно химически менее активен, чем ожидалось. Но такие значения чаще возникают по причине случайных колебаний. Случайное совпадение исходных условий (примеси в препарате или сплаве, участники психологического эксперимента, подверженные погодному влиянию) или простая ошибка измерения могут привести к неожиданно высоким или низким значениям. В конце концов, как мы успели убедиться, никакие измерения не являются абсолютно точными и никогда две экспериментальные установки или образцы не будут полностью идентичными.

Из этого следует, что маловероятно, чтобы такая же случайная конфигурация или ошибка измерения повторилась при воспроизведении эксперимента. В среднем, как мы уже видели в главе 3, когда исследовали возврат к среднему значению, следует ожидать, что последующие репликации приведут к значениям, которые будут менее экстремальными. Нас не должно удивлять, если аномальный результат исчезнет, и мы должны ожидать, что «заявленные результаты исследований окажутся ложными», как выразился Иоаннидис. С точки зрения этой книги необычно экстремальные значения возникают из-за определенного вида темных данных – ошибки измерения, которая искажает базовые значения.

Склонность редакторов научных журналов публиковать только будоражащие воображение результаты – лишь конечное звено цепи. За ним скрывается тот факт, что авторы сегодня стараются не писать статей, которые, по их мнению, имеют слабые шансы быть принятыми к публикации, а это уже имеет довольно неожиданные последствия.