Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Например, достоверность статистического теста или процедуры моделирования может основываться на допущениях, которые при проверке данных оказываются сомнительными, что делает потенциально недействительными и сами выводы. Однажды в качестве рецензента я наткнулся на статью, в которой приводились средние и медианные значения выборки данных. Их соотношение вызвало у меня подозрение, что распределение было искажено, а это уже делало недействительным статистический анализ, приводимый далее в исследовании. Когда я выразил свои сомнения в отчете, то вместо того, чтобы провести повторный анализ, который мог бы исправить эту ситуацию (или, возможно, изменить выводы), авторы просто удалили упоминание о медиане, прежде чем представить статью в другой журнал. К их большому огорчению, редакторы второго журнала отправили статью тому же рецензенту!

Фабрикация

Смысл фабрикации в том, чтобы данные выглядели более точными и достоверными, чем они есть на самом деле. Это достигается путем сбора как можно большего количества данных и последующего выбора из них наиболее согласующихся с теорией. Бэббидж говорит об этом так: «Если будет сделана сотня наблюдений, то фабрикатору должно очень сильно не повезти, чтобы он не смог выбрать из них 15–20, которые можно было бы использовать». Такая стратегия во многом напоминает уже рассмотренный нами p-хакинг.

Один из самых известных случаев предполагаемой фабрикации был связан с именем нобелевского лауреата Роберта Милликена. Однако после тщательного расследования выяснилось, что все обстояло не так, как казалось поначалу: темные данные, конечно, присутствовали, но они не были умышленно состряпанными.

Роберт Милликен получил Нобелевскую премию по физике в 1923 г., в том числе за измерение заряда электрона. Вначале он работал с группой аспирантов, но позже в одиночку провел ряд экспериментов, связанных с уравновешиванием скорости падения заряженных капелек масла силой, создаваемой электрическим полем. Измеряя конечную скорость капли, он определял, когда сила тяжести была уравновешена вязкостью воздуха, что позволило вычислить радиус капли. Дальнейшие измерения скорости при включении электрического поля позволили Милликену определить заряд на капле. Благодаря множеству повторений эксперимента он смог вычислить наименьший существующий электрический заряд – заряд электрона.

Для нас важным является то, что в своей статье 1911 г., опубликованной в журнале Physical Review, Милликен заявил: «Это единственные капли такого размера, которые наблюдались при указанных условиях, так что они представляют собой регулярные наблюдения, а не выборку… Следует также отметить, что это не выбранная группа капель, а именно все капли, на которых в течение 60 последовательных дней проводился эксперимент. За это время аппарат несколько раз демонтировался и устанавливался заново»[139]. Это утверждение кажется предельно ясным: оно говорит нам о том, что исключена любая возможность искажения, возникающего при выборе данных, сознательном или неосознанном (DD-тип 3: выборочные факты), а следовательно, темных данных такого типа здесь нет.

И это было бы так, если бы проверка его тетрадей не показала, что на самом деле приведены не все данные. (Если вам интересно, цифровую копию тетради можно найти по адресу: http://caltechln.library.caltech.edu/8/.) В то время как в статье сообщалось о результатах измерений на 58 каплях, его тетради утверждали, что таких измерений было 175, а это уже похоже на явный случай фабрикации, а возможно, и мошенничества. По крайней мере именно так это расценили Уильям Брод и Николас Уэйд – авторы книги «Предатели истины: Мошенничество и обман в науке» (Betrayers of the Truth: Fraud and Deceit in the Halls of Science), название которой говорит само за себя[140].

Однако более глубокое изучение этого случая физиком Дэвидом Гудстейном позволяет предположить, что манипулирование данными здесь есть лишь на первый взгляд. Из трех факторов, влияющих на движение капель масла, только два – гравитация и электрическое поле – были достаточно изучены. Влияние же вязкости воздуха на такие маленькие объекты, как капли, было изучено куда меньше. С учетом этого для уверенности в результатах Милликен должен был провести дополнительные эксперименты, которые позволили бы ему усовершенствовать саму процедуру измерения. Эти дополнительные измерения как раз и не были включены в статью, притом что они, похоже, подтверждали теорию – Гудстейн приводит слова Милликена об одном из таких исключенных измерений: «Совершенно ясно, что это лучшее из того, что я когда-либо получал!!!»[141].