Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

HARKing имеет место, когда гипотеза проверяется на тех же данных, с помощью которых была выдвинута. Если вы исследовали набор данных и обнаружили в нем нечто, что подтолкнуло вас к идее, некорректно использовать тот же набор данных для проверки ее истинности. Очевидно, что те же самые данные будут вызывать сомнения в гипотезе с очень низкой вероятностью! Например, если я заметил, что средний вес 1000 песчинок, взятых с одного пляжа, больше, чем средний вес 1000 песчинок, взятых с другого пляжа, я, конечно, могу предположить, что в целом песчинки на первом пляже более тяжелые, чем на втором, но я вряд ли смогу проверить свое предположение на тех же самых песчинках, поскольку они, естественно, его подтвердят. Идея должна проверяться на новом, независимом от первого наборе данных. Нам нужно собрать такие данные, которые еще не анализировались, то есть являющиеся темными данными в контексте гипотезы.

Обратите внимание, что просеивать, изучать и анализировать данные в поиске интересных свойств вполне нормально. Такие изыскания являются важным и, более того, фундаментальным методом выдвижения гипотез, генерирования идей и обнаружения скрытых ранее явлений. Однако те же самые данные нельзя использовать повторно, чтобы проверить, верны ли ваши идеи.

HARKing можно устранить, если требовать от исследователей публикации гипотез перед этапом сбора данных. Некоторые научные журналы уже предпринимают шаги в этом направлении, гарантируя публикацию статьи независимо от того, какие будут получены результаты, при условии, что гипотеза сформулирована заранее, а дизайн исследования и методология соответствуют строгим стандартам.

Сокрытие фактов

Как вы уже поняли, наука, по сути, является самокорректирующимся процессом. Он базируется на сравнении прогнозов с полученными данными, вследствие чего предложенная теория, противоречащая фактам, рано или поздно отклоняется или изменяется. Обратной стороной такого подхода является то, что теории, которые в итоге оказываются неверными, часто какое-то время подтверждаются данными, пока не будут отклонены в процессе уточнения истины.

Мы уже упоминали одну очевидную причину такого ложного подтверждения – когда что-то не так с исходными данными. Возможно, наблюдения были недостаточно точными, чтобы отвергнуть теорию, или были искажены и содержали ошибки, а может быть, они просто были неполными. Эта книга изобилует примерами разнообразных путей появления темных данных, но иногда тень на плетень наводят умышленно, а искажения и ошибки оказываются результатом мошеннических действий.

Неудивительно, что мошенничество процветает в сфере финансов и коммерции – выгоды здесь очевидны, в чем мы уже успели убедиться в предыдущих главах. Но научные исследования, как правило, представляют собой не самый короткий путь к обогащению. Достаточно вспомнить растиражированный образ ученого – человека слегка не от мира сего, который занят исключительно познанием истины, не интересуется бытовыми вопросами и, разумеется, носит белоснежный халат. К сожалению, реальность выглядит несколько иначе. Ученые тоже люди, они руководствуются теми же мотивами и желаниями, что и все остальные. Деньги, власть, признание и уважение коллег так же важны для ученых, как и для людей других профессий. И точно так же, как и другими, учеными порой овладевают жадность, гордыня и зависть.

Однако между финансами и наукой есть одно ключевое различие: финансовые мошенничества могут и не быть обнаружены, а вот неверные научные утверждения в конечном счете опровергаются. Все дело в самокорректирующейся природе науки. Так какой смысл публиковать заведомо ложные открытия, авторы которых рано или поздно будут выведены на чистую воду?

Один из возможных ответов на этот вопрос состоит в том, что теория может и впрямь оказаться верной. Люди строят необоснованные догадки, и иногда они оказываются удачными, хотя такой подход никак не назовешь разумной стратегией для успешной научной карьеры. Другой ответ заключается в том, что мошенническая теория может оставаться неопровергнутой не только при жизни ее создателя, но и на протяжении целых столетий. Такая возможность выглядит соблазнительно для того, кто настолько убежден в правоте своей теории, что готов подгонять или фальсифицировать данные в надежде скрыть обман. Некоторые из величайших ученых подозревались в махинациях со своими данными, в том числе Роберт Милликен, Луи Пастер, Джон Далтон, Грегор Мендель, Галилей и даже сам Ньютон. Далее мы рассмотрим дело Милликена, поскольку его записные книжки с данными сохранились и мы можем сопоставить с ними выдвинутые против него обвинения. В других же случаях точных данных нет, поэтому установлением истины должна заняться судебная статистика.