Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Особенно интересно здесь то, что люди, перечисленные выше, справедливо считаются сегодня великими учеными, в том числе и потому, что дальнейшие исследования и многочисленные повторения подтверждают их выводы. Будь это не так, на их трудах осталось бы клеймо недостоверности, а сами они были бы отправлены на свалку истории. Похоже, в этом есть какая-то несправедливость!

Даже если выясняется, что теория, основанная на мошеннических данных, ошибочна, само мошенничество при этом может и не вскрыться. Природа науки подразумевает существование множества несостоятельных теорий, которые первоначально соответствуют данным и лишь позже начинают сыпаться. Однако если нет причин для пересмотра данных, на которых была основана теория (при условии, что они все еще доступны), то ее провал, как правило, списывают на неточность измерений, случайные колебания или какой-нибудь иной недостаток, но ни в коем случае не на мошенничество.

Однако иногда такие случаи все же обнаруживаются, и даже спустя много лет после самого события блестящая карьера может в одночасье рухнуть. Большинство мошенников от науки действуют по одной схеме – они начинают с небольшого обмана, а затем, воодушевленные успехом, увеличивают его масштаб. Так происходит до тех пор, пока кто-нибудь не начнет с пристрастием анализировать их настоящие – и прошлые – эксперименты и данные. И вскоре здание, построенное на обмане, рушится.

Сэр Сирил Берт был выдающимся психологом: в 1968 г. он стал первым неамериканским лауреатом престижной премии Эдварда Ли Торндайка, присуждаемой Американской психологической ассоциацией. Но вскоре после его смерти в 1971 г. возникли подозрения в отношении его работы по наследственности интеллекта, когда Леон Камин отметил, что некоторые коэффициенты корреляции Берта (указывающие, насколько схожие значения могут принимать две переменные) из разных экспериментов, были одинаковыми с точностью до трех знаков после запятой. Вероятность такого совпадения ничтожна. Несколько авторитетных ученых согласились с тем, что Берт совершил мошенничество, другие же указывали на то, что были исследователи, получившие аналогичные значения коэффициентов корреляции. Артур Дженсен, например, утверждал, что «никто, имеющий опыт в статистике, а Берт был чрезвычайно опытен, не станет регистрировать значение корреляции 0,77 три раза подряд, если захочет подделать данные»[126]. Это интересный аргумент. По сути, он говорит о том, что любой, кто планирует совершить научное мошенничество, должен сделать свое намерение очевидным, поскольку тогда никто не поверит, что он может быть настолько глупым. Я очень сомневаюсь, что такой довод можно назвать серьезным. Важно еще и то, что это обвинение в мошенничестве было основано в том числе на факте уничтожения улик: все записи Берта были им сожжены, поэтому никто не мог проверить коэффициенты или убедиться в существовании данных, на которых они были получены.

Первые шаги по этой скользкой дорожке обычно выглядят как нечто само собой разумеющееся. Дело в том, что на каком-то этапе исследований каждый ученый принимает субъективные решения о том, какие данные являются приемлемыми, а какие следует отклонять. В конце концов, если вы заметили, что участник контрольной группы, взвешиваясь, не снял тулуп, а участница была на высоких каблуках, когда измеряли рост, ничто не мешает вам со спокойной совестью исключить эти данные из анализа. Но что, если вы обнаружили неисправность весов, а значит, и усомнились в точности предыдущих измерений или вы не можете вспомнить, все ли участники контрольной группы снимали обувь при измерении роста? Означают ли эти подозрения, что вы должны отклонить все собранные данные? В подобных случаях разные исследователи могут принимать разные решения.

О возможностях мошенничества в науке известно довольно давно. В разделе 3 главы 6 своей классической книги «Размышления об упадке науки в Англии и о некоторых его причинах» (Reflections on the decline of science in England), вышедшей в 1830 г., Чарльз Бэббидж, изобретатель первой вычислительной аналитической машины, «отец» современного компьютера, сказал: «Научные исследования более других вещей открыты для набегов симулянтов; и я чувствую, что заслужу благодарность всех, кто действительно ценит истину, заявив вслух о некоторых методах обмана, применяемых недостойными претендентами на научные заслуги, поскольку одно лишь предание огласке их уловок может отпугнуть будущих преступников… Есть несколько видов жульничества, практикуемого в науке, которые известны в основном посвященным и которые вполне возможно вразумительно донести до всеобщего понимания. Их можно классифицировать как розыгрыш, подделка, приукрашивание и фабрикация»[127]. Все перечисленное Бэббиджем представляет собой разные способы сделать данные темными, поэтому рассмотрим каждый из них более подробно.

Розыгрыши