Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Брюс Бут, партнер венчурной компании Atlas Venture, специализирующейся в области биологических наук, утверждает, что в соответствии с негласным правилом среди венчурных капиталистов ранней стадии по крайней мере 50 % опубликованных исследований, даже те, которые публикуются в ведущих научных журналах, «не удается повторить с теми же результатами в промышленных лабораториях». Как следствие этого, Atlas Venture теперь требует независимой проверки в качестве предварительного условия для дальнейших инвестиций[112].

Опрос, проведенный журналом Nature, показал, что более 70 % из 1576 респондентов пытались воспроизвести чужую работу и не смогли этого сделать[113]. Конечно, не следует принимать результаты этого опроса за чистую монету – вполне вероятно, что они искажены темными данными. Например, те ученые, которые не смогли воспроизвести чью-либо работу в прошлом, были более склонны отвечать на вопросы, чем те, кто преуспел в этом деле. Или, возможно, было какое-то одно исследование с аномальными результатами, которые многие респонденты пытались, но не смогли воспроизвести (вспомните случай с холодным ядерным синтезом). Тем не менее даже с учетом этого их доля поразительно велика.

Гленн Бегли и Ли Эллис провели работу, нацеленную на воспроизведение результатов 53 ключевых доклинических исследований методов лечения рака. Они обнаружили, что результаты воспроизводятся только в 6 из 53 исследований, что составляет всего 11 %[114].

Леонард Фридман и его коллеги приводят данные исследований, которые оценивают количество невоспроизводимых доклинических медицинских исследований в диапазоне от 51 до 89 %. Оценка стоимости финансирования исследований, результаты которых не удалось позднее воспроизвести, показала, что они обходятся примерно в $28 млрд в год[115].

Основываясь на данных такого рода, Брайан Носек из Вирджинского университета возглавил проект «Воспроизводимость», в рамках которого была осуществлена попытка воспроизвести 100 исследований, опубликованных в 2008 г. в научной литературе по психологии[116]. Из 97 исследований, которые первоначально дали статистически значимые[117] результаты, команде Носека удалось повторить только 35. Как и следовало ожидать, сам проект Носека тоже не был бесспорным – некоторые ученые обратили внимание на серьезные недостатки его работы, такие как намеренный выбор 100 исследований для воспроизведения. Это справедливо говорит о том, что даже исследования темных данных могут страдать от проблем с ними связанных. Темные данные есть везде – и это не преувеличение.

Подобные выводы, безусловно, тревожат, но мы не должны ни на мгновение забывать, что наука – это процесс отсеивания. Многие критики, словно дети, придерживаются идеализированного взгляда на науку, полагая эксперимент неким разовым мероприятием, которое должно «доказать» или «опровергнуть» существование какого-либо явления. Но наука куда сложнее. И это нормально. Сама природа научных исследований указывает на то, что они проводятся на границах известного – там, где доминирует неопределенность. Поскольку исследователи пытаются выделить некий крошечный сигнал из шума, разумно ожидать, что часто этот шум будет влиять на результаты, сдвигая их в неверном направлении. В самом деле, мы могли бы пойти дальше и заявить, что, если бы не было экспериментальных результатов, которые не прошли тест на воспроизводимость, это означало бы, что ученые просто не выполняют свою работу. Иными словами, они недостаточно предприимчиво и креативно раздвигают границы нашего понимания.

Смысл всего вышесказанного заключается в том, что процесс научного познания не нарушен. Невоспроизводимость является признаком того, что наука остается наукой, что гипотезы проверяются, а те, которые не соответствуют действительности, в итоге отклоняются. Кроме того, мы видим, что наука действительно работает. Достаточно взглянуть на наши успехи в понимании природы и передовые технологии, воплощенные в материалах, машинах и медицине.

Однако, даже если научный процесс не нарушен, очевидно, чем меньше изначально неверных выводов, тем лучше (при условии, что верные научные теории отклоняются на раннем этапе не слишком часто). И путь к этому лежит через улучшение проектирования исследований. Но, кроме того, существуют аспекты научной культуры, которые часто побуждают людей идти на риск и заставляют переступать границу. Иоаннидис и многие из тех, кто высказывался на эту тему после, обращали внимание на эти аспекты. Мы еще вернемся к ним, но прежде проведем аналогию с космической программой США.