Хороший доктор. Как найти своего врача и выжить

То есть существует целый корпус исследований с отрицательным результатом, о которых никто не слышал и которые никто не принимает во внимание, составляя список аргументов за или против какого-либо способа лечения. Иными словами, имеются проверенные научным путем данные о том, что некоторые методы не работают или работают иногда, в определенных условиях, применительно к отдельным людям, но не во всякой ситуации, — а ваш врач об этом просто не знает. Эти данные очень редко попадают в списки медицинских доказательств из-за предвзятости публикаторского процесса, отдающего предпочтение положительным результатам, которые не сильно колеблют общепринятые мнения.

И — грустный комментарий ко всей научной системе — порой встречаются ученые, которые обманывают, жульничают и хитроумными уловками добиваются того, что их «работы» публикуют авторитетные журналы. Некоторые считают, что в последнее время подобное поведение усугубилось, и возлагают вину на все возрастающие требования, предъявляемые к научным публикациям. Подобная тенденция действительно имеет место, но это не оправдывает нечестности. Давление со стороны руководства может выявить среди нас негодяев, но ложь и нечистоплотность — это пороки людей, а не системы.

Как часто результаты медицинских исследований подтасовываются? Одно мерило, которое, несомненно, преуменьшает масштабы проблемы, — количество опубликованных и тут же опровергнутых статей. Retraction Watch, который следит за числом таких статей и причинами их появления в печати[111], оценивает их частотность как одна в день, но при этом отмечает, что число подобных публикаций растет. На удивление, те же журналы, которым врач может доверять[112], те, которые наиболее часто цитируют в научных работах, опровергают больше всего статей! Хороший доктор знает, что нельзя безоглядно доверять ни одному источнику, что вопрос, как правильно поступить в данных обстоятельствах, требует собрать всю информацию, которую можно найти, и, имея ее на руках, составить наиболее полную картину.

Наряду с недоступностью отрицательных результатов нередко также преувеличивается значение положительных. Материалы таких исследований, скорее всего, быстро увидят свет, вызовут многочисленные ответные статьи, их опубликуют «влиятельные» журналы, будут цитировать другие ученые, их переведут на иностранные языки[113]. Вот почему специалисты, взвешивая данные, особенно ценят положительные результаты. И так экспертные доказательства, выжимка из доступной информации, могут быть искажены неизвестными негативными и переоцененными положительными результатами.

Неужели это действительно происходит в реальном мире на границе известного и неизвестного, среди шума и гама научных открытий? Ответ, вероятно, «да», но вы не должны верить нам на слово.

«Опубликованные результаты научных исследований не являются характерным образцом результатов всех научных экспериментов», — писали сотрудники Школы информатики Университета Саймона Фрейзера т. д. Стерлинг, У. Л. Розенбаум и Дж. Дж. Уэйнкем в статье, напечатанной в 1995 г. в American Statistician[114]. Изучив содержание 11 ведущих журналов, они обнаружили, что те отдают предпочтение исследованиям, показавшим статистически значимые положительные результаты. Это приводит к двум негативным последствиям. Во-первых, ученые, не имея доступа к неопубликованным данным, продолжают работать над экспериментами, которые другие уже проводили, может быть даже не один раз, и доказали неэффективность испытуемых методов. То есть деньги и еще более ценные ресурсы — время, энергия и энтузиазм — тратятся впустую.

Второе последствие зиждется на представлении о «статистической значимости». Из-за этого требования не очень масштабные исследования или испытания с менее впечатляющим результатом (допустим, если p = 0,06), скорее всего, не попадут в элитные журналы. И это несмотря на то, что всем известно: p < 0,05 — совершенно условный порог значимости, и результат с более высоким p может быть вполне релевантным. То есть сведения о некоторых проверенных способах, которые очень даже работают, не имеют доступа в печать, а значит, многие возможности теряются.