Как не ошибаться. Сила математического мышления

Гаруспиция, особенно научно обоснованная, подкрепленная фактами, – не слишком легкое занятие. Во-первых, вы проводите много времени, пачкаясь в крови и желчи. Во-вторых, многие из ваших экспериментов не дают требуемых результатов. Вы пытаетесь использовать внутренности овцы для того, чтобы предсказать цену акций Apple, – и терпите неудачу; пытаетесь смоделировать долю голосов, которые отдадут за демократов выходцы из Латинской Америки, – и получаете неверный результат; пытаетесь оценить глобальный уровень предложения нефти – и снова терпите неудачу. Боги весьма своенравны, поэтому не всегда можно точно определить, какое расположение внутренних органов и какие именно заклинания позволят достоверно раскрыть будущее. Иногда разные гаруспики проводят один и тот же эксперимент, который одному обеспечивает нужный результат, а другому нет – кто знает, почему? Все это приводит в уныние. Порой вам хочется все бросить и поступить в юридическую школу.

Однако занятие гаруспицией того стоит – благодаря тем моментам открытия, когда все работает, и вы видите, что текстура и выступы на печени действительно предсказывают тяжелую эпидемию гриппа следующей зимой. И вы, молча поблагодарив богов, публикуете результаты своей работы.

Возможно, вы обнаружите, что это происходит в одном случае из двадцати.

При любых условиях именно на это рассчитывал бы я сам. Поскольку, в отличие от вас, я не верю в гаруспицию. Я считаю, что внутренности овцы ничего не знают о гриппе, а когда данные совпадают, это просто дело случая. Иначе говоря, во всем, касающемся гадания на внутренностях животных, я сторонник нулевой гипотезы. Поэтому в моем мире успешное завершение любого эксперимента с гаруспицией весьма маловероятно.

Насколько маловероятно? Стандартный порог статистической значимости, а значит, и критерий для публикации статьи в «Международном журнале гаруспиции» по соглашению установлен в виде p-значения, равного 0,05, или 1 из 20. Вспомните определение p-значения, которое состоит в том, что, если нулевая гипотеза истинна в случае определенного эксперимента, вероятность того, что этот эксперимент все-таки приведет к получению статистически значимого результата, составляет всего 1 из 20. Если нулевая гипотеза всегда истинна (другими словами, если гаруспиция – это надувательство в чистом виде), тогда результаты только одного из двадцати экспериментов могут быть опубликованными.

Тем не менее существуют сотни гаруспиков и тысячи овец со вспоротыми животами; при этом даже одна двадцатая предсказаний дает достаточно материала для заполнения каждого выпуска журнала новыми результатами, демонстрирующими эффективность этой методики и мудрость богов. Протокол эксперимента, который в одном случае сработал и публикуется в журнале, как правило, не дает нужных результатов, когда его пытается применить другой гаруспик. Однако материалы о проведении экспериментов, не обеспечивших статистически значимые результаты, не публикуются, поэтому никто так и не узнает о неудачных попытках воспроизвести этот эксперимент. И даже если начинают распространяться слухи, всегда есть мелкие различия, на которые могут указать эксперты, чтобы объяснить, почему последующие исследования завершились неудачей. В конце концов, мы ведь знаем, что протокол работает, поскольку проверили его и определили, что он обеспечивает статистически значимые результаты!

Современная медицина и социология – отнюдь не гаруспиция. Тем не менее в последние годы многие ученые все громче бьют тревогу: возможно, в науке гораздо больше данных, полученных в духе гадания на внутренностях животных, чем нам хотелось бы признавать.

Громче всех заявил об этом Джон Иоаннидис; в средней школе, в Греции, он блистал как математик, но впоследствии занялся медико-биологическими исследованиями. В 2005 году Иоаннидис опубликовал статью Why Most Published Research Findings Are False («Почему большинство публикуемых открытий оказываются ошибочными»){121}, вызвавшую в медицинской среде волну жесткой самокритики, а затем вторую волну самозащиты. Мы знаем работы, привлекающие к себе внимание скорее своими сенсационными заголовками, а не собственно содержанием, – но только не в данном случае. Иоаннидис весьма серьезно подходит к идее о том, что целые области медицинских исследований относятся к категории «нулевых областей» (такие как гаруспиция), в которых просто нет фактического воздействия, поддающегося обнаружению. «Можно доказать, что выводы самых востребованных исследований являются ошибочными», – пишет Иоаннидис.