Как не ошибаться. Сила математического мышления

Вероятность того, что количество летальных исходов среди пациентов, принимавших лекарство, и пациентов, получавших плацебо, окажется абсолютно одинаковым, составляет 13,3 %.

Вероятность того, что количество летальных исходов среди пациентов, получавших плацебо, окажется меньше количества случаев смерти среди пациентов, принимавших лекарственный препарат, составляет 43,3 %.

Вероятность того, что количество летальных исходов среди пациентов, получавших лекарственный препарат, окажется меньше количества случаев смерти среди пациентов, получавших плацебо, составляет 43,3 %.

Тот факт, что в группе пациентов, принимавших лекарственный препарат, результаты лучше, чем среди пациентов, получавших плацебо, мало что значит, поскольку даже согласно нулевой гипотезе нельзя исключать вероятность, что ваш лекарственный препарат не оказывает никакого воздействия.

Однако все выглядит совсем иначе, если в группе пациентов, принимавших лекарство, результаты гораздо лучше. Предположим, за время проведения испытаний в группе плацебо умирает пять пациентов, а в группе лекарственного препарата – ни одного. Если нулевая гипотеза верна, каждый пациент обеих групп имеет шанс остаться в живых, равный 90 %. Однако в таком случае весьма низка вероятность того, что выживут все пятьдесят пациентов, принимавших лекарство. Первый пациент из этой группы имеет шанс на выживание 90 %; вероятность того, что в живых останется не только первый, но и второй пациент, составляет 90 % от этих 90 %, или 81 %. Вероятность того, что в живых останется и третий пациент, составляет всего 90 % от 81 %, или 72,9 %. Каждый очередной пациент, выживание которого вы ставите в качестве условия, немного уменьшает вероятность, и к концу процесса, когда вы задаете вопрос о вероятности выживания всех пятидесяти пациентов, остается совсем небольшая доля вероятности:

(0,9) × (0,9) × (0,9) ×… всего пятьдесят раз! … × (0,9) × (0,9) = 0,00515…

В случае нулевой гипотезы существует только один шанс из двухсот получить настолько хороший результат. Это звучит гораздо более убедительно. Если я заявлю, что могу силой мысли заставить солнце взойти, власть моих способностей не должна производить на вас впечатление. Однако, если я скажу, что могу сделать так, чтобы солнце не взошло, и оно действительно не взойдет, тем самым я продемонстрирую весьма маловероятный результат с точки зрения нулевой гипотезы, и вам лучше обратить на это внимание.

Таким образом, в формальном виде процедуру опровержения нулевой гипотезы можно представить так.

1. Провести эксперимент.

2. Выдвинуть предположение, что нулевая гипотеза истинна, и обозначить символом p вероятность (согласно данной гипотезе) получения результатов со столь же крайними значениями, что были получены в результате наблюдений.

3. Число p обозначается термином «p-значение». Если это очень маленькое значение, радуйтесь – вы можете заявить, что ваши результаты статистически значимы. Если это число имеет большое значение, признайте тот факт, что нулевая гипотеза не была опровергнута.

Но насколько маленьким должно быть это «очень маленькое» значение? Нет принципиального способа провести четкое разграничение между тем, что является значимым, а что нет, но по традиции, которая началась еще со времен Фишера и которой принято придерживаться в настоящее время, в качестве пороговой величины используется значение p = 0,05, или 1/20.

Проверка значимости нулевой гипотезы получила широкое распространение, поскольку она соответствует нашим интуитивным представлениям о неопределенности. Почему библейские коды кажутся нам убедительными, по крайней мере на первый взгляд? Потому что коды, подобные тем, которые обнаружил Витцум, весьма маловероятны с точки зрения нулевой гипотезы, гласившей, что в Торе не заложено знание будущего. Значение числа p (вероятность обнаружения такого большого количества эквидистантных последовательностей букв, столь точно отображающих демографические данные о выдающихся раввинах) весьма близко к нулю.

Различные варианты этой аргументации в пользу божественного творения появились задолго до формального определения Фишера. Если в качестве нулевой гипотезы принять отсутствие первичного разработчика-организатора, сумевшего собрать все сущее воедино, тогда было бы крайне маловероятным существование нашего мира, столь великолепно спланированного и идеально упорядоченного.