Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

После этого мы можем начать поиск, например, последовательных 10 вхождений в нее одной и той же цифры. Если это ничего не даст, можно попытаться найти последовательность из девяти цифр, идущих по порядку (123456789). Затем, в случае неудачи, мы можем заняться поиском последовательности чередующихся цифр (например, 2323232323). Если и эта затея не удастся… В итоге, если продолжать в том же духе достаточно долго, мы обязательно найдем в наших данных некоторую повторяющуюся структуру. Но вот проблема: эта структура, эта аномалия не будет иметь ничего общего с реальной закономерностью. Если повторить этот эксперимент и сгенерировать еще одну тысячу цифр в случайном порядке, то нет никаких оснований предполагать, что мы найдем среди них такую же необычную конфигурацию. Открытия не состоится – оно не будет воспроизводимым.

Экономист Рональд Коуз вкратце описал эту ситуацию, заявив, что, если пытать данные достаточно долго, они непременно признаются. Но, как известно, признания, полученные с помощью пыток, далеко не всегда отражают истину. В нашем примере цифры были сгенерированы случайным образом и в структурах, которые мы можем в них обнаружить, нет никакого скрытого смысла.

Концепция p-хакинга формализует эту ситуацию. Начнем с того, что фундаментальным инструментом в научных исследованиях является проверка значимости. Это формальная статистическая процедура для проверки гипотез. Она начинается с расчета сводной статистики для нашей выборки. Например, мы можем обобщить выборку, используя среднее значение, медиану или дисперсию, в зависимости от того, какой аспект данных нам интересен. Теперь, если мы возьмем другую выборку, вполне вероятно, что ее сводная статистика будет иметь другие значения. Таким образом, если взять множество выборок, можно получить распределение статистических значений. Статистические методы позволяют рассчитать форму этого распределения, если допустить, что наша гипотеза верна.

Затем, сравнивая фактические наблюдаемые значения сводной статистики с этим распределением, мы можем увидеть, как часто нам следует ожидать экстремальных значений в случае, если гипотеза верна. Вероятность получить для данной модели распределения значений такое же или более экстремальное значение статистики по сравнению с ранее наблюдаемым называется p-значением проверки. Очень низкое p-значение, скажем, равное 1 %, будет означать, что если наша гипотеза верна, то мы должны получить выборку с такими же или более экстремальными значениями лишь в 1 из 100 случаев. Это говорит о том, что либо наша гипотеза верна и произошло маловероятное событие, либо гипотеза ошибочна.

Для удобства p-значения сравнивают с обычными пороговыми значениями. Если наш анализ дает p-значение, не превышающее порогового значения, то говорят, что результат является статистически значимым для этого порогового уровня. Так, если мы выбрали порог 5 %, тогда p-значения той же величины или меньше позволят нам утверждать, что результат значим на уровне 5 %.

Приведу пример. Допустим, я выдвигаю предположение, что некая монета абсолютно честная, то есть вероятность выпадения решки всякий раз, когда я подбрасываю ее, будет равна 50 %. Чтобы проверить это, я должен много раз подбросить монету и посмотреть, какая доля исходов придется на решку. Предположив, что монета честная, я бы ожидал, что это будет около половины всех бросков, но совсем не обязательно орлы и решки выпадут совершенно одинаковое число раз. Напротив, я бы как раз ожидал некоторого незначительного отклонения от 50 %, но не слишком большого, и уж тем более не экстремального. Проверка значимости сообщит нам вероятность (при условии, что монета честная), с которой мы можем наблюдать отклонение равное или превышающее отклонение, полученное в ходе эксперимента. Очевидно, что если маловероятные экстремальные результаты все-таки получены, то имеет смысл усомниться в истинности выдвинутой гипотезы. Например, шанс того, что при подбрасывании честной монеты решка выпадет 90 или более раз из 100, астрономически мал (этот шанс и представляет собой p-значение). Поэтому, если такое все же произошло и монета 90 раз из 100 упала решкой вверх, мы должны заподозрить, что она нечестная.

Между прочим, смысл p-значения часто понимается абсолютно неверно. Принято думать о нем как о показателе вероятности того, что гипотеза верна. Это не так. Гипотеза либо верна, либо ошибочна, а p-значение просто показывает вероятность получения определенных экстремальных результатов в первом случае, то есть когда гипотеза верна.

Итак, мы разобрались с «р-значением», но что означает «p», если к нему добавить «хакинг»?