Прорыв за край мира

Что такое сигма и статистическая значимость

Наверно каждому, кто хоть сколько-нибудь интересуется наукой, приходится время от времени слышать нечто подобное: «Модель противоречит данным на уровне два сигма», «Открытие бозона Хиггса будет официально признано, когда уровень значимости достигнет пяти сигма», «Заявки на доклады о три-сигма-эффектах не рассматриваются» и т.д.

Вездесущая сигма — всего лишь параметр, задающий ширину распределения Гаусса, традиционно обозначаемый как σ. Это жаргон. Официальный термин -стандартное отклонение, но это тот случай, когда жаргон сильно потеснил изначальный термин не только в устной речи, но и в научных статьях. Собственно, вот так выглядит распределение Гаусса, нормированное на единицу:

f(x) = 1/(σ√2π·е^(x-x₀)/2σ²)

«Нормированное на единицу» означает, что при таком коэффициенте перед экспонентой площадь под кривой равна единице. Распределение Гаусса крайне важно в статистике по простой причине: сумма многих случайных величин описывается распределением Гаусса (для простоты пользуемся вульгарным языком, пусть даже рискуя навлечь на себя гнев математиков). Например, распределение числа выпадений орла при 100 бросаниях монеты близко к распределению Гаусса со средним х₀ = 50 и σ = √50). На самом деле это будет так называемое биноминальное распределение, но при числе выпадений 50 оно достаточно близко к распределению Гаусса и обычно считается таковым при обработке данных.

Сходимость суммы многих распределений к распределению Гаусса декларируется так называемой центральной предельной теоремой. Именно поэтому распределение Гаусса столь важно в статистике. Настолько важно, что его называют нормальным распределением, а параметр ширины — стандартным отклонением. Если ошибки измерений описываются нормальным распределением, то с данными работать легко — есть простые способы оценок, насколько та или иная гипотеза описывает эти данные, каковы ошибки в параметрах гипотезы, которой мы пытаемся описать данные. Если ошибки не описываются нормальным распределением, то на это часто закрывают глаза, что обычно сходите рук, но не всегда.

Теперь важная таблица, поясняющая смысл употребления жаргона «сигма» в самых разных контекстах. Сверху — отклонение от центра распределения х_о в единицах σ, снизу — вероятность того, что случайная величина выйдет за этот предел (в любую сторону).

σ | 1 | 2 | 3 | 4 | 5

- | 0,32 | 0,045 | 0,0027 | 0,63·10^-4 | 0.57·10^-6

Если какая то экспериментальная точка отклонилась от теоретической кривой, скажем, на 2σ, то нет оснований придавать этому особого значения. Вероятность такого отклонения 1/20, и если точек много, то какая-нибудь с большой вероятностью вылезет за такой предел. Если точка отклонилась на Зσ, здесь уже есть предмет для разбирательства, а если за 4σ и больше -можно сделать вывод, что что-то не так. Может быть, измерение неверное, а может быть теоретическая кривая неверна. И самое интересное: нет ли здесь какого-нибудь дополнительного эффекта, например спектральной линии, если точки описывают спектр. Здесь мы подходим к понятию статистической значимости.

Если мы знаем, что в данном месте спектра, например, квазара может быть рентгеновская линия железа, и видим, что соответствующая точка «отпрыгнула» вверх на 4σ, мы вправе сказать: «Данные подтверждают существование линии излучения… на уровне статистической значимости 4σ». Возможные эквиваленты: «…на уровне статистической значимости 0,6·10^-4» или «…на уровне достоверности 0,9999». Если мы заранее знаем, что именно здесь может быть линия излучения железа, и, действительно, видим «отпрыгнувшую» точку, то 4σ — приличный уровень значимости, и можно смело публиковать результат.

Определение статистической значимости может быть и не связано с распределением Гаусса и числом стандартных отклонений. Допустим, мы пытаемся показать, что данные говорят о наличии какого-то эффекта. Как надо поступать в общем случае? Допустим, эффекта нет. Значит, нам надо принять некую нулевую гипотезу, как должны выглядеть данные при отсутствии эффекта. В примере со спектром это некая гладкая функция без линий. Статистическую значимость можно определить как вероятность того, что данные в результате случая отклоняются от нулевой гипотезы так, что имитируют эффект, каким мы его видим в данных. Вероятность зависит от нулевой гипотезы и гипотезы эффекта, поэтому правильное говорить о статистической значимости такого-то эффекта относительно такой-то нулевой гипотезы.

В примере со спектром это просто вероятность того, что точка в том месте, где должна быть линия, случайно «отпрыгнула» вверх не меньше, чем на столько-то сигма. В общем случае любым посильным способом вычисляем вероятность случайной имитации эффекта. Неважно, как вычисляем, допустим, с помощью прямого численного моделирования методом Монте-Карло. Предположим, что эта вероятность получилась около 10^-4 . Потом добавляем к гипотезе искомый эффект. Если при этом гипотеза (уже не нулевая) стала описывать данные хорошо, мы вправе сказать, что данные подтверждают эффект на уровне статистической значимости 10^-4. Чем меньше вероятность, тем выше статистическая значимость. Как это часто делают, можно перевести вероятность в термины сигма, используя таблицу, приведенную выше.

Допустим, мы обнаружили в данных указание на некий эффект значимостью 4σ. Вероятность случайности, имитирующей этот эффект, очень мала. Следует ли из этого, что надо бить в барабан и немедленно публиковать статью? Это очень сильно зависит от того, что мы искали. Если мы искали известно что, заранее зная, в каком месте, то можно. Именно таков случай обнаружения известной спектральной линии. А если мы искали чего-нибудь, где-нибудь в большом массиве данных и наткнулись на некоторое отклонение значимостью 4σ, то вполне возможно, что мы упорно искали и нашли случайный выброс на 4σ и больше ничего. Таких случаев предостаточно. Даже в Nature иногда публикуют подобные «открытия». Обычно они быстро «рассасываются» и забываются. Но репутации страдают.

Проблема в том, что правильная оценка статистической значимости — не такое простое дело. Если мы нашли нечто значимостью 10^-4 в 100 независимых попытках, то настоящая значимость 10^-2, а это уже очень слабый результат. В реальной работе с данными этих «независимых попыток» бывает огромное количество, и исследователь часто этого не осознает, а если осознает, то не умеет правильно оценить их число (это число в биологии и гуманитарных науках называется «поправка Бонферони», а в физике «штрафным фактором»). Четких рецептов, как оценивать эту поправку, на все случаи жизни не существует — это скорее кухня, а не наука. Владение этой кухней и есть составляющая профессионализма исследователя.