Искусство статистики. Как находить ответы в данных

Давайте сделаем смелое предположение, что все, кто причастен к сбору, анализу и использованию статистических данных, придерживаются этических норм, для которых доверие имеет превалирующее значение. Онора О’Нил, специалист по философии Канта и авторитет в области доверия, подчеркивала, что люди не должны стремиться к тому, чтобы им доверяли, поскольку это выбор других людей, но должны демонстрировать достоверность своей работы. О’Нил сформулировала несколько простых принципов – например, доверие требует честности, компетентности и надежности. Но она также отмечает, что требуются подтверждения достоверности, а это подразумевает прозрачность – нужно не просто сбрасывать массу данных на аудиторию, а обеспечить «разумную прозрачность»[273]. Это означает, что утверждения, основанные на данных, должны быть:

• Доступными: аудитория должна иметь доступ к информации.

• Доходчивыми: аудитория должна быть способна понять информацию.

• Поддающимися оценке: при желании аудитория должна иметь возможность проверить достоверность утверждений.

• Полезными: аудитория должна иметь возможность использовать информацию для своих нужд.

Но оценка достоверности – сложная задача. Статистики и другие специалисты тратят десятилетия, чтобы научиться взвешивать утверждения и формулировать вопросы, которые помогут выявить недостатки. Это не какой-то очередной контрольный список, с которым нужно просто свериться, здесь нужны опыт и разумная доля скептицизма. С учетом этой оговорки предлагаю набор вопросов, вобравших в себя всю мудрость, содержащуюся в этой книге. Перечисленные термины и темы либо говорят сами за себя, либо рассматривались ранее. Я нахожу этот перечень вопросов полезным, надеюсь, и вы тоже.

Десять вопросов, которые нужно задать, столкнувшись с утверждением, основанным на статистических фактах

НАСКОЛЬКО НАДЕЖНЫ ЧИСЛА?

1. Насколько тщательно проведено исследование? Например, проверьте «внутреннюю валидность», правильность проекта и формулировки вопросов, предварительную регистрацию протокола, репрезентативность выборки и обеспечение случайности при ее составлении, корректное сравнение с контрольной группой.

2. Какова статистическая неопределенность / доверительный уровень для результатов? Проверьте погрешности, доверительные интервалы, статистическую значимость, размер выборки, множественные сравнения, систематические ошибки.

3. Верна ли представленная характеристика? Проверьте правильное использование средних, разбросы, относительные и абсолютные риски.

НАСКОЛЬКО НАДЕЖЕН ИСТОЧНИК?

4. Насколько надежен источник текста? Рассмотрите вероятность искажения из-за конфликта интересов и проверьте, рецензировали ли публикацию независимые эксперты. Спросите себя: «Почему автор хочет, чтобы я услышал эту историю?»

5. Как преподносится история? Помните о способах подачи (эффект фрейминга), апеллировании к эмоциям посредством упоминания экстремальных случаев, вводящих в заблуждение графиках, гипертрофированных заголовках, громко звучащих числах.

6. О чем мне не сказали? Пожалуй, это самый важный вопрос. Подумайте о тенденциозно отобранных результатах, о пропущенной информации, которая бы противоречила изложенному в тексте, и отсутствии независимого комментария.

НАСКОЛЬКО НАДЕЖНА ИНТЕРПРЕТАЦИЯ?

7. Как это утверждение соотносится с тем, что уже известно? Взгляните на контекст, подходящие факторы сравнения, включая прошлые данные, и то, что показывали другие исследования, в идеале метаанализ.

8. Какое объяснение дано тому, что было замечено? Корреляция или причинно-следственная связь? Некорректно утверждение, что незначимый результат означает «отсутствие эффекта»? Важны регрессия к среднему, влияние возмущающих факторов, атрибуция, ошибка прокурора.

9. Насколько эта публикация актуальна для аудитории? Подумайте о возможности обобщения, являются ли испытуемые каким-то особым случаем, не проводили ли экстраполяцию с мышей на людей?

10. Важен ли заявленный эффект? Проверьте, значима ли практически величина эффекта, и особенно остерегайтесь утверждений о «повышенном риске».

Этика работы с данными