Structured Analytic Techniques for Intelligence Analysis

авторам этой книги часто задают вопрос о доказательствах эффективности методов структурированного анализа. Испытания этих методов в разведывательном сообществе США проводились в основном через опыт их использования. Этот опыт, безусловно, был успешным, но его оказалось недостаточно, чтобы убедить скептиков, не желающих менять свои многолетние привычки, или многих ученых, привыкших искать твердые эмпирические доказательства. В этой главе мы рассмотрим вопрос о том, как проверить или продемонстрировать эффективность методов структурированного анализа не только в разведке, но и в других дисциплинах. Этот же процесс должен быть применим и к использованию структурированных методов в бизнесе, медицине и многих других областях, которые постоянно имеют дело с вероятностями и неопределенностями, а не с твердыми данными.

13.1 ГРАНИЦЫ ЭМПИРИЧЕСКОГО АНАЛИЗА

Выводы, полученные в ходе эмпирических экспериментов, можно обобщить и применить к анализу разведданных или любой другой конкретной области только в том случае, если условия тестирования соответствуют условиям, в которых проводится анализ. Поскольку существует так много переменных, которые могут повлиять на результаты исследования, крайне сложно контролировать все или даже большинство из них. К таким переменным относятся цель использования техники, процедуры реализации, контекст эксперимента, характер аналитической задачи, различия в опыте и навыках аналитиков, а также то, проводится ли анализ одним аналитиком или в группе. Все эти переменные влияют на результат любого эксперимента, в котором якобы проверяется полезность той или иной аналитической техники. В ряде имеющихся примеров эмпирических исследований структурированных аналитических техник мы выявили серьезные вопросы относительно применимости результатов исследований к анализу разведданных.

Два фактора ставят под сомнение практическую осуществимость валидного эмпирического тестирования методов структурированного анализа, используемых в разведке. Во-первых, эти техники обычно используются как групповой процесс. Это потребовало бы тестирования групп аналитиков, а не отдельных аналитиков. Во-вторых, разведка имеет дело с вопросами, характеризующимися высокой степенью неопределенности. Бывший директор ЦРУ Майкл Хайден писал, что из-за неопределенности, присущей разведывательному анализу, рекордная точность в 70 % является хорошим показателем.1 Если это так, то единичный эксперимент, в котором использование структурированной техники приводит к неправильному ответу, не имеет смысла. Чтобы оценить, насколько часто аналитические суждения оказываются точными, необходимо многократное повторение одного и того же эксперимента.

Многие проблемы могли бы быть в значительной степени решены, если бы эксперименты проводились с аналитиками разведки с использованием тех методов, которые они применяют каждый день для анализа типичных разведывательных вопросов.2 Но даже если бы такие условия были соблюдены, все равно остались бы серьезные препятствия для значимых выводов. Например, многие методы структурированного анализа могут использоваться для нескольких различных целей, и результаты исследований эффективности этих методов могут быть обобщены и применены к разведывательному сообществу только в том случае, если метод используется таким же образом и для тех же целей, которые фактически применяются в разведывательном сообществе.

Например, Филип Тетлок в своей выдающейся, новаторской книге "Экспертное политическое суждение" описывает два эксперимента, которые показывают, что разработка сценариев не может быть эффективной аналитической техникой. В экспериментах сравнивались суждения по политическим вопросам до и после того, как испытуемые подготовили сценарии, пытаясь лучше разобраться в проблемах.3 Эксперименты показали, что прогнозы как экспертов, так и неэкспертов были более точными до создания сценариев; другими словами, создание сценариев фактически снизило точность их прогнозов. Несколько опытных аналитиков отдельно привели этот результат в качестве доказательства того, что разработка сценариев не может быть полезным методом анализа разведданных.4

Однако выводы Тетлока не следует обобщать и применять к анализу разведданных, поскольку в тех экспериментах сценарии проверялись как инструмент прогнозирования. Разведывательное сообщество не использует сценарии для прогнозирования. Цель разработки сценариев - описать несколько исходов или вариантов развития событий, которые должны быть рассмотрены лицом, принимающим решение, поскольку разведка не в состоянии предсказать один исход с разумной уверенностью. Еще одна важная цель разработки сценариев - определить индикаторы и вехи для каждого потенциального сценария. Затем эти показатели и вехи можно отслеживать, чтобы получить раннее предупреждение о том, в каком направлении развиваются события. В экспериментах Тетлока сценарии таким образом не использовались.

13.2 УСТАНОВЛЕНИЕ ДОСТОВЕРНОСТИ