Structured Analytic Techniques for Intelligence Analysis

Опыт обучения аналитиков разведки методу ACH показывает, что структурированные методы могут дать гораздо больше разносторонней информации при использовании в качестве группового процесса. Аналитики разведки и правоохранительных органов считают групповое обсуждение наиболее ценной частью процесса АКН. Использование структурированных методов не гарантирует правильного суждения, но эти анекдотические данные свидетельствуют о том, что такие методы вносят значительный вклад в улучшение анализа.

13.3 ПРОГРАММА ДЛЯ ЭМПИРИЧЕСКОЙ ПРОВЕРКИ

В разделе 13.1 , посвященном пределам эмпирического анализа, было показано, что эмпирический анализ точности структурированных методов крайне затруднителен, если вообще возможен. Теперь мы утверждаем, что даже пытаться нецелесообразно. Структурированные аналитические техники сами по себе не предсказывают будущее; они также не гарантируют отсутствие неожиданностей. Когда аналитическое суждение оказывается ошибочным, редко есть основания для того, чтобы понять, следует ли приписывать ошибку структурированной технике, аналитику, использующему эту технику, или присущей ситуации неопределенности.

Мы считаем, что наиболее реальный и эффективный подход к эмпирической оценке методов структурированного анализа - это изучение цели, для которой используется метод, а затем проверка того, действительно ли он достигает этой цели, или цель может быть достигнута каким-то лучшим способом. В этом разделе изложена программа эмпирического документирования ценности, полученной в результате применения методов структурированной аналитики. Этот подход вписывается в реальность того, как на самом деле проводится анализ в разведывательном сообществе США. Затем мы покажем, как этот подход может быть применен к анализу трех конкретных методик.

Шаг 1 - договориться о наиболее распространенных причинах аналитических ошибок и о том, какие структурированные техники наиболее полезны для их предотвращения.

Шаг 2 - определить, что мы знаем или думаем, что знаем о пользе использования конкретной структурированной техники. Это - достоверность, описанная ранее в этой главе, плюс то, чему, по мнению аналитиков, они научились в результате частого использования техники. Например, мы думаем, что знаем, что ACH дает множество преимуществ, которые помогают создать более качественный разведывательный продукт. Это происходит благодаря:

Приводит к гораздо более широкому поиску информации, чем тот, который аналитики вели бы в противном случае. Фокус на отклонении гипотез заставляет аналитика шире взглянуть на то, какую информацию он ищет и считает наиболее ценной.

Требование к аналитикам начинать с разработки полного набора альтернативных гипотез. Этот процесс снижает риск так называемого "сатисфичинга" - принятия первого пришедшего в голову ответа, который, как кажется, удовлетворяет потребность. Он гарантирует, что все разумные альтернативы будут рассмотрены до того, как аналитик закрепится в предпочтительном заключении.

Побуждение аналитиков к попыткам опровергнуть гипотезы, а не поддержать одну гипотезу. Это помогает аналитикам преодолеть тенденцию искать или интерпретировать новую информацию таким образом, чтобы она подтверждала их предубеждения, и игнорировать информацию и интерпретации, противоречащие прежним убеждениям.

Разбиение аналитической проблемы на составные части, показывая доказательства и гипотезы и их взаимосвязь. Это также позволяет аналитикам сортировать данные по типу, дате и диагностичности доказательств.

Обеспечение возможности сортировки и сравнения доказательств по аналитически полезным категориям, таким как доказательства из открытых источников против доказательств из тайных источников и из человеческих источников против технических источников, недавние доказательства против старых доказательств, и выводы, основанные на твердых доказательствах (отчеты разведки) против мягких доказательств (собственные предположения и логические выводы аналитика).

Подталкивает аналитиков к тому, чтобы представлять выводы в более организованном и прозрачном виде, чем это было бы возможно в других случаях.

Создание основы для определения ключевых предположений и показателей, которые можно отслеживать на постоянной основе, чтобы определить, в каком направлении развиваются события.

Оставляйте четкий аудиторский след о том, как проводился анализ и как отдельные аналитики могли отличаться в своих предположениях или суждениях.

Зафиксируйте общий уровень уверенности аналитиков в качестве данных и укажите, какая дополнительная информация необходима или какие требования к сбору данных должны быть разработаны.

Шаг 3 заключается в получении доказательств для проверки того, действительно ли методика обеспечивает ожидаемые преимущества. Получение доказательств в пользу или против этих преимуществ не ограничивается результатами эмпирических экспериментов. Оно включает в себя структурированные интервью с аналитиками, менеджерами и клиентами; наблюдения за встречами аналитиков, когда они используют эти техники; опросы, а также эксперименты.