Structured Analytic Techniques for Intelligence Analysis

Шаг 4 заключается в получении доказательств того, действительно ли эти преимущества приводят к повышению качества анализа. Качество анализа не ограничивается точностью. К другим показателям качества относятся ясность изложения, прозрачность того, как были сделаны выводы, и создание аудиторского следа для последующей проверки - все это преимущества, которые могут быть получены, например, при использовании ACH. Подтверждением более высокого качества может служить независимая оценка стандартов качества или опрос клиентов, получающих отчеты. Еще одним критерием, представляющим интерес, является экономическая эффективность, включающая затраты как времени аналитиков, так и денег. Как уже говорилось в этой книге, мы утверждаем, что использование структурированной техники часто экономит время аналитиков в долгосрочной перспективе. Это утверждение также должно быть подвергнуто эмпирическому анализу трех конкретных методик (см. Рисунок 13.3 ).

Рисунок 13.3 Три подхода к оценке

Источник: 2009 Pherson Associates, LLC.

ПРОВЕРКА ОСНОВНЫХ ДОПУЩЕНИЙ

Проверка ключевых допущений, описанная в главе 8 , является одной из наиболее важных и часто используемых техник. Ее цель - сделать явными, а затем оценить предположения, которые лежат в основе любого конкретного аналитического суждения или аналитического подхода. Вопросы для оценки: (1) Насколько успешно техника достигает этой цели? и (2) Как это повышает качество и, возможно, точность анализа? Ниже приведен список исследований, которые могут ответить на эти вопросы:

Опросите аналитиков, чтобы выяснить, как часто они используют ту или иную технику, каковы их критерии, когда ее следует применять, каковы процедуры ее использования, в чем они видят преимущества, полученные от ее применения, и какое влияние она оказала на их отчет.

Сравните качество случайной выборки отчетов, написанных без проверки ключевых предположений, с отчетами, написанными после такой проверки.

Опросите клиентов, чтобы выяснить, хотят ли они видеть в аналитических отчетах информацию о ключевых предположениях. Как часто они видят такую информацию?

Проверьте, может ли один аналитик эффективно определить свои собственные предположения, или это всегда следует делать в небольшой группе? Ответ кажется очевидным, но может быть полезно задокументировать величину разницы с помощью сравнения "до и после". Аналитиков обычно просят разработать свой собственный набор допущений до того, как они придут на встречу для проверки ключевых допущений. Сравните эти первоначальные списки со списком, составленным по итогам встречи.

Наблюдайте за несколькими группами, когда они проводят проверку ключевых предположений. После этого опросите всех аналитиков, чтобы определить, как они воспринимают свой опыт обучения во время встречи. Повлияло ли это на их размышления о наиболее вероятной гипотезе? Сделает ли их опыт более вероятным или менее вероятным использование этой техники в будущем? Проведите эксперимент, чтобы изучить влияние различных процедур применения этой техники.

МАТРИЦА ПЕРЕКРЕСТНОГО ВОЗДЕЙСТВИЯ

Матрица перекрестного воздействия, описанная в главе 5 , - это старая техника, которую Ричардс Хойер опробовал много лет назад, но, насколько нам обоим известно, сейчас она не используется в разведывательном сообществе США. Хойер рекомендует сделать ее частью стандартной тренировки на ранних этапах проекта, когда аналитик еще находится в режиме обучения, пытаясь разобраться в сложной ситуации. Это следующий логический шаг после проведения мозгового штурма для выявления всех значимых факторов или переменных, которые могут повлиять на ситуацию. Все факторы, выявленные в ходе мозгового штурма, заносятся в матрицу, которая затем используется для обсуждения того, как каждый фактор влияет на все остальные факторы, с которыми он связан в контексте конкретной проблемы. Такое групповое обсуждение взаимодействия каждой пары переменных - это познавательный опыт и хорошая основа для дальнейшего анализа и сотрудничества.

Матрица перекрестного воздействия - простая техника с очевидными преимуществами, но, как и любую другую технику, ее полезность можно и нужно проверять. Для этого есть несколько действенных способов:

Проведите интервью или опрос аналитиков после обсуждения перекрестного воздействия, чтобы узнать их мнение о его ценности в качестве учебного опыта.

Перед обсуждением перекрестного воздействия попросите каждого аналитика в отдельности выявить и проанализировать ключевые взаимосвязи между различными факторами. Затем сравните эти индивидуальные усилия с групповыми. Это должно показать преимущества группового процесса.