4. Проанализируйте, в чем аналитики расходятся в своих оценках, и решите, нужны ли корректировки в рейтингах (см. Рисунок 7.3c ). Часто различия в оценке аналитиками конкретного элемента информации можно проследить по разным предположениям о гипотезах при составлении рейтингов.
5. Уточните матрицу, пересмотрев гипотезы. Имеет ли смысл объединить две гипотезы в одну или добавить новую гипотезу, которая не рассматривалась вначале? Если добавляется новая гипотеза, вернитесь назад и оцените всю релевантную информацию для этой гипотезы. В любой момент можно добавить дополнительную релевантную информацию.
6. Сделайте предварительные выводы об относительной вероятности каждой гипотезы, основывая свои выводы на анализе диагностичности каждого элемента релевантной информации. Программное обеспечение помогает аналитику, суммируя количество оценок несоответствия для каждой гипотезы и выставляя балл несоответствия для каждой гипотезы. Затем программа ранжирует гипотезы от гипотез с наименьшим количеством баллов несоответствия до гипотез с наибольшим количеством баллов несоответствия. Гипотеза с наименьшим баллом несоответствия предварительно считается наиболее вероятной. Гипотеза с наибольшим количеством несоответствий обычно является наименее вероятной.
Рисунок 7.3b Кодирование релевантной информации в ACH
Баллы несоответствия - это широкие обобщения, а не точные расчеты. ACH призвана помочь аналитику вынести оценочное суждение, но не делать это за него. Этот процесс, скорее всего, будет приводить к правильным оценкам чаще, чем менее систематические или строгие подходы, но система баллов не отменяет необходимости использования аналитиками собственного здравого смысла. В разделе "Потенциальные проблемы" ниже приводится несколько случаев, когда аналитикам необходимо отменить баллы за несоответствие.
Рисунок 7.3c Оценка уровней разногласий в ACH
7. Проанализируйте чувствительность вашего предварительного заключения к изменению интерпретации нескольких критических элементов релевантной информации, которые программа автоматически перемещает в верхнюю часть матрицы. Подумайте о последствиях для вашего анализа, если один или несколько из этих критических элементов релевантной информации окажутся неверными, обманчивыми или подвергнутся иной интерпретации. Если иной интерпретации будет достаточно, чтобы изменить ваше заключение, вернитесь назад и сделайте все возможное, чтобы перепроверить точность вашей интерпретации.
8. Сообщите о выводах. Рассмотрите относительную вероятность всех гипотез, а не только наиболее вероятной. Укажите, какие элементы релевантной информации были наиболее диагностичными и насколько убедительными они являются для определения наиболее вероятной гипотезы.
9. Определите индикаторы или вехи для будущего наблюдения. Составьте два списка: в первом - будущие события или то, что может быть выявлено в ходе дополнительных исследований, которые помогут доказать правильность вашего аналитического суждения; во втором - список показателей, которые могут свидетельствовать о том, что ваше суждение менее вероятно окажется верным или что ситуация изменилась. Проверяйте показатели и регулярно отслеживайте оба списка, обращая внимание на то, усиливает ли новая информация или ослабляет ваши аргументы.
Несколько слов предостережения: ACH работает только тогда, когда все аналитики подходят к вопросу относительно непредвзято. Аналитик, который уже убежден в правильности ответа, часто найдет способ интерпретировать соответствующую информацию так, чтобы она соответствовала этому убеждению. Другими словами, ACH как противоядие от Confirmation Bias можно сравнить с прививкой от гриппа. Прививка от гриппа обычно предохраняет вас от заболевания гриппом, но она не поможет вам выздороветь, если вы уже заболели гриппом.
Баллы несоответствия, полученные программой ACH для каждой гипотезы, не являются результатом волшебной формулы, которая подсказывает вам, в какую гипотезу следует верить! Программа ACH проводит вас через систематический аналитический процесс, а компьютер выполняет сложение, но полученное суждение будет настолько точным, насколько вы сами отберете и оцените соответствующую информацию для рассмотрения.
Поскольку опровергнуть гипотезы сложнее, чем найти информацию, подтверждающую предпочтительную гипотезу, генерация и проверка альтернативных гипотез часто скорее увеличивает, чем уменьшает уровень неопределенности аналитика. Такая неопределенность расстраивает, но обычно она является точным отражением истинного положения дел. Преимущество процедуры ACH в том, что она позволяет сосредоточить внимание на тех немногих элементах критической информации, которые вызывают неопределенность или, если бы они были доступны, позволили бы ее снять. ACH может направить будущий сбор, исследование и анализ, чтобы устранить неопределенность и вынести более точное суждение.