В таких экспериментах необходимо по крайней мере попытаться свести к минимуму влияние всех переменных, кроме рассматриваемых, выбрав для сравнения системы, которые во всех других отношениях как можно более похожи. Например, в седьмой главе этой книги Аджемоглу и его соавторы ограничивают сравнение европейских территорий, завоеванных и не завоеванных Наполеоном, германскими землями. Они делают это для того, чтобы уменьшить влияние культурного многообразия, не имеющего значения для целей их исследования. Однако в других смежных исследованиях, не представленных в этой книге, они ослабили это ограничение, рассмотрели также и территории, не являвшиеся германскими, и пришли к аналогичным выводам о влиянии наполеоновских реформ. Керч (глава 1) ограничивает свое сравнение уровней политического и экономического развития тихоокеанских островов территориями, на которых расселились полинезийцы. Однако в четвертой главе Даймонд ослабляет это ограничение, сравнивая острова Тихого океана, колонизированные также микронезийцами и меланезийцами. Причина в том, что предмет его исследования — степень обезлесения, а это параметр, который, как предполагается, менее чувствителен к различиям между расселившимися народами, чем социально-политическая и экономическая ситуация, изучаемая Керчем. Даймонд сравнивает две половины карибского острова Гаити, имеющие различную колониальную историю, и отмечает, что было бы интересно расширить это сравнение, включив туда три других крупных карибских острова — Кубу, Ямайку и Пуэрто-Рико, даже если придется столкнуться со сложностями, обусловленными межостровным многообразием. Хейбер (глава 3) умышленно ограничивает свое сравнение банковских систем в период после 1800 года тремя странами Нового Света (США, Бразилией и Мексикой) и исключает европейские страны, поскольку эти три страны начали свое независимое существование, не имея ни одного банка (бывшие колониальные правительства не выдавали лицензий на банковскую деятельность). Включение европейских стран в сравнение осложнило бы дело необходимостью учитывать различия в развитии банковских систем, которые к 1800 году уже существовали.
Еще один вопрос, широко распространенный в естественных экспериментах, неизменно встает перед исследователем, если тот использует для сравнения статистические инструменты (хотя неявно он присутствует даже тогда, когда сравнение проводится нарративно, без статистических тестов). Может ли статистическая корреляция сама по себе свидетельствовать о наличии причины или механизма?
Конечно нет: чтобы подтвердить наличие причины или механизма, требуется по меньшей мере еще три шага, и все они подробно описаны в обширной методологической литературе. Во-первых, существует проблема обратной причинно-следственной связи: если А и В коррелируют, то, возможно, не А вызвало B, как предполагает исследователь; возможно, наоборот, B вызвало A. Часто эту проблему можно решить, обратившись ко временны́м отношениям — то есть, попросту говоря, изменилось ли А
Во-вторых, следует учитывать то, что называют