Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Наука занята выяснением природы вещей и того, как они работают. Она проливает свет на то, что находится в темноте. Но темные данные лежат в основе самой науки, причем в очень конкретном смысле. Наука становится таковой, если к ней применим критерий Поппера (в честь Карла Поппера), или фальсифицируемость. Основная идея заключается в том, что вы выдвигаете некое потенциальное объяснение изучаемого явления (теорию, догадку или гипотезу), а затем проверяете его, наблюдая, насколько прогнозируемые вашим объяснением последствия соответствуют тому, что происходит на самом деле. Если перевести на язык этой книги, то для подтверждения или опровержения нашей теории, мы должны сопоставить данные, которые она прогнозирует, с полученными экспериментальными данными. Если прогнозные данные не соответствуют действительности, то теория заменяется на другую, модифицируется или расширяется, пока не станет не только успешно подтверждать прошлое, но и предсказывать будущее. В некотором смысле это пример DD-типа 15: экстраполяция за пределы ваших данных. Разница в том, что такая экстраполяция является преднамеренной и осуществляется с целью тестирования теории.

До победы научной революции (да и после нее, хотя это не всегда признается) успехи познания сдерживались (как правило, подсознательным) нежеланием собирать данные, которые могли бы опровергнуть теорию, – такова уже упоминавшаяся выше предвзятость подтверждения. Проще говоря, развитию науки препятствовало нежелание сделать темные данные видимыми. В конце концов, если у вас имеется солидная теория, которой уже несколько веков, зачем искать данные, которые противоречат ей? Вспомнить хотя бы миазматическую теорию, господствовавшую в Европе, Индии и Китае с древнейших времен вплоть до XIX в., которая гласила, что эпидемии вызваны ядовитыми парами гниющей материи.

Вот мой любимый исторический пример того, как обнаружили подобную проблему. Философ Фрэнсис Бэкон писал: «Человеческое понимание, единожды утвердившись во мнении… начинает выискивать все, что согласуется с ним и подтверждает его. И хотя на другой чаше весов фактов может быть куда больше, тем не менее оно либо просто пренебрегает ими, выражая свое презрение, либо отклоняет их каким-то иным способом». Бэкон проиллюстрировал опасность игнорирования данных на примере человека, который проповедовал, подтверждая свои слова изображениями людей, спасшихся после кораблекрушения благодаря молитве. Бэкон спросил его, где портреты людей, которые, несмотря на свои молитвы, все же утонули?

Классическим примером сбора данных для проверки теории являются наблюдения сэра Артура Эддингтона и Фрэнка Дайсона, целью которых было подтвердить или опровергнуть общую теорию относительности Эйнштейна. Теория предсказывала, что траектория световых лучей будет изгибаться при прохождении света вблизи массивных объектов. Идеальным массивным объектом для наблюдений могло бы стать Солнце, поскольку кривизну светового потока легко обнаружить благодаря видимому смещению положений звезд, чьи лучи на пути к Земле проходят вблизи нашего светила. Но дело в том, что Солнце своим излучением перебивает свет других звезд, за исключением тех случаев, когда его закрывает Луна. По этой причине в 1919 г. сэр Артур Эддингтон возглавил экспедицию на Принсипи, остров у западного побережья Африки, а Фрэнк Дайсон – в Бразилию, чтобы из разных точек наблюдать солнечное затмение, происходившее 29 мая. Их фотографии и измерения видимых положений звезд во время затмения подтвердили предсказания общей теории относительности. Это показало, что ньютоновская механика является упрощением и приближением по сравнению с новой теорией Эйнштейна, которая дает лучшее описание реальности. Свет воссиял не только в буквальном, но и в метафорическом смысле!

Это описание того, как работает наука, позволяет понять одну очень важную вещь: никогда нельзя быть уверенным, что вы обнаружили «реальный» механизм явления. Наука дает объяснения, каждое из которых становится все более точным по мере углубления познания, но всегда остается возможность опровержения любого из этих объяснений новыми экспериментальными данными (хотя чем больше экспериментальных данных будет предсказано новой теорией, тем сложнее это сделать). Такая вероятностная природа теорий, допускающая их изменение по мере поступления новых данных, – это то, что отличает науку, например, от религии, которая никак не связана с доказательствами. Поэтому имейте в виду, что, когда для удобства я буду называть ту или иную научную теорию истинной или верной, это не значит, что новые данные не смогут ее изменить.