Как не ошибаться. Сила математического мышления

Озарение Гальтона состояло в том, что это происходит не только в случае, если длина пальца и длина локтя идентичны, но и в случае, когда они просто взаимосвязаны. Корреляция между этими физическими параметрами делала систему Бертильона менее информативной. В очередной раз острый ум Гальтона дал ему способность к своего рода интеллектуальному предвидению. То, что он понял тогда, оказалось зачаточной формой соображений, которые полстолетия спустя полностью формализовал Клод Шеннон в своей теории информации. Как мы видели в тринадцатой главе, формальный способ измерения информации Шеннона позволял установить границы скорости передачи единиц информации по каналу с помехами. Во многом таким же образом теория Шеннона позволяет установить степень, в которой корреляция между переменными сокращает информативность карточки. В современных терминах это звучит так: чем выше корреляция между параметрами, тем меньше информации (в строгом смысле по Шеннону) содержит карточка Бертильона.

Хотя бертильонаж в наши дни больше не используется, идея о том, что последовательность чисел – лучший способ идентификации, занимает доминирующее положение, поскольку мы живем в мире цифровой информации. А идея о том, что корреляция сокращает фактический объем информации, стала основным организующим принципом. Фотография, которая была когда-то рисунком на листе бумаги с химическим покрытием, сейчас представляет собой последовательность чисел, каждое из которых описывает яркость и цвет пиксела. Снимок, сделанный с помощью цифровой фотокамеры с разрешением четыре мегапиксела, – это список из четырех миллионов чисел, что требует большой памяти для такого устройства. Однако все числа находятся в тесной связи друг с другом. Если один пиксел ярко-зеленый, тогда соседний пиксел, скорее всего, также ярко-зеленый. Фактический объем информации, которую содержит данное изображение, гораздо меньше четырех миллионов чисел. Именно этот факт и делает возможным сжатие[272] – важнейшую математическую технологию, благодаря которой для хранения фотографий, видео, музыки и текста требуется гораздо меньше места, чем можно было бы предположить. Наличие корреляции делает такое сжатие возможным, но фактическое сжатие требует реализации гораздо большего количества современных идей, таких как теория вейвлетов, которую разработали в 1970–1980-х годах Жан Морле, Стефан Малла, Ив Мейер, Ингрид Добеши и другие, а также быстро развивающаяся область под названием «сжатые измерения», которая началась с опубликованной в 2005 году работы Эммануэля Канде, Джастина Ромберга и Терри Тао и быстро стала действующей подобластью прикладной математики.

Триумф посредственности в области погоды

Есть одна нить, которую мы еще не распутали. Мы уже видели, как регрессия к среднему объясняет открытый Секристом «триумф посредственности». Но есть еще триумф посредственности, которого Секрист не заметил. Отслеживая температуру воздуха в американских городах, Секрист обнаружил, что в городах, в которых было жарче всего в 1922 году, было так же жарко и в 1931 году. Это наблюдение играет важную роль в его аргументации в пользу того, что регрессия коммерческих предприятий связана именно с особенностями человеческого поведения. Если регрессия к среднему значению – это универсальное явление, тогда почему температура не подчиняется этому закону?

Ответ прост: регрессия к среднему имеет место и в случае температуры.

В представленной ниже таблице показана средняя январская температура в градусах Фаренгейта на тринадцати метеостанциях на юге штата Висконсин, которые находятся не далее чем в часе езды друг от друга.

Построив диаграмму разброса этих температур по методу Гальтона, вы увидите, что в целом в городах, в которых было теплее в 2011 году, была более высокая температура и в 2012 году[273].

Однако три метеостанции с самой высокой температурой в 2011 году (Чармани, аэропорт Мэдисона и Стоутон) оказались на первом, седьмом и восьмом местах по уровню температуры в 2012 году. Между тем, три метеостанции, которые были в 2011 году самыми холодными (Коттедж Гроув, Лоудай и Портедж), в 2012 году стали относительно более теплыми: Портедж занял четвертое место в списке станций с самой низкой температурой, Лоудай второй, а Коттедж Гроув стал, по сути, более теплым местом в 2012 году, чем все остальные города. Другими словами, как самые жаркие, так и самые холодные группы сместились к середине рейтингов, точно так же, как и хозяйственные магазины Секриста.

Почему Секрист не увидел этого эффекта? Потому что он по-другому выбрал метеостанции. Его города не были сосредоточены на небольшой территории верхнего Среднего Запада, а были рассредоточены на гораздо большей территории. Давайте проанализируем январскую температуру воздуха в Калифорнии, а не в Висконсине.