Десять уравнений, которые правят миром. И как их можете использовать вы

Результат Герберта Роббинса и Саттона Монро стал начальной точкой для области математики, используемой при обнаружении сигналов; она стала развиваться в 1950-х и 1960-х. Математики показали, что отслеживающую переменную Q_t можно использовать для оценки изменений в нашей среде. Вознаграждения – хорошие и плохие – можно наблюдать. В 1960 году Рудольф Эмиль Калман опубликовал основополагающую работу, показывающую, как надежно отфильтровать шум в вознаграждениях, чтобы раскрыть истинный сигнал[157]. Его метод использовали, чтобы оценивать скорость и положение объектов в роторах[158], что стало существенным шагом в разработке автоматических датчиков.

Затем теория обнаружения сигналов была соединена с новой областью – математической теорией управления. Ирмгард Флюгге-Лотц уже разработала систему прерывистого автоматического управления, которая давала возможность автоматически реагировать включением и выключением на изменения в температуре воздуха или турбулентности воздуха[159]. Ее работа, наряду с трудами других специалистов по теории управления, позволила инженерам проектировать автоматизированные системы, которые отслеживают изменения в окружающей среде и реагируют на них. Сначала их применили в термостатах, реагирующих на температуру в наших холодильниках и домах. Эти же уравнения легли в основу крейсерского режима для самолетов. Их также использовали для выравнивания зеркал в мощных телескопах, заглядывающих далеко во Вселенную. Именно эта математика управляла двигателем, который отвечал за начальные стадии торможения при приближении лунного модуля «Аполлона-11» к поверхности нашего спутника. Сегодня эти методы используются в роботах, которые трудятся на производственных линиях Tesla и BMW.

Теория управления создала мир устойчивых решений. Инженеры написали уравнения и потребовали, чтобы мир следовал этим правилам. Во многих случаях это прекрасно работало. Но мир неустойчив: бывают флуктуации и случайные события.

1960-е заканчивались новой контркультурой, бросавшей вызов установившемуся порядку, и «Десятка» тоже претерпела революцию. Акценты сместились с устойчивых линейных систем к неустойчивым, хаотичным и нелинейным. Именно такая математика повлияла на меня, когда я был молодым аспирантом в конце 1990-х, и я взялся за изучение всех этих математических теорий с экзотическими названиями: бабочка хаоса, модели песчаных лавин, критические лесные пожары, бифуркации в седловых точках, самоорганизация, степенные законы, критические точки… Каждая новая модель помогала объяснить сложность, которую мы видели вокруг.

Ключевой оказалась такая идея: устойчивость желательна не всегда. Новые математические модели описывали, как меняются экологические и социальные системы: не всегда возвращаясь обратно к тому же устойчивому состоянию, но иногда колеблясь между состояниями. Они описывали, как муравьи создают тропинки к пище, как нейроны синхронно возбуждаются, как рыба плавает в косяках и как взаимодействуют биологические виды. Они рассказывали, как люди принимали решения, – и с точки зрения процессов внутри мозга, и в плане обсуждения в группах. В результате участники «Десятки» смогли занять должности на кафедрах биологии, химии и физиологии.

Именно эти математические методы я применял к данным, собранным биологами, с которыми работал.

* * *

На своем телефоне я открываю не только Twitter, но и множество приложений. Так и у муравьев и пчел есть не один источник пищи, а сразу несколько, и животные могут выбирать. На игровых автоматах есть много рычагов, и у нас нет времени дергать все. Задача в том, чтобы определить, какой рычаг тянуть. Мы знаем, что, потянув за один из них, можем получить достаточно хорошее представление о доступных вознаграждениях от этого игрового автомата. Но если мы проведем все время, дергая за этот рычаг, то не узнаем, что могут предложить другие машины. Это явление известно под названием «дилемма разведки/эксплуатации». Сколько времени тратить на использование уже известного, а сколько на изучение менее знакомых альтернативных вариантов?

Для решения этой задачи муравьи применяют химические вещества – феромоны. Их количество отражает оценку Q_t того, что имеется какой-то источник пищи. Теперь представьте, что у насекомых есть два источника с различными феромоновыми следами к каждому. Чтобы выбрать, каким путем идти, каждый муравей сравнивает количество феромона на обоих следах. Чем его больше, тем выше вероятность, что муравей последует этим маршрутом.

Выбор каждого следующего насекомого приводит к процессу подкрепления: чем больше муравьев пойдет по определенному пути и получит вознаграждение, тем вероятнее, что их сотоварищи отправятся тем же маршрутом. Пути с активным трафиком получают подкрепление; другие забрасываются. Это наблюдение можно сформулировать в рамках уравнения 9, где дополнительный коэффициент учитывает выбор муравьев[160]. Вот один из примеров: