В последнее время в сообществе, которое традиционно ассоциировало себя с искусственным интеллектом и различными формами футуристических исследований экзистенциальных рисков, наблюдается пока еще слабый, но растущий интерес к блокчейнам и криптоэкономическим системам. Ральф Меркл – изобретатель ныне довольно известной криптотехнологии, на которой работает протокол легкого клиента Ethereum, – выразил заинтересованность в механизмах управления ДАО. Соучредитель Skype Яан Таллинн предложил изучить технологии блокчейна на предмет возможного создания механизмов для решения глобальных проблем координации. Сторонники рынков предсказаний, которые уже давно осознали их потенциал в управлении системами, теперь присматриваются к Augur[31]. Есть ли здесь за что зацепиться? Это всего лишь значит, что компьютерные гики, которых раньше привлекла в сообщество тема А, теперь заинтересовались другой, но тоже близкой темой Б, или существует какая-то реальная взаимосвязь между этими проблемами?
Я бы сказал, что взаимосвязь существует, и вот в чем она проявляется.
Сообщество исследований криптоэкономики и сообщество безопасности искусственного интеллекта / нового киберуправления / экзистенциальных рисков пытаются решить, по сути, одну и ту же проблему: как регулировать очень сложную и очень умную систему, в которой могут появиться новые непредсказуемые свойства, посредством очень простой и глупой системы, свойства которой после ее создания остаются неизменными?
В контексте исследований искусственного интеллекта главная подзадача – определить такую функцию полезности, которая будет руководить поведением сверхразумного агента, при этом не позволяя ему совершать действия, которые удовлетворяют заданной функции, но противоречат заложенному в ней намерению (иногда такие действия называют «экстремальными решениями»). Например, если вы попытаетесь поручить сверхразумному ИИ вылечить рак, он может решить, что самый надежный способ – просто всех убить. Если вы заблокируете эту опцию, следующим его решением будет просто навсегда заморозить всех людей криогенным способом, не убивая их. И так далее. В контексте ДАО-демократии Ральфа Меркла проблема заключается в определении такой целевой функции, которая, во-первых, будет прямо пропорциональна социальному и технологическому прогрессу и стремлениям людей, во-вторых, будет обратно пропорциональна экзистенциальным рискам и, в-третьих, которую будет достаточно легко измерить, избежав политических баталий вокруг точности этих измерений.
Криптоэкономика сталкивается с удивительно схожими трудностями. Основная задача консенсуса – понять, как мотивировать валидаторов поддерживать и развивать сети за счет простого неизменного алгоритма, при том что сами валидаторы – очень сложные экономические агенты, способные на произвольные взаимодействия. В случае The DAO проблема была в расхождении сложной задумки разработчиков, у которых были конкретные представления об использовании функции расщепления, и результатом реального внедрения их программного обеспечения. Augur пытается спроецировать проблему консенсуса на реальный мир. Maker хочет создать децентрализованный алгоритм управления платформой, которая сочетала бы в себе децентрализацию криптовалюты и надежность фиатных денег. Во всех этих случаях глупые алгоритмы должны управлять умными агентами. Безопасность ИИ связана с тем, что агенты с IQ на уровне 150 пытаются контролировать агентов, чей IQ равен 6000, а в криптоэкономике агенты с IQ на уровне 5 пытаются контролировать агентов с IQ на уровне 150. Масштабы, конечно, разные, но сходство все же наблюдается.
Независимо друг от друга оба сообщества уже много лет пытаются решить эти сложные проблемы, и каждое добилось некоторого прогресса. Также для этих проблем начинают обнаруживаться эвристические частичные решения и стратегии смягчения риска. В случае ДАО некоторые разработчики двигаются в сторону гибридного подхода, где активы ДАО контролирует набор кураторов с ограниченными полномочиями – достаточными, чтобы защитить ДАО от атаки, но недостаточными, чтобы они сами могли нарушить работу системы. Этот подход перекликается с текущими исследованиями в области безопасного отключения ИИ.
Сторонники футархии предлагают в качестве целевой функции процентные ставки, а в качестве алгоритма управления – своего рода гибрид футархии и квадратичного голосования[32] посредством добровольной блокировки монет. Также речь идет о различных формах умеренной футархии, которая наделена достаточной властью для предотвращения сговора большинства – который, в свою очередь, неспособна предотвратить демократия, – но в остальном отдает власть процессу голосования. Все эти новаторства как минимум заслуживают внимания тех, кто пытается использовать футархию для создания ДАО мировой демократии.