Насосы интуиции и другие инструменты мышления

И снова обратите внимание, что я поставил все интенциональные, или “менталистические”, термины, такие как “чувственное восприятие”, “искать” и “предвидеть”, в пугающие кавычки, чтобы обозначить, что это особый тип вроде как интенциональности, производной интенциональности, интенциональности, которая полностью зависит от ваших человеческих целей. Это ваш артефакт, а потому своей интенциональностью он обязан вам, своему создателю. Если бы я опустил пугающие кавычки, меня могли бы обвинить в том, что я пытаюсь приплести сюда идеологию, ссылаясь на тот факт, что инженеры и другие специалисты постоянно используют подобный язык – без пугающих кавычек – для описания характеристик устройства обработки информации (например, лифтового контроллера). Я намеренно этого не делаю. Напротив, я подчеркиваю, что в рамках этого разговора интенциональный язык используется для описания или регламентации способностей артефакта исключительно метафорически. Также обратите внимание, что механизм робота, как и механизм четвертачника, тоже создается с учетом принципа экономии: он должен “обнаруживать” или “распознавать” множество вещей, но его “распознавания” не будут на сто процентов надежны. Он может совершать ошибки, но лишь потребности и желания его создателя определяют, что именно будет считаться ошибкой. Если создатель хотел сконструировать веселого робота-клоуна, который шатался бы по миру, “неправильно распознавая” вещи, то некоторые из его “ошибок” следовало бы считать примерами корректной работы, триумфами системы клоуна.

Вернемся к нашему насосу интуиции: ваша задача усложняется тем, что вы не можете гарантировать, что ваш робот будет единственным роботом, имеющим такую миссию. Если ваше начинание будет продолжено, вашему роботу, возможно, придется конкурировать с другими роботами (и с вашими потомками-людьми) за ограниченные источники энергии, пресной воды, смазок и тому подобных вещей. (См. главу 67, в которой кратко объясняется важность присутствия других агентов.) Несомненно, было бы разумно сконструировать робота таким образом, чтобы его система управления оказалась достаточно совершенна для расчета риска и пользы сотрудничества с другими роботами и формирования взаимовыгодных альянсов, но в то же время любой такой расчет должен представлять собой “быструю и грубую” прикидку, безжалостно урезанную дефицитом времени.

В результате должен получиться робот, способный к некоторому самоконтролю, поскольку, как только вы погрузитесь в сон, вам придется передать своему артефакту пристальный контроль над ситуацией, осуществляемый в реальном времени. В таком случае робот сможет определять вспомогательные цели на основании оценки текущего состояния и влияния этого состояния на итоговую цель (которая по-прежнему заключается в сохранении вашей жизни). Эти вспомогательные цели, возможно, будут уводить его в сторону и вовлекать в вековые проекты, ряд которых может оказаться нерациональным, несмотря на все ваши усилия на стадии разработки. Ваш робот может действовать вразрез с вашими целями и даже совершать самоубийственные поступки, если другой робот, к примеру, “убедит” его отодвинуть главную миссию собственного существования на второй план.