Могут ли мыслящие машины справиться с задачей межличностного сравнения полезности? Чтобы преодолеть эмпатический разрыв, требуется способ измерения предпочтений и выражения их в некой единой валюте — это позволило бы проводить сравнение между различными индивидами. Такой алгоритм дал бы нам непротиворечивый набор стандартов, который можно использовать для создания более качественного общественного договора. Представьте себе машину, способную вычислить оптимальное решение для перераспределения материальных благ, учитывая предпочтения каждого субъекта налогообложения, обеспечивая равный вес каждого субъекта и проводя их точное сравнение. Хотя каким конкретно будет решение, пока не ясно, его потенциальная полезность самоочевидна.
Машины, способные преодолеть эмпатический разрыв, также могли бы нам помочь с самоконтролем. Помимо эмпатического разрыва между «я» и «другими», существует схожий разрыв между нашим нынешним и будущим «я». Проблемы самоконтроля основываются на беспрестанном «перетягивании каната» между нынешними и будущими желаниями. Возможно, когда-нибудь искусственный интеллект положит конец этой патовой ситуации, выяснит предпочтения наших нынешних и будущих «я», сравнит и интегрирует их, а также даст рекомендации, как нам себя вести. Представьте себе диету, достаточно сбалансированную, чтобы способствовать похудению, и достаточно приятную, чтобы у вас не возникало соблазна схитрить и отступить от нее, или план тренировок, который достаточно сложен, чтобы улучшать вашу физическую форму, но достаточно прост, чтобы вы его придерживались.
Нейрофизиологи выясняют, как человеческий мозг осуществляет репрезентацию предпочтений. Нам следует иметь в виду, что предпочтения искусственного интеллекта не обязательно будут похожи на человеческие и могут вообще требовать иной кодировки, если ему придется решать проблемы, с которыми не справляется человеческий мозг. В конечном счете, однако, создавать эту кодировку предстоит нам, и то, какой она будет, — вопрос не только научный, но и этический. Мы уже построили компьютеры, которые видят, слышат и вычисляют лучше, чем это делаем мы. Создать машины, которые лучше сопереживают, — задача посложнее, но ее выполнение может быть необходимым условием нашего выживания.
Заботливые машины
Нейробиолог Антонио Дамасио описывает пациента по имени Эллиот, пережившего обширное повреждение вентромедиальной префронтальной коры, возникшее в результате операции по удалению опухоли. Незаурядный интеллект Эллиота в результате операции не пострадал, включая те его компоненты, которые можно воспроизвести в компьютерах: долговременная память, словарный запас, математическое и пространственное мышление. Тем не менее Эллиот утратил работоспособность. Почему? Потому что, как множество других пациентов с повреждением этой области, Эллиот больше не мог пользоваться знаниями и интеллектом. Травма разрушила его эмоциональные способности, лишив его способности принимать решения или совершать какие-либо действия.
Для того чтобы принять решение, нужна эмоция — нужно желать одного исхода больше другого, а желание в сущности своей эмоционально. Внутреннее терзание, которое мы переживаем как «желание», является результатом деятельности субкортикальных мозговых цепей в лимбической системе и базальных ядрах, в частности в миндалевидном теле и прилегающем ядре, которые активизируются в ответ на сигналы о том, что определенный стимул может привести к желательным или нежелательным результатам. Информация от этих образований в конечном счете поступает в вентромедиальную префронтальную кору — общий нервный проводящий путь, связывающий между собой несоизмеримые варианты выбора и выработку окончательного решения.