Deep Utopia: Life and Meaning in a Solved World

Как вы видите на раздаточном материале 2, я включил создание роботов и цифровых разумов с сознательным опытом в число возможностей технологической зрелости. Это более или менее очевидное следствие, если мы исходим из теории вычислительной техники, а также из того, что люди обладают сознанием и что другие технологии из этого списка осуществимы. Я не собираюсь излагать здесь аргументы в пользу вычислительной теории разума, поскольку вы можете найти множество дискуссий по этому поводу в литературе. На самом деле, мы можем значительно ослабить предположение о вычислительности и все равно прийти к выводу, что искусственные разумные существа будут возможны.

Таким образом, искусственный терапевт или диджей может также преуспеть в этом внутреннем измерении - например, быть более погруженным, феноменально, в момент, чем обычный человеческий коллега, который может иногда обнаружить, что его мысли уходят на то, что он собирается делать, когда вернется домой.

Но здесь возникает терминологический вопрос. Если работа передается на аутсорсинг разумному роботу, действительно ли мы хотим сказать, что она была "автоматизирована"? Не будет ли это больше похоже на сценарий, в котором мы дали жизнь новому человеку, родившемуся с особыми талантами, который вырастает и становится мастером своего дела, позволяя прежним специалистам уйти на пенсию? В этом случае говорить о том, что работа была автоматизирована, было бы неуместно. Также нелегко понять, почему тот факт, что новый работник, возможно, был сделан из кремния и стали, а не из органической химии, должен иметь существенное значение; ни тот факт, что он мог быть зачат на заводе, а не в спальне; ни тот факт, что его детство могло быть сокращено; ни то, что его особенности в большей степени, чем это может быть типично для человека, были результатом целенаправленного процесса проектирования, а не случайности и наследственности.

Если бы разумный робот принадлежал кому-то на правах собственности, возможно, это повысило бы нашу склонность говорить, что выполняемые им задачи были автоматизированы? Но, наверное, это все равно что сказать, что рабовладельческое общество "автоматизировало" задачи, выполняемые его рабами?

Я думаю, что в зависимости от того, как именно были созданы роботы, могут существовать глубокие этические различия между случаем человеческого рабства и случаем разумных машин, которые могут принадлежать людям и использоваться для выполнения задач. Эти различия могут быть настолько фундаментальными, что называть разумные машины "рабами" будет неуместно. Возможно, для обозначения этих случаев потребуется ввести новые термины: не автоматизация, не рабство, а некая новая третья категория.

Я не хочу погрязнуть в терминологическом вопросе. Предположим, мы принимаем точку зрения, что разумный труд не является "автоматическим". Тогда мы можем сразу же определить два способа, которыми наша способность к автоматизации может быть ограничена.

Один из них заключается в том, есть ли такие продукты или услуги, которые клиенты предпочитают, чтобы выполнялись разумным существом. Возможные примеры - работа доктора медицины и диджея. Возможно, некоторые люди просто предпочитают, чтобы существо, с которым они имеют дело, осознанно переживало взаимодействие. Тогда эти работы не могут быть полностью автоматизированы.

Другой способ ограничить нашу способность к автоматизации - если существуют определенные поведенческие характеристики, которых нельзя достичь, не генерируя сознательный опыт в качестве побочного эффекта. Например, может оказаться, что любая когнитивная система, способная вести себя очень похоже на человека в очень широком наборе ситуаций и в течение длительных периодов времени, может делать это только путем выполнения вычислений, которые инстанцируют феноменальный опыт. Я не берусь утверждать, так ли это на самом деле. Но если это так, то второе ограничение для автоматизации заключается в том, что может возникнуть потребность в определенных сложных видах поведения или взаимодействий, выполнение которых обязательно порождает разум; поэтому, если мы не считаем разумные процессы автоматическими, работа, требующая таких действий, не может быть полностью автоматизирована.

Все, что я сказал здесь о чувстве, можно сказать pari passu и о моральном статусе. Это актуально, если сознание не является необходимым условием для морального статуса. Например, если некоторые несенситивные формы агентства достаточны для морального статуса , могут существовать рабочие места (например, руководящие должности, требующие гибкого поиска целей в сложных условиях, но, возможно, и многие другие роли), которые могут выполнять только системы, обладающие моральным статусом. И если делегирование задач системам, обладающим моральным статусом, не считается автоматизацией, то и здесь мы имеем ограничение на возможность автоматизации.