Deep Utopia: Life and Meaning in a Solved World

Контроль и координация внутренней деятельности цивилизации. Если цивилизация состоит из простых повторяющихся паттернов, таких как равномерная сетка из гедониевых ящиков, то необходимость в этом может быть меньше; но если у нас более многогранная и развивающаяся цивилизация, со многими независимыми очагами развития, то может остаться необходимость в сложной координирующей деятельности - например, контроль за местными событиями, чтобы они не начали процесс, который приведет к распространению коррупции, или более общая политическая работа. Такая деятельность может потребовать высокоуровневой когнитивной обработки.

Культурные продукты и достижения. Если считается важным, чтобы цивилизация производила определенные культурные артефакты (неважно, для себя или для того, чтобы члены цивилизации имели к ним доступ), то потребность в продвинутой когнитивной обработке может сохраняться бесконечно, при условии, что либо существует неограниченное количество достижимых ступеней на лестнице качества, либо некоторые ступени имеют неограниченное или растущее количество продуктов/достижений, так что иметь или производить их больше - лучше. Например, можно представить себе неограниченную последовательность все более труднодоказуемых, но все еще интересных математических теорем; или все более широкий спектр все более изысканных эстетических переживаний.

Непрерывная культурная обработка. Можно также представить себе бесконечный спрос на творческое познание, если предположить, что существуют определенные культурные артефакты или реакции, ценность которых зависит от постоянно меняющегося контекста. Предположим, например, что существует ценность художественного произведения или опыта, которые точно отражают преобладающую тенденцию, но создание таких произведений искусства (или другие независимые события) также постоянно меняют тенденцию, тем самым создавая возможность для новых произведений искусства и опыта, которые отражают новую тенденцию; и так далее.

Итак, давайте предположим, что существует по крайней мере несколько нейтральных для агента практических задач, которые даже при технологической зрелости требуют высокого уровня креативности, интуиции и передового решения проблем. Тогда вопрос в том, сможем ли мы, подвергнувшись загрузке и радикальному усовершенствованию, оставаться конкурентоспособными в этих задачах. Это могут быть такие задачи, как, например, анализ характеристик возможных инопланетных цивилизаций, работа с редкими каскадными сбоями или оптимизация инфраструктурных планов в соответствии с деталями местных условий. Смогут ли будущие версии нас самих быть столь же хороши в таких задачах, как и продвинутые ИИ?

Студент: У меня есть вопрос! Что, если люди смогут выполнять эти задачи, работая вместе? Даже если ни один человек не сможет их выполнить, это ничем не отличается от сегодняшнего дня, когда ни один человек не может создать смартфон или реактивный самолет. Но мы все равно можем делать эти вещи, работая в команде. Возможно, в будущем команды, состоящие из усовершенствованных людей и использующие гораздо более совершенные инструменты для совместной работы, смогут решать даже те сверхсложные задачи, с которыми приходится бороться технологически развитой цивилизации?

Бостром: Да, вполне возможно. Однако вопрос здесь не в том, что мы можем сделать - индивидуально или коллективно, - а в том, что мы можем сделать эффективно.

Что, если мы можем выполнять эти задачи, но недостаточно эффективно, чтобы быть экономически конкурентоспособными с машинами, созданными для этих целей? В этом случае нам придется затратить больше ресурсов, если мы будем выполнять эти задачи сами, чем если мы передадим их на аутсорсинг. Если мы все же выполняем задачи самостоятельно, то руководствуемся какими-то другими мотивами, а не просто желанием их выполнить. Мы рассмотрим такие мотивы в другом месте, но здесь мы сосредоточимся на том, сможем ли мы оставаться практически полезными при достижении технологической зрелости в том же надежном смысле, в котором, например, автомеханик полезен в настоящее время. Мы не будем практически полезны в этом смысле, если выполнение задач собственными силами будет более дорогостоящим и более расточительным по отношению к ресурсам, чем их выполнение машиной.

Я считаю, что наиболее эффективным методом решения этих практических задач будет использование систем искусственного интеллекта, созданных для этих целей. Если это так, то единственный способ сохранить конкурентоспособность в решении этих задач в долгосрочной перспективе - это стать такими системами ИИ. Можем ли мы это сделать?