Deep Utopia: Life and Meaning in a Solved World

Еще один способ, с помощью которого люди могут получить эпистемическое преимущество, - это источники определенных видов данных. ИИ превзойдет нас в интеллекте и общих знаниях, но вполне возможно, что нам все еще будет чем поделиться, когда речь пойдет о информации о нас самих - о наших воспоминаниях, предпочтениях, склонностях и выборе. У нас есть своего рода привилегированный доступ, и можно представить, что люди будут получать деньги за передачу этой информации машинам, предоставляя словесные описания или позволяя себя изучать.

Опять же, эта возможность заработать на жизнь в качестве первичного источника данных о характеристиках человека может быть временной. Как правило, отдача от данных о той или иной системе уменьшается, и все большее количество данных может оказаться в открытом доступе, что снизит ценность дополнительных источников данных. В конце концов, сверхразумные ИИ могут создать настолько точные модели человека, что им практически не потребуется от нас дополнительных данных, чтобы предсказывать наши мысли и желания. Они не только будут знать нас лучше, чем мы сами, но и будут знать нас настолько хорошо, что мы не сможем сообщить им ничего, что могло бы существенно пополнить их знания.

Мы можем привыкнуть полагаться на рекомендации и оценки ИИ, которые могут оказаться более последовательными и предсказуемыми, чем наши собственные скоропалительные суждения о том, какие решения отвечают нашим наилучшим долгосрочным интересам (или о том, что бы мы сами решили, если бы потратили время и усилия на тщательное обдумывание вариантов в свете всех соответствующих фактов).

Даже обязанность принимать решения о том, чего мы хотим, в конечном итоге может быть снята с наших плеч.

А потом мы просто уходим?

Увидимся завтра!

ПАМЯТКА 5. ПОТЕНЦИАЛЬНЫЕ ПРЕПЯТСТВИЯ ДЛЯ АВТОМАТИЗАЦИИ

Чувство и моральное терпение

Положение

Символика статуса

Солидарность

Религия, обычаи, сентиментальность и особые интересы

Доверие и данные

Невозможные входы

Кельвин: В раздаточном материале 2 сказано: "произвольные сенсорные входы". Но я не думаю, что это верно. Существуют определенные возможные входы, получить которые было бы вычислительно трудно. Например, рассмотрим большой экран, на котором отображается последовательность из тысячи цифр. Каждая такая последовательность соответствует по крайней мере одному возможному визуальному входу. Но даже технологически развитая цивилизация не сможет создать экран, отображающий первую тысячу цифр омега-числа Хайтина или первую тысячу цифр π^π^π^π^π.

Фирафикс: Потому что это потребует больше вычислений, чем можно сделать за время существования Вселенной?

Кельвин: Гораздо больше.

Тессиус: Какая жалость. Я никогда не смогу взглянуть на первую тысячу цифр омега-числа Хайтина.

Кельвин: Могут быть и более морально значимые исходные данные, которые также невозможно вычислить.

Тессиус: Даже если бы мне представили первую тысячу цифр омеги Хайтина, я бы никогда не смог убедиться, что это действительно то, на что я смотрю, верно?

Кельвин: Если бы это было неправильное число, вы могли бы со временем обнаружить, что оно неправильное.

Тессиус: Если только люди, генерировавшие это число, не обладали значительно большей вычислительной мощностью, чем я.

Кельвин: Верно. Но есть и другие последовательности чисел, которые трудно сгенерировать, но легко проверить. Например, факторизация некоторых 1000-значных составных чисел. Мы можем построить пример на эту тему, где визуальным входом будет полное число, а затем его факторизация.

Фирафикс: Джентльмены, позвольте вмешаться - Кельвин, вам, должно быть, тепло в этой куртке?

Я бы не отказался переодеться во что-нибудь более удобное.

Фирафикс: План такой. Мы с Кельвином вчера нашли холм с хорошей травой и собирались пойти туда сегодня днем и почитать. Почему бы нам не пойти туда всем вместе, чтобы продолжить разговор, а по пути заглянуть к Кельвину.

Хороший план.