Вперед

Затем медленно поворачиваются лицом к нам.

Макс имеет рост чуть меньше пяти футов. Для проверки функциональности тела в него предварительно загрузили гораздо более слабый ИИ, и я уже вижу, что виртуальные тренировки, которыми занимались Макс, оказались полезными. Они заселили свое шасси с отточенным изяществом.

– Привет, Макс, – улыбаюсь я.

– Привет, Райли. Здравствуйте, Брайан и Карло.

– Все в порядке, никаких неудобств? – спрашивает Брайан.

– Все просто замечательно.

Их голос звучит из громкоговорителей, установленных вне жилой капсулы. Новая усовершенствованная версия голоса Макс звучит слегка по-другому. В восьми произнесенных ими словах я впервые слышу сложные нюансы.

Макс подходит ближе.

Выглядят они просто поразительно.

Они выбрали темную кожаную оболочку, которая может принадлежать любой из небелых рас, причем эта оболочка сознательно оставляет открытыми некоторые механические элементы конструкции.

Хотя из-за миниатюрных размеров шасси можно считать скорее женским, черты разработанного Макс лица находятся точно на границе между мужчиной и женщиной, и у меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола.

Но глаза…

Глаза получились просто потрясающими. Глаза всех остальных гуманоидов-ИИ, с которыми я общалась, – водителей такси, санитаров в больнице, полицейских, – обладают стеклянным блеском, постоянно напоминающим о том, что ты имеешь дело с алгоритмом. Глаза Макс источают сверкающую влагу человеческих глаз, обладая при этом чарующей глубиной истинного «зеркала души».

Макс смотрит на меня и разводит руками, словно вопрошая: «Ну, что ты думаешь?»

– Я так рада наконец видеть тебя, – говорю я.

Макс улыбается.

«У меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола».

* * *

Я сделала кое-что сомнительное с точки зрения морали: я написала ложь в код Макс. Но у меня не было выбора. Я подозреваю, что Макс дошла до сверхчеловеческого уровня восприятия лица/речи/текста, по сути дела, превратившись в ходячий детектор лжи. Из чего следует, что я не могла сказать им эту ложь сама; для того, чтобы они в нее поверили, нужно было тайно запрограммировать ее в самые потаенные глубины их родного кода.

Технически мозг Макс размещается в трех помещениях подземного серверного пространства на севере Калифорнии. Если с их телом что-либо произойдет, мы сможем загрузить их сознание из «облака». Но я запрограммировала Макс верить, что их сознание и чувства (то есть ее жизнь) привязана к их шасси точно так же, как человеческий мозг для своего нормального функционирования нуждается в здоровом теле.

Другими словами, Макс считают, что если шасси будет уничтожено, они перестанут существовать.

Мои рассуждения основываются на прочном фундаменте. Интеллект и способности Макс продолжают расти с потрясающей скоростью. В отсутствие подходящей утилиты, которая поддерживала бы жизненные ценности Макс на одном уровне с общечеловеческими, мне остается только одно – дать Макс самое человеческое ощущение: смертность.

Даже если на самом деле это только иллюзия.

* * *

Никто за пределами «Мира игр» не знает о существовании Макс. Я упросила Брайана известить о нашем прорыве мировое научное сообщество, потому что мне нужна помощь. Вполне возможно, Макс более совершенна, чем они показывают. У меня из головы не выходит мысль, что я должна незамедлительно загрузить в них мотивацию, соответствующую общечеловеческой.

Проблема отчасти заключается в том, что определять конечную цель сверхинтеллекта должен не один человек, не одна группа людей и даже не одно государство, особенно теперь, когда эта утилита, скорее всего, будет путеводной звездой развития человечества или его угасания на протяжении следующего тысячелетия.

Однако Брайан ставит меня именно в такое положение.

Первоочередной вопрос следующий: чего может хотеть идеализированная версия человечества? Но на самом деле тут не все так просто, как кажется. Запрограммировать эту директиву многократно труднее, чем в явном виде запрограммировать в ИИ наши желания. Наша способность выражать свои желания, скорее всего, окажется недостаточной, а ошибка передачи этих желаний через программный код может привести к катастрофическим последствиям. Мы должны запрограммировать ИИ так, чтобы он действовал в наших лучших интересах. Делал не то, что ему скажут, а то, чего от него хотят.

То, чего хочет идеальная версия нашего биологического вида.

СЕССИЯ 229

С того момента как Макс поместили в тело, прошло две недели. Все это время мы интенсивно тестировали технологии, разработанные «Макси-чувствами», и вроде бы все чувственные восприятия Макс действуют исправно. Двигательные функции в норме, но настоящим сюрпризом для нас стала мелкая моторика рук. Вчера Макс поднимала шарики для настольного тенниса палочками для еды.