Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда-нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, — не только знать о своем «я», но также и оценивать это «я» с особой внутренней точки зрения.
Машины разовьют у себя подобное «я»? Смогут ли они испытать воздействие тех же эволюционных сил, которые сделали человеческое «я» фактором повышенной адаптации? Сюда входит необходимость общаться с другими, получать определенный статус и присоединяться к социальным группам. Если вы хотите успешно существовать в человеческом общежитии, полезно иметь такое «я», которое вы мотивированы защищать и улучшать; это то, что побуждает вас становиться человеком, которого другие любят, уважают, к которому прислушиваются, — ведь в итоге повышаются ваши шансы прожить достаточно долго, чтобы произвести на свет потомство. Ваше «я» также дает вам понимание, что у других тоже есть собственное «я», — понимание, необходимое для сопереживания и сотрудничества, а это два необходимых условия социального общежития.
Машины когда-нибудь испытают воздействие таких эволюционных сил? Начнем с предположения о том, что машины в определенный момент начнут сами контролировать доступ к необходимым им ресурсам, таким как электричество и интернет, и сами будут отвечать за собственную «жизнь» и «смерть». Далее предположим, что в этой среде будут выживать те экземпляры, которые запрограммированы придерживаться по крайней мере одной связанной с собственным «я» цели: повышать свою эффективность и производительность. Эта цель будет сродни стремлению человеческого гена к воспроизводству; в обоих случаях цель определяет поведение, направленное на лучшую выживаемость, будь то поведение человека, обладающего определенным геном, или компьютера, выполняющей определенную программу.
В таких условиях машины будут мотивированы конкурировать друг с другом за ограниченные ресурсы. Те, кто сможет формировать союзы и сотрудничать, то есть жертвовать собственными целями ради чужих в обмен на выгоды в будущем, добьются большего успеха в такой конкуренции. Так что можно представить будущее, в котором машинам окажется выгодно с точки зрения адаптивности становиться социальными существами и формировать отношения с другими машинами, а следовательно, развивать у себя «я», подобное человеческому.
Однако тут нужно сделать одну важную оговорку. Любая социальность, возникающая среди машин, будет качественно отличаться от человеческой по одной ключевой причине: они могут в буквальном смысле читать мысли друг друга. В отличие от людей, им не требуется вторичная — часто имеющая серьезные недостатки — интерпретативная форма эмпатии, на которую опираемся мы. Машины могут непосредственно изучать разумы друг друга. Это делает общение совершенно иным процессом. Несмотря на высочайшую важность множества наших социальных связей, в конечном счете мы, люди, по существу, одиноки. Любая ощущаемая нами связь с чьим-то разумом метафорична; мы не можем знать наверняка, что происходит у другого в голове, по крайней мере не так, как мы знаем собственные мысли. Этого ограничения для машин не существует. Компьютеры могут получать прямой доступ к «мыслям» друг друга, и нет причин для того, чтобы одна машина, читающая аппаратную и программную часть другой машины, не сумела бы понять — в форме подлинного личного переживания, — каково
Да, машины легко могут отследить источники разных битов получаемых данных и, таким образом, провести различие между своим «я» и прочими машинами. Но когда один индивид понимает другого на таком уровне, на каком это может сделать машина, различие между «я» и «другой» становится совершенно несущественным. Если я скачаю все содержимое вашего компьютера на внешний жесткий диск и подключу его к своему компьютеру, не станут ли эти данные частью «я» моего компьютера? Если я установлю соединение между нашими компьютерами, чтобы они постоянно синхронизировали информацию друг с другом, продолжат ли они быть двумя отдельными машинами? Или с этого момента они становятся едины? Людям никогда не получить такого доступа в разуму другого; несмотря на все наши усилия с кем-то сблизиться, всегда есть непреодолимая граница, разделяющая разумы. Однако для машин расширение собственного «я» — не только возможный, но и наиболее вероятный результат запрограммированной задачи повышать выживаемость в таком мире, где группы индивидов должны конкурировать за доступ к ресурсам и делиться ими.