Имея собственное «я», машины будут настолько коллективными существами, что, вероятно, спровоцируют появление нового уровня социальности, неизвестного людям, — возможно, более близкого к эусоциальности муравьев, так тесно связанных генетически, что самопожертвование ради члена семьи у них стало фактором выживания. Тем не менее само по себе то, что машина вообще способна иметь собственное «я», обнадеживает. «Я» — это то, что позволяет нам испытывать сочувствие, и для машин оно может стать тем, что заставит их заботиться о нас. Самосознание, вполне вероятно, мотивирует машины защищать (или, по крайней мере, не атаковать) биологический вид, для представителей которого, несмотря на куда более низкий уровень интеллекта, тоже важно, кто они есть.
Конечно, вряд ли стоит надеяться, что со стороны сверхразумных машин мы увидим больше сочувствия, чем со стороны многих людей сейчас.
Органическое мышление против артефактного
Организмы — по сути машины (в широком понимании этого слова). Следовательно, поскольку мы, люди, являемся мыслящими организмами, мы также и органические мыслящие машины, вероятно наряду со многими животными. Некоторые машины — скорее артефакты, чем организмы, а какие-то из них, возможно, мыслят (опять же в широком понимании). Такие вещи — это артефактные мыслящие машины, например компьютеры и подобные им устройства.
Главный вопрос заключается в том, есть ли вообще явная онтологическая граница между организмами и артефактами. Но вместо того чтобы непосредственно ответить на этот вопрос, мы бы хотели задать другой, хотя и связанный с ним: есть ли серьезные различия между видами мышления, которые демонстрируют организмы, и видами мышления, которые демонстрируют мыслящие артефакты вроде машин, то есть между органическим и артефактным мышлением? Это не вопрос о содержании слов типа «мыслить», «мышление», «мысль». Нет особой глубины, например, в вопросе о том, надо ли использовать эти термины для ввода, обработки и вывода информации, которые могут осуществлять компьютеры. Скорее проблема состоит в том, есть ли существенные отличия между тем, что делает некто вроде нас, и тем, что делает нечто вроде компьютеров.
Результаты недавних эмпирических исследований в области изучения эмоций, а также последних теоретических изысканий в философии говорят о том, что различия в самом деле существенные. Предположим, вы отправились в поход и столкнулись со львом. Что с вами происходит на уровне физиологии? Если вы не отличаетесь от большинства людей, то у вас в голове проносится быстрый поток мыслей: «Я умру», «Вот ведь не повезло», «Надо сохранять спокойствие», «Надо было почитать о том, что делать в таких ситуациях» и т. д. Вы также испытываете массу чувств: удивление, страх и пр. То есть с вами происходят определенные когнитивные и аффективные процессы.
Последние работы по психологии и философии говорят о том, что когнитивное и аффективное выступают в единстве. Дело не только в том, что один человек может в большей или меньшей степени влиять на другого в различных контекстах. В действительности существует единый когнитивный/аффективный процесс, лежащий в основе двух параллельных и взаимодействующих процессов, которые нельзя разделить. Большая часть нашего мышления имеет такой холистический характер; наш способ обработки информации является скорее когнитивным/аффективным, нежели чисто когнитивным. Если мы и получим чисто когнитивный процесс, то он будет производным от базового единого процесса. Это отличие Системы 1 от Системы 2[93], где первая — в основном автоматическая и бессознательная, а вторая — эксплицитная и осознанная. Мы полагаем, что процессы и на уровне Системы 1, и на уровне Системы 2 сами по себе являются холистическими, то есть когнитивными/аффективными.
Нет убедительных данных (по крайней мере, пока) о том, что артефактные мыслящие машины способны выполнять такую когнитивную/аффективную обработку информации. Есть убедительные данные о том, что они способны научиться лучше делать то, что уже умеют, но они просто не работают с информацией в рамках единого когнитивного/аффективного процесса, характерного для нас. Их способ обработки информации схож лишь с частью этого единого процесса. Из сказанного не следует, что такие вещи, как компьютеры, неспособны чувствовать и, следовательно, не могут мыслить; скорее можно сделать вывод, что их мышление категорически отличается от нашего.
Контекст очень важен