Очень скоро граница между искусственным и естественным исчезнет. Спроектированный разум будет все больше полагаться на синтетическую биологию и органические материалы, в которых выращенные из генетически модифицированных клеток нейронные сети станут произвольно самоорганизовываться в функциональные модули. На первых порах проектировщиками будут люди, но их очень скоро заменят более умные системы СИ, и начнется процесс безудержного усложнения. В отличие от ситуации с человеческими мозгами, которые довольно посредственно коммуницируют друг с другом, системы СИ будут связаны непосредственно и всесторонне, так, что понятие личного «я» перестанет существовать, а уровень познавательной деятельности поднимется до беспрецедентных высот. Возможно, что часть такой спроектированной нейронной сети будет включать в себя квантовые эффекты, приближаясь к идее Фрэнка Вильчека о «квантовом сознании». Такие сущности окажутся настолько далеки от сферы индивидуального человеческого мышления и сопутствующих ему квалиа[6], что почти все привычные вопросы, касающиеся возможностей и опасностей искусственного интеллекта, станут неактуальны.
Что же тогда будет с людьми? На пути дополненного человеческого разума, использующего схожую технологию, стоят только этические барьеры, и об этом уже давно размышляют философы-трансгуманисты. Генетически модифицированные люди с дополненными мозгами могли бы существенно развить и улучшить человеческие знания.
В таком случае у нас есть три варианта будущего, со своими этическими проблемами в каждом. В первом сценарии люди воздерживаются от усовершенствования самих себя и соглашаются отказаться от гегемонии в пользу СИ. Во втором сценарии люди, вместо того чтобы ограничивать себя, модифицируют собственные мозги (и тела), используя ту же технологию, что и при создании СИ, а впоследствии передают ему управление подобными усовершенствованиями — и тогда они становятся этакими сверхлюдьми, способными сосуществовать с СИ, но все же остающимися слабее него. Наконец, возможен и такой сценарий, при котором в определенный момент произойдет слияние СИ и дополненного человеческого интеллекта.
Если мы не одиноки во Вселенной, то нам следует ожидать контакта не с разумными существами плоти и крови, привычными нам по научно-фантастическим произведениям, а с возникшим много миллионов лет назад СИ, обладающим невообразимой мощью разума и решающим непостижимые для нас задачи.
Сверхразумный отшельник
Неизбежность появления мыслящих машин давно волнует тех из нас, кто смотрит в ночное небо и задается вопросом: живем ли мы во Вселенной, где кишит жизнь, или же она встречается чрезвычайно редко?
Проблема отлично сформулирована Энрико Ферми в виде вопроса: «Где они?» Если считать ориентиром нашу цивилизацию, разумные машины должны появиться в относительно краткосрочной перспективе (меньше нескольких тысяч лет после того, как были созданы компьютеры), а затем непосредственной задачей этих машин — так называемых зондов фон Неймана — станет распространение по другим звездным системам и быстрое воспроизводство. Таким образом, Галактика будет колонизирована в течение нескольких сотен миллионов лет, а это довольно быстро в сравнении с возрастом Вселенной (13,8 миллиарда лет) и даже Солнечной системы (4,6 миллиарда лет). Согласно парадоксу, сформулированному Ферми, если сверхразумные машины возникли где-нибудь в пределах Галактики, то они должны уже быть здесь. Так как мы их не наблюдаем, утверждают некоторые, технологически развитой жизни в Галактике еще нет.
Но совсем не обязательно сверхразумное существо должно испытывать то же эволюционное давление, которое заставляет нас исследовать окружающий мир (говоря «нас», я имею в виду непрочные водянистые кульки, именуемые людьми). Действительно ли исследование — это и биологический, и технологический императив? Будет ли у разумных машин мотивация для экспансии?