Но такие ИИ-агенты останутся нашими рабами, не имеющими никакого представления о самих себе. Они будут с удовольствием выполнять функции, на которые мы их настроим. На нашей совести останутся возможные сбои из-за программных ошибок или излишней уверенности пользователей в этих агентах (о чем говорит Дэн Деннетт). Да, «гуманитарный» искусственный интеллект не раз удивит нас новыми решениями конкретных задач оптимизации. Но в большинстве случаев новые решения — это последнее, чего мы хотим от машины (креативный подход к наведению ракеты с ядерным зарядом — как вам такое?). В связи с этим «гуманитарные» ИИ будут всегда соответствовать своей узкой области. Они всегда останутся понятными, ведь мы знаем, как они устроены и для каких задач созданы. Иногда из-за все время вносимых изменений программный код будет становиться слишком большим и нечитаемым для одного человека. В таких случаях придется переписывать его с нуля. «Гуманитарный» искусственный интеллект приблизит нас к давней мечте, где роботы делают большую часть работы, в то время как освободившиеся люди занимаются творчеством — или умирают от скуки.
«Иной» искусственный интеллект совершенно не похож на «гуманитарный». «Иной» ИИ, очевидно, представляет опасность для человечества: он может захватить планету, перехитрить нас, превзойти, поработить — а мы даже и не заметим нападения. Каким именно будет «иной» интеллект? По определению, мы не можем этого знать. Он освоит функции, которые мы неспособны понять даже приблизительно. Будет ли ему присуще сознание? Скорее всего, оно ему не понадобится. Будет ли он испытывать эмоции? Будет ли он писать романы-бестселлеры? Если да, то кто их станет покупать: мы или он сам и его порождения? Будут ли когнитивные ошибки искажать его мышление? Будет ли он общительным? Разработает ли него собственную модель психического? Если да, то будет ли он шутить, сплетничать, волноваться о своей репутации, стремиться к сплоченности на фоне внешних угроз? Создаст ли свою собственную версию искусственного интеллекта (искусственный ИИ)? Мы не знаем.
Все, что нам известно, так это то, что люди неспособны создать по-настоящему «иное» мышление. Что бы мы ни придумали, оно будет отражать наши цели и ценности, а потому это «что-то» не сильно отклонится от человеческого мышления. Нам понадобилось бы пережить настоящую эволюцию, а не просто разработать эволюционные алгоритмы, чтобы на свет появился «иной» искусственный интеллект. Для этого нам пришлось бы пройти совершенно другой путь развития, радикально отличающийся от того, который привел к появлению человеческого интеллекта и «гуманитарного» ИИ.
Как же нам сделать так, чтобы заработала настоящая эволюция? Для этого нужны репликаторы, изменчивость и отбор. Как только все три компонента начнут работать, неизбежно возникнет эволюция. Насколько вероятно, что в результате ее разовьется «иной» интеллект? Вот вам кое-какие мои вычисления «на коленке».
Для начала прикинем, во что обошлось развитие невероятно сложных эукариотических клеток до мыслящих существ человеческого уровня. Этот процесс потребовал использования значительной части биомассы Земли (примерно 500 миллиардов тонн связанного эукариотами углерода) в течение приблизительно 2 миллиардов лет. Огромный объем эволюционной работы! Правда, мышление, сравнимое с человеческим, может появиться и за половину этого времени, даже за 10 процентов, если очень повезет, но вряд ли быстрее. Чтобы эволюция породила сложное поведение, нужно не только много времени, но и чашка Петри размером с поверхность Земли.
Предположим, что «иной» интеллект будет основан на кремнии, как весь современный ИИ. Эукариотическая клетка значительно сложнее, чем, скажем, чип самого современного центрального процессора Intel Core i7, как в плане аппаратного, так и в плане программного обеспечения. Далее, предположим, что нам удалось уменьшить такой чип до размеров эукариота. Оставим без внимания квантовые эффекты, которые помешают при этом надежной работе транзисторов. Не будем также касаться вопроса об источнике энергии. Нам пришлось бы покрыть земной шар 1030 микроскопических процессоров и позволить им общаться и бороться за выживание в течение 2 миллиардов лет, чтобы появилось настоящее мышление.