Алгоритмы «умного саботажа» (скажем, будущие версии червя Stuxnet) уже плавают по интернету, и они куда опаснее. Они могут по-тихому просочиться во многие рутинные операции компаний и целых государств. Большая их часть будет исходить от злоумышленников. Но у нас уже есть генетическое программирование и автономные информационные агенты, так что алгоритмы могут мутировать и эволюционировать по всем дарвиновским законам, особенно когда за ними никто не смотрит. Они будут становиться все умнее. Распределение вычислений по множеству систем или сетей еще больше осложнит процесс выяснения того, как обнаруженные части некоего кода соотносятся с целым алгоритмом более высокого порядка. Так что некоторые из них вполне способны избежать нашего пристального взгляда. Впрочем, алгоритмы защиты тоже могут эволюционировать, причем по ламаркистским законам, а направляемый отбор приводит к более быстрой эволюции. Так что у пристального взгляда есть кое-какие преимущества.
Мы, люди, существа страшные, злобные и подлые, но нас чертовски сложно уничтожить — и тому есть причина. Мы одерживали верх над множеством врагов — над хищниками, климатическими катаклизмами, конкуренцией с другими гоминидами — в течение сотен тысяч лет, став в итоге самым агрессивным видом, которого боятся все прочие. Лес затихает, когда мы проходим по нему; мы — высшие хищники.
Это дает нам такие инстинкты и такой склад ума, которые проявляются в вещах, на первый взгляд вполне безобидных, например футбол, регби и множество других игр с мячом. Мы обожаем гоняться за маленькими подпрыгивающими предметами, которые сложно поймать и удержать. Почему? Потому что когда-то мы делали нечто похожее, чтобы выжить, — мы охотились. Футбол — это как погоня за кроликом. Такая же животная энергия бурлит и в нашем обществе. Любой искусственный интеллект, вознамерившийся захватить мир (мем, характерный для множества плохих научно-фантастических фильмов), обнаружит, что ему противостоит выносливый, злобный и умный вид, сражающийся на своей территории, в реальном физическом мире, а не в вычислительной абстракции из нулей и единиц. Я бы поставил на животное начало.
На самом деле меня беспокоит только одно: конечно, мы можем сделать так, чтобы алгоритмы лучше людей справлялись с отвлеченными действиями. Множество профессий исчезли потому, что их заменило хитроумное ПО. Но, по мере того как формы искусственного интеллекта становятся умнее, не будут ли они разрушать людскую уверенность в себе? Опасность реальная, но не слишком серьезная для большинства из нас (в особенности для тех, кто читает этот текст). Многие люди потеряли работу из-за того, что ею теперь занимаются компьютеры, хотя ни один лизоблюд из отдела кадров прямо об этом не скажет. Менеджеры среднего звена, секретари, диспетчеры транспортных компаний — список бесконечен. Всех их заменили компьютерными программами. Но эти люди не унывают. Большинство из них начали заниматься чем-то еще. Мы научились довольно неплохо справляться с таким положением вещей, не впадая в луддитскую ярость. Но нам не совладать с проблемой, которая сегодня выглядит как маленькая тучка на горизонте: искусственный интеллект, работающий лучше нас, причем на гораздо более высоком уровне.
Нет нужды беспокоиться из-за этой тучки сейчас. Она, быть может, пролетит мимо. В данный момент нам не под силу создать искусственный интеллект, которые прошел бы тест Тьюринга. Лет через десять или двадцать пейзаж будет почище, и тогда мы сможем придумать ИИ, который, скажем, отгадает загадку общей теории относительности / квантовой механики. Лично мне хотелось бы увидеть машину, которая возьмется за такую задачу. Изобретательность — действительно сложная часть разумности, к тому же совершенно непонятная даже у людей — пока что не встречается у искусственных интеллектов. Наше бессознательное, по-видимому, неотъемлемая часть нашей креативности (не у нас есть идеи, а мы есть у них), так не стоит ли ИИ обзавестись бессознательным? Не исключено, что даже искусное программирование и случайности эволюции не смогут его создать.
Если это огромное препятствие когда-нибудь удастся обойти и у нас появится такой искусственный интеллект, то я его бояться не буду — у меня к нему есть несколько интересных вопросов.
Чего-чего я боюсь?
В последнее время довольно много чернил ушло на работы, в которых обсуждаются опасения по поводу искусственного интеллекта и будущего мира, где машины смогут «думать»; при этом значение последнего термина всеми трактуется по-разному: от простого автономного принятия решений до полноценного самосознания. Я не разделяю большей части этих опасений, и мысль о появлении умных машин мне кажется очень увлекательной ввиду новых возможностей, способных улучшить жизнь человека, и новых идей о природе сознания, которыми ИИ нас, несомненно, снабдят.