Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы — тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое-то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.
Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, — это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, — и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия — сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.
Эволюционирующий искусственный интеллект
Разве научится искусственный интеллект думать, чувствовать, предполагать, сопереживать, дружить, общаться, извлекать мораль? На самом деле он способен делать это любым из способов, которые мы могли бы представить себе, и множеством других, совершенно невообразимых способов. Чтобы встряхнуть воображение, можно рассмотреть различные формы естественного интеллекта, которые встречаются в современных биологических системах, и поразмышлять о вариантах, которыми обладали 99 процентов всех видов, когда-либо живших на Земле, но давно исчезнувших, — благодаря информации, донесенной до нас теми немногими счастливчиками, что завещали свои окаменелые останки пантеону истории эволюции. У нас есть право стимулировать наше воображение подобным образом, потому что, согласно нашим лучшим теориям, интеллект — это функциональное свойство сложных систем, а эволюция, помимо прочего, является алгоритмом поиска, который находит такие функции. Таким образом, формы интеллекта, обнаруженные до настоящего времени естественным отбором, уменьшают нижнюю границу оценки разнообразия возможных вариантов. Эволюционная теория игр предполагает, что верхней границы нет: достаточно всего четырех конкурирующих стратегий для хаотической динамики и странных аттракторов.
Когда мы рассматриваем естественные формы интеллекта, полученные эволюционным путем, то обнаруживаем неоднородность, предполагающую разумоцентрическое представление об интеллекте, которое так же правдоподобно, как геоцентрическое представление о космосе. Интеллект, что мы считаем эталонным, — всего лишь одна из многих точек (притом бесконечно малая) во вселенной чужих разумов, во вселенной, которая не крутится вокруг нашего вида, а большей частью игнорирует его.
Например, самка богомола Pseudomantis albofimbriata, когда бывает голодна, использует сексуальные уловки, чтобы добыть пищу. Она испускает феромон, который привлекает самцов, а затем поедает тех, кто явился на свидание. Старший птенец в выводке голубоногой олуши, когда бывает голоден, прибегает к факультативному каинизму. Он убивает младшего птенца, заклевывая его до смерти или выбрасывая из гнезда, где тот погибает от переохлаждения. Мать смотрит на это не вмешиваясь. Вот вам варианты естественного интеллекта, варианты, которые мы готовы назвать одновременно чужими и подозрительно знакомыми. Они нарушают привычные нам каноны сочувствия, сосуществования и морали, но все же и в переменчивой истории человечества есть примеры людоедства и братоубийства.
Наше исследование обнаруживает другую важнейшую особенность естественного интеллекта: у каждого примера свои пределы применимости — те точки, где интеллект передает эстафету глупости. Самка серого гуся нежно заботится о кладке — но только если поблизости нет волейбольного мяча. Она оставит свой выводок в безнадежной погоне за необычайным яйцом. Самец жука-златки Julodimorpha bakewelli летает в поисках самки для спаривания — если только не приметит подходящую пивную бутылку. Тогда он оставит самку ради бутылки и будет пытаться спариться с холодным стеклом, пока смерть не разлучит их.