Быстрое развитие искусственного интеллекта также меняет наше понимание того, что такое разум. Наши взаимодействия со слабыми ИИ приведут к тому, что мы поймем: разум — это континуум, а не некий рубеж. Несколько лет назад японские исследователи продемонстрировали, что слизистая плесень может пройти по лабиринту, чтобы добраться до вкусного кусочка пищи. В прошлом году ученый из Иллинойса показал, что при подходящих условиях капля масла способна найти выход из лабиринта, чтобы добраться до кислотосодержащего геля, причем ведет себя практически как живая. Когда искусственный интеллект еще глубже проникнет в нашу жизнь, мы обнаружим, что скромные цифровые сущности, как и большая часть природного мира, несут в себе искру сознания. А от этого — лишь один маленький шажок до предположения, что деревья или камни (или ИИ) мыслят.
В конечном счете самый большой вопрос состоит не в том, появятся ли когда-нибудь искусственные сверхразумы. Вопрос скорее в том, каким будет место человека в мире, где численность автономных машин растет в геометрической прогрессии. Ботов в Сети уже больше, чем пользователей-людей. То же самое скоро будет и в материальном мире. Как предостерег нас однажды лорд Дансени: «Если мы слишком сильно изменимся, то можем и не найти своего места во Вселенной».
Великая афера искусственного интеллекта
Умным людям часто удается избежать когнитивных ошибок, от которых страдают менее одаренные личности. Но есть виды глупости, поражающие только очень умных. Беспокойство по поводу опасности враждебного искусственного интеллекта — ярчайший тому пример. Озабоченность рисками, которые могут создаваться сверхразумными машинами, — это привычный «интеллектуальный фастфуд» умного человека.
Я это не к тому, что сверхразумные машины не представляют никакой угрозы для человечества. Просто есть много других актуальных и куда более вероятных рисков, с которыми нам придется столкнуться в этом веке. Люди, обеспокоенные перспективой появления враждебного искусственного интеллекта, склонны утверждать, что прочие риски уже давно широко обсуждаются и, хотя вероятность быть уничтоженными сверхразумными машинами довольно мала, нам непременно следует выделить определенные интеллектуальные ресурсы на то, чтобы предотвратить это событие, учитывая экзистенциальный характер угрозы.
Неслучайно, что проблема именно с такой аргументацией впервые была обозначена наиболее ярыми энтузиастами. С ней связано кое-что, называемое «ограблением Паскаля» по аналогии со знаменитым «пари Паскаля». К Паскалю подходит грабитель и предлагает сделку: в обмен на то, что философ отдаст свой кошелек, он на следующий день вернет ему вдвое большую сумму. Паскаль колеблется. Тогда грабитель начинает предлагать ему все большее вознаграждение, утверждая, что для сколь угодно малой вероятности возврата большой суммы денег (или чистой выгоды) существует ее конечное значение, что делает подобное пари рациональным, и любой разумный человек должен признать, что существует по крайней мере небольшая вероятность реализации такой сделки. Этим грабитель наконец убеждает Паскаля, и тот отдает свой кошелек.
Этот мысленный эксперимент обнаруживает слабость теории принятия решений. Если мы просто подсчитываем выгоды по классической схеме, то все выглядит так, как будто другого решения у задачи нет: рациональный Паскаль должен отдать свой кошелек. Аналогично если существует хотя бы малейшая вероятность появления враждебного искусственного интеллекта или малейшая вероятность предотвращения такого события, то разумно будет вкладывать хотя бы небольшие ресурсы в устранение угрозы.
Легко сделать так, чтобы цифры сошлись, особенно если выдумать миллиарды воображаемых будущих людей (возможно, существующих только в виде ПО, какая малозначительная деталь!), которые живут миллиарды лет и способны быть невообразимо счастливее, чем жалкие нынешние люди из плоти и крови. Когда на кону столь значительная выгода, кто станет скупиться на несколько миллионов долларов, чтобы предпринять хоть какие-то меры, даже если шансы на успех ничтожны?