В незапамятные времена если мы хотели что-то узнать, то у нас не было иного выбора, кроме как обратиться к кому-нибудь за разъяснениями. Помню, когда я стал постарше, то часто спрашивал мать о значении незнакомых мне слов, и она всегда отвечала, лишь с долей иронии: «Я что, похожа на словарь?» Не думаю, что она рассчитывала стать аллегорией ИИ, но она привила мне смутно сознаваемое ощущение, что невежливо спрашивать у человека из плоти и крови то, что можно легко узнать, обратившись к предмету.
Так было несколько десятков лет тому назад. В настоящем мы тоже подсознательно усвоили этот принцип. Когда мы спрашиваем у кого-то дорогу, то обычно в явной или неявной форме выражаем следующую мысль: «Простите, что низвожу вас до уровня Google, но у меня сел телефон, поэтому мне нужно задать вам один конкретный вопрос». Это нарушение этикета, сродни тому, чтобы попросить кого-нибудь побыть в роли пресс-папье или книжной полки.
Я наблюдал такие нарушения и в разговорах: один человек хочет узнать у другого некий не очень известный факт — число, дату, фамилию, — в общем, задает такой вопрос, который мог бы встретиться в телевизионной викторине, и его собеседник кривится или отмахивается. Выражение его лица так и говорит: «Я не знаю. У вас ведь есть телефон? К вашим услугам весь интернет, а вы оскорбляете меня, тратите мое время, используете меня». Не зря же у нас появилась эта броская фраза: «Давай я погуглю за тебя»[109].
Судя по всему, есть еще задачи, с которыми справляется лишь мозг — только в нем хранится релевантная информация и опыт, а потому у нас нет иного выбора, кроме как побеспокоить этот мозг, когда нам что-то нужно. «Как тебе последние цифры?», «Думаешь, Смит блефует?», «Кейт понравится ожерелье?», «Меня это не полнит?», «Каковы шансы?..» Подобные вопросы вполне могут показаться неприличными в XXII веке. Для них нужен разум, но подойдет любой разум, а потому мы обратимся к тому, который будет ближе.
В романтической комедии «Скажи что-нибудь», вышедшей в 1989 году, есть незабываемая сцена, в которой Айони Скай возвращается к Джону Кьюсаку, признается ему в любви и просит прощения. «Один вопрос, — говорит он. — Ты здесь потому, что тебе нужен
Когда мы, люди, выходим из кинотеатра, музея или со спектакля, мы всегда задаем друг другу один и тот же вопрос: «Ну, ты что думаешь?» Он станет одним из немногих, которые переживут зарождающийся ИИ. Мы просто будем чаще выделять курсивом «ты», а не «думаешь».
Моральные машины
Машины принимают решения за нас. Трейдинговый компьютер на Манхэттене обнаруживает изменение биржевых цен и за несколько микросекунд решает купить миллионы акций IT-компании. Управляющая автомобилем машина в Калифорнии обнаруживает пешехода и решает повернуть колеса влево.
Проблема состоит не в том, «думают» эти машины или нет. Настоящая проблема в том, какие решения мы им позволяем принимать. А они становятся все более важными. От них зависят сбережения людей. Их жизни. И, поскольку машины начинают принимать решения, значимость которых постоянно растет — для людей, для животных, для окружающей среды и для национальных экономик, — растут и ставки.
Рассмотрим такой сценарий: беспилотный автомобиль обнаруживает пешехода, выбежавшего на дорогу прямо перед ним. Машина быстро понимает, что вариантов выхода из этой ситуации без потерь нет. Если не менять курс, то столкновение и урон для пешехода неизбежны. Торможение приведет к столкновению с движущимся сзади автомобилем, при этом пассажир может получить травмы. То же самое произойдет при попытке маневрирования. Каким протоколом должна воспользоваться машина, чтобы принять решение? Как ей оценить и взвесить разные виды возможного урона разным участникам аварии? Сколько увечий и с какой вероятностью и тяжестью стоят одной смерти? Какой урон имуществу стоит 20 %-ной вероятности хлыстовой травмы шеи? На такие вопросы трудно ответить. Они не становятся проще, если у нас есть больше данных или больше вычислительной мощности. Мы возлагаем на машины ответственность за моральный выбор. Сталкиваясь с такими ребусами, мы часто используем людей в качестве модели. Что бы сделал человек? Давайте воссоздадим то же самое в машине.