Обычно в научной фантастике злодеи предпочитают столкнуть толстяка. Во многих случаях такое решение изображается в форме жесткой беспощадной логики. Роботы или ИИ принимают утилитарное решение спасти пятерых, а не одного – независимо от того, насколько ужасно действие, необходимое для достижения их цели. Для прагматичного робота, запрограммированного людьми на спасение максимального количества людей, в приоритете числа, а не чувства. При прочих равных условиях пользы от пятерых больше, чем от одного. Это точно тот же вопрос, который Филиппа Фут и Джудит Томсон иллюстрировали проблемой вагонетки: неверно считать, что мы можем решить такие проблемы с помощью утилитарного подхода. В фильмах роботы ошибаются, а если бы существовали в реальной жизни – ошибались бы тоже. Научная фантастика напоминает нам, что мы не можем создать универсальное правило, например
если 5 > 1, то
чтобы решить все проблемы. Если мы так сделаем, то совершим самые ужасные моральные преступления, которые никогда не сможем оправдать перед будущими поколениями.
Когда я был моложе, мог смотреть на отказ от действия – даже сталкивания толстяка на рельсы – как на указание логической слабости части человечества.
С моей стороны это было ошибкой, и не только потому, что я оказался слишком строг к человечеству. По сути, делать такой вывод – логическая слабость. Проблема вагонетки иллюстрирует два момента. Во-первых, она подтверждает, что на вопросы реальной жизни нет чисто математических ответов. Это то же, что Айер отвечал на риторический вопрос Пуанкаре об «универсальной» природе математики. Это причина того, что кода да Винчи не существует. Наше ощущение универсальности математики – результат ее тавтологической природы, а не более глубокой истинности. Мы не можем использовать ее как божественные заповеди. Только – как в этой книге – в качестве инструмента для организации своей работы вокруг моделей и данных.
Во-вторых, дилемма вагонетки сообщает нам, что чистый утилитаризм – идея, что мораль можно построить вокруг попытки максимизировать счастье, жизнь или любую другую переменную – одно из величайших зол среди всех (одинаково неверных) моральных кодексов, доступных нам[200]. Правило «спасти как можно больше жизней» противоречит нашей нравственной интуиции и заставляет нас делать ужасные вещи. Если мы начинаем разрабатывать оптимальные моральные кодексы, то в итоге создаем моральный лабиринт.
Я пришел к выводу, что на эти дилеммы есть очень простой ответ: мы должны научиться доверять своей нравственной интуиции и пользоваться ею. Это и сделал Алфред Айер при стычке с Майком Тайсоном. То же сделала Моа Бёрселл, когда решила изучать расизм, увидев, как нацисты преследуют ее друзей. Это то, чем руководствовался я, когда изучал дела компании Cambridge Analytica, фейковые новости и предвзятость алгоритмов или руководил написанием диссертации Бьорна по иммиграции и подъеме правых сил в Швеции. Это то, чем руководствовалась Николь Нисбетт, когда рассматривала коммуникацию в политике. И именно это делает Человек-паук: с помощью своей интуиции и умений убивает плохого парня.
Проблема вагонетки говорит нам, что нужен более мягкий способ размышлений для таких моральных и философских дилемм – дополняющий жесткую брутальную честность использования моделей и данных.
Участники «Десятки», которые вносят наибольший вклад в общество, мыслят и мягко (используя свою нравственную интуицию, чтобы определить, какие проблемы им решать), и жестко (сочетая модели и данные ради честности своих ответов). Они прислушались и поняли ценность окружающих. Они осозна
У меня нет убедительных доказательств, но я полагаю, что после того, как логический позитивизм отбрасывает идею универсального утилитаризма, у нас остается направляющая нас моральная интуиция. Именно этот мягкий способ мышления говорит нам, какие проблемы нужно решать.
Участникам «Десятки» нужно разговаривать, учиться справляться с силой, нам данной, – точно так же, как Человек-паук осознаёт свои слабости в каждом новом воплощении.
Быть мягким означает, что бездумно приумножать деньги невежественных банкиров, занимающихся инвестициями, ненормально. Это значит, что нам не следует патентовать основные уравнения, чтобы зарабатывать деньги. Мы должны продолжать открыто рассказывать об используемых алгоритмах, делиться всеми своими секретами с теми, кто готов потрудиться, изучая их.