Власть роботов. Как подготовиться к неизбежному

Даже если технологии автономного ведения боевых действий будут использоваться исключительно сильнейшими державами, опасность очень велика. Роботизированное боестолкновение происходит быстрее, чем военные или политические лидеры способны полностью понять и разрядить ситуацию. Иначе говоря, риск втягивания в масштабную войну в результате относительно мелкого инцидента может существенно вырасти. Еще одной проблемой является то, что в мире, где роботы сражаются с роботами и непосредственная опасность угрожает очень немногим людям, воспринимаемая цена участия в войне может стать опасно низкой. Пожалуй, это уже произошло в Соединенных Штатах, где вследствие отказа от всеобщего воинского призыва и перехода к полностью контрактной армии очень немногие представители элиты отправляют своих детей служить в вооруженные силы. Вследствие этого для людей, обладающих наибольшей властью, ставки в игре очень низки — они защищены от прямых, персональных издержек военных действий. Этот разрыв кажется мне важной причиной военных вмешательств США на Ближнем Востоке на протяжении многих десятилетий. Разумеется, если бы машина могла пойти навстречу опасности и тем спасти жизнь солдата, это было бы безусловным благом. Однако нельзя допустить, чтобы кажущаяся незначительность риска стала определяющей в нашем коллективном восприятии, когда принимается решение начать войну.

Величайшей опасностью является утрата законными властями и военными контроля над уже произведенным оружием, созданным по технологии автономного летального вооружения. Если это произойдет, его начнут продавать незаконные торговцы оружием, снабжающие террористов, наемников и государства-изгои. Если автономное оружие станет общедоступным, кошмарные сценарии, представленные в фильме «Роботы-убийцы», легко могут превратиться в реальность. Даже если такие системы нельзя будет купить, барьеры для их создания намного ниже, чем в случае других видов оружия массового уничтожения. Особенно это касается дронов. Легкодоступные технологии и компоненты, предназначенные для коммерческого или развлекательного использования, могут быть применены для производства оружия. Если создание атомной бомбы является сложнейшей задачей даже для государства с его ресурсами, то сконструировать и изготовить автономные дроны для небольшого роя под силу даже кучке людей, работающих в подвале. Технология автономных систем вооружения сродни вирусу: стоит ей просочиться в мир — и будет чрезвычайно трудно защититься от нее или ограничить расползание.

Большое заблуждение — распространению которого порой способствуют СМИ — привязывать автономные системы летальных вооружений к научно-фантастическим сценариям, знакомым нам по таким фильмам, как «Терминатор». Это категориальная ошибка, опасная тем, что отвлекает наше внимание от непосредственных опасностей подобного оружия. Риск заключается не в том, что машины когда-нибудь вырвутся из-под нашего контроля и решат напасть на нас по своей собственной воле. Для этого потребовался бы универсальный искусственный интеллект, до которого, как мы убедились, еще много десятилетий. Нам следует опасаться того, что люди могут воспользоваться оружием, не более «интеллектуальным», чем iPhone, но безжалостно компетентным в идентификации, выслеживании и уничтожении живых целей. Такая опасность вовсе не умозрительная и не футуристическая. Как отмечает Стюарт Рассел в заключении к «Роботам-убийцам», в этом фильме показаны «результаты интеграции и миниатюризации технологий, которыми мы уже обладаем». Иными словами, такое оружие может появиться в ближайшие несколько лет, и, если мы хотим это предотвратить, следует помнить, что «окно возможностей закрывается быстро»[314]. С учетом того, что прямой запрет этого оружия с санкции ООН появится, вероятно, не скоро, мировое сообщество должно хотя бы не допустить попадания автономных систем вооружения в руки террористов, которые могут применить их против гражданских лиц.

Предвзятость, справедливость и прозрачность применительно к алгоритмам машинного обучения

Искусственный интеллект и машинное обучение применяются все более широко, и принципиально важно, чтобы результаты и рекомендации, выдаваемые алгоритмами, воспринимались как справедливые, а стоящая за ними логика имела адекватное объяснение. Если вы используете систему глубокого обучения для максимизации энергоэффективности промышленного оборудования, вас едва ли интересует, чем она руководствуется: вам просто нужен оптимальный результат. Если же машинное обучение применяется в таких областях, как уголовное судопроизводство, наем или обработка ипотечных заявок, — в общем, там, где решения имеют серьезные последствия и непосредственно влияют на права и благополучие людей, — то необходимо продемонстрировать, что полученные результаты беспристрастны в отношении всех демографических групп, а проведенный анализ прозрачен и объективен.