Власть роботов. Как подготовиться к неизбежному

Из вышесказанного следует, что более широкая доступность и использование искусственного интеллекта будут сопряжены с системными рисками, в том числе угрозами важнейшим инфраструктурным объектам и системам, а также общественному порядку, нашей экономике и демократическим институтам. Я бы сказал, риски для безопасности — это в краткосрочной перспективе важнейшая угроза, связанная с развитием искусственного интеллекта. Поэтому абсолютно необходимо вкладывать средства в исследования, направленные на создание надежных ИИ-систем, и формировать действенную коалицию центральных властей и коммерческого сектора с целью выработки мер регулирования и защиты еще до появления критических уязвимостей.

Автономные системы летального вооружения

Сотни миниатюрных дронов роем несутся по Капитолию. Это скоординированная атака. С помощью технологии распознавания лиц дроны идентифицируют определенных людей и летят прямо к ним словно убийцы-камикадзе с миниатюрными зарядами, которые убивают так же эффективно, как пуля. В здании конгресса царит хаос. Впоследствии выясняется, что все члены конгресса, ставшие мишенями для атаки, состояли в одной политической партии.

Это лишь один из ужасающих сценариев, показанных в короткометражном фильме 2017 года «Роботы-убийцы»[304]. По замыслу авторов, этот фильм должен служить предостережением о реальной угрозе автономных систем летального вооружения. Съемочная группа сотрудничала со Стюартом Расселом, профессором компьютерных наук из Калифорнийского университета в Беркли, который в последние годы занимается проблемой неотъемлемых рисков искусственного интеллекта. Рассел убежден, что автономные системы летального вооружения — то есть системы, которые, по определению ООН, способны «обнаруживать, выбирать и уничтожать живые цели без участия человека»[305], — необходимо признать новым типом оружия массового уничтожения. Иными словами, подобные системы вооружений на основе ИИ могут стать такими же разрушительными и вызывать такой же хаос, как химическое, биологическое и даже ядерное оружие.

Это утверждение опирается прежде всего на следующий факт: с устранением прямого контроля человека и необходимости получать разрешение на убийство масштабы разрушений, вызываемых этим оружием, можно наращивать бесконечно. Теоретически любой дрон можно использовать как оружие, и таких дронов могут быть сотни, но, если они управляются дистанционно, вам потребуются еще и сотни операторов. Если же дроны полностью автоматизированы, достаточно горстки людей, чтобы совершить массированный налет и устроить бойню немыслимых масштабов. Как сказал Рассел в нашем разговоре, «появляется возможность организовать атаку, в ходе которой пятеро парней, сидящих в центре управления, запускают 10 000 000 боевых дронов и истребляют всех мужчин от 12 до 60 лет в какой-нибудь стране. Это уже оружие массового уничтожения — оно обладает таким свойством, как масштабируемость»[306]. Поскольку алгоритмы распознавания лиц способны различать людей по этнической принадлежности, полу или одежде, легко представить ужасающие сценарии автоматизированных этнических чисток или массовых убийств политических противников, осуществляемых с немыслимыми прежде беспощадностью и скоростью.

Даже если отмахнуться от поистине антиутопических вариантов и считать, что применение этой технологии будет строго ограничено рамками законных боевых действий, автономные системы вооружений ставят принципиально важные этические вопросы. Нравственно ли давать машине возможность самостоятельно отнимать человеческую жизнь, даже если при этом повышается эффективность наведения на цель и, возможно, снижается риск сопутствующего ущерба случайным людям, оказавшимся рядом? Если отсутствует контроль со стороны человека, кто должен нести ответственность за ошибку, приведшую к ранению или гибели невиновного?