Власть роботов. Как подготовиться к неизбежному

Многих исследователей искусственного интеллекта очень беспокоит, что технология, над развитием которой они работают, может быть использована в подобном оружии. Свыше 4500 человек, а также сотни компаний, организаций и университетов подписали открытые письма, где решительно отказываются заниматься автономными системами вооружений и призывают ко всеобщему запрету этой технологии. Эта инициатива осуществляется в рамках Конвенции ООН по обычным видам оружия и ставит целью объявить незаконными полностью автономные машины для убийства по аналогии с запретом химического и биологического оружия. Результаты, однако, неутешительные. По данным Campaign to Stop Killer Robots, правозащитной группы, добивающейся принятия этого запрета Организацией Объединенных Наций, к 2019 году 29 государств, по большей части небольших и развивающихся, официально призвали к полному запрещению технологии автономного оружия. Крупнейшие военные державы к ним не присоединились. Единственное исключение — Китай, подписавший это требование с оговоркой, что добивается запрета лишь реального использования такого оружия, с разрешением его разработки и производства[307]. Поскольку и Соединенные Штаты, и Россия выступили против запрещения, вряд ли подобное оружие окажется полностью вне закона в обозримом будущем[308].

Лично я смотрю на эту ситуацию с пессимизмом. Мне кажется, конкуренция и взаимное недоверие ведущих держав делают как минимум разработку полностью автономных систем вооружения практически неизбежной. Действительно, военно-промышленный комплекс США, а также таких стран, как Россия, Китай, Великобритания и Южная Корея, активно конструирует дроны, способные действовать роем[309]. Сухопутные силы США принимают на вооружение боевых роботов, напоминающих маленькие танки[310], а ВВС, по некоторым данным, работают над беспилотным истребителем, способным победить пилотируемый самолет в воздушном бою[311]. Китай, Россия, Израиль и другие страны также развертывают или разрабатывают аналогичные технологии[312].

Пока Соединенные Штаты и другие ведущие военные державы сходятся на том, что в любой системе обязательно должен присутствовать человек и на совершение машинами атаки, которая может привести к гибели человека, должно даваться специальное разрешение. Однако факт остается фактом: полная автономность на поле боя обеспечивает огромные тактические преимущества. Человек не способен реагировать и принимать решения так же быстро, как искусственный интеллект. Стоит одной стране нарушить текущее неофициальное соглашение в отношении полной автоматизации и начать использовать эти возможности, как все соперничающие военные державы незамедлительно последуют за ней, чтобы не оказаться в крайне невыгодном положении. Боязнь оказаться отстающим, похоже, главная причина того, что США, Китай и Россия выступили против официального запрета разработки и производства автономных систем вооружения.

Чтобы составить представление о возможном развитии событий, можно взглянуть на противостояние другого рода — постоянную битву торговых систем на основе ИИ на Уолл-стрит. Сейчас алгоритмическая торговля господствует в дневных сделках, заключаемых на крупнейших фондовых биржах. В США на их долю приходится до 80 % всего объема торгов. Еще в 2013 году группа физиков изучила финансовый рынок и опубликовала в журнале Nature статью, где утверждалось, что «формируется экосистема конкурирующих машин, реализующих „толпы“ хищнических алгоритмов» и что алгоритмическая торговля, возможно, уже вышла из-под контроля — и даже понимания — людей, создавших эти системы[313]. Сейчас алгоритмы включают новейшие достижения в области ИИ, их влияние на рынки резко выросло, а способы взаимодействия становятся все более непостижимыми. Например, многие алгоритмы способны напрямую подключаться к машиночитаемым новостным ресурсам таких компаний, как Bloomberg и Reuters, и осуществлять сделки, исходя из этой информации, за ничтожные доли секунды. Что касается краткосрочной поминутной торговли, то человек даже не успевает осмыслить детали происходящего, не говоря уже о попытках переиграть алгоритмы. Подозреваю, что со временем это будет относиться и к ситуации на поле боя.