Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

ИИ усугубит эти тенденции. Системы ИИ уже принимают решения, которые влияют на нашу жизнь, от самых обыденных до определяющих. Они дают нам пошаговые инструкции в процессе вождения. Они решают, останетесь ли вы в тюрьме и получите ли кредит в банке. Они проверяют кандидатов на должности, абитуриентов, поступающих в колледж, и людей, обращающихся за государственными услугами. Они принимают инвестиционные решения и помогают формировать решения по уголовным делам. Они определяют, какие новости нам показывать в ленте, какие объявления мы увидим, какие люди и темы привлекают наше внимание. Они принимают военные решения о нацеливании. В будущем ИИ, вероятно, будет рекомендовать политиков для поддержки богатым политическим донорам. Он будет решать, кто имеет право голосовать, а кто – нет. Он сможет преобразовывать желаемые социальные результаты в конкретную налоговую политику или корректировать детали программ социального обеспечения.

Хаки этих важнейших систем будут становиться все более разрушительными. (Мы уже видели это на примере «внезапных» крахов фондового рынка{242}.) И по большей части мы не имеем достаточного представления о том, как эти системы спроектированы, воплощены или используются.

Наконец, совершенство ИИ означает, что он все чаще будет заменять человека, поскольку компьютеры смогут реализовывать более сложные и непредвиденные стратегии, чем человек. Эти возможности только увеличатся по мере того, как компьютеры будут становиться быстрее и мощнее, а сети – сложнее.

Многие алгоритмы уже находятся за пределами человеческого понимания, будь то рекомендации фильмов к просмотру, объектов для инвестирования или очередного хода в игре го. Эта тенденция тоже будет нарастать, причем рост примет экспоненциальный характер, как только алгоритмы начнут создаваться алгоритмами.

С развитием ИИ компьютерный хакинг становится наиболее мощным способом хакнуть наши социальные системы. Когда все, по сути, является компьютером, управление этим «всем» переходит к программному обеспечению. Представьте себе хакера внутри финансовой сети, который меняет направление денежных потоков. Или хакера внутри юридических баз данных, который вносит небольшие, но существенные изменения в законы и судебные решения. (Смогут ли люди заметить это? Будут ли они знать достаточно, чтобы свериться с первоначальной формулировкой?) Представьте себе хакера, переписывающего алгоритмы Facebook изнутри, меняющего правила, чей пост поднимается в ленте, чей голос усиливается и кто его будет слышать. Когда компьютерные программы управляют системами, которые мы используем повседневно – для работы, трат, общения, организации времени и личной жизни, – технология сама становится политическим деятелем. И при всей свободе, которую нам дают технологии, в руках хакера они могут превратиться в орудие беспрецедентного социального контроля.

Все системы уязвимы для хакинга. Более того, современные исследования показывают, что все системы МО могут быть хакнуты незаметно. И эти хаки будут иметь все более серьезные социальные последствия.

56 Когда искусственный интеллект становится хакером

Старое хакерское состязание «Захват флага» – это, по сути, подвижная игра на открытом воздухе, перенесенная в компьютер. Команды защищают свои сети, атакуя сети других команд. Игра отражает в контролируемой обстановке то, чем занимаются компьютерные хакеры в реальной жизни: поиском и исправлением уязвимостей в своих системах и их использованием в чужих.

Эта игра стала основным развлечением на хакерских конференциях с середины 1990-х гг. В наши дни десятки команд со всего мира принимают участие в состязательных марафонах, которые проводятся в течение выходных. Люди тратят месяцы на подготовку, а победа становится большим событием. Если вы увлекаетесь подобными вещами, то это самое лучшее развлечение для хакера, которое не сделает вас преступником.

DARPA Cyber Grand Challenge – аналогичное мероприятие для ИИ{243}, проводившееся в 2016 г. В нем приняли участие 100 команд. После прохождения отборочных туров семь финалистов встретились на хакерской конференции DEF CON в Лас-Вегасе. Соревнование проходило в специально разработанной тестовой среде, наполненной пользовательским программным обеспечением, которое никогда не анализировалось и не тестировалось. ИИ было дано 10 часов на поиск уязвимостей, чтобы использовать их против других ИИ, участвующих в соревновании, и на исправление собственных уязвимостей. Победила система под названием Mayhem, созданная группой исследователей компьютерной безопасности из Питтсбурга. С тех пор они коммерциализировали эту технологию, и сейчас она активно защищает сети таких клиентов, как министерство обороны США.