Например, в сфере политики демократический мир вступает в эпоху, когда процессы ИИ, основанные на так называемых больших данных, будут определять многие аспекты политических процессов: разработку политических сообщений, адаптацию и пропаганду этих сообщений среди различных групп населения, создание и распространение дезинформации злоумышленниками, стремящимися посеять социальную рознь, разработку и развертывание алгоритмов для обнаружения, идентификации и обезвреживания дезинформации и других форм вредоносных данных. При этом роль ИИ в определении и формировании информационного пространства становится все сложнее определить – иногда даже его разработчики могут лишь в общих чертах описать, как он действует. Это может изменить перспективы демократии и даже самой свободы воли. Независимо от того, насколько благотворными или обратимыми окажутся эти изменения, государствам всего мира важно знать о них, чтобы владеть ситуацией и не нарушать общественные договоры.
Будущее военной сферы еще сложнее. Если армии примут на вооружение стратегию и тактику, сформированные ИИ, ход мыслей которого непонятен людям – военным и стратегам, соотношение сил изменится и его будет сложнее определить. Если такие машины получат возможность самостоятельно принимать военные решения, будут нарушены и потребуют адаптации традиционные концепции обороны и сдерживания, а также законы войны в целом.
На этих примерах особенно хорошо видно, какие барьеры появятся между социальными группами и странами, которые станут применять различные ИИ или не сделают этого. Если разные группы или государства используют разные ИИ, их способы восприятия реальности могут разойтись в непредсказуемых направлениях. По мере развития различных способов партнерства человека и машины – с разными целями, разными моделями обучения и разными практическими и этическими ограничениями в отношении ИИ – это может привести к росту конкуренции, технической несовместимости и взаимонепонимания. В результате технология, которая изначально считалась инструментом преодоления национальных различий и распространения объективной истины, со временем может стать причиной тотального отчуждения стран и народов.
Показательный пример – AlphaZero. Эта система доказала, что ИИ больше не ограничен пределами человеческих знаний – во всяком случае, в играх. Разумеется, ИИ AlphaZero, основанный на машинном обучении так называемых глубоких нейронных сетей, имеет свои ограничения. Но машины находят все больше решений, выходящих за рамки человеческого воображения. В 2016 г. компания DeepMind Applied, входящая в DeepMind, разработала ИИ (во многом родственный AlphaZero) для оптимизации охлаждения центров обработки данных Google. Над этой задачей уже работали лучшие инженеры мира, но ИИ DeepMind еще больше оптимизировал охлаждение, дополнительно сократив энергозатраты на 40 %. Это огромное улучшение по сравнению с человеческой производительностью[7]. Когда при помощи ИИ будут достигнуты сопоставимые прорывы в различных областях деятельности, мир неизбежно изменится. Результатом будет не просто более эффективное решение человеческих проблем – на многих открытиях ИИ будет лежать печать нечеловеческого обучения и мышления.
Как только производительность ИИ при выполнении той или иной задачи превзойдет человеческую, отказ от применения ИИ хотя бы в качестве дополнения к человеку будет восприниматься как признак недальновидности, халатности и даже саботажа. Но одно дело шахматист, которому ИИ посоветовал пожертвовать ценной фигурой (в этом нет ничего смертельно опасного), и совсем другое – главнокомандующий, которому ИИ порекомендует пожертвовать значительным числом сограждан, чтобы спасти (по расчетам ИИ) еще больше людей. На каком основании эту жертву можно было бы отменить и была бы эта отмена оправдана? Всегда ли люди будут знать, какие расчеты произвел ИИ? Смогут ли люди обнаружить ошибочное решение ИИ и вовремя отменить его? Если мы не в состоянии понять логику отдельных решений ИИ, должны ли мы верить каждой его рекомендации? Если мы заблокируем решения ИИ, не рискуем ли мы, вмешиваясь в слишком сложные для нас процессы? И даже если мы понимаем логику, цену и значение отдельных решений – что, если наш противник получил аналогичную рекомендацию от своего ИИ? Если он пойдет на жертву, а мы нет, потерпим ли мы поражение?
В случаях с AlphaZero и халицином ИИ решал задачи, поставленные перед ним людьми. Целью AlphaZero была победа в шахматах. Цель ИИ, открывшего халицин, состояла в том, чтобы убить как можно больше патогенов – и чем больше патогенов уничтожено без вреда для человека, тем больше успех. Еще одной целью была сфера, недоступная человеку: ИИ было поручено искать неизвестные способы доставки лекарств. ИИ добился успеха, потому что обнаруженный им антибиотик убивал патогенные микроорганизмы, но главное его достижение заключалось в том, что он расширил возможности лечения, открыв новый надежный антибиотик наряду с новым способом доставки.