Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте

Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего-то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом. К примеру, дети, несомненно, запрограммированы своими родителями, и все же — посредством обучения — они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины — мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтенные теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чем их создатели и не догадывались.

Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого-то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.

Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами-людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.

От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из-за решений, принятых машинами, то военные просчеты не повлияют на результаты чьей-то предвыборной кампании. Кроме того, если такие машины могут быть подвергнуты переборке или списанию — аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.

Мыслящие машины — вещь сложная, а человеческая потребность кого-то обвинять — вполне простая. Смерть и разрушение заставляют нас отыскивать один-единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих. Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всем.

Когда мыслящие машины нарушают закон

Брюс Шнайер

Специалист по информационной безопасности; научный сотрудник Центра Бергмана по изучению проблем Интернета и общества, Гарвардская школа права; технический директор Co3 Systems, Inc.; автор книги «Данные и Голиаф: Тайные сражения за то, чтобы собрать ваши данные и управлять вашим миром» (Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World)

В прошлом году два швейцарских художника создали бота Random Botnot Shopper, который еженедельно тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых интернет-площадках в рамках арт-проекта для выставки в Швейцарии. Интересный концепт, вот только одна проблема. По большей части бот покупал безобидные вещи: поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, тайник, выполненный в виде банки колы, пару кроссовок Nike, но еще он приобрел десять таблеток экстази и поддельный венгерский паспорт.

Что делать, если машина нарушила закон? Обычно мы в таком случае обвиняем того, кто ею управляет. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того как машины делаются все более автономными, связь между инструментом и его создателем становится тоньше.

Кто будет отвечать, если автономный военный дрон случайно убьет толпу мирных жителей? Офицер, который ввел данные по миссии, программисты, написавшие ПО для распознавания врага, которое неверно идентифицировало людей, или программисты, написавшие ПО, которое приняло решение убить этих людей? А если разработчики понятия не имели, что их программа используется в военных целях? Что, если дрон может самостоятельно улучшать свои алгоритмы на основе данных, собранных всем флотом в предыдущих операциях?

Может, наши суды и сумеют решить, на ком лежит вина, но только потому, что современные дроны хоть и автономны, но не слишком умны. Они умнеют и постепенно теряют связь с теми, кто их создал.

Что, если программистов уже нет, а дроны сами себя совершенствуют? Что, если они станут и умными, и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что, если один из дронов на основе имеющихся данных решит предать страну, построившую его, и начнет ей вредить?