Этот период адаптации начался почти мгновенно – когда некто, называющий себя Deepfakes441, начал вставлять лица знаменитостей в порнофильмы и выкладывать их в интернет. После того как этот анонимный шутник распространил программное приложение, которое позволяло делать такие фокусы, подобные видео начали массово появляться на онлайновых форумах, в социальных сетях и на видеосайтах, таких как YouTube. Кто-то использовал лицо Мишель Обамы, кто-то проделывал эти фокусы с Николасом Кейджем. Такие сервисы, как PornHub, Reddit и Twitter, вскоре запретили подобную практику442, но не раньше, чем идея просочилась в мейнстримные СМИ. Термин
Сам будучи активным разработчиком искусственного интеллекта, Ян Гудфеллоу начал разделять растущее в обществе беспокойство по поводу слишком быстрого развития этой технологии, и речь шла о более приземленных, непосредственных опасностях, нежели потенциальная глобальная угроза со стороны сверхразума, о которой предостерегает Илон Маск. Генеративно-состязательные сети были только частью проблемы. Когда Гудфеллоу только перешел в Google, он начал изучать особый метод работы с нейронными сетями443, называемый «состязательными атаками», и показал, что нейронную сеть можно обмануть, заставив ее видеть или слышать то, чего на самом деле нет. Просто меняя несколько пикселей на фотографии слона444 – поправка, совершенно незаметная для человеческого глаза, – он мог обмануть нейронную сеть, заставляя ее думать, что этот слон на самом деле является автомобилем. Когда нейронная сеть обучается на достаточно большом множестве образцов, такие мелкие, совершенно незаметные искажения могут вкрадываться в процесс обучения445 – и об этом никто не догадывается. Этот феномен особенно тревожил в той связи, что эти алгоритмы используются при разработке беспилотных автомобилей, помогая им распознавать пешеходов, транспортные средства, уличные знаки и другие объекты на дороге. Вскоре группа исследователей показала446, что, прикрепив несколько бумажных наклеек на знак «Стоп», они могут обмануть беспилотный автомобиль, заставив его думать, что никакого знака там нет. Гудфеллоу предупредил, что то же самое явление447 может подорвать доверие также и к другим практическим приложениям этой идеи. Финансовые фирмы, сказал он448, могли бы применять этот метод к автоматическим торговым системам, совершая несколько сделок, предназначенных для того, чтобы обманом побудить своих конкурентов сбросить акции по сниженной цене, а затем начать снова скупать акции, наращивая их цену, прежде чем они рухнут до своей истинной стоимости.
Весной 2016 года Гудфеллоу покинул компанию Google, не проработав там и двух лет, чтобы продолжить свои исследования в новой лаборатории OpenAI, куда его привлекла заявленная ими миссия: создавать искусственный интеллект на этических принципах и открыто делиться своими открытиями и разработками с внешним миром. Его работа, включающая как генеративно-состязательные сети, так и состязательные атаки, идеально соответствовала этой миссии. Он хотел показать, какими могут быть последствия этих явлений и как мир мог бы с этим справиться. Кроме того, как позже стало известно из налоговой документации лаборатории, он получил 800 000 долларов449 только за последние девять месяцев года (включая бонус за подписание контракта в размере 600 000 долларов). Но проработал он в OpenAI немногим больше девяти месяцев. В следующем году он вернулся обратно в Google, когда Джефф Дин создал новую группу внутри Google Brain, посвященную вопросам безопасности ИИ. Учитывая высокий авторитет Гудфеллоу в научном сообществе и в технологической индустрии в целом, этот шаг стал болезненным ударом для OpenAI. Эта история также показала, что бесконтрольное развитие искусственного интеллекта волновало уже не только одну лабораторию.
Глава 14
Высокомерие. «Когда я произносил свою речь, я знал, что китайцы наступают нам на пятки»