Он был частью растущего сообщества исследователей, руководителей и инвесторов, которые предупреждали об опасности сверхразума, в то время как сами пытались его создавать. В это же число входили основатели DeepMind и те, кто их с самого начала поддерживал, а также многие мыслители, вовлеченные в их орбиту. Сторонние эксперты считали все это чепухой. Не было никаких свидетельств тому, что идея сверхразума хоть сколько-нибудь близка к реализации. Современные технологии все еще боролись за то, чтобы так называемый искусственный разум был способен надежно управлять автомобилем, поддерживать беседу или сдать школьный экзамен по естествознанию. И даже если бы осуществление мечты об AGI было действительно близким, позиция таких людей, как Маск, выглядела противоречивой. «Если эта штука уничтожит нас всех, – спрашивали скептики, – тогда зачем ее создавать?» Но для тех, кто принадлежал к этому крошечному сообществу, казалось вполне естественным развивать эти исключительно важные технологии, но при этом учитывать связанные с ними риски. Если уж создавать сверхразум, то для всех будет лучше создавать его, одновременно остерегаясь любых непредвиденных последствий.
Еще в 2008 году Шейн Легг описал эту двойственную позицию в своей диссертации253, где утверждает, что хоть риск и велик, потенциальные выгоды его перекрывают254. «Если и может существовать что-то приближающееся к абсолютной власти255, то это будет машина, наделенная сверхразумом. По определению она способна к достижению самого широкого спектра целей в самых разных условиях, – писал он. – Если мы тщательно и заблаговременно подготовимся к такой возможности, то не только сумеем предотвратить катастрофу, но и приблизим эпоху процветания, не похожую ни на что виденное ранее». Он признавал, что такая позиция может казаться крайностью256, но при этом ссылался на авторитетных деятелей, которые придерживались такой же точки зрения. Создавая DeepMind, они с Хассабисом влились в это сообщество. Они добрались до Питера Тиля благодаря участию в конференции Singularity Summit. Потом они заручились поддержкой еще одного инвестора, Яана Таллинна – одного из основателей телефонного интернет-сервиса Skype, – который вскоре присоединился к группе ученых, создавших организацию под названием Институт будущего жизни (Future of Life Institute), призванную исследовать экзистенциальные риски искусственного интеллекта и других технологий. Затем Хассабис и Легг понесли эти идеи дальше: познакомили с ними Маска и пытались внушить их руководству Facebook и Google, когда два этих технологических гиганта боролись за право приобрести их молодую компанию. Пока они обхаживали инвесторов и покупателей, Легг не стеснялся излагать свои взгляды на будущее. Сверхразум появится в следующем десятилетии, говорил он, и связанные с этим риски тоже. Марк Цукерберг воспротивился этим идеям – его интересовали исключительно талантливые кадры, работавшие в DeepMind, – а вот Ларри Пейдж и Google их восприняли. Оказавшись внутри Google, Сулейман и Легг создали из числа сотрудников DeepMind специальную группу, занятую вопросами «безопасности ИИ», как они это называли, чтобы гарантировать, что технологии, разрабатываемые лабораторией, не причинят человечеству вреда. «Если этим технологиям суждено успешно служить человечеству в будущем, моральная ответственность должна быть заложена в них по умолчанию, – говорит Сулейман. – Этические соображения должны учитываться каждым, кто приступает к разработке подобной системы». Став инвестором DeepMind, Илон Маск присоединился к этому движению обеспокоенных и начал со своей стороны предпринимать усилия в этом направлении, пока не дошел до крайности.