Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Через три недели после визита Мэттиса в штаб-квартиру Google Институт будущего жизни опубликовал открытое письмо, призывающее Организацию Объединенных Наций⁵⁰⁶ запретить, как они выразились, «роботов-убийц». Так они называли автономное оружие. «Поскольку компании разрабатывают технологии искусственного интеллекта и робототехники⁵⁰⁷, которые могут быть перепрофилированы для разработки автономного оружия, мы считаем себя обязанными поднять тревогу, – говорится в письме. – Летальное автономное оружие угрожает стать третьей революцией в сфере вооружений. После того как оно будет разработано, оно позволит вести вооруженные конфликты в гораздо больших масштабах и гораздо стремительнее, чем люди могут себе представить». Это письмо подписали более ста человек⁵⁰⁸, имеющих отношение к индустрии ИИ. Среди них были Илон Маск⁵⁰⁹, который и без того очень часто предупреждал об экзистенциальной угрозе со стороны сверхразума, а также Джефф Хинтон, Демис Хассабис и Мустафа Сулейман⁵¹⁰. Сулейман считал, что за этими технологиями нужен надзор нового типа. «Кто принимает решения, которые однажды отразятся на судьбах миллиардов людей на нашей планете? И кто участвует в обсуждении? – спрашивает он. – Нам необходимо значительно диверсифицировать круг участников процесса принятия решений, а это означает, что регуляторы – политики, активисты гражданского общества и те люди, которым мы стремимся служить с помощью наших технологий, – должны быть вовлечены на самых ранних этапах, чтобы они хорошо понимали сам процесс создания наших продуктов и те алгоритмы, которые за ними кроются».

В том же сентябре, когда Google готовилась подписать контракт на проект Maven, среди сотрудников отдела продаж, отвечавших за подготовку соглашения, возникла бурная переписка о том, должна ли компания предать это соглашение гласности. «Мы объявляем об этом? И можем сумму называть? И какие инструкции мы даем правительству? – написал один из «гуглеров». – Если мы будем играть в молчанку, то не сможем повлиять на реакцию общественности. Это не пойдет на пользу нашей репутации». Этот сотрудник полагал, что компания должна обнародовать эту новость, и другие соглашались с ним. «Рано или поздно это выйдет наружу, – полагал его коллега. – Не будет ли лучше, если об этом узнают от нас и в нашей интерпретации?» Дискуссия продолжалась несколько дней, и кто-то втянул в нее Фэй-Фэй Ли.

Ли приветствовала контракт. «Я так взволнована, что мы близки к тому, чтобы заполучить проект Maven! Это была бы большая победа, – написала она. – Спасибо вам за все те замечательные усилия, которые вы прилагаете для этого!» Но она также призвала к крайней осторожности в плане огласки. «Я думаю, что мы должны сделать хороший пиар истории сотрудничества министерства обороны с GCP именно с позиции обычных облачных технологий», – написала она, имея в виду Google Cloud Platform (облачную платформу Google). Она знала, что пресса поставит под сомнение этичность проекта – хотя бы потому, что Илон Маск уже начал нагнетать страсти:

Использование искусственного интеллекта в сфере вооружений – это, пожалуй, одна из самых чувствительных тем в сфере ИИ – если не самая. Это как красная тряпка для СМИ, которые рады любому поводу, чтобы укусить Google. Вы, наверное, слышали комментарий Илона Маска о том, что ИИ спровоцирует Третью мировую войну. Много внимания СМИ уделяют также кибероружию, международной конкуренции и потенциальной геополитической напряженности из-за ИИ. Google уже сталкивается с обвинениями во вторжении в частную жизнь, как только речь заходит об ИИ и использовании исходных данных. Я не знаю, что произойдет, если СМИ подхватят тему о том, что Google создает оружие или технологии ИИ для оборонной промышленности. Мы в Google Cloud в 2017 году уже подняли тему демократизации ИИ. Мы с Дианой говорили о внедрении философии «гуманистического ИИ» на нашем предприятии. И чтобы сохранить этот позитивный имидж, нам нужно быть очень осторожными.

В итоге компания Google решила не анонсировать свое участие в проекте Maven и попросила министерство обороны воздержаться от комментариев. Даже сотрудникам компании пришлось узнавать об этом самостоятельно.

* * *