Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Система BERT была «универсальной языковой моделью», как это называют ученые. Несколько других лабораторий, включая Алленовский институт и OpenAI, работали над аналогичными системами. Универсальные языковые модели – это гигантские нейронные сети, которые осваивают все тонкости и капризы языка, анализируя миллионы предложений, написанных людьми. Система, созданная OpenAI, проанализировала тысячи самоизданных книг, включая любовные романы, научную фантастику и детективы. Система BERT проанализировала столь же обширную библиотеку книг, а также все статьи из Википедии, целыми днями проглатывая текст за текстом с помощью сотен графических процессоров.

Анализируя все эти тексты, каждая из систем осваивала вполне определенный навык. Система OpenAI, например, училась угадывать следующее слово в предложении. Система BERT училась угадывать пропущенные слова в любом месте предложения (например, «Мужчина ____ машину, потому что она была дешевая»). Но, учась решать эти вполне конкретные задачи, каждая система также знакомилась с общими правилами сборки речи из кусочков, узнавала о фундаментальных взаимоотношениях между тысячами английских слов. И эти знания исследователи могли бы применять для решения широкого круга других задач. Если они загрузят в BERT тысячи вопросов и ответы на них, то машина научится самостоятельно отвечать на другие вопросы. Если они загрузят в систему OpenAI достаточное количество готовых диалогов, она сможет научиться поддерживать диалог. Если же они введут в нее тысячи негативных заголовков, он может научиться распознавать негативные заголовки.

Система BERT показала, что эта большая идея работоспособна. Машина смогла пройти проверку на «здравый смысл» от Алленовского института. Она также прошла тест на понимание прочитанного, отвечая на вопросы, относящиеся к энциклопедическим статьям. Что такое углерод? Кто такой Джимми Хоффа? В еще одном тесте она смогла оценить общее отношение рецензента, пишущего о фильме, – он одобряет увиденное или нет. В подобных ситуациях машина не каждый раз показывала идеальный результат, но этот успех мгновенно изменил подходы исследователей, занимающихся проблематикой понимания естественного языка, и значительно ускорил прогресс в данной области. Джефф Дин и Google опубликовали исходный код BERT и вскоре обучили сисчтему более чем сотне языков. Другие разработчики создавали еще более масштабные крупные модели, обучая их на еще больших объемах данных. То, что эти системы обычно называли в честь персонажей «Улицы Сезам» – ELMO, ERNIE, BERT (сокращение от Bidirectional Encoder Representations from Transformers, «Двунаправленные кодирующие представления трансформаторов»), – было своего рода шутливой договоренностью разработчиков, но не умаляло их важности. Несколько месяцев спустя, используя систему BERT, Орен Эциони и Алленовский институт создали-таки систему искусственного интеллекта, которая смогла сдать школьный экзамен по естествознанию⁵⁹⁷ – и выпускной тоже.

После успеха BERT New York Times опубликовала статью, посвященную росту универсальных языковых моделей и объясняющую, как эти системы позволят улучшить широкий спектр продуктов и услуг, начиная от виртуальных помощников, таких как Alexa и Google Assistant, и заканчивая программным обеспечением, автоматически анализирующим документы в юридических фирмах, больницах, банках и других организациях. И этим объясняется рост опасений, что такие языковые модели могут привести к созданию более мощных версий Google Duplex, то есть ботов, способных убедить мир в том, что они люди. В статье также цитируется Гэри Маркус, который заявил, что общественность должна скептически относиться к утверждениям, что эти технологии будут и дальше стремительно совершенствоваться, потому что исследователи, как правило, сосредоточиваются на задачах, в которых прогресса добиться легче, и избегают тех задач, где прогресса нет. «Эти системы еще очень далеки от истинного понимания беглой речи»⁵⁹⁸, – заявил он. Джефф Хинтон, прочитав это, очень развеселился. Эта цитата Гэри Маркуса, сказал он, хороша тем, что ее можно будет использовать в любой статье, посвященной ИИ и пониманию естественной речи, еще долгие годы. «В ней нет технического содержания, поэтому она никогда не устареет, – сказал Хинтон. – И как бы долго ни продолжался стремительный прогресс, Гэри все равно будет утверждать, что все это вот-вот закончится».

Глава 19 Автоматизация. «Если комната выглядит так, словно ее разгромили безумцы, значит, мы на правильном пути»