Еще одной проблемой – и не только для Microsoft – были огромные затраты на привлечение и удержание лучших исследователей. Поскольку таланты в этой области были чрезвычайно редки – а планка расценок на их услуги была установлена, когда Google купила DNNresearch и DeepMind, – гиганты отрасли платили исследователям миллионы, а то и десятки миллионов долларов на протяжении четырех или пяти лет, включая зарплату, бонусы и акции компаний. Согласно финансовой отчетности DeepMind в Великобритании, расходы на персонал составили за год 260 миллионов долларов184 – и это на семьсот сотрудников! Это 371 000 долларов в расчете на одного работника. Даже молодые доктора, только что окончившие аспирантуру, могли зарабатывать полмиллиона долларов в год, а настоящие звезды могли требовать себе еще больше – отчасти из-за их уникальных знаний и навыков, но также и потому, что они своим авторитетом могли привлечь других ученых с такими же знаниями и навыками. Как сказал в интервью
Глава 8
Ажиотаж. «Успех гарантирован»
В один из дней 2012 года Алан Юстас летел на самолете через всю страну и, читая один из тех бесплатных журналов, которые можно найти в заднем кармане сиденья самолета, наткнулся на историю австрийского смельчака Феликса Баумгартнера. Баумгартнер и его команда планировали организовать прыжок из стратосферы, создав стратостат нового типа, который вознесет австрийца в небеса, словно астронавта. Но Юстас считал это сравнение ошибкой. Было бы лучше, полагал он, если бы они думали о Баумгартнере не как об астронавте, но как об аквалангисте: он считал, что снаряжение аквалангиста, в конечном счете, является более эффективным способом обеспечить человека всем необходимым, чтобы он оставался живым и здоровым в разреженном воздухе. Вскоре Феликс Баумгартнер установил мировой рекорд в прыжках с парашютом187, выпрыгнув из капсулы стратостата на высоте двадцати четыре мили над Землей. Но Юстас уже в тот момент решил побить этот рекорд. В течение следующих двух лет большую часть своего свободного времени он в сотрудничестве с частной инженерной фирмой занимался созданием стратосферного акваланга и остального снаряжения, которое было необходимо, чтобы превзойти рекорд Баумгартнера. Он планировал совершить прыжок осенью 2014 года над заброшенным военным аэродромом в окрестностях Розуэлла, штат Нью-Мексико. Но прежде чем прыгнуть с парашютом, он совершил свой последний прыжок с Google.
Купив фирму Крижевского, Суцкевера и Хинтона за 44 миллиона долларов, а затем компанию DeepMind за 650 миллионов, Юстас собрал под свое крыло почти всех наиболее опытных разработчиков глубокого обучения. Чего компании по-прежнему не хватало, как это вскоре обнаружил Крижевский, так это оборудования, необходимого этим выдающимся исследователям для ускорения их работы в соответствии с их талантом и амбициями. Крижевский выиграл конкурс ImageNet с кодом, написанным для использования на графических процессорах, но когда он прибыл в Маунтин-Вью, то обнаружил, что Google’овская версия его системы, созданная Войцехом Зарембой, работала на стандартных процессорах. Весь аппаратно-программный комплекс Google под названием DistBelief, созданный специально для обучения нейронных сетей, работал на стандартных процессорах. Лаборатория Google Brain потратила месяцы на создание этой системы, но у Крижевского не было никакого интереса пользоваться ею.
Приступив к работе в компании, он купил в ближайшем магазине электроники компьютер с графическим процессором, поставил его в шкаф рядом со своим столом и начал обучать нейронные сети на этом единственном аппарате. Другие исследователи также обзавелись компьютерами с графическими процессорами и держали их у себя под столами. Это не сильно отличалось от того, как Крижевский работал у себя в спальне, еще будучи в Торонто, только теперь компания Google оплачивала счета за электричество. В то время как большинство остальных сотрудников компании создавали и запускали свои программы через мощную сеть корпоративных дата-центров – представляющую собой, наверное, самую большую частную коллекцию компьютеров в мире, – Крижевскому приходилось довольствоваться скромным собственным компьютером. Те руководители, в чьем ведении находились центры обработки данных компании, не видели причин оснащать свои компьютеры графическими процессорами.