Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

«Нам нужен еще один Google», – сказал Джефф Дин Урсу Хёльцле, ученому-компьютерщику родом из Швейцарии, который курировал центры обработки данных компании. Он не шутил. Через несколько месяцев после того, как Google выпустила свой новый сервис распознавания речи, устанавливаемый на некоторых телефонах на базе Android, Дин осознал масштаб проблемы: если Google продолжит расширять этот сервис и в конечном итоге охватит более миллиарда Android-телефонов по всему миру и если каждый из этого миллиарда будет использовать их услугу хотя бы три минуты в день, компании потребуется вдвое больше дата-центров, чтобы обрабатывать весь этот дополнительный трафик. Это была проблема грандиозных масштабов. Компании Google уже принадлежало более пятнадцати центров обработки данных²¹⁴ – от Калифорнии до Финляндии и Сингапура, – и создание каждого из них обошлось ей в сотни миллионов долларов. Однако во время очередного совещания с участием Хёльцле и еще нескольких сотрудников Google, специалистов по инфраструктуре центров обработки данных, Дин предложил альтернативу: разработать новый компьютерный чип, предназначенный специально для работы с нейронными сетями.

Компания Google имела уже немалый опыт создания²¹⁵ собственного аппаратного обеспечения для своих центров обработки данных. Эти центры настолько большие и потребляют так много электроэнергии, что Хёльцле и его команда потратили годы на разработку компьютерных серверов, сетевого и иного оборудования, позволявших снизить затратность и повысить эффективность оказываемых компанией услуг. Это собственное производство, о котором мало кто знает, подрывало интересы крупных поставщиков компьютерного оборудования, таких как HP, Dell и Cisco, которые теряли значительные куски традиционных рынков сбыта. Поскольку компания Google создавала собственное оборудование, ей не нужно было покупать его на открытом рынке, а когда ее примеру последовали Facebook, Amazon и другие²¹⁶ интернет-гиганты, это привело к возникновению целой теневой индустрии компьютерного оборудования. Но ни Google, ни ее конкуренты никогда еще не заходили так далеко, чтобы разрабатывать собственные компьютерные чипы. Для этого требовались немалые знания, навыки, опыт и инвестиции, и это просто не имело экономического смысла. Такие компании, как Intel и Nvidia, производили чипы в таких огромных количествах и так дешево, что Google не могла и надеяться тягаться с ними, тем более что их чипы успешно делали свое дело. Именно графические процессоры производства Nvidia способствовали развитию глубокого обучения, помогая обучать такие системы, как голосовой сервис для Android. Но теперь Дин имел дело с новой проблемой: ему нужен был более эффективный способ обслуживания этой обученной системы ее работы и доставки ее через интернет по всему миру. Дин мог продолжать использовать в этих целях компьютеры с графическими или даже стандартными процессорами, но это не обеспечивало того уровня эффективности, который ему был нужен. Поэтому-то он и его команда решили создать новый чип, предназначенный специально для работы с нейронными сетями. Для решения этой задачи они мобилизовали все доступные ресурсы из других групп, включая «поисковиков». К этому времени все уже понимали, на что способно глубокое обучение.

На протяжении многих лет компания разрабатывала аппаратное обеспечение для своих дата-центров в полусекретной лаборатории в Мэдисоне, штат Висконсин. Хёльцле – бывший профессор информатики с бриллиантовой серьгой-гвоздиком и коротко стрижеными волосами с проседью – видел в этой работе истинное конкурентное преимущество компании и ревниво охранял свои разработки от глаз конкурентов, таких как Facebook и Amazon. Мэдисонская лаборатория, несмотря на свою удаленность, постоянно пополнялась свежими кадрами из числа талантливых выпускников инженерного факультета Висконсинского университета. И теперь Дин и Хёльцле бросили все эти таланты на создание нового чипа, переманив им в помощь опытных инженеров из компаний Кремниевой долины, таких как HP. В результате этих усилий родился тензорный процессор. Он был разработан специально для работы с тензорами – математическими объектами, лежащими в основе нейронной сети. Хитрость заключалась в том, что его вычисления были менее точными²¹⁷, чем у обычных процессоров. Количество вычислений, выполняемых нейронной сетью, огромно, но большая точность для каждого из этих вычислений не требуется. Вычисления происходят с целыми, а не с дробными числами. Вместо того чтобы умножать 13,646 на 45,828, тензорный процессор отсекает дробную часть и просто умножает 13 на 45. Благодаря этому он может выполнять триллионы дополнительных вычислений каждую секунду – а это именно то, что требовалось Дину и его команде не только для голосового сервиса, но и для машинного перевода.