Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Увидев, как быстро Суцкевер приходит к идеям, поиск которых даже у опытных исследователей занимал годы, Хинтон пригласил двадцатиоднолетнего студента влиться в коллектив его лаборатории. Изначально, когда он только пришел в лабораторию, по своим знаниям он сильно отставал от остальных студентов и аспирантов – быть может, отставал на годы, казалось Хинтону, – но он наверстал отставание за несколько недель. Хинтон приходил к нему как к единственному своему ученику, у которого было больше хороших идей, чем у него самого, и Суцкевер – темноволосый, всегда коротко стриженный и вечно казавшийся хмурым, даже если хмуриться не было причин, – извергал эти идеи с почти маниакальной энергией. Когда ему в голову приходили действительно великие идеи, он отмечал эти моменты отжиманиями на руках посреди квартиры в Торонто, которую снимал на пару с Джорджем Далем. «Успех гарантирован», – говорил он в таких случаях. В 2010 году он прочитал статью, написанную сотрудниками швейцарской лаборатории Юргена Шмидхубера, и стал всех убеждать, что нейронные сети способны решить проблему компьютерного зрения – нужно лишь, чтобы кто-то выполнил необходимую для этого работу.

Хинтон и Суцкевер – люди идеи – теоретически понимали, каким образом нейронные сети могли бы одержать победу в конкурсе ImageNet, но для практического осуществления этого им было не обойтись без Крижевского с его навыками программирования. Крижевский даже не слышал о конкурсе ImageNet, пока Суцкевер не рассказал ему об этом, и, когда он узнал, какой у них план, это не вызвало у него такого же энтузиазма. Суцкевер неделями «массировал» данные, чтобы с ними было легче работать, а Хинтон в это время объяснял Крижевскому, что за каждый процент повышения производительности нейронной сети, он будет получать дополнительную неделю отсрочки по курсовому проекту, который ему давно было пора сдать. («Это была шутка», – говорит Крижевский. «Может, он и думал, что это шутка, но я не шутил», – говорит Хинтон.)

Крижевский, который все еще жил с родителями, занимался обучением нейронной сети из дома. Неделю за неделей он добивался все большей производительности от двух графических процессоров, которыми был оборудован компьютер, стоявший в его спальне, и это означало, что он мог тренировать свою нейронную сеть на все большем количестве входящих данных. Университету Торонто даже за электричество не приходилось платить, как любил повторять Хинтон. Каждую неделю Крижевский начинал новый раунд обучения и мог наблюдать за процессом, глядя на черный экран с непрерывно возрастающими белыми цифрами. В конце недели он проверял систему на новом наборе изображений. Поставленной цели достичь не удавалось, он вносил изменения в кодировку видеокарт, регулировал весовые характеристики нейронов и приступал к новому этапу обучения, продолжавшемуся всю следующую неделю. Потом еще. И еще. Кроме того, каждую неделю Хинтон собирал студентов в своей лаборатории. Это было похоже на собрание квакеров. Люди просто сидели там, пока кто-нибудь не выражал желание высказаться, поделиться, над чем он работает и какой прогресс достигнут. Крижевский заговаривал редко. Но когда Хинтону удавалось-таки вытянуть из него что-то, атмосфера в комнате сразу же заряжалась. «Он каждую неделю пытался выжать из Алекса Крижевского хоть какую-то информацию, – вспоминает Алекс Грейвс, еще один сотрудник лаборатории в те годы. – Он-то знал, насколько это было важно». К осени нейронная сеть Крижевского по своей эффективности превзошла все существовавшие на тот момент технологии. Она работала почти вдвое точнее¹³⁷, чем лучшая из конкурирующих систем. И она победила в конкурсе ImageNet.