The Worlds I See

Обширность ImageNet - даже подмножество из тысячи категорий, выбранных для конкурса, - гарантирует, что это будет долгий процесс. Он охватывает такие разнообразные объекты, как цифровые часы, пикетные ограды, дисковые тормоза, секундомеры, итальянские борзые, микроволновые печи и смородина, каждый из которых имеет тысячу вариаций. Но AlexNet еще и огромен. Его 650 000 отдельных нейронов объединены в сеть посредством 630 миллионов связей, а 60 миллионов крошечных, почти незаметных весов влияют на силу этих связей, делая одни из них сильнее, а другие слабее, по мере того как сигналы поступают с одного конца сети на другой.

Взятые в целом, они представляют собой достаточно большой холст, чтобы нарисовать мир. Вес меняется от раунда к раунду, некоторые становятся сильнее, некоторые слабее, а некоторые просто колеблются, создавая податливую ткань, которая реагирует на тренировки с органичной грацией. Вес этих гигантских объемов несут два графических процессора Nvidia, высокоспециализированный кремний, работающий параллельно, проводя раунд за раундом на максимальной скорости.

Тренировки продолжаются без остановки, с утра до вечера, пока не будет изучен каждый пиксель каждого изображения. Часы превращаются в дни, а дни - в недели. Графический процессор подталкивает. ImageNet бросает вызов. AlexNet приспосабливается. По всей сети возникают все более крупные и экстравагантные структуры по мере того, как десятки миллионов весов снова, и снова, и снова. Кузнечный молот против раскаленной стали. По одному приращению за раз, пока почти невидимые возмущения не превратятся в горы и долины, уходящие в многотысячемерное гиперпространство. Призрачное усреднение бесчисленных деталей мира, отпечатки, оставленные тысячей различных изображений тысячи различных вещей. Тысяча далматинцев скапливается здесь, тысяча корзин для белья - там, тысяча маримб - где-то еще.

Словно что-то из области геологии, эти отпечатки сливаются в единый рельеф, простирающийся от одного конца AlexNet до другого. Точилки для карандашей, мечети, морские звезды, хоккейные шайбы - все они вписаны куда-то в ландшафт. Алгоритм не просто "увидел" эти вещи, он стал ими. Фотографии, которые мы годами гоняли по интернету, сформировали целый спектр машинного сознания, примитивного, но мощного. Единое унифицированное представление всего этого.

После 1,4 миллиона раундов последняя струйка изображений - это не испытание, а коронация. Фокус сети перемещается по пикселям, загорается, когда регистрируются знакомые паттерны, и передается на следующий уровень, где они объединяются с другими, образуя все большие и большие созвездия осознания. Ответы больше не случайны, и большинство из них уже не ошибочны. Койот. Правильно. Настольная лампа. Правильно. Кабриолет. Правильно. Это, по-видимому, волшебное сочетание аппаратных средств, программного обеспечения и данных, и оно ближе, чем все, что когда-либо было создано в нашей области, к тому, чтобы передать дух эволюции, сформировавшей разум млекопитающих, подобных нам.

Теперь в окончательном варианте разнообразие, для создания которого потребовался целый мир добровольцев-краудсорсеров, сформировало топологию, настолько разнообразную и надежную, что это своего рода святой Грааль. Эта нейронная сеть, самая большая из когда-либо существовавших в нашей области, обученная на большем количестве данных, чем любая другая в истории, может обобщать.

Потребуются месяцы, чтобы по-настоящему оценить то, что мы увидели в той комнате, но даже в тот момент было ясно, что мы находимся в присутствии чего-то необычного. После стольких лет надежд на то, что ImageNet даст толчок к созданию чего-то нового, я понял, ради чего все это было сделано: долгожданное признание чего-то вечного. Биологически вдохновленный алгоритм, который десятилетиями смотрел нам в лицо. Ему просто нужен был подходящий вызов.

Вторая половина дня также дала повод поразмышлять о последнем десятилетии работы в нашей области. Моя лаборатория поставила все на многолетнюю погоню за данными в беспрецедентном масштабе, а лаборатория Хинтона поставила свою репутацию на приверженность семейству алгоритмов, от которого область практически отказалась. Оба были азартными играми, и оба могли ошибиться. Но в тот день, когда мы увидели невероятные возможности нейронных сетей, воплощенные в жизнь с помощью обучающих возможностей ImageNet, я понял, что, хотя оба варианта оправдались, это произошло только потому, что они были предприняты в одно и то же время. Не подозревая об этом, мы полагались друг на друга на каждом шагу.