The Worlds I See

В конце концов, эти постепенно интегрируемые детали передаются в последние слои, и тогда мы воспринимаем такие значимые вещи, как лица, предметы, местоположение и т. д. А поскольку сетевая архитектура мозга позволяет этим мириадам этапов разворачиваться одновременно, параллельно, наш опыт - это непрерывное, яркое осознание. Работа Хьюбела и Визеля изменила наше представление о сенсорном восприятии и принесла дуэту Нобелевскую премию в 1981 году.

Хотя открытие Хьюбела и Визеля, казалось бы, специально создано для тех, кто только начинал осваивать искусственный интеллект и искал образец для подражания, ему потребовались годы, чтобы добраться до этого мира - в это время жизнь Розенблатта оборвется в результате несчастного случая на лодке в возрасте сорока трех лет. Но его появление в 1980 году стало преобразующим. Кунихико Фукусима, японский исследователь, работавший в Научно-исследовательской лаборатории телерадиовещания NHK в Токио, разработал алгоритм, состоящий из нескольких перцептронов, теперь реализованных в программном обеспечении и объединенных в иерархию. Поскольку каждый слой был чувствителен к чуть более сложным паттернам, чем тот, что находился под ним, алгоритм в целом мог распознавать множество уровней деталей, а также взаимосвязи между ними.

Результат, который он назвал "неокогнитроном", был особенно устойчив и терпим к отклонениям в исходных данных, что позволило ему достичь прорывных результатов в точной интерпретации почерка - особенно сложной проблемы из-за его крайней нерегулярности и разнообразия стилей.

Однако, как это часто бывает в науке, успех неокогнитрона лишь выявил новое препятствие. Хотя алгоритм был мощным и универсальным, его архитектура была настолько сложной, что его нельзя было практически обучить с помощью методов, разработанных для его более простых предшественников, у которых не было плотно связанных внутренних слоев неокогнитрона. Прогресс снова застопорился, пока всего несколько лет спустя не появился следующий кусочек головоломки машинного обучения.

В 1986 году небольшая группа исследователей под руководством профессора Калифорнийского университета в Сан-Диего Дэвида Э. Румельхарта опубликовала в научном журнале Nature письмо, в котором представила методику, позволяющую алгоритмам, подобным неокогнитрону, эффективно обучаться. Они назвали ее "обратным распространением", по имени ее определяющей особенности: каскадный эффект, при котором каждый случай обучения - в частности, степень правильности или неправильности реакции сети на заданный стимул - изменяется от одного конца к другому, слой за слоем.

Однако по-настоящему глубокое значение для обратного распространения информации имели изменения, которые происходили в структуре сети с течением времени. По мере того как сеть подвергалась воздействию все большего количества примеров, таких как коллекция фотографий или звуковых сигналов, связи между ее нейронами изменялись под воздействием увиденного и несли на себе отпечатки все более детального характера. Подобно стенам каньона, вырезанным веками текущей реки, сеть стала представлять особенности, которые ее обучали распознавать. После долгих лет борьбы нейронные сети вдруг стали обучаться в невиданных ранее масштабах и с беспрецедентной точностью, предвещая настоящий переломный момент.

Хотя Румельхарт был ведущим исследователем, именно Джефф Хинтон, один из двух его соавторов, стал фигурой, наиболее ассоциирующейся с обратным распространением. Хинтон, в то время профессор Университета Карнеги-Меллон, с ранних лет был очарован загадкой интеллекта и посвятил свою карьеру поиску новых методов его воспроизведения. Он неустанно работал, изучая множество новых подходов к машинному обучению и внося огромный вклад в период, который стал ранним ренессансом для этой области. Это было время постоянно растущих сетей, содержащих все больше слоев и сложно связанных между собой нейронов, обученных с помощью все более совершенных методов. Наконец, Ян ЛеКун, один из первых студентов Хинтона, знаменито применил все это к впечатляющей практической задаче: чтению рукописных почтовых индексов. Менее чем за десять лет машинное обучение превратилось из неосуществимой мечты в триумф в реальном мире.

 

Мой отец изучал все вокруг, а я - его. На его лице было выражение удивления, которое, должно быть, казалось неуместным - непропорциональное проявление энтузиазма, учитывая наше окружение. Это выражение было мне знакомо еще со времен наших первых совместных вылазок в дикую природу, но даже я был удивлен, увидев его в таком месте. Это был воскресный день, и мы уже несколько часов как отправились в поездку, посвященную любимому занятию моего отца с момента приезда в эту страну - гаражным распродажам.