Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Между Фрэнком Розенблаттом и тем, чем занимались в Сан-Диего, существовала прямая связь. В 1960-е годы Розенблатт и другие ученые рассчитывали создать искусственную нейронную сеть нового типа, которая бы состояла из нескольких «слоев» нейронов. В 1980-е годы на это же надеялись ученые, работавшие в Сан-Диего. «Перцептрон» был однослойной нейронной сетью, то есть был только один слой нейронов между входящей информацией (большая буква А, напечатанная на картоне) и выходящей (сообщение компьютера, что он видит букву А). Но Розенблатт полагал, что, если удастся построить многослойную сеть, где информация будет передаваться с одного слоя на другой, эта система сможет научиться распознавать гораздо более сложные паттерны, чем мог «Перцептрон». Иными словами, эта система будет в большей мере походить на человеческий мозг. Когда «Перцептрон» анализировал картонку с напечатанной на ней буквой А, каждый из нейронов изучал одну из точек на изображении, пытаясь понять, является ли данная точка частью трех линий, составляющих букву А. Но для многослойной сети это было бы только отправным моментом. Покажите этой системе, скажем, фотографию собаки, и за этим последует гораздо более сложный анализ. Первый слой нейронов сканирует каждый пиксель изображения. Он черный или белый, коричневый или желтый? Затем этот первый слой передает ту информацию, которую он идентифицировал, второму слою. Нейроны второго слоя высматривают в полученной информации определенные паттерны. Например, отрезок прямой линии или дугу. Третий слой выискивает паттерны в паттернах. Он уже может свести концы с концами и увидеть ухо или зуб. В конечном счете такая многослойная сеть может научиться идентифицировать собаку. По крайней мере, такая была идея. Никто в реальности не пытался ее осуществить и проверить. И вот в Сан-Диего решили попробовать.

Одним из ведущих деятелей в «группе PDP» был профессор из Сан-Диего Дэвид Румельхарт, имевший ученые степени в области психологии и математики. Когда его спрашивают о Румельхарте, Хинтон любит вспоминать случай, когда им пришлось сидеть на лекции, которая ни для кого из них не представляла никакого интереса. Когда лекция закончилась и Хинтон пожаловался, что зря потерял час жизни, Румельхарт возразил, что он так не считает. По его словам, если бы он просто проигнорировал эту лекцию, то эти шестьдесят минут ломал бы голову над своими собственными исследованиями. По мнению Хинтона, такое умение находить позитивную сторону во всем было характерно для Румельхарта.

Румельхарт поставил перед собой весьма конкретную, но при этом стержневую задачу. Одной из главных сложностей при построении многослойной нейронной сети было то, что очень трудно определить относительную значимость («весовой коэффициент») каждого нейрона в общей расчетной формуле. В однослойной сети типа «Перцептрона» эта задача была осуществима: система могла автоматически задавать вес нейронов в сети. Но в многослойной сети такой метод попросту не работал. Взаимосвязи между нейронами были слишком обширными и сложными. Если изменить весовой коэффициент одного нейрона, это неизбежно отразится на тех нейронах, которые зависят от его поведения. Здесь был необходим более эффективный математический метод, где вес каждого нейрона задавался бы в согласовании со всеми прочими нейронами. В качестве ответа на эту проблему Румельхарт предложил метод, получивший название «обратное распространение ошибки». Этот алгоритм состоял их нескольких итераций расчетов, где, двигаясь по иерархии нейронов в обратном направлении и анализируя за счет своего рода математической обратной связи все большее количество информации, можно достигнуть лучшего понимания того, каким должен быть оптимальный вес каждого нейрона.

Когда новоиспеченный доктор Хинтон прибыл в Сан-Диего и узнал от Румельхарта о его планах, он сразу сказал, что этот математический фокус не сработает. Ведь это доказал сам Фрэнк Розенблатт, человек, создавший «Перцептрон». Если построить нейронную сеть и установить все веса на ноль, система будет учиться сама регулировать себя, постепенно внося коррективы слой за слоем. Но в конечном счете каждый весовой коэффициент проявит себе в том же самом месте, что и все остальные. Однако сколько бы вы ни пытались заставить систему использовать относительные весовые коэффициенты, она будет стремиться к уравнительству – в силу самой своей природы. Как показал Фрэнк Розенблатт, это заложено в самом математическом алгоритме. Говоря математическим языком, система не может «нарушить симметрию». Один нейрон не может быть важнее других – вот в чем проблема. И это означает, что никакая нейронная сеть не может быть существенно лучше «Перцептрона».