Румельхарт выслушал возражение Хинтона – и внес новое предложение. «А что, если не устанавливать весовые коэффициенты на ноль? – сказал он. – Что, если взять случайные числа?» Если все веса изначально разные, тогда и математический процесс пойдет по-другому. Да и не нужно все веса рассчитывать. Рассчитываться будут только те весовые коэффициенты, которые позволяют системе распознавать сложные паттерны, например фотографию собаки.
Хинтон любит говорить, что «старые идеи – это новые идеи»: ученые не должны отказываться от своих идей, пока не будет доказано, что они не работают. Розенблатт еще двадцатью годами ранее доказал, что метод обратного распространения ошибки не работает, и поэтому Хинтон от него отказался. Но тут Румельхарт внес это, казалось бы, небольшое исправление, и двое ученых на нескольких недель занялись созданием системы, которая изначально имела случайные веса нейронов и потому могла нарушать симметрию. Она могла придавать каждому нейрону разные весовые коэффициенты. И при этом система действительно могла распознавать паттерны в изображениях. Это были, конечно, совсем простые изображения. Идентифицировать собаку, кошку или автомобиль система не могла, но благодаря методу обратного распространения ошибки теперь она уже могла справиться с проблемой «исключающего или», то есть преодолеть тот самый недостаток искусственных нейронных сетей, на который более чем за десять лет до этого указал Марвин Мински. Она теперь могла, изучив два пятна на листе картона, ответить на сакраментальный вопрос: «Эти два пятна разного цвета?» На что-то существенно большее система не была способна, и эта идея вновь отошла в тень, однако обойти проблему, связанную с доказательством Розенблатта, ученым все-таки удалось.
В последующие годы Хинтон начал активно сотрудничать с Терри Сейновски, в то время постдоком на кафедре биологии в Принстоне. Они познакомились через другую (не имевшую названия) группу коннекционистов, которые собирались раз в год в разных местах страны для обсуждения тех же самых идей, которые занимали умы их коллег в Сан-Диего. Метод обратного распространения ошибки был одной из тем для обсуждения – как и машина Больцмана. Годы спустя, когда Хинтона попросили объяснить суть машины Больцмана так, чтобы это было понятно простому человеку, далекому от математики и естественных наук, он отказался. Это все равно, сказал он, что просить Ричарда Фейнмана, лауреата Нобелевской премии по физике, объяснить суть открытий, сделанных им в области квантовой электродинамики. Кстати, когда Фейнмана попросили79 объяснить, за что его наградили Нобелевской премией, так, чтобы это было понятно непосвященному человеку, он тоже отказался. «Если бы это можно было объяснить простому человеку, – сказал он, – за это не дали бы Нобелевскую премию». Сущность машины Больцмана действительно трудно объяснить – отчасти потому, что речь идет о математической системе, которая основана на теории, впервые разработанной столетие назад австрийским физиком Людвигом Больцманом для исследования феномена, не имеющего ничего общего с искусственным интеллектом (равновесие частиц в нагретом газе). Но цель была простая: это был способ создания искусственной нейронной сети усовершенствованного типа.
Как и «Перцептрон», «машина Больцмана» обучалась на анализе большого количества данных, включая звуки и образы. Но она имела важное отличие. Она обучалась также путем