Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

В СССР еще несколько ученых занимались вопросами машинного обучения, но не нейронных сетей, а иных автоматов. Среди них киевлянин Алексей Григорьевич Ивахненко. В 1965-м году он опубликовал работу с описанием обучающих алгоритмов. Известный оппортунист и диссидент машинного обучения Юрген Шмидхубер, к которому мы еще вернемся, считает Ивахненко не только отцом глубокого обучения, но и метода обратного распространения ошибки (backpropagation). Впрочем, этот метод настолько очевиден, что его автором признают не менее 10 человек. Среди них американских специалистов в области оптимального управления Артура Брайсона и Генри Келли.

Особое место в этой когорте принадлежит Владимиру Наумовичу Вапнику, автору машины опорных векторов (support vector machines, SVM), впервые предложенной им в 1963 году вместе с Александром Яковлевичем Лернером в статье «Узнавание образов при помощи обобщенных портретов». Эта работа нашла продолжение в совместно статье Вапника с Алексеем Яковлевичем Червоненкисом «Об одном классе персептронов» (1964). SVM реализуют уникальный по сравнению с другими алгоритмами способ реализации машинного обучения. В том же году и в том же журнале «Автоматика и телемеханика» вышла статья трех авторов М. А. Айзерман, Э. М. Браверман и Л. И. Розоноэр «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы». В полном объеме статистическая теория обучения на базе SVM изложена в книгах Вапник В. Н., Червоненкис А. Я. «Теория распознавания образов» (1974) и Вапник В. Н. «Восстановление зависимостей по эмпирическим данным» (1979). Они были переведены на английский и немецкий языки. В. Н. Вапник остается единственным представителем отечественной научной школы среди ученых, получивших признание за их вклад в машинное обучение.

Обучение по Хеббу

И первые обучаемые шахматные программы, и машина Цетлина, и многое другое из 60–70-х годов для современного исследователя представляет исключительно исторический интерес. То, что мы понимаем под ML сегодня, началось с работы Дональда Хебба, описанной им в книге «Организация поведения: нейропсихологическая теория» (The Organisation of Behaviour, 1949), где он распространил принципы ассоциативного обучения на ANN, его подход называют Hebbian Learning (HL). Предпосылки к HL заимствованы из биологии, и они остаются актуальными вплоть до наших дней. До него нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации.

Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.

Хебб показал возможность обучения посредством воздействия на синаптическую связь, соединяющую два искусственных нейрона. Она изменяется, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение, то есть один нейрон может возбуждать другой нейрон, и после повторяющейся активации клетки «нейроны, которые срабатывают вместе, соединяются» и таким образом происходит обучение. При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба. В его книге оно определено так: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Правило Хебба не обладает прямым действием, из него не следует, как именно строить процесс обучения, оно допускает множество трактовок, как со стороны нейрофизиологов, так и математиков. За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.