Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

В том же 1986 году Полом Смоленским (нельзя не обратить внимание на сходство фамилий с Минским, и у него тоже российские корни) была разработана собственная версия машины Больцмана, названная ограниченной (Restricted Boltzmann machine, RBM). RBM отличается способностью проходить обучение как без учителя, так и с учителем. В 2000-х годах RBM приобрела большую популярность и стала рассматриваться не как вариации машины Больцмана, а как особые компоненты в архитектуре сетей глубинного обучения. Дальнейшее развитие машина Больцмана получила в 2006 году в совместной работе Хинтона с его аспирантом Русланом Салахутдиновым, новую версию она назвали глубокой (Deep Boltzmann machine) в связи с тем, что она содержит множество уровней со скрытыми переменными. В 1989–90 годы отмечены активным вхождением Яна Лекуна в область ANN и глубокого обучения, он стал вторым после Хинтона лидером этого мэйнстрима. Работая в Bell Labs, он вместе с коллегами смог материализовать метод backpropagation на сверточной нейронной сети LeNet (Convolutional Neural Network, CNN) в приложении для распознавания рукописного текста на банковских чеках и на почтовых отправлениях. Ошибки при распознавании не превысили 1 %.

Канадская мафия

Ближе к середине прошлого десятилетия была накоплена критическая масса знаний в части глубокого обучения ANN. В таких случаях всегда, образно говоря, кто-то отрывается от пелотона и зарабатывает майку лидера, так было и, видимо, будет в науке всегда. В данном случае в роли лидера оказался Джеффри Хинтон, британский ученый, продолживший свою карьеру в Канаде. С 2006 года он сам и вместе с коллегами начал публиковать многочисленные статьи, посвященные ANN, в том числе и в научно-популярном журнале Nature, чем заслужил себе прижизненную славу классика. Вокруг него образовалось сильное и сплоченное сообщество, которое несколько лет работало, как теперь говорят, «в невидимом режиме». Его члены сами называют себя «заговорщиками глубокого обучения» (Deep Learning Conspiracy) или даже «канадской мафией» (Canadian mafia). Образовалось ведущее трио: Ян Лекун, Иешуа Бенджо и Джеффри Хинтон, их еще называют LBH (LeCun & Bengio & Hinton). Выход LBH из подполья был хорошо подготовлен и поддержан компаниями Google, Facebook и Microsoft. С LBH активно сотрудничал Эндрю Ын, работавший в МТИ и в Беркли, а теперь возглавляющий исследования в области искусственного интеллекта в лаборатории Baidu. Он связал глубинное обучение с графическими процессорами.

Сегодня машинное обучение ассоциируется с глубоким машинным обучением, то есть с одним из методов реализации машинного обучения, где средствами искусственных нейронных сетей имитируются структуры и функции мозга, поэтому его иногда еще называют структурным или иерархическим обучением. Термин Deep Learning раньше других использовали Рина Дехтер (1986) и Игорь Айзенберг (2000). Между тем японские специалисты утверждают, что именно они выдвинули идею, которую можно считать основой глубинного обучения, при этом называются имена Фукусимы Кунихико и Амари Сюнъити, также занимавшегося исследованием нейросетей.

Были и другие предшественники глубокого обучения, но оно «заработало» и смогло занять свое нынешнее место только после того, как было дополнено еще методом backpropagation. Этот метод применим для сверточных нейронных сетей CNN (Convolutional Neural Network), которые можно рассматривать как подобие зрительной коры, работа которой связана с активацией определённого набора простых клеток. Такие сети являются многослойными и однонаправленными (feedforward neural network).

Как любую новацию, глубокое машинное обучение, ставшее основой нынешнего AI-бума, не обошли раздоры, связанные с приоритетом. Так уж сложилось, что авторами всего того технологического богатства, которым располагает человечество, были тысячи и тысячи людей, но только избранных называют первыми. Любой приоритет условен, изобретения появляются в благоприятное для них время, когда возникают необходимые условия и предпосылки. Вот и сейчас вся публичная слава создателей глубокого обучения, а заодно и «отцов современного AI», досталась трио Хинтон-Лекун-Бенджо, но в тени остался швейцарец Юрген Шмидхубер, работающий в альтернативном направлении, которое называется долгая краткосрочная память LSTM (Long Memory).

В марте 2019 Тьюринговская награда 2018 года, аналог Нобелевской премии в компьютинге, была присуждена Джеффри Хинтону, Янну Лекуну и Джошуа Бенджо. В отличие от подавляющего большинства других тьюринговских и тем более нобелевских лауреатов, остающихся после получения наград в своих лабораториях, эти трое и их ближайшие сотрудники вышли в мир бизнеса, продолжая свои исследования в сотрудничестве с крупнейшими компаниями Google, Facebook, другими крупными вендорами, многие создали свои собственные предприятия.