Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

В последнее время странным образом возник интерес к проблеме приоритета. Такое бывает, когда наступает время какой-то идеи и она приходит на ум многим одновременно, дискутировать о приоритете в таких случаях лишено какого-либо смысла. Тем не менее полемику за право считать определенного ученого первооткрывателем backpropagation активно навязывает швейцарец Юрген Шмидхубер. Он работает в альтернативном направлении, которое называется долгой краткосрочной памятью LSTM (Long short-term memory), связываемого рекуррентными нейронными сетями. Шмидхубер отдает приоритет финну Сеппо Линнаймма, но при этом находит предпосылки к этому методу даже у Леонарда Эйлера, Огюстена Коши и еще у полутора десятка математиков, работавших в XX веке. Сильнейший гнев у Шмидхубера вызвало присуждение Honda Prize 2019 Джеффри Хинтону с формулировкой «… за достижения в области AI, включая алгоритм Backpropagation…» И в самом деле, непонятно чем руководствовалось жюри, вручающее награды за достижения в области экологических технологий, но оно допустило очевидный ляп! Что же касается скандала, устроенного Шмидхубером, то, скорее всего, поводом для него стал тот факт, что его обошли при награждении Тьюринговской премией 2018 за достижения в области глубокого обучения. Премия тогда досталась троим – Джефри Хинтону, Джошуа Бенджо и Яну Лекуну, но не ему, что на самом деле не вполне справедливо, учитывая и его достижения. Сложившаяся ситуация вынудила Хинтона прилюдно оправдываться за явную оплошность со стороны жюри Honda Prize, впрочем, что мешало ему заранее ознакомиться с формулой награждения? На фоне этой полемики особенно удивительно выглядит статья «Метод обратного распространения ошибки» в русскоязычной википедии, она явно выдержана в духе одиозных доказательств российского приоритета на любые изобретения, характерных для сталинских времен. Разногласия относительно приоритета естественны, они возникают по той причине, что сама по себе идея обратной связи в обучении очевидна, к ней пришли многие исследователи независимо друг от друга.

Сверточные сети

Очередным шагом в развитии прикладного коннекционизма стало создание иерархической многослойной ANN сверточного типа (Convolutional Neural Network, CNN) в 1980 году. Японский исследователь Кунихика Фукусима (Kunihiko Fukushima) назвал ее неокогнитрон. Он занимался распознаванием рукописных текстов и взял в качестве прототипа идею когнитрона, ранее выдвинутую шведом Торстеном Визелем (Torsten Wiesel, 1924) и канадцем Дэвидом Хьюбелом (David Hubel, 1926–2013). В 1981 году Визель и Хьюбел стали лауреатами Нобелевской премии по физиологии и медицине «за открытия, касающиеся принципов переработки информации в нейронных структурах». Фундаментальные работы Визеля и Хьюбела по нейрофизиологии зрения заложили основы организации и развития нейронных цепей, ответственных за зрительное распознавание объектов. Иногда, например в той же русскоязычной википедии, открытие CNN ошибочно приписывают Яну Лекуну.

В начале 80-х существенный вклад в развитие ANN сделал финский ученый Теуво Кохонен (Teuvo Kohonen, 1934 года). В течение многих лет он руководил Исследовательским центром нейронных сетей Технологического университета в Хельсинки, созданным специально для проведения научных исследований, связанных с его разработками. Этот класс ANN так и назван нейронными сетями Кохонена, он отличается наличием слоя, состоящего из адаптивных линейных сумматоров. «Самоорганизующаяся карта Кохонена», так их еще называют, применяется для решения задач моделирования, прогнозирования, выявления наборов независимых признаков, поиска закономерностей в больших массивах данных. Символично, что Теуво Кохонену была вручена награда имени Фрэнка Розенблатта.

Вторая волна коннекционизма и модель Изинга