Разберись в Data Science

В связи с этим возникает вопрос: можно ли создать серию моделей и алгоритмов, способных учиться так же, как это делает наш мозг? Можно ли быстро преобразовать входные параметры в виде данных, изображений или звука в осмысленные выходные данные? Только подумайте, какие возможности предоставил бы нам алгоритм, имитирующий работу нашего мозга. Сколько оценок, делаемых нами каждую секунду, мы могли бы оптимизировать, поручив компьютеру решение соответствующих задач?

Для ответа на этот вопрос и были созданы искусственные нейронные сети – вычислительный аналог биологических нейронных сетей.

Все это звучит невероятно, и, разумеется, авторы этой книги считают все связанное с нейронными сетями чрезвычайно захватывающим. Первые нейронные сети были созданы в 1940-х годах для имитации биологии человека в ее тогдашнем понимании. Большая часть ажиотажа вокруг нейронных сетей – а значит, и глубокого обучения – обусловлена тем, что они вдохновлены работой нашего мозга. Однако уподоблять нейронную сеть мозгу весьма рискованно, поскольку такая аналогия приписывает уровень абстракции и общих знаний моделям нейронных сетей, которые, по сути, являются всего лишь гигантскими математическими уравнениями.

Таким образом, несмотря на заявления СМИ и маркетологов, мы не должны обманываться, думая, будто последние достижения в области нейронных сетей и глубокого обучения отражают их более тесную связь с человеческим мозгом. Успех этих алгоритмов скорее обусловлен более быстрыми компьютерами, огромными объемами данных и множеством исследований, проводимых в области машинного обучения, статистики и математики.

Давайте рассмотрим принцип работы нейронных сетей на двух примерах.

Простая нейронная сеть

Как вы помните, в главе 10 мы создали модель, предсказывающую, получит ли кандидат приглашение на собеседование, исходя из его среднего балла, курса обучения, специализации и количества внеклассных занятий. На рис. 12.1 показана ее визуализация в виде простейшей нейронной сети.

На рис. 12.1 представлены четыре входных параметра:

– Средний балл = 3,90

– Курс = 4

– Специализация = «Статистика» (закодирована с помощью цифры 2)

– Внеклассные занятия = 5 (общее количество внеклассных занятий)

Рис. 12.1. Простейшая нейронная сеть из всех возможных. Четыре входных параметра обрабатываются функцией активации одного нейрона, определяющей выходной сигнал

Эти значения передаются в вычислительную единицу – нейрон, который представлен на рисунке в виде кружка. Внутри этого нейрона находится функция активации, которая преобразует четыре входных параметра в единое числовое значение. Если комбинация входных параметров превышает пороговое значение, нейрон «активируется» и предсказывает, что заявитель получит приглашение.

В качестве функции активации можно использовать разные функции в зависимости от решаемой задачи и имеющихся данных. Поскольку в этом примере мы решаем задачу классификации, то есть предсказываем, получит ли данный стажер приглашение, – наша функция активации должна предоставить нам значение вероятности получения приглашения, аналогично тому, как это делалось в главе 10 с помощью логистической регрессии[125].

В уравнениях 12.1 и 12.2 показана наиболее распространенная функция активации. Мы разбили ее на две части, чтобы ее было легче использовать (и набирать):

Вероятность приглашения =

где X = w₁ × Средний балл + w₂ × Курс + w₃ × Специализация + w₄ × Внекл. занятия + b. (12.2)

Мы надеемся, что эти уравнения уже кажутся вам знакомыми. Уравнение 12.1 – это логистическая функция из главы 10, а уравнение 12.2 – функция линейной регрессии, представленная в главе 9. Таким образом, с математической точки зрения нейронная сеть просто содержит компоненты машинного обучения и статистических алгоритмов. Уравнение линии линейной регрессии 12.2 позволяет объединить четыре входных параметра в один, а логистическая функция 12.1 «втискивает» результат в диапазон от 0 до 1, в котором должны находиться значения вероятности.

Цель сети, как и логистической регрессии, – найти наилучшие значения весов и постоянного члена (представленных в уравнении 12.2 буквами w и b соответственно и вместе называемых параметрами), которые делают выходные данные, прогнозируемые сетью, максимально близкими к фактическим выходным данным в совокупности[126]. Под «обучением» нейронной сети (как и в случае машинного обучения в целом) понимается процесс оптимизации параметров уравнений, подобных 12.2, для получения прогноза.

Как учится нейронная сеть