Учебное пособие по курсу «Нейроинформатика»

Обозначим через x^q_p p-й входной сигнал сумматора при решении q-о примера; через f^q — выходной сигнал сумматора при решении q-о примера; через w_p — вес p-о входного сигнала сумматора; через ε — требуемую точность; через n — число входных сигналов сумматора; через m — число примеров. Очевидно, что при решении примера выполняется равенство

Требуется найти такой набор индексов I={i₁,…,i_k}, что

где α_p — новый вес p-о входного сигнала сумматора. Набор индексов будем строить по следующему алгоритму.

1. Положим f⁽⁰⁾=f, x^•_p=x_p, I⁽⁰⁾=∅, J⁽⁰⁾={1,…,n}, k =0.

2. Для всех векторов x^•_p таких, что p∈J^(k), проделаем следующее преобразование: если , то исключаем p из множества обрабатываемых векторов — J^(k)=J^(k)/{p}, в противном случае нормируем вектор x^•_p на единичную длину — .

3. Если или J⁽⁰⁾=∅, то переходим к шагу 10.

4. Находим i_k+1 — номер вектора, наиболее близкого к f^(k) из условия

5. Исключаем i_k+1 из множества индексов обрабатываемых векторов: J^(k+1)=J^(k)/{i_k+1}.

6. Добавляем i_k+1  в множество индексов найденных векторов: I^(k+1)=I^(k)∪{i_k+1}.

7. Вычисляем не аппроксимированную часть (ошибку аппроксимации) вектора выходных сигналов: .

8. Преобразуем обрабатываемые вектора к промежуточному представлению — ортогонализуем их к вектору , для чего каждый вектор x_p^(k), у которого p∈J^(k) преобразуем по следующей формуле: .

9. Увеличиваем k на единицу и переходим к шагу 2.

10. Если k=0, то весь сумматор удаляется из сети и работа алгоритма завершается.

11. Если k=n+1, то контрастирование невозможно и сумматор остается неизменным.

12. В противном случае полагаем I=I^(k) и вычисляем новые веса связей α_p(p∈I) решая систему уравнений

13. Удаляем из сети связи с номерами p∈J, веса оставшихся связей полагаем равными α_p(p∈I).

Данная процедура позволяет производить контрастирование адаптивных сумматоров. Причем значения, вычисляемые каждым сумматором после контрастирования, отличаются от исходных не более чем на заданную величину. Однако, исходно была задана только максимально допустимая погрешность работы сети в целом. Способы получения допустимых погрешностей для отдельных сумматоров исходя из заданной допустимой погрешности для всей сети описаны в ряде работ [95–97, 168, 210–214, 355].

Гибридная процедура контрастирования

Можно упростить процедуру контрастирования, описанную в разд. «Контрастирование без ухудшения». Предлагаемая процедура годится только для контрастирования весов связей адаптивного сумматора (см. разд. «Составные элементы»). Контрастирование весов связей производится отдельно для каждого сумматора. Адаптивный сумматор суммирует входные сигналы нейрона, умноженные на соответствующие веса связей. Для работы нейрона наименее значимым будем считать тот вес, который при решении примера даст наименьший вклад в сумму. Обозначим через x^q_p входные сигналы рассматриваемого адаптивного сумматора при решении q-го примера. Показателем значимости веса назовем следующую величину: X^q_p=|(w_p-w^•_p)·x^q_p|. Усредненный по всем примерам обучающего множества показатель значимости имеет вид . Производим контрастирование по процедуре, приведенной в разд. «Контрастирование на основе показателей значимости»

В самой процедуре контрастирования есть только одно отличие — вместо проверки на наличие ошибок при предъявлении всех примеров проверяется, что новые выходные сигналы сети отличаются от первоначальных не более чем на заданную величину.

Контрастирование при обучении

Существует еще один способ контрастирования нейронных сетей. Идея этого способа состоит в том, что функция оценки модернизируется таким способом, чтобы для снижения оценки было выгодно привести сеть к заданному виду. Рассмотрим решение задачи приведения параметров сети к выделенным значениям. Используя обозначения из предыдущих разделов требуемую добавку к функции оценки, являющуюся штрафом за отклонение значения параметра от ближайшего выделенного значения, можно записать в виде .

Для решения других задач вид добавок к функции оценки много сложнее.

Определение показателей значимости

В данном разделе описан способ определения показателей значимости параметров и сигналов. Далее будем говорить об определении значимости параметров. Показатели значимости сигналов сети определяются по тем же формулам с заменой параметров на сигналы.

Определение показателей значимости через градиент

Нейронная сеть двойственного функционирования может вычислять градиент функции оценки по входным сигналам и обучаемым параметрам сети.