НС каскадной корреляции Фальмана
Эта сеть представляет собой многослойную конструкцию, в которой формирование структуры НС происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона. Архитектура сети каскадной корреляции представляет собой объединение нейронов взвешенными связями в виде развивающегося каскада (рис. 4.5), где каждый очередной добавляемый нейрон подключается ко всем уже существующим нейронам (входным, скрытым, выходным), причем входные узлы НС напрямую подключаются также и к выходным нейронам.
Начальный этап включает формирование структуры НС только из входных и выходных нейронов, количество которых определяется спецификой решаемой задачи и не подлежит модификации. Каждый вход соединен со всеми выходными нейронами, функция активации которых может быть любой. Обучение состоит в подборе весов связей любым методом обучения (в оригинале Quickprop Фальмана) на основе минимизации целевой функции 
. Если результат обучения удовлетворителен с точки зрения допустимой погрешности, процесс формирования структуры НС считается законченным. В противном случае в структуру НС добавляется один скрытый нейрон, образующий одноэлементный скрытый слой, в котором веса входных связей фиксированы, а обучению (коррекции) подлежат только веса его связей с выходными нейронами.
Формирование каждого скрытого слоя начинают с подготовки нейронов–кандидатов (обычно 5…10), подбор входных весов которых (фиксируемых при включении в НС) осуществляется по значению максимума функции корреляции S, зависящей от выходного сигнала кандидата при подаче всех обучающих выборок. Каждый нейрон–кандидат представляет собой обособленный элемент, соединенный со всеми входами сети и с выходами ранее введенных нейронов. Начальные веса нейронов–кандидатов выбирают случайным образом, после обучения в каскадную НС ставится лучший из претендентов, что уменьшает вероятность попадания НС в точку локального минимума из-за ввода в сеть нейрона с плохо подобранными входными весами, которые уже невозможно будет откорректировать на последующих этапах обучения.
Каждый нейрон, претендующий на включение в сетевую структуру, может иметь свою функцию активации – сигмоидальную, гауссовскую, радиальную и т.п. Поскольку побеждают те нейроны, которые лучше приспосабливаются к условиям, созданным множеством обучающих данных, то сеть Фальмана может объединять нейроны с различными функциями активации. Заметим, что, несмотря на большое количество слоев, НС Фальмана не требует применения алгоритма ОРО при обучении, поскольку в процессе минимизации задействованы весовые коэффициенты только выходного слоя, для которых погрешность рассчитывается непосредственно.
Для проверки обобщающих свойств НС Фальмана был рассмотрен пример аппроксимации функции двух переменных 
для значений x,yÎ[–1, 1]. В качестве обучающих данных использовались 500 значений этой функции, равномерно распределенных по всему диапазону, сеть обучалась из условия 
. График изменения в зависимости от номера итерации представлен на рис. 4.6. Ожидаемое значение погрешности обучения было получено на выходе НС при введении в ее структуру 41–го скрытого нейрона. В качестве тестирующих данных были сгенерированы 1000 значений функции в других точках того же диапазона. Результаты тестирования подтвердили хорошие обобщающие способности сети.
НС Вольтерри
Сеть Вольтерри – это динамическая сеть для нелинейной обработки последовательности сигналов, задержанных относительно друг друга. Входным вектором сети в момент t служит 
, где L – количество единичных задержек, а (L+1) – длина вектора. Выходной сигнал y в соответствии с определением ряда Волтерри описывается формулой
(4.20)
где веса wi, wij, …, называемые ядрами Вольтерри, соответствуют реакциям высших порядков. Для адаптации НС Вольтерри к заданной последовательности значений d(t) формируется целевая функция 
и производится ее минимизация на основе решения системы дифференциальных уравнений
(4.21)
Нетрудно показать, что при степени ряда Вольтерри К=2 система (4.21) может быть записана в виде
(4.22)
Для упрощения структуры сети и уменьшения ее вычислительной сложности разложение Вольтерри (4.20) можно представить следующим образом:
(4.23)
где введены обозначения yt º y(t); xt-i = x(t-i) и т.д. Пример структуры, реализующий распространение сигнала по сети с зависимостью (4.23) и числом уровней К=2 (рис. 4.7) показывает, что система является типичной многослойной однонаправленной динамической НС с полиномиальной нелинейностью. Подбор весов НС производится последовательно слой за слоем, причем эти процессы независимы друг от друга, что позволяет существенно увеличивать длину L и порядок К системы при ее практической реализации.
Нелинейность НС Вольтерри позволяет успешно использовать ее для решения таких задач, как:
1. Идентификация нелинейного объекта (рис. 4.8), когда одна и та же последовательность входных сигналов подается на объект и его модель в виде НС Вольтерри, управляемой адаптивным алгоритмом таким образом, чтобы сигнал рассогласования e(t)=y(t)–d(t) в процессе адаптации параметров сети снижался до нуля. Присущая НС Вольтерри нелинейность позволила значительно расширить класс идентифицируемых объектов.
2. Подавление интерференционных шумов (рис. 4.9), где в качестве обрабатываемого сигнала используется смесь полезного сигнала S с некоррелируемым с ним шумом n0, т.е. x=S+n0, а входным сигналом НС – установочный сигнал n, который не коррелирует с S, однако неизвестным образом коррелирует с сигналом помехи n0. Задача НС состоит в такой обработке сигнала n, чтобы сигнал y был наиболее близок к n0. Поскольку сигнал погрешности на выходе сумматора e = S+n0–y, то целевую функцию можно представить как
(4.24)
а если принять во внимание, что S не коррелирует с сигналами помехи, то
(4.25)
Таким образом, минимизация означает наилучшую адаптацию y к помехе 
, поскольку в этом случае выходной сигнал e соответствует полностью очищенному от шума полезному сигналу S.
3. Прогнозирование нестационарных сигналов (рис. 4.10), когда выходной сигнал НС Вольтерри описывается формулой (4.23) с заменой xt–i Þ ht–i, где ht º h(t) обозначает задержанный сигнал xt, а решение задачи адаптации весов находится из системы дифференциальных уравнений типа (4.22) с той же заменой. Компьютерный анализ показывает, что учет нелинейности фильтра Вольтерри значительно повышает качество прогнозирования.
Контрольные вопросы
1. В чем причина ограниченности возможностей однослойного персептрона?
2. Приведите структуру и опишите функционирование МСП.
3. В чем сходство и в чем отличие режимов обучения «online» и «offline» нейронной сети?
4. Каковы основные этапы обучения НС методом обратного распространения ошибки?
5. Чем отличаются методы аппроксимации многомерных функций с помощью сигмоидальных и радиальных НС?
6. Что составляет математическую основу функционирования RBF–НС?
7. При каких условиях возможно точное решение матричного уравнения для определения весов wi RBF–НС?
8. Почему математически точное решение матричной системы уравнений для определения wi неприемлемо с практической точки зрения?
9. В чем заключается задача обучения радиальных НС?
10. Какие алгоритмы обучения RBF–НС Вы знаете?
11. Как располагаются центры RBF, если множество обучающих данных представляет собой непрерывную функцию?
12. Расскажите о характере подбора коэффициента дисперсии si RBF при обучении радиальных НС.
13. Как осуществляется оптимальный выбор количества скрытых нейронов RBF–НС?
14. Что показывает сравнительный анализ характеристик сигмоидальных и радиальных НС?
15. Как осуществляется формирование структуры НС каскадной корреляции Фальмана на начальном этапе?
16. Зачем и каким образом производится подготовка нейронов–кандидатов для НС Фальмана?
17. Какие функции активации используются при формировании скрытых слоев НС Фальмана?
18. Расскажите о процессе обучения НС каскадной корреляции. Почему обучение НС Фальмана не требует применения алгоритма ОРО?
19. Что из себя представляет НС Вольтерри? Как формируется выходной сигнал и производится обучение этой сети?
20. Расскажите об идентификации нелинейных объектов с помощью сети Вольтерри.
21. Как осуществляется подавление интерференционных шумов на основе нелинейного фильтра (НС) Вольтерри?
22. Можно ли использовать НС Вольтерри для прогнозирования нестационарных сигналов? Если «да», то каким образом?
ЛИТЕРАТУРА
1. Хайкин С. Нейронные сети: полный курс / С. Хайкин. – М. : Издательский дом «Вильямс», 2006. – 1104 с.
2. Осовский С. Нейронные сети для обработки информации / С. Осовский. – М. : Финансы и статистика, 2004. – 344 с.
3. Круглов В.В. Искусственные нейронные сети: теория и практика / В.В. Круглов, В.В. Борисов. – М. : Горячая линия–Телеком, 2002. – 382 с.
4. Тарков М.С. Нейрокомпьютерные системы: учебное пособие / М.С. Тарков. – М. : Интернет–Университет информационных технологий; БИНОМ. Лаборатория знаний, 2006. – 142 с.
5. Медведев В.С. Нейронные сети. MATLAB 6 / В.С. Медведев, В.Г. Потемкин. – М. : ДИАЛОГ–МИФИ, 2002. – 496 с.
6. Круг П.Г. Нейронные сети и нейрокомпьютеры: учебное пособие / П.Г. Круг. – М. : Издательство МЭИ, 2002. – 176 с.
7. Галушкин А.И. Нейрокомьютеры: учебное пособие для вузов / А.И. Галушкин. – М. : ИПРЖР, 2000. – 528 с.
8. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / Ф. Уоссермен. – М. : Мир, 1992. – 240 с.
9. Заенцев И.В. Нейронные сети: основные модели / И.В. Заенцев. – Воронеж: ВГУ, 1999. – 78 с.
10. Суровцев И.С. Нейронные сети. Введение в современную информационную технологию / И.С. Суровцев, В.И. Клюкин, Р.П. Пивоварова. – Воронеж: ВГУ, 1994. – 224 с.
11. Клюкин В.И. Моделирование нейронных сетей в среде MATLAB: учеб. пособие / В.И. Клюкин, Ю.К. Николаенков. – Воронеж: ВГУ, 2007. – 60 с.
12. Каллан Р. Основные концепции нейронных сетей / Р. Каллан. – М. : Издательский дом «Вильямс», 2001. – 288 с.
Составители: Клюкин Владимир Иванович
Николаенков Юрий Кимович
Редактор О.А. Исаева