Основные конфигурации ИНС и их свойства
Искусственная нейронная сеть (ИНС) представляет собой совокупность определенным образом соединенных между собой и с внешней средой нейронов трех типов – входных, выходных и промежуточных. С точки зрения топологии ИНС различают:
1) полносвязные НС (рис. 3.1 а), где каждый нейрон передает свой выходной сигнал всем остальным, в том числе и самому себе, все входные сигналы подаются всем нейронам, а выходными сигналами могут быть отклики всех или некоторых нейронов после нескольких тактов функционирования сети;
2) слоистые или многослойные НС, в которых нейроны расположены в несколько слоев. Нейроны нулевого слоя служат для приема входных сигналов и передачи их через точки ветвления всем нейронам следующего (скрытого) слоя без обработки, 1-й слой осуществляет первичную обработку входных сигналов и формирует сигналы для 2-го слоя, который таким же образом формирует сигналы для 3-го и т.д. вплоть до последнего слоя, который образует выход НС. Число нейронов в каждом слое может быть любым и никак не связанным с количеством нейронов в других слоях. Если не оговорено особо, то каждый выходной сигнал i-го слоя подается на входы всех нейронов (i+1)-го.
Среди многослойных НС выделяют, в свою очередь, следующие типы:
а) НС прямого распространения, в которых отсутствуют обратные связи (ОС), т.е. подача выходных сигналов любого слоя на входы нейронов этого же или любого предыдущего слоя.
б) рекуррентные НС, где указанные ОС присутствуют в том или ином варианте.
Наиболее часто используются трехслойные НС прямого распространения с одним скрытым слоем (рис. 3.1 б), которые иногда называют двухслойными из-за отсутствия обработки информации нейронами входного слоя;
3) слабосвязные НС, где нейроны располагаются в узлах прямоугольной или гексагональной решетки. При этом каждый нейрон может быть связан с четырьмя (окрестность фон Неймана, рис. 3.1 в), шестью (окрестность Голея) или восемью (окрестность Мура, рис. 3.1 г) ближайшими соседями.
Выбор структуры НС обусловлен спецификой решаемой задачи и подчиняется следующим правилам:
- информационная мощность НС возрастает с увеличением числа слоев, нейронов, связей, усилению мощности НС способствует также использование в ее составе различных типов нейронов;
- возможности НС увеличивает введение ОС, однако при этом возникает проблема обеспечения динамической устойчивости сети.
Вопрос о необходимых и достаточных свойствах НС для решения тех или иных задач представляет собой целое направление нейрокомпьютерной науки. Подробные рекомендации здесь практически отсутствуют и в большинстве случаев оптимальный вариант получается на основе интуитивного подбора, хотя в принципе для любого алгоритма существует реализующая его НС.
Подавляющая часть прикладных задач может быть сведена к реализации некоторого многомерного функционального преобразования (вход) X®Y (выход), где правильность выходных сигналов необходимо обеспечить в соответствии:
- со всеми примерами обучающей выборки;
- со всеми возможными входными сигналами, не вошедшими в обучающую выборку, что в значительной степени осложняет задачу формирования последней.
Вообще говоря, построить многомерное отображение X®Y – это значит представить его с помощью математических операций над не более чем двумя переменными. В результате многолетней научной полемики между А.Н. Колмогоровым и В.В. Арнольдом в 1957 году была доказана теорема о представимости непрерывных функций нескольких переменных суперпозицией непрерывных функций одной переменной, которая в 1987 году была переложена Хехт–Нильсеном для нейронных сетей: любая функция нескольких переменных может быть представлена двухслойной НС с прямыми полными связями с N нейронами входного слоя, (2N+1) нейронами скрытого слоя с ограниченными функциями активации (например, сигмоидальными) и М нейронами выходного слоя с неизвестными функциями активации.
Из теоремы Колмогорова–Арнольда–Хехт–Нильсена (КАХН) следует, что для любой функции многих переменных существует отображающая ее НС фиксированной размерности, при настройке (обучении) которой могут использоваться три степени свободы:
- область значений сигмоидальных функций активации нейронов скрытого слоя;
- наклон сигмоид нейронов этого слоя;
- вид функций активации нейронов выходного слоя.
Точной оценки числа нейронов К в скрытом слое для каждой конкретной выборки с р элементами нет, однако можно использовать одно из наиболее простых приближенных соотношений:
(3.1)
Иногда целесообразно использовать НС с бóльшим числом слоев, имеющие (при решении тех же задач) меньшие размерности матриц [W] нейронов скрытых слоев, однако строгой методики построения таких НС пока нет.