Модель нейронной сети Хопфилда
В 70-е годы прошлого века интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы (иероглифы и тому подобное) независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И.Фукушима.
Новый виток быстрого развития моделей нейронных сетей, который начался больше десятка лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена и других, и в особенности Хопфилда, а также под влиянием обещающих успехов оптических технологий и зрелой фазы развития сверхсложных микросхем для реализации новых архитектур.
Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана для программирования сети. Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа "все на всех" характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако Хопфилд и Тэнк показали, как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для поставленной задачи.
Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е.Хинтоном и Р.Земелом. В ней, как и в других моделях, нейрон имеет состояния 0 или 1 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии). Максимум функции консенсуса соответствует оптимальному решению задачи.
Имеется следующая информация о результатах моделирования на компьютерах работы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, то есть без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более 15 процентов эталонных образов. Испытания проводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое количество случайных векторов в качестве эталонных и строилась соответствующая матрица весов связей. Моделирование при 100 нейронах было существенно более медленным процессом, чем при 30 нейронах, хотя качественная картина и в том и в другом случаях была одна и та же. Приблизительно 88 процентов испытаний заканчивались в эталонных состояниях, 10 процентов - в устойчивых состояниях, близких к эталонным. При расстоянии менее или равном 5 между начальным и эталонным векторами всякое эталонное состояние достигалось в 90 процентах случаев. С увеличением расстояния вероятность попадания в наиболее близкое эталонное состояние гладко падала. При расстоянии 12 вероятность была равна 0.2. Устойчивые состояния, слишком близкие друг к другу, имеют тенденцию "сливаться", они попадают в одну впадину на энергетической поверхности.
Программировалась задача коммивояжера на основе сети Хопфилда. Сетью из 100 нейронов для 20 различных случайных начальных состояний были определены маршруты, 16 из которых были приемлемыми, и 50 процентов попыток дали 2 пути 2.83 и 2.71 (цифры приводятся, чтобы показать, как они близки) при кратчайшем пути 2.67. Это результаты моделирования работы сети с непрерывной моделью нейрона.
Моделировалась также задача коммивояжера, но для сети типа машины Больцмана. Моделирование проводилось при следующих значениях управляющих параметров: A=0.95, L=10, M=100 (A - положительное число меньше единицы, но близкое к ней, L - число испытаний, которые проводятся без изменений, M - число последовательных испытаний, не приводящих к изменению состояния машины как критерия завершения процесса). Процесс запускался 100 раз для n=10 (всего в сети N=n2 нейронов) и 25 раз для n=30 при различных нормальных состояниях машины Больцмана. Для n=10 получился оптимальный результат, для n=30 - решение на 14 процентов хуже оптимального. Отметим, что вероятностный механизм функционирования машины Больцмана дает возможность получить на ней несколько лучшие результаты оптимизации, чем на модели Хопфилда.