Условные рефлексы как эффект-зависимое обучение
Условные рефлексы составляют определенный фонд «знаний», индивидуального опыта животных и человека. Они формируются (накапливаются) при определенных условиях индивидуальной жизни организма и исчезают при отсутствии соответствующих условий, отличаясь тем самым от врожденных форм приспособления. Результаты условнорефлекторного научения часто включаются в качестве скрытых, едва заметных компонентов в сложные поведенческие акты.
Все условные рефлексы были разделены на классические и инструментальные. Это два вида поведенческих реакций, которые описывают как условнорефлекторное поведение и оперантное поведение (Б. Скиннер) или классическое и инструментальное обусловливание (Э.Р. Хилгард), или условные рефлексы. I и II типов (Ю. Конорский).
В случае выработки классического условного рефлекса через определенные интервалы после условного раздражителя предъявляется какой-либо подкрепляющий (безусловный) стимул. Подкрепление следует за условным стимулом независимо от того, будет ли реакция животного или ее не будет. В период упрочения ассоциативной связи между условным стимулом и безусловным подкреплением проба изолированно- го действия условного стимула вызывает условную реакцию. Условный ответ полностью или частично имитирует безусловную реакцию.
В павловской школе индикатором формирования и функционирования условного рефлекса служила, как известно, величина секреции околоушной слюнной железы собаки. После нескольких сочетаний условного и безусловного раздражителей, например звука и пищи, изолированное предъявление условного раздражителя (звука) вызывало слюноотделение. В процедуре сочетания условного и безусловного раздражителей безусловный раздражитель (пища) выступает в роли подкрепления. Если условный раздражитель повторно применять без подкрепления, наблюдается угашение, т.е. условнорефлекторный ответ постепенно уменьшается и в конечном итоге прекращается. Однако после перерыва вновь восстанавливается, но без подкрепления быстро угасает.
Основным признаком условного рефлекса является то, что стимул в процессе образования временной связи (научения) вместо свойственной ему безусловной реакции начинает вызывать другую, ему несвойственную. Сигнал изменяет свое действие под влиянием последующего значащего для организма эффекта. Сигнал приобретает значение этого эффекта. Такое обучение E.H. Соколов назвал эффект-зависимым [38].
В инструментальных условных рефлексах значительную роль выполняет внутренняя активность животного. По определению Ю. Конорского, «...инструментальные условные рефлексы — это рефлексы, в которых в ответ на данный раздражитель производится движение, выполняя которое животное либо обеспечивает себя привлекающим безусловным раздражением... либо избегает отвергаемого раздражения» [14, с. 308]. Согласно Э.А. Асратяну, инструментальные рефлексы — это рефлексы, в которых непременным условием является осуществление тех или иных двигательных реакций (как для получения вознаграждения, так и для избавления от болевого стимула), где движение всегда имеет сигнальное значение. Из определений следует, что инструментальный рефлекс характеризуется активным поведением животного, направленным на получение биологически полезного результата. Этот полезный результат и является подкреплением в инструментальных рефлексах. При этом выработка инструментальных рефлексов происходит по «закону эффекта» Э. Торндайка.
Классификация условных рефлексов. Часто условные рефлексы обозначают по названию безусловных рефлексов, на основе которых они выработаны: пищевой, оборонительный, ориентировочный и т. п.
По афферентному звену рефлекторной дуги, в частности по рецепторному признаку, выделяют две большие группы условных рефлексов: экстероцептивные и интероцептивные. Иногда выделяется как отдельная группа проприоцептивные условные рефлексы.
Среди экстероцептивных условных рефлексов в соответствии с модальностью условного раздражителя выделяют зрительные, слуховые, обонятельные, вкусовые, тактильные и температурные. Экстероцептивные условные рефлексы могут быть выработаны на вид предметов, отношение между ними по величине, форме, цвету; на силу, высоту и тембр звука; на различные запахи и вкусовые раздражения; на механические и температурные раздражения кожи и т. д. Экстероцептивные условные рефлексы играют роль во взаимоотношениях организма с окружающей средой, поэтому они образуются относительно быстро. Так, например, у собак для этого необходимо примерно 5...20 сочетаний экстероцептивного условного раздражителя с безусловным рефлексом. При подкреплении, совпадающем с актуализированной потребностью такие условные рефлексы быстро специализируются и укрепляются.
Интероцептивные условные рефлексы образуются при сочетании раздражения рецепторов внутренних органов с каким-либо безусловным рефлексом. Соответственно наличию разных типов интероцепторов (механорецепторов, хеморецепторов, осморецепторов и рецепторов объема) вырабатываются условные рефлексы при механическом раздражении внутренних органов, увеличении в них давления, изменении химизма крови, осмотического давления, температуры и т. д. Например, сочетание возбуждения рецепторов желудка (при наполнении желудка водой или раздувании его специальным баллончиком) с электрическим раздражением лапы собаки приводит к образованию интероцептивного условного рефлекса, когда в ответ на наполнение желудка животное реагирует оборонительной реакцией (движением конечности). Интероцептивные условные рефлексы образуются медленнее экстероцептивных, для их укрепления необходимо примерно 50... 150 сочетаний условного и безусловного раздражителей. Интероцепторы всех типов выполняют две основные функции: во-первых, они составляют афферентное звено специальных вегетативных рефлексов (организуемых относительно автономными функциональными системами), играющими важную роль в поддержании гомеостаза в организме; во-вторых, посылая информацию о состоянии внутренних органов, они влияют на состояние центральной нервной системы и оказывают воздействие на высшую нервную деятельность. У человека интероцептивная импульсация остается в сфере бессознательного, однако часть ее осознается, например, связанная с голодом, жаждой и др. Условнорефлекторная реакция на интероцептивный раздражитель более диффузная и генерализованная, чем на экстероцептивный раздражитель.
Интероцептивные и экстероцептивные условные рефлексы находятся в тесной взаимосвязи. Соотношение рефлексов на внешние раздражители и раздражители внутренней среды (вегетативные рефлексы) может меняться. Они могут усиливать и ослаблять друг друга в зависимости от условий окружающей среды и внутренних потребностей организма. При исследовании взаимоотношений этих рефлексов необходимо учитывать силу условных и безусловных раздражителей: при специально подобранных раздражителях можно наблюдать преобладание более сильного рефлекса.
По эфферентному звену рефлекторной дуги, в частности по эффектору, на котором проявляются рефлексы, выделяют две группы условных рефлексов: вегетативные и двигательные, инструментальные.
К вегетативным условным рефлексам относятся классический слюноотделительный условный рефлекс, а также целый ряд двигательно-вегетативных рефлексов — сосудистые, дыхательные, пищевые, зрачковый, сердечный и т. п. Отдельные вегетативные условные рефлексы могут вырабатываться достаточно легко. Например, если сочетать звук метронома с вдыханием собакой смеси воздуха с повышенным содержанием углекислого газа (до 7-8% ), то после нескольких таких сочетаний один лишь звук метронома будет вызывать гипервентиляцию легких, т. е. образуется дыхательный условный рефлекс. В зависимости от характера эффекторного аппарата вегетативные условные рефлексы значительно отличаются друг от друга как по скорости образования условной связи, так и по другим особенностям. Значительно легче образуется, например, условный диуретический рефлекс. Особенно трудно образуются (и угашаются) сердечно-сосудистые условные рефлексы.
Инструментальные условные рефлексы могут формироваться на базе безусловно-рефлекторных двигательных реакций. Например, двигательные оборонительные условные рефлексы у собак вырабатываются очень быстро (2-6 сочетаний условного раздражителя с болевым подкреплением), сначала в виде общедвигательной реакции, которая затем достаточно быстро специализируется. Инструментальный условный рефлекс состоит не в воспроизведении безусловной реакции, а в реализации такого действия, которое позволит достичь или избежать последующего безусловного подкрепления. Человек или животное для того, чтобы получить вознаграждение (положительное подкрепление) или избежать наказания, должны осуществить какое-то активное действие. Это может быть локомоторная деятельность — изменение положения тела в пространстве, перемещение по лабиринту и т. п. Более сложное взаимоотношение организма с внешней средой проявляется в манипуляционной деятельности (манипуляторами могут служить клавиши, педали, рычаги и т. п.). Выполнение различных операций осуществляется цепью двигательных актов, а вегетативным реакциям принадлежит вспомогательная функция.
При инструментальной деятельности человек или животное обучается такой схеме поведения, которая может служить решающим фактором выполнения конкретной задачи и удовлетворения определенной потребности. Инструментальный условный рефлекс всегда представляет собой активную двигательную реакцию обучающегося. В первых пробах эксперимента на базе ориентировочно-исследовательского рефлекса животное осуществляет поисковую (беспорядочную) двигательную активность. При первом случайном нажатии на манипулятор животное получает подкрепление. Это подкрепление будет приводить к повторению удачной реакции. В этом варианте инструментального условного рефлекса частота двигательных реакций будет зависеть от самого животного (рис. 13). Отмена подкрепления, как и в классических условных рефлексах, приводит к угашению инструментального рефлекса. Подкрепление усиливает или увеличивает вероятность реакции.
Созданные в последние годы теории программированного обучения тоже содержат элементы инструментального (оперантного) научения, поскольку обратная связь у обучающегося используется для подкрепления. Программы с подкреплением используются также при конструировании различных игровых автоматов, где время от времени играющий получает вознаграждение (подкрепление).
Формы условных рефлексовмогут быть обусловлены характером и составом условного раздражителя, видом подкрепления, а также временными отношениями между ассоциируемыми раздражителями.
Условные рефлексы образуются лишь при большей физиологической силе безусловного раздражителя по сравнению с силой условного. Важнейшим фактором в выработке условной связи является совпадение биологической значимости безусловного подкрепления с доминирующей (или актуализированной) потребностью организма. Увеличение интенсивности подкрепления обычно повышает эффективность научения (скорость выработки условного рефлекса и его прочность). Эффективность выработки условнорефлекторного научения определяется как отношение числа условных (правильных) ответов к общему числу предъявлений условного стимула.
Отмечается глубокая зависимость от порядка следования ассоциируемых раздражителей и их временных характеристик. Обычно образование условного рефлекса происходит при совпадении сочетаемых раздражителей либо опережении сигнальным раздражителем безусловного подкрепления. Для большинства условных рефлексов наиболее эффективно 0,5-секундное опережение условным стимулом безусловного. Исследование временных отношений при выработке условных рефлексов позволяет ставить вопросы о времени следообразования, временных характеристиках энграммы, механизмах памяти. В процессе выработки условного рефлекса изменения интервала между сочетаемыми стимулами снижают прочность условного рефлекса. При обратном порядке следования ассоциируемых раздражителей условные рефлексы либо не образуются, либо возникают с большим трудом.
Условные рефлексы по показателю временных соотношений между ассоциируемыми раздражителями делят на две группы: наличные — в случае совпадения во времени условного сигнала и подкрепления, и следовые условные рефлексы, когда подкрепление предъявляется лишь после окончания условного раздражителя (рис. 14). Наличные рефлексы в свою очередь по величине интервала между включением ассоциируемых раздражителей делят на несколько видов — совпадающие, отставленные и запаздывающие. При совпадающем условном рефлексе подкрепление сразу присоединяется к сигнальному раздражителю (не позднее 1-3 с), при отставленном — в период до 30 с, а в случае
Рис. 14. Схема временных отношений между условными и безусловными стимулами (по Л.Г. Воронину, 1979).
А — совпадающий, Б — отставленный, В — запаздывающий, Г — следовой, Д— поздний следовой; светлым — условный стимул, черным — подкрепление
запаздывающего рефлекса изолированное действие условного стимула продолжается 1-3 мин. Следовые условные рефлексы образуются тогда, когда подкрепление следует уже после окончания действия условного стимула. Иными словами, подкрепление сочетается с остаточными «следами нервного стимула».
Условные рефлексы на время — особая разновидность следовых условных рефлексов. Они образуются при регулярном повторении безусловного раздражителя. Например, кормление животного через каждые 30 мин. После большого количества сочетаний (пища + определенный интервал времени) каждый раз после окончания данного интервала времени появляется рефлекторная реакция, которая ранее возникала при действии безусловного раздражителя. Условные рефлексы на время могут быть выработаны на различные временные интервалы — от нескольких секунд до нескольких часов и даже суток. Видимо, ориентиром в отсчете времени (наличными раздражениями) могут служить различные периодические процессы, происходящие в организме (мозговых структурах — генераторы ритмов или пейсмекер, кроме того, частота сердечных сокращений, дыхательный ритм, двигательная и секреторная периодика пищеварительной системы и т. п.). Явление отсчета времени организмом часто называют «биологическими часами». Живой организм имеет целый набор биологических часов (ритмов) с различными периодами. Короткие периоды колебаний, возникающие на клеточном уровне, трансформируются в более длительные ритмы отдельных органов и систем организма.
В зависимости от структуры условного сигнала условные рефлексы делят на простые и сложные. Иначе говоря, условными сигналами могут быть одиночные и комплексные раздражители. Среди комплексных условных рефлексов прежде всего выделяют рефлексы на одновременные и последовательные комплексы раздражителей, а также на цепь раздражителей (рис. 15).
Так, если сигналом становится комбинация из одновременно применяемых нескольких раздражителей, то образуется условный рефлекс на одновременный комплекс раздражителей. Например, звонок в одной экспериментальной камере является сигналом оборонительного рефлекса, а в другой камере — сигналом пищевой реакции. Очевидно, что условным сигналом в этом эксперименте служит не просто звонок сам по себе, а комплекс раздражителей, состоящий из звонка и всей обстановки опыта. Комбинация из раздражителей, которые начинают действовать друг за другом, приводит к образованию ассоциации на последовательный комплекс стимулов. Если в комплексе сигнальных раздражителей между окончанием действия предыдущего сигнала и началом действия последующего имеется интервал времени, а подкрепление совпадает с действием только последнего компонента, то образуется условный рефлекс на цепь раздражителей.
Условные рефлексы высшего порядка. Условные рефлексы могут образовываться не только при соче-тении условного сигнала с безусловным, но и при сочетании индифферентного раздражителя с условным сигналом. Например, если у собаки выработан условный слюноотделительный рефлекс на звонок, то, сочетая какой-либо индифферентный раздражитель с условным звуковым сигналом, образуется условный рефлекс II порядка, т. е. в этом случае вторичный раздражитель будет также вызывать слюноотделение, хотя ни сам по себе, ни в сочетании с первичным условным сигналом он не подкреплялся. На основе пищевой и оборонительной условной реакции у собак удается выработать условные рефлексы II и IV порядков, но при повышенном мотивационном возбуждении.
Такие «порядковые» условные рефлексы образуются на основе прочного условного рефлекса и называются рефлексами высшего порядка. Условные рефлексы высшего порядка образуются тем легче, чем более возбудима нервная система, а также чем сильнее безусловный рефлекс, на основе которого выработан рефлекс I порядка. У нервнобольных детей с патологически повышенной возбудимостью легко вырабатываются условные рефлексы V и VI порядков, в то время как у здоровых детей — только II порядка.
Однако существуют литературные данные, что у взрослых людей вырабатываются условные (слюноотделительные, глотательные и дыхательные) рефлексы II-ХХ порядков при подкреплении условного сигнала (тона) клюквенным экстрактом. Условные рефлексы высоких порядков нестойки, вскоре угасают.
К одному из сложных явлений высшей нервной деятельности животных относится экстраполяционный рефлекс, описанный Л.В. Крушинским(в 1960 г.). Суть его заключается в том, что животное способно улавливать и предвидеть благоприятные и неблагоприятные обстоятельства. Перед животным скрыто (за ширмой) перемещаются в противоположные стороны от щели в ширме два объекта: благоприятный (кормушка с пищей) и неблагоприятный (пустая кормушка). Животное за короткое время появления в щели объектов фиксирует положение и направление обоих движущихся объектов за ширмой. Задача животного — предвидеть направление движения благоприятного стимула к предполагаемому месту появления объекта и осуществить побежку (в ряде случаев задача усложняется преградами). Л.В. Крушинский рассматривает экстраполяционный рефлекс как «унитарную единицу» поведения, как один из критериев рассудочной деятельности животных [19].
Гальмування умовних рефлексів та його види.