Камера Б. Скиннерадля обучения голубей
Рис. 3.6.
В верхней части левой стенки камеры размещены 3 диска-«ключа». Они различаются не только по положению, но и по цвету лампочки, которая загорается за каждым из них. В кормушку (ниже) подают подкрепление. Клевание ключа (или, например, каждое клевание) автоматически подает зерно в кормушку.
Челночные камеры для исследования у лабораторных крыс и мышей реакции активного избегания. А — современная установка для изучения условной реакции активного избегания, которая обычно состоит из 4 челночных камер с автоматизированным управлением и выводом результатов на экран монитора; Б — отдельная челночная камера.
Рис. 3.7.
Обширные исследования, выполненные сторонниками идей бихевиоризма, привели к появлению целого ряда новых терминов и понятий и созданию специфического языка для описания закономерностей процесса обучения, обнаруженных только благодаря примененным ими подходам. Многие термины сначала использовались как чисто технические — для объективного описания данных (знакомство с ними может помочь при чтении научных статей бихевиористов). К таким терминам, в частности, относятся:
* оперантное поведение — спонтанные действия, не вызванные каким-либо очевидным стимулом;
* реактивное поведение — всякое поведение, которое совершается в ответ на определенный стимул;
* режим подкрепления (reinforcementschedule): соотношение числа реакций (например, нажатий на рычаг) и вознаграждений (например, кусочков пищи; подробнее см. ниже);
* постоянный (или переменный) интервал (fixedorvariableinterval) — вознаграждение дается через определенные интервалы времени, в период которых животное может осуществлять двигательные реакции (эти интервалы могут быть постоянными или варьировать по длительности), но по истечении этого интервала подкрепляется только первая реакция;
* фиксированное (или переменное) соотношение (fixedratioorvariableratio) — подкрепление дается животному только после того, как оно произведет какое-то количество реакции (нажатии или клевании. Можно давать подкрепление только после определенного числа реакций (фиксированное соотношение) или это число может каким-то образом варьировать (переменное соотношение);
* смежность (contiguity) — этим термином обозначают постулируемое возникновение связей между стимулами и возникающими на их основе реакциями, а также совпадение УС с реакцией животного или УС с подкреплением, которое необходимо для возникновения УР;
* ключ (cue) — обычно это либо рычаг, на который нажимает крыса, либо освещенный кружок, по которому наносит удар клювом голубь (этот термин, обычный для работ бихевиористов, не следует путать с термином «ключевой стимул», принятым в этологии для обозначения видоспецифических стимулов, вызывающих инстинктивные реакции (см. 2.11)).
На рис. 3.6 схематически изображена камера для выработки инструментальных УР у голубей. Скиннер считал, что любое поведение, относящееся к категории «оперантное», можно модифицировать, если при его выполнении давать животному подкрепление. Именно такой подход он предложил как эффективный способ анализа поведения. Если для выработки классических УР необходимы сочетания условных сигналов и подкрепления, то при методике свободного оперантного поведения, предложенной Скиннером, экспериментатор сопровождает подкреплением выполнение животным только определенного, намеченного им действия.
Например, крысу можно обучить нажимать на рычаг, если сначала сопровождать подкреплением любые ее действия в той части камеры, где он находится. Постепенно крыса обучается держаться вблизи рычага, и тогда подкрепление дают только, если она касается рычага мордой или лапой (для этого иногда на рычаг даже кладут пищу) Через некоторое время подкрепление дается только после выполнения четких движений — нажатий (одного или нескольких) лапой на рычаг.
Такое постепенное видоизменение поведения животного в результате вмешательства экспериментатора называется методом последовательного приближения или формированием (shaping) поведения.
Деление условных рефлексов на классические и инструментальные, удобное методически, не означает, что они имеют совершенно разную природу. В их основе лежат сходные нейрофизиологические механизмы, а любое «чисто» инструментальное действие животного всегда сопровождается реакцией, которая относится к классическим УР. И наоборот, в любом «чисто» классическом УР можно обнаружить Двигательный компонент, который по своим свойствам относится к инструментальным (Борукаев, 1982).
О связи классических и инструментальных УР свидетельствует также «самоформирование» условной реакции (auloshaping). Например, если голодного голубя поместить в камеру Скиннера и в течение 5 с освещать ключ для клевания с интервалом в 1 мин, а после прекращения освещения давать порцию пищи, то голубь сначала не обращает внимания на ключ. Однако после нескольких таких сеансов формируется инструментальная реакция, и он быстро начинает клевать ключ независимо от освещения. Постепенно голубь научается клевать ключ только при его освещении, т. е. реакция становится более точной — она самоформируется. В данном случае она очень близка к классическому УР, поскольку голубь клюет ключ как бы вместо зерна, даже в отсутствие подкрепления.
С помощью метода «последовательного приближения» у животных удается сформировать не только клевание ключа при его освещении, но и самые разнообразные, сложные и иногда неожиданные навыки. В опытах Скиннера голуби «играли» в пинг-понг, а крысы могли подтянуть к себе с помощью бечевки бильярдный шар, взять его в передние лапы и засунуть в трубку, расположенную на 5 см выше пола клетки (описание экспериментов П. Эпштейна, посвященных формированию сложных навыков у голубей, будет дано в гл. 4.8.2).
Метод последовательного приближения составляет основу дрессировки цирковых и служебных животных. Примером продуктивного использования принципов бихевиоризма, и в частности роли метода последовательного приближения в формировании поведения, является работа знаменитой американской дрессировщицы дельфинов и психолога (1995).
Тезис Скиннера о том, что любые движения, на которые способно животное данного вида, равновероятно можно использовать для инструментального научения, был достаточно обоснованно подвергнут сомнению в работе его коллег — К. и (Breland, Breland, 1961). Некоторые виды животных при обучении манипуляциям с предметами производят «заданные» экспериментатором действия только после выполнения некоторых врожденных (инстинктивных) действий либо совсем не могут им научиться. Так, например, обучая енота нажимать на рычаг, Бреланды заметили, что нажатию предшествует видоспецифическое движение лап — «полоскание», характерное для этого вида при добыче пищи из ручья (за что енота и называют «полоскун»). На основании таких наблюдений возникло представление о предрасположенности к определенным видам обучения (подробнее см.: Зорина и др., 1999).
В Образование инструментальных УР по механизму «последовательного приближения» играет важную роль в организации поведения животных не только в эксперименте, но и в естественных В условиях.
Обучение по методу последовательного приближения может происходить самым неожиданным образом. Об этом, в частности, свидетельствует получившая широкую известность в начале XX века история «умного Ганса». Это был конь, который демонстрировал способность «считать», «складывать», «извлекать корни», отвечать на вопросы и т. п. (рис. 3.8). Столь «разумное» поведение объяснялось тем, что конь научился замечать малоуловимые движения дрессировщика, которые тот непроизвольно совершал, видя, что конь вот-вот даст правильный ответ. Ориентируясь на эти условные сигналы, конь в нужный момент прекращал стучать копытом.
3.8. Инструментальные условные рефлексы у дрессированной лошади «умного Ганса». На фотографии видно, как ударами копыта по специальной доске Ганс сигнализировал «правильный» ответ (по Н. Н. Ладыгиной-Коте, 1914).
Рис.
В начале XX века (1900–1904) барон В. фон Остен, убежденный в огромных умственных способностях лошадей, обучал нескольких из них различению цветов, азбуке и «счету». Узнавание каждой буквы или цифры лошадь обозначала соответствующим числом ударов копыта. Друг фон Остена художник Редлих обучил таким же образом свою собаку. Наиболее способным учеником оказался орловский рысак Ганс, который производил достаточно сложные арифметические подсчеты, отвечал на разнообразные вопросы, а иногда высказывался по собственной инициативе. Так, супруги Н. Н. и, специально приехавшие для знакомства с ним в 1913 году, рассказывали, что после нескольких относительно коротких ответов на вопросы Ганс заявил: «В поле я встретил милую госпожу Краль, которая меня кормила».
Поведение его было столь впечатляющим, что вводило в заблуждение не только публику, но даже членов специальных комиссий, включая Н. Н. Ладыгину-Котс. Предполагали, что хозяин подает коню некие скрытые сигналы (как дрессировщик — цирковым животным), однако его обследовали 13 экспертов (комиссия психолога К. Штумпфа) и не обнаружили никакого обмана. Они засвидетельствовали, что Ганс действительно «считает» и никаких скрытых сигналов ему не подают. И лишь много позднее наблюдатели постепенно заметили, что Ганс отвечает только на те вопросы, ответ на которые знает сам экспериментатор. Специальный анализ, проведенный психологом О. Пфунгстом. показал, что животное реагирует на мельчайшие непроизвольные (идеомоторные) движения экспериментатора, например отклонения корпуса на 2 мм, микродвижения бровей, мимику и т. п. Эта невольная подача сигналов происходила, по-видимому, из-за эмоционального напряжения человека, по мере того как число ударов копытом приближалось к искомому. Даже картонный щит, которым пробовал отгородиться от Ганса экспериментатор, не помогал: животное все равно улавливало какие-то только ему понятные знаки для определения правильного ответа.
Для проверки своего предположения Пфунгст специально научил Ганса реагировать на микродвижения, которые он совершал уже сознательно, и продемонстрировал комиссии механизм и природу «математических способностей» этой лошади.
История «умного Ганса» оставила заметный след в развитии науки о поведении животных:
* она показала, сколь сложное поведение могло быть результатом обучения методом проб и ошибок;
* продемонстрировала справедливость «канона Ллойда Моргана» (см. 2.3) и актуальность его применения, поскольку в основе поведения этой «мыслящей лошади» лежали чисто условно-рефлекторные, а не связанные с мышлением механизмы;
* впервые привлекла внимание к проблеме чистоты эксперимента с точки зрения возможности неосознанного влияния экспериментатора на его результаты;
* заставила по-новому взглянуть на возможности восприятия животных: способность уловить едва заметные движения человека свидетельствовала об их большой наблюдательности и способности концентрировать внимание.