Проблема неверных обобщений как артефактных выводов 1 страница
Ошибки на пути к конечным обобщениям приводят к формулировкам неверных, или артефактных, выводов. Артефактные выводы могут быть следующего характера:
1) неверный вывод из-за неверных статистических решений. Например, исследователь может «проглядеть», что нужно отвергнуть как экспериментальную, так и контргипотезу и необходим поиск так называемой третьей конкурирующей гипотезы;
2) неверный вывод о действии НП из-за невнимания к строгой оценке валидности эксперимента, за которым кроется ошибка принятия в качестве положительного «подтверждения» ЭГ, ар-тефактный результат или возможность «проглядеть» в эксперименте истинную зависимость;
3) неверные обобщения из-за неучета существенных дополнительных переменных или ошибок в понимании соотношения теоретического утверждения и эмпирически нагруженного высказывания (ЭГ);
4) замена или искажение рассмотренных нормативов экспериментального вывода оценочными суждениями, апелляцией к авторитету и другими неявными «уступками» логики рассуждения содержательно необоснованным критериям. Эти ошибки связаны с ценностными отношениями к содержанию проблемы или выводам и недостаточной критичностью к тому, что в исследовании оказалось упущенным.
На последней группе «ошибок в выводах» остановимся специально, поскольку они грозят содержательным обобщениям и в тех исследованиях, которые были хорошо спланированными. В специальной литературе обсуждается ряд следующих ошибок, наиболее часто встречающихся в психологических исследованиях.
«Недостающие звенья» в причинных объяснениях. Каузальные факторы, гипотетически ответственные за возникновение того или иного феномена либо обусловливающие связи переменных, могут описываться без достаточного детального рассмотрения, что приводит к возникновению «недостающего звена» между объяснением и обобщением.
Например, делается вывод о том, что «материнская депривация» у детей приводит к «расстройствам адаптации». Однако фактор «материнской депривации» не является элементарным, а может быть рассмотрен в качестве множества факторов, каждый из которых оказывает свое непосредственное влияние на возникновение расстройств адаптации [86].
Другим примером мог бы служить анализ взаимосвязей между переменными «агрессивность» и «предпочтение просмотра телепередач с агрессивным содержанием» на основе использования методического приема перекрестно-отсроченных корреляций [34]. Этот методический прием, или схема корреляционных исследований, применяется для выявления асимметрии предсказаний Х по Y и Y по X, т.е. установления предпочтений в высказываниях о направленности причинно-следственной связи двух переменных, измеренных одновременно (синхронно). Учет изменений в связях, происходящих в течение времени между разными измерениями переменных, позволяет отвечать на вопросы, является ли Х более «сильной» причиной Y, чем Y – X?
Для осуществления обобщений при использовании этого методического приема две переменные должны быть измерены несколько раз (не менее двух) на одних и тех же испытуемых через один и тот же промежуток времени. Пусть А1 и В1 – значения переменных в первом измерении, А2 и В2 – во втором и т.д. В основе заключений психолога, применяющего эту исследовательскую схему, лежит положение о том, что если А – более сильная причина В, чем наоборот, и имеется реальный процесс «хранения» связи (сохранность причинных отношений во времени), то можно ожидать, что коэффициент корреляции rA1B1будет больше, чем rA2B2.
Экскурс 14.1
На основе схемы подсчета перекрестно-отсроченных корреляций (rA1B1 и rA2B2) в исследовании Кении (1979 г.) проверялась гипотеза о связи агрессивности ребенка (А) и просмотра телепередач с агрессивным содержанием (В). В корреляционном исследовании были измерены переменные А и В для одних и тех же субъектов в возрасте 8–9 лет и затем 18–19 лет. Если бы не был применен план перекрестно-отсроченных корреляций, т.е. из анализа были бы изъяты данные об изменениях во времени (с промежутком в десять лет) связи между измерениями «А1 и В2» и «А2 и В1», то было бы утеряно наиболее важное основание выводов о взаимосвязи А и В переменных. Учет взаимовлияний переменных во времени позволил принять гипотезу, что именно предпочтение ребенком просмотра телепередач с агрессивным содержанием позволяет прогнозировать попадание его в группу агрессивных взрослых.
Схема 14.1. Перекрестно-отсроченные корреляции.
Как видно из приведенных на схеме 14.1 коэффициентов корреляции, в обобщении результатов переменная В должна рассматриваться как более сильная причина А, чем наоборот. Величины аутохонных корреляций также являются большими (rA1B1 и rA2B2), но и их превосходит величина перекрестно-отсроченной корреляция rA2B2.
Неправомерное выделение основной причины. При формулировании обобщений, включающих объяснения эмпирических зависимостей, какая-либо частная причина может быть принята за основную и исчерпывающую.
Так, при постановке психологического диагноза (и медицинского тоже) эксперт может рассматривать один из симптомов как основной в развитии нарушений поведения. Но не менее важными могут быть при этом и другие составляющие выявленного симптомокомплекса.
Экскурс 14.2
При выводах о связи показателей IQ с уровнем полученного образования те факторы, которые стоят за «попаданием» ребенка в более привилегированное учебное заведение, могут то выдвигаться на первое место (социальный и образовательный ценз семьи, этническая принадлежность или другие переменные), то занимать место третьестепенных по сравнению с рассматриваемыми автором (например, IQ родителей, креативность и т.д.). В моделях, описываемых, в частности, системами структурных уравнений [19, 34], одни и те же переменные могут занимать разноуровневые положения – измеряемых или латентных переменных. Понятно, что в каждом конкретном исследовании веер возможных объяснительных гипотез ограничен числом охваченных переменных и предположением авторов о главенствующей роли одних и подчиненной – других переменных.
Претензии на полное или исчерпывающее каузальное объяснение всегда можно постараться «вынести за скобки», чтобы оценить подкрепленность авторской гипотезы другими конкурирующими объяснениями.
Подмена одного высказывания другим. Автор исследования может некритично предположить, что одна зафиксированная им ситуация гарантирует содержание другой, и сообщить только о последней.
Экскурс 14.3
Например, на вопрос учителя о том, кто разбросал на перемене заранее подготовленные им и сложенные в стопочку на столе тетрадные листы с контрольными заданиями, на уроке школьники ответили, что не видели этого или: «Никто не разбрасывал». Учитель может принять в качестве истинного это утверждение (возможно, так оно и было). Но из этого не следует, что на самом деле никто из школьников ничего не видел и не сделал. Поэтому более корректным утверждением учителя, который рассказал этот случай в учительской коллегам, было бы утверждение, что «никто из ребят не признался, что видел, как разбросали листки с заданиями».
Более замаскированной эта ошибка выглядит в психологических исследованиях в случаях, если автор, использующий ответы испытуемых типа «часто», «не очень часто», «редко» и т.п., не пытается найти критерий оценки (или размерности) субъективной шкалы испытуемого, что приводит к неразличению высказываний: «Испытуемый поступает таким образом часто» и «Испытуемый считает, что он поступает таким образом часто».
При качественной интерпретации данных, например при использовании в психологии мышления протоколов «рассуждения вслух», это оборачивается проблемой неразличения двух уровней их анализа:
объяснения с позиций самого испытуемого, как он осуществляет решение задачи, и объяснения с позиции экспериментатора, включающего некоторую схему членения высказываний в вербальном протоколе. Если при оценке личностью своих качеств психолог обычно сохраняет критичную позицию, выражающуюся в различении высказываний: «Он говорит, что он такой» и «Он такой, каким он себя описывает», то в других областях психологической реальности такой критичной исследовательской позиции может не прочитываться либо психолог сознательно стремится ее избежать.
Ошибка ценностных суждений. Содержательные выводы о подкрепленности психологической гипотезы опытными данными вводятся в контекст ценностных отношений так, что желаемая оценка значимости эффекта с точки зрения социального или этического критерия связывается с проблемой «доказанности» психологических посылок автора.
Экскурс 14.4
Например, оценка преимуществ нового метода обучения может связываться с тем, что этот метод способствует воспитанию интеллектуальной элиты. Тогда в зависимости от конкретных социально-политических условий в выводы об эффективности метода могут включаться ценностные пожелания типа «метод плох, потому что он направлен на воспитание элиты, а нам нужен такой метод, который бы был адресован всем» либо «метод хорош, потому что он направлен на воспитание элиты, а именно с воспитанием интеллектуальной элиты у нас в обществе проблемы». Оба таких утверждения могут быть в равной степени необоснованными, поскольку желаемый прогноз о возможностях метода трудно соотнести с внешним критерием социальной оценки интеллектуального развития людей.
Другой вопрос – это вопрос о том, что те или иные психологические результаты имеют разный ценностный резонанс с точки зрения возможности и желательности их использования на практике. Так, переход ко всеобщему начальному образованию в ряде стран в начале XX в. обусловил высокую социальную оценку создания интеллектуальных тестов, а принятие в 1960-е годы социальных программ поддержки выходцев из беднейших слоев населения – разработок так называемых компенсаторных программ обучения. Однако оценка, актуальности тех или иных психологических разработок не может выступать критерием истинности проверяемых в них психологических гипотез. Подмена выводов типа «что получено» (в результате исследования) на тип «что ценного в том, что получено, для практики» или «что делать» и есть механизм возникновения ошибок ценностных суждений.
Неправомерные апелляции к авторитету. Утверждение о том, что некоторый эксперт (группа экспертов) имеет некоторое мнение, может предлагаться в качестве достаточного или значимого довода для подтверждения этого гипотетического суждения. Ошибка суждения здесь имеет место в том случае, если вместо прошедших проверку на истинность доводов для оценки содержания гипотезы привлекается ссылка на мнение авторитета. В подобном контексте будет более корректно оценивать не авторитетность эксперта, а обоснованность содержательных аргументов в пользу данного мнения.
Для содержательной оценки выводов из исследования важными являются не регалии ученого, а аргументация в данном конкретном случае. Ведь авторитет, т.е. признанный специалист в этой области знаний, может сделать вывод такого рода: «Если Вы согласны со мной по 9 из 10 отстаиваемых мною утверждений, то Вы должны согласиться и с десятым».
Этот пример приводится, в частности, австралийскими психологами [72] при рассмотрении доводов, выдвигаемых Г. Айзенком для защиты гипотезы о наследственных факторах интеллекта. Не раз подмечено, что апелляция к мнению экспертов, которые якобы заведомо лучше разбираются в проблеме, чем другие исследователи, не попавшие в группу экспертов, возникает всякий раз, когда очевидны ценностные или социально-политические установки общества в подходе к тем или иным проблемам. Это происходит также в тех случаях, когда научный вес, научный или личностный авторитет исследователя столь высок, что обсуждение отстаиваемых им гипотез выводится за рамки требований к доказанности суждений, выдвинутых другими авторами.
Апелляции к факту. Ошибка суждения заключается в том, что в качестве достаточного или значимого довода предлагается утверждение о том, что доказательство, подтверждающее какую-либо точку зрения, является «установленным» или «общепринятым фактом».
Довод необходимо аргументировать, так как подобное доказательство с большой вероятностью будет являться спорным. Его спорность будет особенно велика, если в качестве факта предлагается описание какого-либо феномена в терминах какой-либо конкретной теории. Подобное описание может не считаться «установленным» или «общепринятым» для сторонника другой теории. Наконец, апелляция к феноменальной данности психологического события еще не есть довод, поскольку не менее важен вопрос, ответ на который связывается с такой апелляцией. Система рассуждений, в которую включается описание психологической реальности, рождает психологический «факт».
Принятие решения о том, что тот или иной психологический факт имел место, может основываться на очень разных системах доказательств. Так, для использования метода наблюдения характерна проблема ограничения интерпретации, которая всегда включается в описание наблюдаемых явлений. Для экспериментального метода принятие решений о виде устанавливаемого факта предполагает гораздо более строгий контроль пути от сбора данных до утверждений о полученных зависимостях (как психологических фактах). Какой бы метод ни имелся в виду, всегда в выводах представлен тот уровень обобщений, в рамках которого только и имеет смысл говорить об установленных фактах.
Редукционизм выводов
В психологии редукционизм рассматривается как подмена психологических объяснений непсихологическими или как поиск объяснения определенного числа различных явлений посредством сведения их к одному принципу объяснения. Он может проявляться как подведение эмпирических выводов под интерпретационные схемы, лежащие часто в сфере других наук или областей знания (культурология, социология, физиология и т.д.), либо как организация выводов в рамках принятой объяснительной парадигмы тех или иных психологических школ. Тогда, говоря о редукционизме, другие исследователи подчеркивают неадекватность используемых понятий психологической реальности или схем получения эмпирических данных предмету исследования.
На основе таких вариантов редукционизма при обсуждении авторами заявленных психологических гипотез могут делаться выводы, упрощенно представляющие исследуемые базисные процессы или связи между переменными. Редукционизм социологического, психофизиологического или другого толка – это методологические выводы о структуре психологических объяснений. Обсуждение этой сложной проблемы выходит за рамки данного учебника.
Существенно, что принимаемые научным сообществом критерии «правильных» выводов изменяются во времени, со сменой исследовательских парадигм и стилей мышления, а также социальных установок авторов. Относительность понятия достоверных выводов тем более понятна, если учитывать, что с помощью одних и тех же эмпирических результатов можно отвечать на разные вопросы и вводить их в различные контексты других объяснительных схем.
С проблемой редукционизма тесно связана также проблема множественности и разноуровневости теоретических объяснений. Одни и те же феноменальные (эмпирически установленные) закономерности могут обсуждаться с разных методологических позиций – телеологических, причинных, психофизиологических и т.д. И дело здесь не только в предпочтениях автора. Дело в том, что сама психологическая наука в своем развитии продемонстрировала продуктивность разных форм построения психологических теорий. То, что в психологии сосуществуют разные теории (и верхнего, и среднего уровней), некоторыми авторами может характеризоваться как кризис (или «схизис») психологии. Но возможна и другая методологическая оценка такого положения дел – позитивная. Разные теоретические гипотезы (как догадки, по Попперу) могут считаться равноправными; чем больше поле этих догадок, тем ближе психология к пониманию ее фактов и законов. Кризисом было бы установление «единомыслия».
Контрольные вопросы
1. Каковы основные пути и источники неверных обобщений?
2. От чего зависят возможности обобщений за пределами экспериментальной ситуации?
3. Как связаны содержательные обобщения принятия решения об экспериментальном факте и логическая компетентность?
4. Каковы источники возникновения новых психологических гипотез?
5. Как связаны ошибки в выводах с проблемой переноса обобщений на новые ситуации, виды деятельности популяции и т.д.?
6. Что означают понятия «недостающие звенья» в причинных объяснениях и «неправомерность в выявлении основной причины»?
7. Что означает ошибка ценностных суждений в психологических выводах?
8. Чем характеризуется редукционизм в выводах психологического исследования?
9. Что означают неправомерные апелляции «к факту» и к «авторитету»?
10. Чем отличаются выводы при использовании разных психологических методов?
Краткий словарь терминов
Асимметрия вывода – основной норматив вывода при экспериментальной проверке гипотез, который предполагает построение обобщения о теоретической гипотезе. Использует силлогизм modus tollens, означающий возможность фальсификации, но не верификации теоретической гипотезы опытными данными.
Базисная переменная – термин встречается в двух значениях.
1. По мнению Р. Готтсданкера, это та переменная, на которую (и только на нее), согласно теоретическим предположениям, оказывает свое действие независимая переменная.
2. В контексте рассматриваемой Дж. Кэмпбеллом формы квазиэкспериментального контроля за выводом, получившей название «контроль после» (post factum), базисная побочная переменная (БПП) – это переменная внутренних условий (факторов межиндивидуальных различий), которая смешивается с основным изучаемым базисным процессом (представленным основной базисной переменной).
В данном учебнике, за исключением случая контроля БПП, термин используется как синоним базисного процесса, понимаемого в качестве центрального звена базисной переменной.
Базисный процесс – исследуемый психологический процесс, реконструируемый на основе теоретических предположений и установления связи между независимой и зависимой переменными.
Валидность внешняя – критерий оценки исследования с точки зрения решения проблем соответствия сформулированных в гипотезе переменных и реализованных методически условий тем, на которые осуществляется обобщение полученных результатов.
Валидность внутренняя – критерий оценки планирования и проведения исследования с точки зрения приближения к образцам идеального и бесконечного экспериментов, позволяющий считать достоверными выводы относительно именно представленной в гипотезе зависимости (а не какой-то другой).
Валидность исследования – оценка проведенного эмпирического исследования с точки зрения «правильности» его организации и тем самым возможности считать полученные результаты и сделанные выводы достоверными. Валидность при использовании методов наблюдения или эксперимента включает оценку репрезентативности исследования как степени приближения его к возможным безупречным мысленным образцам.
Валидность конструктная – аналог внешней валидности; оценка соответствия представленных в экспериментальной гипотезе переменных и отношения между ними теоретическим конструктам и теоретической гипотезе, из которой в качестве следствия выводится экспериментальная гипотеза.
Валидность операциональная – оценка проведенного эксперимента с точки зрения степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые использованы в исследовании. В лабораторном эксперименте может совпадать с оценкой конструктной валидности.
Валидность популяционная – это оценка того, насколько правомерно распространять обобщения, полученные на основании использования в исследовании ограниченного числа испытуемых на более широкие выборки испытуемых, или на популяции. Она тесно связана с таким аспектом выводов, как обоснование переноса анализируемых зависимостей на другие группы людей. Оценка этого вида валидности зависит как от качества, а значит стратегии отбора испытуемых из популяции, так и от использования тех или иных критериев контроля индивидуальных различий. Сравнение индивидуальных и среднегрупповых данных (среднегруппового профиля или «типичного» представителя выборки) при хорошей популяционной валидности не должно выявлять существенных различий. Оценка использованных стратегий отбора испытуемых из популяции и репрезентативность данных определяют возможности переноса обобщений на других испытуемых.
Валидность эксперимента – степень соответствия эксперимента предполагаемым мысленным образцам. Различается пять основных типов валидности: внутренняя, внешняя, операциональная, конструктная, популяционная. Внутренняя и операциональная валидность оцениваются в любом эксперименте, внешняя – в естественном (дублирующем реальный мир); конструктная – при проверке теоретических гипотез; популяционная – при оценке репрезентативности выборки с точки зрения возможности переносить обобщения на популяции.
Вариата – переменная в корреляционном исследовании, изменения которой можно измерять, но которой нельзя управлять.
Гипотеза – научное предположение в виде высказывания, истинность или ложность которого неизвестны, но могут быть проверены опытным путем (эмпирически). Психологические гипотезы – предположения, сформулированные относительно психологической реальности в рамках использования тех или иных психологических представлений; соответствующие теоретическим представлениям понятия функционируют в гипотезе в качестве гипотетических конструктов.
Гипотеза каузальная включает содержательную интерпретацию взаимосвязи между независимой и зависимой переменными (при определенном уровне дополнительных переменных), формулируется как высказывание о влиянии причинно-действующих условий на изучаемый базисный процесс (предполагает также контроль за выводом при выполнении трех основных условий причинного вывода). Основана на предположениях о психологических закономерностях, проявлению которых служит организация экспериментальных условий.
Гипотеза о связи предполагает взаимосвязанные изменения двух (или более) переменных без указания направленности влияний одной из них на другую. Такое указание обязательно присутствует в причинно-следственной, или каузальной, гипотезе. Проверяется гипотеза о связях в корреляционном исследовании.
Гипотетико-дедуктивный метод рассуждения заключается в выведении из теоретических положений таких следствий, которые в качестве гипотез, имеющих эмпирическое содержание (эмпирическую загруженность), могут быть проверены опытным путем. В экспериментальном исследовании такой метод предполагает формулирование этих гипотез как причинно-следственных связей между переменными, неподтверждение которых позволяет ставить под сомнение истинность исходных теоретических посылок. Соответствие опытных данных экспериментальной гипотезе не может служить основанием подтверждения истинности теоретического предположения. В этом заключаются принцип фальсификации – возможность отвержения неверных, т.е. ложных, гипотез на основе получения опытных данных и принцип асимметрии вывода об истинности теоретического высказывания.
Дедуктивный вывод – умозаключение, реализующее путь обобщения от общего к частному. При экспериментальной проверке психологических гипотез означает обобщение эмпирически установленных закономерностей с точки зрения представленности в них постулируемых в той или иной теории психологических законов.
Дополнительное варьирование – способ повышения уровня обобщения выводов из экспериментального исследования. Предполагает вместо уравнивания условий дополнительной переменной (ДП) систематическое их варьирование с целью последующего распространения (переноса) каузальной зависимости на множество других ситуаций, популяций и т.д.
Достоверный, или валидный, вывод встречается в трех значениях.
1. Оценка вывода об экспериментальной гипотезе. Это такой вывод, который основан на обобщении именно представленной в гипотезе связи, а не какой-то другой, которую можно сформулировать в конкурирующей гипотезе (как другом объяснении полученной зависимости на основе анализа возможных смешений переменных в экспериментальном или корреляционном исследовании).
2. Вывод за пределами эксперимента. Это обобщение, осуществляемое как перенос изучаемой зависимости за пределы ситуации исследования и построенное с учетом форм контроля за выводом (т.е. без логических или содержательных ошибок в умозаключениях о возможностях переноса выводов об экспериментальной гипотезе на заключение о «доказанности» теории или переноса обобщений на другие виды ситуаций, деятельности, популяции).
3. Оценка правильности статистических решений (при отвержении или не отвержении нуль-гипотез).
Зависимая переменная (ЗП) – «отклик», или измеряемая в эксперименте переменная, изменения которой причинно обусловлены действием независимой переменной (НП). В психологическом исследовании представлена показателями деятельности испытуемого, любыми формами оценки его субъективных суждений и отчетов, психофизиологическими параметрами и т.д. О – от Observation – фиксируемый, т.е. наблюдаемый и измеряемый показатель, выступающий в качестве ЗП. Используется также термин «измеренная переменная».
Идеальный эксперимент – мысленный образец эксперимента, в котором на ЗП влияют только уровни НП, т.е. нет никаких других изменений, кроме этих двух переменных.
Индуктивный вывод – обобщение от частного к общему. Индуктивный вывод при принятии решения об экспериментальном эффекте – вывод, который в экспериментальном исследовании касается не содержания психологической гипотезы, а заключения о том, можно ли рассматривать управляемую НП в качестве причинно-действующего фактора, или «причин», вызывающих экспериментальный эффект. На этапах формального планирования этот путь выводов учитывается в экспериментальной схеме, предполагающей последующий вывод об ОРД – основном результате действия переменной.
Интраиндивидуальный эксперимент – схема, или план, эксперимента с одним испытуемым, которому в определенной последовательности предъявляются все уровни независимой переменной (НП).
Квазиэксперимент – эксперимент с ограниченными формами контроля (условий независимой переменной и побочных переменных). Основные типы: использование в качестве экспериментальной и контрольной неэквивалентных групп (здесь учитываются ограничения форм контроля до осуществления экспериментального воздействия) и схемы выборов, «когда и на ком проводить измерения ЗП» (здесь контроль «третьих» переменных и выводов осуществляется после экспериментального воздействия и измерения ЗП).
Ковариация– мера связи двух или более рядов выборочных значений переменных. Выборочный коэффициент ковариации для двух переменных X и Y подсчитывается как произведение отклонений каждой переменной от среднего:
Ковариация переменной с самой собой – это дисперсия.
Контроль за выводом – составляющая рассуждений в логике выводов из психологического исследования. В экспериментальном исследовании согласуется с предполагаемыми формами экспериментального контроля, определяющими возможные выводы. Это мысленный контроль исследователем разных этапов на пути к достоверным выводам, который означает следование нормативам рассуждений как в контексте общей логической компетентности (при планировании исследования и организации выводов), так и в контексте использования специфичных для тех или иных методов нормативов проверки психологических гипотез.
Концептуальные репликации – проверка одной и той же теоретически предполагаемой зависимости разными методическими средствами. Включают разные конкретизации (операционализации) переменных – смену методик их задания или измерения – при проверке содержательной гипотезы.