Статистический контроль в корреляционном и квазиэкспериментальном исследованиях
Применение метода статистического контроля для выявления смешений устанавливаемого эффекта основной базисной переменной с БПП не является исключительной характеристикой корреляционных исследований. Напомним, что в корреляционном плане с одной группой увеличение числа испытуемых имело целью достичь варьирования всех БПП в их полных диапазонах. Аналогичным образом выглядит и статистический контроль в квазиэкспериментальных исследованиях. Однако можно указать тот критерий, в соответствии с которым схемы корреляционных и квазиэкспериментальных исследований становятся различимыми. Различать эти два типа схем следует хотя бы потому, что выводы на основе полученных результатов будут строиться по-разному с точки зрения учета внутренней валидности исследования и допустимых обобщений.
В классификации планов экспериментальных исследований Дж. Кэмпбелла термин «квазиэкспериментирование» охватывает довольно разные типы исследовательских схем. Одна часть схем строится на основе истинных экспериментальных планов, т.е. в них выделена управляемая исследователем независимая переменная, но в отличие от истинных экспериментов присутствуют те или иные ограничения в контроле факторов, представляющих угрозы внутренней или внешней валидности. Эти ограничения в первую очередь выглядят как недостижение эквивалентности экспериментальной и контрольной групп (в результате невыполнения условия рандомизации или по иным причинам). Сближает соответствующие квазиэкспериментальные планы с экспериментальными наличие управляемого Х-воздействия. Снижение контроля касается в них этапа до осуществления экспериментального воздействия.
Другая часть квазиэкспериментальных схем, включающих только выбор исследователя, когда и на ком проводить измерения психологических показателей, характеризуется отсутствием экспериментального воздействия, а значит предполагает контроль смешений влияния изучаемого эффекта основной переменной с влияниями БПП. Поскольку экспериментатор не имеет в них возможности произвольно задавать разные уровни НП разным испытуемым, такое исследование в целом относится к типу «пассивно-наблюдающих». И статистический контроль здесь выполняет ту же функцию варьирования возможных уровней БПП.
В корреляционном исследовании статистический контроль означает не только охват в предполагаемой выборке всех уровней случайных вариаций побочных переменных, но и рассмотрение эмпирически полученного коэффициента корреляции между измеренными переменными в качестве меры для оценки статистической нуль-гипотезы (об отсутствии связи между двумя или более рядами выборочных показателей). Все возможные формы контроля за выводом как с точки зрения экспликации возможных побочных переменных, так и с точки зрения проблем соответствия (т.е. внешней валидности исследования) осуществимы при этом до проведения исследования или в ходе обсуждения (осмысления) условий измерений переменных.
В квазиэкспериментальной схеме, предполагающей выбор, когда и на ком проводить измерения переменных, статистический контроль включает специальный этап, которого нет в обычном корреляционном исследовании. Его называют статистическим контролем после – после проведения измерений. Рассмотрим подробнее этот методический прием.
Контроль post factum
Для того чтобы говорить о причинно-следственной зависимости между переменными, необходим достаточный контроль всех известных к моменту проведения исследования возможных объяснений полученных различий в психологических показателях (между сравниваемыми условиями НП или группами испытуемых) или установленных связей двух (и более) переменных. «Контроль после», или контроль post factum, – это разработанная для квазиэкспериментов схема работы с полученными данными, позволяющая оценить возможные влияния БПП на изучаемую зависимость после того, как завершена основная эмпирическая часть исследования. Однако для этого нужно, чтобы дополнительно были измерены соответствующие БПП, рассматриваемые как возможные источники смешений. Эти измерения возможно произвести и после получения основной связи. Обычно это какие-то другие показатели, или так называемые третьи переменные (третьи по отношению к первым двум, для которых устанавливается основная зависимость). Содержательно они отражают те влияния, которые имели место в момент измерения ЗП. В этом смысле они измерены «после» эффекта, связанного с влиянием аналога экспериментального фактора.
Подробно схемы «контроля после» изложены в не переведенной на русский язык книге Дж. Кэмпбелла [74], поэтому им необходимо уделить специальное внимание. Ниже представлена общая схема такой системы рассуждений. «Контроль после» предполагает улучшение контроля за выводом в квазиэксперименте. Реально его применение может существенно повысить валидность выводов в любом корреляционном исследовании. Главное, чтобы были выделены (эксплицированы) те побочные переменные, которые могут исказить основной исследуемый эффект, т.е. предполагаемую психологическую закономерность, и имелись методические средства их измерения.
Схемой «контроля после» решается проблема выделения эффектов смешений с переменными, которые не были включены в квазиэкспериментальный или корреляционный план, но могут, судя по данным литературы, влиять на ЗП или на обе основные переменные, между которыми устанавливается связь. Тем самым выделяются возможные угрозы валидному выводу со стороны БПП. Сами эти БПП, смешивающиеся с основными базисными переменными, не могут быть элиминированы. Контроль заключается в измерении влияния каждой из возможных БПП в отдельности, а также в статистическом сравнении выраженности эффекта их влияния по сравнению с основным эффектом, оцениваемым в основном как эффект влияния разницы групп по первичному квазиэкспериментальному плану.
Схема контроля post factum.Связи выводов о влиянии переменных со статистическими решениями на каждом шаге этого контроля выглядят следующим образом.
Случай первый
1.1. Допустим, получено статистически значимое различие выборочных показателей (например, средних) между основными группами, отличающимися по основной (независимой или базисной) переменной. Статистическое решение звучит при этом как отвержение нуль-гипотезы. После этого проверяется гипотеза об отсутствии значимой связи между основной переменной, выступившей в качестве аналога НП и определившей исходное различие групп, и БПП.
Если установлено отсутствие значимых связей между ними, то вывод об исследуемой эмпирической зависимости, или об основном эффекте влияния НП, считается достаточно валидным. Если, напротив, выявлена связь основной переменной и БПП, то требуется оценка самостоятельного влияния БПП на ЗП или ее аналог. Эта оценка будет не лишней и в случае, указанном выше, так как, не будучи значимо связанной с НП, БПП все же может оказывать значимое влияние на показатели ЗП. Эта оценка осуществляется путем соединения всей совокупности показателей (по всем группам или условиям) в одну выборку и нового ее деления на группы в соответствии со значениями БПП, выступающей теперь как новое основание отличия групп.
1.2. Теперь оценивается значимость связи или значимость различия по отношению к новому критерию отличия групп, образованных в соответствии с уровнями измеренной для этих же испытуемых БПП.
Если показано отсутствие значимых связей между значениями БПП и ЗП, то вывод об основной эмпирической зависимости также считается достаточно валидным. Если установлены корреляции БПП с ЗП или эффект различий ЗП в зависимости от нового критерия деления на группы, то требуется учет смешения, т.е. признание в выводах, что именно БПП могла определить основной эффект.
Случай второй
2.1. Допустим, не установлено статистически значимых различий между значениями ЗП (по отношению к исходному плану) или значимых связей между аналогом НП и ЗП. Не установлены и значимые различия при использовании нового критерия разбиения на группы в соответствии с уровнями БПП. Тогда вопрос о том, какой базисный процесс лежит в основе экспериментальной деятельности испытуемых, или ключевой переменной, остается открытым. В выводах принимается, что основная гипотеза не выдержала опытной проверки. Это не исключает ее новой проверки – при иных способах операционадизации переменных, иных планах установления изучаемой зависимости, экспликации иных БПП.
2.2. Предположим теперь иные результаты: не установлены значимые эффекты (заданного различия групп как аналога НП) по отношению к исходному плану, однако значимыми оказались эффекты влияния БПП на ЗП или значимыми оказались связи между БПП и вариатой, измеренной в качестве аналога НП. Таким образом, при разбиении измеренных показателей на новые группы в соответствии с уровнями БПП получен эффект, не установленный для НП (или основной базисной переменной). При таком исходе можно сделать вывод о том, что не предполагавшийся в начальной экспериментальной гипотезе, а стоящий за измеренной БПП базисный процесс определяет значения ЗП.
Итак, общая схема квазиэкспериментирования как проведения контроля post factum представляет собой систему сравнений влияния базисных побочных переменных, измеренных в качестве индивидуальных различий, на изучаемый базисный процесс. Предположительно он детерминирован уровнями условно выделенной НП, означающей лишь осуществление функционального контроля факторов «внутренних условий» посредством подбора групп. Контроль за выводом включает в построенной квазиэкспериментальной схеме таким образом три этапа:
I – этап первоначального подбора групп с разным составом, отличающимся по уровням основной базисной переменной (выступающей в качестве аналога НП);
II – этап экспериментального сравнения значений ЗП в этих группах, т.е. поиск «экспериментального эффекта» этой базисной переменной;
III – этап контроля смешений выявленного основного эффекта с базисными побочными переменными в целях доказательства того, что разница в результатах первоначально отличающихся групп не может быть приписана изменениям других (факторов индивидуальных различий, также возможно влияющих на исследуемый базисный процесс.
Статистически оценивается значимость (или достоверность):
q результатов сравнений зависимой переменной (или ее аналога) по, отношению к исходному квазиэкспериментальному плану, т.е. эффект влияния основного фактора, в соответствии с которым происходило распределение испытуемых в экспериментальную и контрольную группы;
q связи выделенной базисной побочной переменной с исходным критерием образования экспериментальной и контрольной групп;
q различий выборочных значений ЗП в новых группах, образованных в соответствии с уровнями смешивающейся БПП.
Выделенная в конкурирующей гипотезе БПП может быть измерена как до, так и после установления основных связей (между НП или ее аналогом и ЗП). Однако образование новых групп осуществляется после измерения основных эффектов и служит их уточнению, т.е. цели контроля за выводом. Поэтому название «контроль после» остается общим при любом моменте измерения собственно БПП.
«Экспериментом ex post factum» называется также случай сбора данных, когда рассматриваемое в качестве экспериментального воздействия влияние фактора (например, школьного обучения) имело место в прошлом, и соответствующая переменная (аналог НП) лишь реконструируется во время проведения исследования. Как указывалось в предыдущей главе, если основой выделения НП служат ретроспективные отчеты, то такое исследование следует рассматривать в качестве корреляционного.
Правильные ответы на предлагаемые контрольные вопросы возможны при более детальной проработке раздела 13.2 «Квазиэкспериментальные планы» в контексте соотнесения двух направлений размышлений психолога: 1) характерного для квазиэкспериментирования снижения экспериментального контроля, но 2) предполагаемого усиления контроля за выводом.
Контрольные вопросы
Предлагаемые контрольные вопросы предполагают возможность выбора правильных утверждений из ряда возможных, т.е. построены как средства самопроверки.
Утверждение 1
Квазиэксперименты могут проводиться:
1) с целью проверки теоретических гипотез опытным путем;
2) с целью повышения внешней валидности психологического исследования (при возможности активного эксперимента);
3) с целью проверки причинно-следственных гипотез, предполагающих измерение переменных, функциональный контроль которых возможен путем подбора групп;
4) для изучения базисных процессов, по отношению к которым управление ими (со стороны воздействий экспериментатора) невозможно.
Пояснение: Для выбора правильных ответов необходимо вспомнить те признаки квазиэксперимента, которые являются общими для всех подобных исследований или некоторых из них.
Утверждение 2
Квазиэкспериментальное исследование отличается от эксперимента:
1) по уровню обобщения результатов;
2) по логике вывода об исследуемой причинно-следственной связи;
3) по способам контроля побочных переменных;
4) по характеру проверяемых гипотез;
5) по факторам, вводимым в качестве аналогов независимых переменных.
Пояснение: 1 и 4 – могут быть одинаковыми и для эксперимента, и для квазиэксперимента, так как не определяются прямо используемыми формами контроля.
Утверждение 3
Укажите правильное определение термина «квазиэксперимент»:
1) эксперимент в «полевых» условиях;
2) исследование с ограничениями в формах экспериментального контроля;
3) психологический метод сбора данных для отбрасывания несостоятельных каузальных гипотез;
4) метод проверки каузальных гипотез при невозможности функционального контроля базисных побочных переменных.
Пояснение: 1 – неверно, так как не указаны отличия, специфичные для квазиэксперимента; 3 и 4 – неверно, так как это могут быть и другие методы.
Утверждение 4
Некоторые квазиэкспериментальные планы предполагают:
1) активный и полный контроль НП до осуществления испытуемыми экспериментальной деятельности;
2) ту же логику вывода об экспериментальной гипотезе, что и в истинных экспериментах;
3) последовательный контроль базисных побочных переменных;
4) контроль посредством дополнительного варьирования;
5) контроль путем «выбора, когда и на ком проводить измерения».
Утверждение 5
В квазиэкспериментальных планах могут использоваться схемы:
1) измерений ЗП на одной группе;
2) рандомизации как стратегии подбора в группы;
3) рандомизации экспериментальных воздействий;
4) попарного уравнивания при подборе испытуемых в группы;
5) измерений ЗП на одном испытуемом.
Пояснение: 2 – неверно, т.к. рандомизация испытуемых выступает критерием строгого эксперимента; 5 – неверно, т.к. исследование с одним испытуемым не рассматривается как квазиэксперимент, поскольку последний предполагает сравнение групп по ЗП.
Утверждение 6
Вывод из квазиэкспериментального исследования тем валиднее, чем:
1) оно лучше приближено к «полевым», т. е. «естественным», условиям;
2) больше побочных переменных охвачено статистическим контролем;
3) оно больше приближено к истинному эксперименту;
4) меньше вероятность других интерпретаций связи (за счет неконтролируемых факторов);
5) лучше аналог независимой переменной поддается активному управлению.
Пояснение: 1 – неверно, так как одновременно с повышением внешней валидности могут иметь место упущения в контроле факторов, угрожающих внутренней валидности; 5 – неверно, так как контроль НП – только один из факторов экспериментального контроля, для квазиэксперимента не менее важен контроль сопутствующих смешений с БПП.
Глава 14