Контроль угроз валидности

Пpoведение ЛИ включает контроль как типичных угроз валидности, так и особого классам/гроз внутренней валидности, характерных практически исключительно для лонгитюдных исследований. Проведение лонгитюда предполагает планирование количества измерений во времени и промежутков между ними. Ключевой направляющей такого планирования является предполагаемая форма развития, на выявление которой направлен лонгитюд. Увеличение количества срезов ведет к повышению надежности данных и увеличению статистической мощности [Willett, 1989], но соображения практического характера ограничивают возможное количество срезов в любом лонгитюдном исследовании.

Первая угроза валидности связана с недостаточным количеством временных срезов и со слишком длинными промежутками между ними. Это приводит к тому, что полученные данные будут неадекватно описывать выявляемые паттерны изменений. К таким же искажениям в установлении динамики психологических показателей может привести неадекватный учет предполагаемой формы кривых развития, т.е. неверный их выбор (например, в случае их нелинейности), либо игнорирование временных параметров этих изменений (темпа). Сами измерения в ЛИ могут проводиться не только через равные промежутки времени, но и неравномерно: например, если наиболее тонкие механизмы развития предполагаются в начале исследования, количество срезов в этот период можно увеличить.

Второй выступает угроза лонгитюдной валидности (longitudinal validity), понимаемой как инвариантность измеряемых конструктов на протяжении проведения лонгитюда.

Например, в случае приведенной ранее схемы перекрестно-отсроченных корреляций (параграф 15.6) измерялись переменные агрессии и предпочтения телепередач (с агрессивным ОГЛАВЛЕНИЕм). В исследовании была представлена лонгитюдная схема — обе переменные измерялись через 10 лет на тех же испытуемых (дизайн с двумя "волнами" измерений). При сравнении переменной "предпочтение телепередач" у 8- и 18-летних людей трудно предполагать одни и те же базисные процессы. Во-первых, дети не вольны реализовывать предпочтения, просматривая любые передачи (в этом их ограничивают взрослые); и предпочтения здесь ограничены сферой доступного. Во-вторых, уровень самосознания, интеллектуального и личностного развития человека в 18 лет принципиально иной: психологические системы сформированы, и человек сознательно реализует свои предпочтения в ином пространстве телепередач. Таким образом, стоящий за указанной переменной конструкт предпочтений уже не равен самому себе в разные возрастные срезы. Аналогично можно рассмотреть для этого примера изменение содержательной и операциональной конкретизации конструкта агрессии.

Низкая лонгитюдная валидность может быть связана также с техническими проблемами (например, смена лаборантского состава, повлекшая изменения в измерении показателя).

В случае концептуальных переосмыслений изучаемой проблемы перед проведением анализа лонгитюдных данных исследователю необходимо проверить соответствие их критерию структурной валидности (взаимосоответствие измеряемых в разные временные отрезки времени конструктов, например, идентичность факторных структур получаемых в разные промежутки измерения данных).

В случае неподтверждения гипотезы об отсутствии конструктной инвариантности исследователь переходит к следующему этану — проверке идентичности метрики используемых шкал. Такой тест, например, возможно осуществить путем сопоставления факторных нагрузок пунктов опросников, взятых на различных временных срезах. Проблема смещений в структуре операционализируемых конструктов или в метрике их измерения требует особого учета на этапах планирования лонгитюдного исследования и первичного анализа лонгитюдных данных. Валидность выводов лонгитюдного исследования таким образом, зависит от того, насколько изменялась структура изучаемого свойства на протяжении исследования и насколько это отражено в изменениях в структуре методик, используемых для операционализации переменных.

Третьей угрозой валидности лонгитюдного исследования является потеря испытуемых (их "выпадение"), или "истощение" (attrition) выборки на протяжении исследования. Практически все лонгитюдные исследования сталкиваются с этой проблемой: в отдельных случаях выборка к концу лонгитюда сокращается больше чем наполовину (например, в цитированном в экскурсе 19.1 исследовании использования подростками запрещенных веществ). Критическим для лонгитюда является вопрос, может ли такое истощение выборки привести к систематическим смешениям. Отпет на этот вопрос частично зависит от того, отличаются ли систематически испытуемые, оставшиеся в лонгитюде, от тех, кто вышел из исследования, по интересующим исследователя характеристикам. Эта проблема прямо связана с проблемой пропущенных данных (missing data), требующей от исследователя изучения причины потери испытуемых (см. предыдущую гл. 18).

Совершенно случайно и случайно пропущенные данные (MCAR и MAR) могут быть "включены" в лонгитюдный анализ, тогда как игнорирование не случайно пропущенных данных (MNAR) является важным источником недостоверных, т.е. артефактных, выводов. Методологи лонгитюда [Graham, 2009; Graham, Hofer, 2000; Singer, Willett, 2003] предлагают различные альтернативы анализа лонгитюдных данных с пропущенными значениями (преимущественно -через использование сложных современных статистических моделей), но сходятся во мнении относительно недопустимости их игнорирования.

Предотвращение появления (или хотя бы снижение количества) пропущенных данных требует от исследователя как теоретического анализа потенциальных источи и кон пропущенных данных на этапе планирования исследования, так и разработки стратегий поддержания контакта с испытуемыми. Такие стратегии включают получение контактной информации родственников и друзей испытуемых, когда это возможно, поддержание контакта путем отправки поздравительных открыток, а также использование телефонных и адресных справочников и, в последнее десятилетие, ресурсов Интернета.