Валидность результатов измерения

В отличие от показателя надежности измерения, отражающего повторяемость его результатов, используется показатель валидности (validity). Результаты шкалирования обладают валидностью, если различия между замерами, выявленные при опросе разных респондентов, объясняются действительными различиями между ними, а не систематической или случайной ошибкой замера. Продолжая нашу аналогию, результаты стрельбы в тире можно считать валидными, если стрелок кучно стреляет в центр мишени. Таким образом, надежность является необходимым условием валидности; если интегральная шкала ненадежна, то она заведомо не обладает валидностью.

Рассмотрим поочередно три существующих метода проверки валидности.

Содержательная валидность. Проверить содержательную валидность (Content validity или, иногда, Face validity) - значит тщательно обдумать, все ли важные аспекты, которые должна отражать интегральная шкала, содержатся в наборе частных шкал. Так, если интегральная шкала должна описывать имидж магазина, то нужно позаботиться, чтобы в частных шкалах были отражены такие его аспекты, как качество товаров, разнообразие ассортимента и т.д.

Учитывая субъективный характер этого метода, его желательно использовать лишь в сочетании с другими.

Критериальная валидность (конкурентная и предсказательная). При использовании метода оценки критериальной валидности (Criterion validity) проверяется согласованность различий в оценках по шкалам у разных респондентов с различиями между этими респондентами по социально-демографическим, психологическим и поведенческим характеристикам. Эти характеристики определяются на основе других вопросов, задаваемых тем же респондентам или в том же опросе (конкурентная валидность - concurrent validity), или в другом опросе (предсказательная валидность - predictive validity).

Примером проверки конкурентной валидности может служить включение в одну и ту же анкету двух наборов частных шкал, направленных на построение одной и той же интегральной шкалы; при этом один набор - полный, а второй - сокращенный и несколько модифицированный. Наличие конкурентной валидности означает, что полученные таким образом оценки в целом соответствуют друг другу.

Пример проверки предсказательной валидности - ситуация, в которой сначала путем опроса замеряют отношение каждого участника потребительской панели к определенному товару, а затем сопоставляют полученные данные с фактическими покупками этих людей.

Конструкционная валидность (конвергентная, дискриминантная и номологическая). Оценивая конструкционную валидность (construct validity), исследователь сопоставляет значения данной шкалы и других, построенных по той же анкете, шкал с маркетинговой теорией, ищет теоретические объяснения наблюдаемым закономерностям, выясняет, почему значения этих шкал сочетаются друг с другом именно так, а не иначе.

При этом проверяется выполнение следующих условий. Наличие конвергентной (convergent) валидности означает, что достаточно высоки коэффициенты корреляции интегральной шкалы с другими шкалами, которые измеряют примерно то же самое, но по-другому. Наличие дискриминантной (discriminant) валидности означает, что невысоки коэффициенты корреляции интегральной шкалы с другими шкалами, с которыми из содержательных соображений связи быть не должно. Наконец, наличие номологической (nomological) валидности означает, что достаточно велики по модулю и имеют нужный знак коэффициенты корреляции интегральной шкалы со шкалами, отражающими другие стороны изучаемых объектов, с которыми тем не менее из содержательных соображений должна наблюдаться связь. Поэтому проверка номологической валидности всех построенных интегральных шкал начинается с теоретического построения так называемой номологической сети (nomological net), на которой условно изображаются шкалы и стрелками показывается, какие из них должны быть взаимосвязаны и каким именно (положительным или отрицательным) образом.

Поясним суть проверки конструкционной валидности на примере, в котором на основе опроса и иной информации изучались самооценка и другие характеристики участников этого опроса. В данной работе были отмечены следующие факты:

o свидетельством конвергентной валидности было то, что вектор самооценок участников исследования сильно и притом положительно коррелирует с вектором оценок, которые дали каждому из этих людей его друзья;

o свидетельством дискриминантной валидности было то, что вектор самооценок слабо коррелирует с векторами оценок по шкалам лояльности к брендам (brand loyalty) и разнообразия рассматриваемых марок при выборе товара (variety seeking);

o свидетельством номологической валидности было то, что респонденты чаще предпочитали те бренды товаров, образ которых в их глазах ближе к самооценке.

Кроме того, исследователи убедились в высокой надежности шкал.

Возможности обобщений. Проблема внешней валидности, или по-другому - возможности обобщений (generalizability), т.е. допустимости распространения разработанных шкал на другие случаи (методы опроса, исследуемые совокупности, периоды времени и т.д.), должна решаться каждый раз отдельно, общих рекомендаций тут нет. Например, для проверки возможности использования шкалы в другие периоды времени нужно провести проверку ее надежности по методу тест-ретест. Для проверки других вариантов обобщения применяются другие методы, которые мы здесь не будем обсуждать.