ДОСТОВЕРНОСТЬ ЭКСПЕРИМЕНТА
При проведении эксперимента исследователь ставит перед собой две цели — получить верные выводы о влиянии независимой переменной на анализируемую совокупность единиц наблюдения и на этой основе сделать достоверные выводы относительно всей генеральной совокупности. Первая цель связана с понятием внутренней достоверности, вторая — с понятием внешней достоверности [9].
Внутренняя достоверность
Внутренняя достоверность (internal validity)
Мера точности результатов эксперимента. Определяет, действительно ли изменение независимой переменной вызвало изменение зависимых переменных.
Внутренняя достоверность(internal validity) определяется тем, действительно ли изменение независимой переменной вызвало наблюдаемое изменение зависимой переменной. Таким образом, внутренняя достоверность определяется тем, могло ли наблюдаемое изменение зависимых факторов быть вызвано какими-либо другими факторами, кроме независимых. Если наблюдаемые изменения вызваны или искажены посторонними факторами, то трудно сделать достоверное заключение о наличии причинно-следственной связи между независимыми и зависимыми. Внутренняя достоверность является минимальным требованием к эксперименту, которое должно соблюдаться для получения достоверных выводов. Без соблюдения этого требования результаты эксперимента нельзя считать надежными. Контроль посторонних факторов, в свою очередь, — непременное условие признания внутренней достоверности эксперимента.
Внешняя достоверность
Внешняя достоверность (external validity)
Определение возможности обобщения причинно-следственной зависимости, выявленной в процессе эксперимента.
Внешняя достоверность(external validity) связана с возможностью обобщения выявленной в процессе эксперимента причинно-следственной зависимости. Иными словами, можно ли выводы, сделанные на основе эксперимента, распространить на более широкий круг элементов, и, если да, то на какие именно группы населения, совокупности, периоды, независимые и зависимые переменные [10]. Опасность нарушения внешней достоверности эксперимента возникает, когда условия проведения эксперимента не охватывают какие-либо значимые факторы, имеющие место в реальной действительности.
Очень желательно иметь план проведения эксперимента, обеспечивающий требования и внутренней и внешней достоверности, но в практических маркетинговых исследованиях, как правило, приходится отступать от требований одной из них для достижения другой [11]. Чтобы обеспечить контроль за посторонними факторами, исследователь вынужден проводить эксперимент в искусственных (лабораторных) условиях. Это позволяет обеспечить внутреннюю достоверность, но ограничит возможность обобщения результатов, тем самым нарушая внешнюю достоверность.
В качестве примера можно привести исследование предпочтений посетителей ресторанов быстрого обслуживания по отношению к новым блюдам в меню, проводимое в оборудованных центрах тестирования. Можно ли распространить результаты, полученные в таких условиях, на действующие рестораны? (Дальнейшее обсуждение влияния искусственных условий проведения эксперимента на внешнюю достоверность его результатов приведено в разделе настоящей главы, посвященном проблемам проведения экспериментов в искусственных и полевых условиях.) Однако несмотря на такие нарушения внешней достоверности, если нарушена внутренняя достоверность эксперимента, его результаты не подлежат обобщению. Факторы, нарушающие внутреннюю достоверность, могут также нарушать и внешнюю достоверность; наиболее значимы из них — посторонние факторы.
ПОСТОРОННИЕ ФАКТОРЫ
Необходимость контроля посторонних факторов для достижения внутренней и внешней достоверности результатов эксперимента уже обсуждалась. В этом разделе рассматриваются следующие посторонние факторы: исторические, зрелости, эффект тестирования, инструментария, статистическая регрессия, отклонение выборки и убыль.
Исторические факторы