Алгоритм разработки специализированных семантических дифференциалов
Отсутствие полного опубликованного алгоритма разработки специализированных СД приводит к тому, что в публикациях за разработанные СД часто выдаются никак не обоснованные авторами наборов шкал наборы дескрипторов. Многие исследователи произвольно подбирают шкалы, которые им кажутся адекватными для оценки специфического стимула). Отсутствие полного алгоритма обработки результатов, полученных с помощью СД, приводит к публикациям частично отработанных результатов без обоснования причин неполноты обработки. В связи с этим представляется актуальной публикация полного алгоритма разработки специализированного СД с несколькими примерами.
Процедура разработки специализированных СД включает в себя следующие этапы (этапы и критерии отработаны эмпирически для общего количества испытуемых более 1200 человек).
1. Обзор, теоретическое описание и определение релевантных понятий для разработки инструмента их дифференциации (СД).
2. Выделение первого набора дескрипторов с помощью групп экспертов. Используются описанные в этой главе методы определения понятия (экспертам предлагается определить понятие), методы сравнения (различения), классификации и свободный ассоциативный эксперимент (экспертам предлагается продуцировать любые ассоциации, связанные с понятием). Для первичного набора выбираются наиболее весомые (частотные) дескрипторы. В первичном наборе дескрипторов могут оказаться любые части речи (прилагательные, глаголы, существительные, наречия).
3. Выделение второго набора дескрипторов на основе анализа релевантной литературы, словарных статей и опросников. Для поиска дескрипторов используются как исследуемые понятия, так и понятия, наиболее часто используемые экспертами при работе над первым набором дескрипторов.
4. Выделенные большие списки дескрипторов обрабатываются группой экспертов (классифицируются, указываются синонимы и т.п.), дополняются или не дополняются антонимами и объединяются в первичный вариант СД для экспериментальной обработки. Рекомендуется не выстраивать дескрипторы в алфавитном порядке (чтобы не вносить в оценивание лишней системы стандартизации) и равномерно распределять по левому или правому полюсу шкалы предполагаемые предпочитаемые и непредпочитаемые качества (чтобы не создать у испытуемого ориентацию на один край шкалы при оценивании). Как правило, первичный вариант СД содержит довольно много шкал (обычно – более сотни), поэтому экспериментальная обработка проводится для выявления наиболее информативных и важных для дифференциации шкал.
5. На основе работы с экспериментальной группой строится первичная матрица результатов оценивания. Она обрабатывается с помощью процедур выделения семантических универсалий, кластерного и факторного анализов.
6. На основе данных обработки первичной матрицы строится рабочий вариант СД. Он включает в себя следующее:
1) шкалы, входящие в семантические универсалии для минимального интервала отступа как шкалы, обладающие наибольшей дифференцирующей силой[1];
2) шкалы, выбирающие процент дисперсии результатов не менее заданного исследователем минимального уровня;
3) шкалы, входящие в выделенные факторы с весом не менее 0,6;
4) шкалы, составленные на основе названий выделенных факторов (если названия не дублируют составляющие факторы шкалы);
5) шкалы, составленные на основе названий выделенных кластеров (если названия не дублируют составляющие факторы шкалы); для прикладных разработок один из видов регрессионного анализа обычно пропускается, так как вероятность появления новых видов шкал после первого анализа достаточно мала; два вида анализа (факторный и кластерный) необходимы, если специализированный СД составляется в целях научного исследования.
Из рабочего варианта исключаются:
1) шкалы, работа с которыми оказалась затруднительной для большинства испытуемых;
2) одна из двух шкал, корреляции оценок на основе которых но пилотажной группе превышает 0,8 (как дублирующие шкалы);
3) если в фактор входит много шкал, то, шкалы, входящие с фактор с малым весом, могут быть удалены из бланка для его упрощения. Шкалы не могут быть удалены, если они входят в универсалии оценки стимула или если они входят также в другие факторы.
7. Рабочий вариант СД может быть проверен на надежность с помощью стандартных процедур. Проверка на валидность возможна только при наличии релевантных проверенных СД или при согласовании факторов проверенных опросников и шкал и факторов СД. Частично проверка на валидность может быть проведена путем апробации бланка на четко различающихся группах испытуемых. Наличие различных шкал, входящих в универсалию групповой оценки (хотя бы одна-две шкалы) по достаточно высокому интервалу (лучше 90%), и различных факторов показывает, что бланк обладает четко выраженными дифференцирующими способностями.
8. Окончательный вариант специализированного СД не слишком отличается от рабочего. Небольшие изменения могут быть внесены, если в дальнейшей работе выявятся затрудняющие работу испытуемых шкалы или новые факторы, постоянно выбирающие большой процент дисперсии результатов.
9. Если разработанный специализированный СД используется позднее для работы с другими группами испытуемых, то результаты также могут быть использованы для дальнейшей оптимизации полученной методики.
Составленный нами СД "Профессионал" использовался в диссертационном исследовании Н. В. Бондарчук "Психологическое описание старательского труда" (Бондарчук, 2007). При проведении факторного анализа был выделен фактор "удачливый – неудачливый", который при работе с профессионалами других профессий не проявлялся. Соответствующая шкала была включена в бланк СД "Профессионал" (см. Приложение 16).
Небольшие изменения могут произойти, если в дальнейшей работе выявятся затрудняющие работу испытуемых шкалы или новые факторы, постоянно выбирающие большой процент дисперсии результатов.
При оценивании сложных понятий (стимулов) для интерпретации результатов исследователю необходимо ответить на вопрос: "Что на самом деле оценивают испытуемые?" Ответ на такой вопрос необходим при оценивании рекламы, кинофильма, телепередачи, другого человека, понятий "образ жизни", "Я – идеальный", "Лучший друг", картин, городов и т.д., и т.п. При соблюдении алгоритма разработки специализированных СД ответить на такой вопрос могут помочь результаты экспертного опроса (определение понятия, список синонимичных понятий и т.д.). Таким образом, при презентации разработанного инструмента СД авторам необходимо публиковать не только шкалы, но и часть результатов экспертного опроса (в качестве примера см. Приложение 17).
В публикациях, описывающих разнообразные денотативные СД, приводится, как правило, и совокупность факторов, якобы описывающих полученное семантическое пространство. Такое описание правомерно лишь совместно с описанием выборки испытуемых (см. параграф 5.13), так как факторная структура денотативных семантических пространств неустойчива по отношению к выборке испытуемых, а описанных психометрических процедур оценки надежности факторных структур пока в литературе нам обнаружить не удалось.