Оценка качества методики опроса
Составление анкеты предполагает ее проверку, апробацию, уточнение. Традиционным способом получения информации о качестве разработанной методики опроса является пробное (пилотажное) исследование. В ходе его осуществляется проверка содержания анкеты, формулировок и последовательности вопросов, вариантов ответов и т.д. Определение задач пилотажа производится с помощью логического анализа инструментария исследования – вопросника. Такой анализ необходим потому, что при разработке отдельного вопроса и анкеты в целом социолог интуитивно учитывает сложный комплекс методических требований. Часть этих требований имеет противоречивый характер, поэтому для нахождения наилучшего компромиссного сочетания нужно специально рассмотреть их и подвергнуть детальному логическому анализу.
Процедура логического анализа вопросника состоит в соотнесении каждого вопроса анкеты с перечнем логических и методических критериев.
Соответствие логическим критериям проверяется следующими вопросами:
1. Какова познавательная задача вопроса (программный вопрос)?
2. Какая информация ожидается от респондента в качестве ответа на данный вопрос?
3. Является ли ожидаемая от респондента информация обоснованным индикатором для изучаемой характеристики социального явления или процесса?
4. Однозначно ли сформулирован смысл вопроса для респондента? Нет ли в его формулировке понятий, допускающих различное истолкование?
5. Не является ли формулировка вопроса внушающей?
6. Соответствует ли техника регистрации ответов содержанию вопроса (указания на число возможных ответов; возможность уклониться от ответов; соответствие делений шкалы смыслу формулировки и т.п.)?
7. Сбалансированы ли шкалы, нет ли смещений к положительному или отрицательному полюсу шкалы?
8. Нет ли совмещения оснований в вопросах, требующих выбора варианта из предложенного списка по заданному критерию?
9. Обозначен ли адресат вопроса в тех случаях, когда вопрос предназначен не для всей совокупности опрашиваемых, а для какой-либо ее части? Не требуется ли вопрос-фильтр?
Соответствие социально-психологическим критериям проверяется следующими вопросами:
1. Выдержаны ли требования к языку опрашиваемых? Нет ли в формулировке вопроса ложных, непонятных терминов?
2. Понятны ли респонденту единицы измерения, употребляемые в вопросе?
3. Компетентны ли опрашиваемые для ответа на данный вопрос? Не следует ли включить фильтры на компетентность?
4. Не предъявляет ли вопрос непосильных требований к памяти опрашиваемого?
5. Нет ли опасности получить стереотипный ответ?
6. Не слишком ли многочисленны варианты ответов на вопрос, нет ли необходимости расчленить их на тематические блоки?
7. Не вызовет ли вопрос отрицательные эмоции у опрашиваемого?
8. Не задевает ли вопрос самолюбие респондента или интимные стороны его жизни, самосознания?
По окончании анализа все вопросы анкеты распадаются на четыре группы:1- вопросы, не имеющие методических замечаний; 2 - вопросы, имеющие замечания, которые могут быть устранены без эмпирической проверки; 3 – вопросы, имеющие замечания, которые нуждаются в дополнительной эмпирической проверке; 4 – вопросы, содержащие очевидные ошибки и подлежащие исключению из анкеты.
Для тех вопросов, которые нуждаются в эмпирической проверке, в программе пилотажа разрабатываются специальные процедуры проверки. Например, разрабатываются два варианта конструкции вопроса, затем сравниваются восприятие и формулирование ответов и их содержание, полученное на одинаковых выборках или на одной выборке в двух опросах с допустимым интервалом времени. Такая проверка должна отвечать основным требованиям экспериментального исследования.
Восприятие и понимание вопроса могут проверяться с помощью дополнительных вопросов. Получив ответ, сформулированный респондентом, интервьюер просит его пояснить ответ, прокомментировать его, сообщить дополнительные сведения, которые помогают выяснить степень понимания вопроса респондентов, его искренность, информированность и др. Конечно, такие дополнительные вопросы разрабатываются заранее, в зависимости от тех методических замечаний, которые вызвал данный вопрос во время предварительного анализа, Например, если в формулировке вопроса имеются предположительно непонятные слова, то в пилотаже предлагаются дополнительные вопросы респонденту с просьбой объяснить значение этих слов. Или другой пример: если есть опасение, что респонденты могут по-разному понимать такой пункт, как «среднее специальное образование» в вопросе об уровне образования, то опрашиваемому предлагают вслед за вопросом об образовании назвать последовательно те учебные заведения, которые он окончил. Дополнительные вопросы в пилотажном варианте анкеты образуют своеобразное «интервью об интервью», которое помогает получить статистическую информацию о состоянии методических характеристик пилотируемых вопросов.
Соответствие формулировок закрытых вопросов структуре представлений и языку опрашиваемых проверяется с помощью следующей методической процедуры. Пробный опрос проводится методом интервью, в котором все закрытые вопросы задаются респонденту в открытой форме. Выслушав ответ респондента, интервьюер отмечает в анкете только те варианты ответов, которые текстуально совпадают с формулировками респондента. Если же полученный от респондента ответ не имеет аналога в формулировке, то такой ответ дословно записывается на полях анкеты. После проведения пилотажа эти записи позволяют адаптировать язык анкеты к словарному запасу и структуре представлений опрашиваемых.
Пилотаж проводится на микровыборке (до 100 человек) опытным социологом в форме интервью с фиксацией ответов респондента, его реакцией на содержание вопросов, их понимание и восприятие, а также с обязательной фиксацией времени, затраченного на опрос. Все это позволяет выявить недостатки инструментария, откорректировать их и адаптировать анкету к массовой работе.
Если в ходе пилотажного исследования устанавливается, что многие из опрашиваемых отвечают, что не знают или вообще оставляют вопрос без ответа, то это означает, что вопрос непонятен респонденту. Если же большинство опрашиваемых дают однотипный ответ, это означает, что вопрос имеет трафаретную форму, не нацеливает на выявление специфической информации. Когда вопрос вызывает у респондентов разнообразные комментарии и замечания, значит, он разработан недостаточно глубоко и ясно, упущены существенные моменты о спрашиваемом предмете. Отказ заполнять анкету свидетельствует о том, что она либо непонятна, либо поставлены слишком «лобовые» вопросы, либо респондент не получил соответствующей подготовки, и здесь необходимо что-то поменять.
Пилотажное исследование, таким образом, способствует обеспечению валидности анкеты (ее способности обеспечить получение необходимой информации), повышению ее надежности в качестве инструментария исследования.
Итак, мы назвали два метода получения данных о качестве вопросов анкеты: методический эксперимент и методический опрос (интервью об интервью и интервью с открытыми вопросами). Однако наиболее распространенным методом получения методической информации в пилотаже является метод наблюдения.
Самой простой организационной разновидностью пилотажа, основанного на наблюдении, является нестандартизованное наблюдение интервьюера за ситуацией опроса, за поведением респондента, за его реакцией на различные вопросы. Обычно выделяются в качестве наблюдаемых переменных такие, как:
а) ситуация опроса (присутствие третьих лиц, разговоры и консультации во время опроса, наличие мешающих факторов, например, шум, телефонные звонки, теле- или радиопередачи);
б) психологическое состояние респондента во время опроса (отношение к опросу, к интервьюеру, внимание, утомляемость, настороженность, затруднения при ответе, дополнительные обращения за разъяснениями по отдельным вопросам и др.);
в) психологическое состояние интервьюера (мнение о вопросах анкеты, установление контакта с респондентом, ощущение «остроты» отдельных вопросов, логика опроса и др.).
Формой регистрации получаемой методической информации в данном варианте пилотажа являются либо записи на полях анкеты, либо специальный документ «Дневник интервьюера». Организационная простота метода наблюдения обеспечивает его популярность в пробных исследованиях. Однако результаты будут более надежными, если наблюдение будет стандартизированным, то есть основанным на детально разработанной программе наблюдения. Это означает, что наблюдению должен предшествовать логический анализ вопросника и выделение конкретных методических характеристик, которые требуют особенно внимательного изучения, если же наблюдение ведется в нестандартизированном варианте, то оно позволяет фиксировать лишь наиболее грубые нарушения в конструкции анкеты, то есть такие методические просчеты, которые вызывают очевидные, визуально наблюдаемые смещения при формулировании ответов респондентов или при организации ситуации опроса.
Методы получения данных о качестве методики опроса применяются в различных сочетаниях в зависимости от конкретных условий, исследовательских задач и возможностей исследовательского коллектива.
Одна из наиболее эффективных разновидностей пилотажного опроса состоит в том, что для заполнения анкет приглашается группа из 3-4 респондентов и обсуждение анкеты начинается по мере ее заполнения. Задача интервьюера в этом случае - «спровоцировать» критическое обсуждение всех аспектов вопросника, выявить весь спектр возможных разногласий в интерпретации формулировок вопросов и отдельных терминов.
III. ПРИЛОЖЕНИЕ
Приведем пример анкеты на тему: