Способы верификации результатов исследования
Результаты опросов о поведении могут быть сопоставлены с данными, полученными из других источников. Особенно важна проверка результатов тех исследований, тематика которых вызывает опасения. Как показано в этой главе, существуют различные методы решения проблем преувеличения и преуменьшения в ответах респондентов, но пока не удалось определить, какой из приемов лучше использовать в каждом конкретном случае. Кроме того, предметом социологических исследований иногда становятся действия, которые человек осуществляет без свидетелей. В этих случаях результаты опроса практически не поддаются верификации. Если же удается найти способ проверки результатов опроса, у исследователя появляется возможность сравнить различные методы и, как следствие, – составить более качественный вопросник.
За исключением некоторых особых случаев верификация на индивидуальном уровне практически невозможна. Гарантия анонимности не позволяет проверять данные, полученные у каждого респондента. Но при соблюдении определенных условий можно осуществить верификацию на агрегированных данных. По крайней мере, следует внимательно рассмотреть все возможные источники дополнительной информации. Если обсуждается тема приобретения продуктов или бытовых услуг, можно сравнить сообщения потребителя с данными, полученными у производителей, лавочников, работников сервисных служб, поставщиков. Та же процедура проводится в опросах о покупках пива, вина или крепких алкогольных напитков. Если темой исследования становится социально желательное поведение (например, участие в благотворительных мероприятиях), можно сравнить цифры, полученные в результате интервью, с реальным числом участников. Данные о посещениях театров и концертов можно сравнить с числом проданных билетов. Но следует соблюдать осторожность, чтобы исключить грубые ошибки. Среди участников благотворительных акций и покупателей различных товаров в розничной сети могут оказаться не только частные лица, но и различные организации. В любом случае альтернативные верификационные данные полезны, даже при наличии некоторой неточности сравнения.
Заключение
Задавать вопросы о поведении, которое вызывает опасения респондентов, намного труднее, чем нейтральные вопросы. Когда тематика опроса вызывает очень серьезные опасения респондентов, неточность результатов неизбежна. Однако если не рассматривать крайних случаев, методы, предложенные в этой главе, значительно повышают точность получаемой информации.
При проведении интервью мы предлагаем использовать форму открытых длинных вопросов, употреблять слова, привычные и понятные респондентам; получать сведения у информантов; использовать подходящие временные рамки (для социально желательного поведения – спрашивать о недавнем прошлом, не задавая вопросов об обычном поведении; для социально нежелательного поведения – узнать у респондента, приходилось ли ему совершать некоторые социально нежелательные поступки, и только потом обсуждать с ним события настоящего времени); подбирать уместный контекст; использовать такие методы, как анонимный опрос, сортировка карточек, рандомизированные ответы; использовать дневники и панельные исследования.
В конце опроса полезно с помощью дополнительных вопросов определить отношение респондента к темам, затронутым в процессе интервью. Целесообразно организовать проверку достоверности результатов опроса с помощью дополнительных данных, даже если это удается сделать только на агрегированном уровне.
Дополнительное чтение
Большая часть материалов этой главы опирается на исследования, приведенные в книге «Усовершенствование метода проведения интервью и проектирование вопросника» (см. главы 1, 2, 5, 9, 11) [13]. Те, кого интересует, как влияют на ответы респондентов процедуры, обеспечивающие анонимность, могут прочитать об этом в книгах Эш и Абрамсон [2], Коломботос [23], Фишер [29], Фуллер [33], Хочстим [39] и Кинг [48].
Информацию о методе рандомизированных ответов можно найти в работах Гринберг [37], Рейнмут и Гёртс [67]. Первые исследования этого метода можно найти в книге Уорнера [92].
Журналы, на которые мы ссылались во второй главе, могут также быть использованы в качестве источника примеров по темам, вызывающим опасения респондента.
Глава 4. ВОПРОСЫ О ЗНАНИЯХ
Хотя вопросы о знаниях распространены не столь широко, как поведенческие, они используются во многих исследованиях, например, в осуществляемых Департаментом образования США национальных опросах с целью определения грамотности и уровня образования взрослого населения. (Несколько примеров вопросов приводится ниже.) Вопросы о знаниях используются также при разработке и внедрении информационных программ или при проведении рекламных кампаний, поскольку для их эффективности необходимо представлять общий уровень знаний по конкретной тематике (например, о такой болезни, как рак, или о таком изделии, как электромобиль). Для оценки эффективности информационной кампании требуются дополнительные опросы, с помощью которых выявляется уровень информированности населения после окончания кампании.
При определении общественных установок о каких-либо проблемах или отдельных личностях зачастую необходимо предварительно оценить уровень осведомленности общества. С этой целью используются вопросы о знаниях, которые применяются и для измерения интеллекта, что может понадобиться при интерпретации поведенческих и аттитьюдных переменных. И наконец, вопросы о знаниях используют для получения информации от общественных лидеров, руководителей или членов организаций, наблюдателей или участников отдельных событий.
Основные рекомендации
1. Прежде чем спрашивать о конкретных проблемах или людях, задавайте вопросы о знаниях, для того чтобы исключить респондентов, не имеющих необходимой информации.
2. Установите, насколько уровень сложности вопросов соответствует целям исследования. Для изучения новых проблем, возможно, понадобятся самые простые вопросы.
3. Когда только возможно, снимайте напряжение, возникающее при ответах на вопросы о знаниях, формулируя их как выяснение мнения или начиная словами: «не знаете ли Вы случайно» или «не можете ли Вы сейчас вспомнить».
4. При идентификации личностей или организаций избегайте переоценки знаний посредством выяснения дополнительной информации или включения фиктивных фамилий в предлагаемый респонденту перечень.
5. Задавайте несколько вопросов на одну и ту же тему, чтобы снизить вероятность удачного угадывания, если вопросы предполагают ответы типа «да-нет».
6. Если вопрос о знаниях требует числового ответа, используйте открытые вопросы, чтобы не дать респонденту подсказку и не ввести его в заблуждение.
7. Для повышения надежности получаемой географической информации следует привлекать большое число респондентов или ключевых информантов.
8. Рассмотрите возможность использования рисунков и других невербальных методик.
9. При определении уровня знаний не следует использовать почтовые и другие неличные виды опросов, которые позволяют привлекать дополнительные источники информации.