Методика и стратегия проведения опросов для оценки уровня знаний
Определение уровня знаний. Исходя из перечисленных выше примеров, можно предположить, что вопросы о знаниях необходимы для выявления мнений респондента и должны предшествовать вопросам об установках. Такая последовательность существенна, поскольку она позволяет отфильтровать недостаточно информированных респондентов, прежде чем будут заданы вопросы об установках. Даже если все респонденты отвечают на вопросы об установках, вероятность преувеличений в ответах уменьшается, так как респондентам становится проще сказать, что они не знают или затрудняются ответить на эти вопросы. При обратной последовательности вопросов у респондентов может возникнуть ощущение, что интервьюер ожидает от них знания интересующей проблемы и отношения к ней. По многим общественным проблемам важнее знать, что мнение еще не сформировалось, чем форсировать высказывание.
По многим темам получение высокого или низкого уровня знаний зависит от сложности вопроса. Самый простой тип вопроса: «Вы слышали или читали..?». Например, на вопрос: «Вы слышали или читали о проблемах в отношениях между Израилем и Арабскими странами на Среднем Востоке?» – в опросе Службы Гэллапа, проводившемся в 1973 году, 97% респондентов ответили: «Да». Когда тот же вопрос был сформулирован более детально: «Вы слышали или читали о недавнем расторжении Синайского пакта между Египтом и Израилем?» – положительный ответ дали только 57% респондентов.
Несколько более сложными являются дихотомические вопросы и вопросы с множественным выбором. Вопросы в таблице 25, требующие ответа «да-нет», представляют собой самый общий тип дихотомических вопросов. Рассмотрим еще несколько примеров из опросов Гэллапа: «Не знаете ли Вы случайно, сбалансирован ли федеральный бюджет, то есть получает ли федеральное правительство столько же денег, сколько расходует?» и «Из того, что Вы слышали или читали, как Вы полагаете, в нашей стране производится достаточное количество нефтепродуктов, чтобы обеспечить все нужды, или необходимо импортировать часть нефтепродуктов из других стран?». Эти вопросы не являются строго дихотомическими, поскольку возможен ответ «Не знаю». Ответ «Не знаю» появляется естественным образом, если вопрос начинается словами: «Не знаете ли Вы случайно...» или «Насколько Вам известно...». Вопросы 2-10 в таблице 28 иллюстрируют возможность использования множественного выбора, когда респонденту предлагается несколько альтернатив. Они сложнее дихотомических вопросов и при ответе на них снижается вероятность угадывания правильного варианта. Во всех этих вопросах для снижения вероятности угадывания присутствует явная возможность ответа «Не знаю» как ожидаемого и вполне допустимого.
Более трудными являются вопросы, выясняющие подробности. Вопрос 2 в таблице 20, вопросы в таблице 23 и вопрос 2 в таблице 29 требуют от респондентов лишь неглубоких знаний о личности или компании, о которых они слышали ранее. Такая информация может включать сведения о титулах, причинах известности, названиях государств, стран или изделий, с которыми ассоциируется личность или компания. Правильные ответы на такие вопросы свидетельствуют о более высоком уровне знаний, чем при простом узнавании фамилий.
Вопрос 3 в таблице 20 и вопрос 4 в таблице 29 сопровождаются графическими материалами – фотографиями, контурными картами – для выяснения знаний о личностях и странах. На эти вопросы отвечать труднее. В вопросе 3 (таблица 20) речь идет о политических деятелях. В равной мере использование фотографий было бы ценно для узнавания телевизионных ведущих и других представителей мира искусства. Для некоторых задач, связанных с бизнесом, полезно знать, отличают ли люди производителей по упаковке товара, если на ней отсутствует фирменный знак.
Примерами следующего уровня сложности являются открытые вопросы из таблицы 21 (вопросы 1 и 3) и таблицы 28 (вопрос 1) и из теста подобий (см. раздел «Оценка интеллекта»). Хотя вопросы сформулированы с разным уровнем сложности, в среднем они труднее ранее рассмотренных. В таких вопросах обычно нет явного варианта ответа «Не знаю». Они также не дают возможности удачно угадать правильный ответ: респондент предпочитает признаться в незнании, чем дискредитировать себя неверным ответом.
Наиболее трудными для всех, за исключением наиболее осведомленных информантов, являются числовые вопросы. Лишь немногие смогли ответить на вопрос из таблицы 22 о метрической системе. Трудными являются вопросы о процентном соотношении. Плохо запоминается большинство дат, за исключением самых важных, таких, как 1492 и 1776. Как мы покажем ниже, попытки упростить числовые вопросы с помощью их закрытия приводят к дополнительным проблемам.
Тип используемого вопроса зависит от задач исследователя. При этом слишком простые или слишком сложные вопросы обычно не позволяют выявить различия в уровне знаний респондентов. Как правило, более легкие вопросы о знании общественных проблем целесообразно задавать на ранних стадиях развития этих проблем; более сложные – на поздних, когда уже известна история развития проблемы. Например, вопросы об арабо-израильском конфликте на Среднем Востоке могут быть более сложными, чем вопросы о текущем национальном или международном кризисе. Аналогично, в маркетинговых исследованиях вопросы о давно выпускающихся изделиях могут быть сформулированы сложнее, чем вопросы, относящиеся к новым товарам.
Некоторые сторонники определенных политических направлений пытались дискредитировать оппозиционное общественное мнение, ссылаясь на недостаточную информированность населения по обсуждаемым проблемам. Хотя такой аргумент часто имеет основания, при исследованиях всегда нужно принимать во внимание уровень сложности вопросов. Всегда можно подобрать вопросы такой сложности, что правильно на них не сможет ответить ни один респондент, особенно если требуется быстрый ответ и вопрос не содержит какой-либо подсказки.
Уменьшение опасений. Как и в случае с поведенческими вопросами, вызывающими опасения респондентов (третья глава), вопросы о знаниях приводят к коммуникативным трудностям. Респонденту неприятно выглядеть глупым или плохо информированным, давая явно неправильные ответы или признаваясь в незнании того, что знают все. Чтобы устранить опасения такого рода, вопросы могут быть начаты словами: «Не знаете ли Вы случайно» или «Можете ли Вы вспомнить». Введение в качестве варианта ответа «Я не знаю» также снижает опасения респондента. Такой ответ считается вполне приемлемым, даже если он не является самым желательным. Использование фраз, направленных на снижение опасений, уменьшает число угадываний и увеличивает количество ответов «Не знаю». И наоборот, если вы хотите, чтобы респондент догадался, вводные фразы, приведенные выше, не следует включать в вопрос. Респондента следует попросить высказать «собственное предположение», как в вопросе Службы Гэллапа: «Как Вы предполагаете, какая часть людей, находящихся на социальном обеспечении, получает больше, чем имеет на то право?».
Граница между вопросами о знаниях и вопросами об установках часто расплывчата. Раньше вопрос на знания о симптомах рака молочных желез задавали в виде вопроса о мнении (таблица 21, вопрос 1А). Вопрос о «ловкачах», находящихся на социальном обеспечении, на самом деле – вопрос об отношении, хотя задается в виде вопроса о знаниях. Правильный ответ на этот вопрос знают лишь немногие респонденты. Большинство респондентов будут строить предположения, исходя из сформировавшегося у них отношения к программам социального обеспечения.
Предупреждение переоценки знаний. Просьба указать известные фамилии или наименования из предложенного списка личностей или организаций может вызвать некоторые опасения у респондентов, особенно если список длинный и включает много неизвестных имен (как в вопросе 1 таблицы 20). Если респондент не слышал ничего обо всех или большинстве перечисленных в списке имен, можно заключить, что он не в курсе событий. Однако у респондента возникает желание дать избыточное количество положительных ответов, что практически невозможно проконтролировать. Самый простой способ избежать переоценки знаний в этом случае – задать дополнительный вопрос о том, кем является или чем занимается выбранный респондентом человек (как в вопросе 2 таблицы 20) или что производит компания (как в вопросе 1 таблицы 23).
В некоторых случаях дополнительные вопросы неприемлемы. Например, при исследовании узнавания кандидатов на некоторый политический пост, допустим, Президента Соединенных Штатов. Положение, которое занимает отдельный представитель списка на текущий момент, несущественно, а то, что он является кандидатом, может стать очевидным из контекста вопроса. Аналогично, в исследовании об отношениях респондентов к гражданским правам предлагают список и просят указать фамилии лидеров в борьбе за гражданские права. Дополнительный вопрос об их должностях и партийной принадлежности может быть слишком трудным. Решением в этом случае будет включение в список фамилии неизвестного человека («подсадной утки»). Так, в исследовании, проводившемся НЦИОМ, в список лидеров борьбы за гражданские права включили фамилию одного из выпускников колледжа. Около 15% респондентов сообщили, что знают его. Это означает, что фамилии нескольких других реально действующих лидеров были незнакомы примерно 15% населения. У нас есть предположение, что последняя четверть списка фамилий в вопросе 1 из таблицы 20 в действительности была неизвестна респондентам в то время, когда проводился опрос.
Такая же процедура может быть использована в опросе на знание респондентами фирменных знаков компаний. Естественно, при выборе «подсадной утки» нельзя вводить фамилии известных личностей или когда-либо упоминавшиеся фирменные знаки.
Использование серый вопросов. Известно, что надежность индивидуальной оценки по любому тесту возрастает при увеличении числа единиц тестирования. Аналогично, более надежное измерение индивидуального знания можно получить при использовании серии вопросов. Использование одиночных вопросов, особенно в дихотомической форме или со множественным выбором, приводит к большему числу догадок и значительному снижению надежности ответа.
Если знание является ключевой зависимой переменной, как в программе «Оценка прогресса нации в образовании», очевидно, что для получения надежных результатов следует задать много вопросов. Количество необходимых для исследования вопросов резко снижается, если знание используется как независимая переменная. Может быть, достаточно одного вопроса, если вопрос о знаниях представляет собой фильтр, для выявления тех респондентов, которым не нужно задавать дополнительные вопросы. Обратите внимание, что во многих примерах, приведенных ранее (например, в таблице 21), используются серии вопросов.
Число задаваемых вопросов зависит также от общего уровня информированности респондента по интересующей теме. Если большинство респондентов очень плохо знакомы с изучаемой проблемой, потребуется всего один или два вопроса, чтобы определить это.
Числовые вопросы. Как уже отмечалось ранее, труднее всего респондентам отвечать на числовые вопросы. Если в вопросе предлагается несколько вариантов ответа, то большинство респондентов выбирают ответ где-то в середине предложенного перечня альтернатив. В связи с этим Пейн [65] предложил ставить правильный ответ в начале или в конце перечня. Мы же думаем, что лучшая процедура – не предлагать респонденту альтернативных ответов, а оставлять вопрос открытым. Кодировать такие ответы достаточно легко, ведь данные представляют собой цифры, которые не требуют дополнительного перекодирования. Открытые вопросы будут чаще, чем закрытые, приводить к ответу «Не знаю». Зато открытый вопрос не подталкивает респондента к угадыванию ответа. Метрические вопросы, сформулированные Службой Гэллапа (таблица 22), – это открытые вопросы, при составлении которых использовался описанный выше подход.
Привлечение ключевых информантов. В социологических исследованиях широко распространено использование ключевых информантов – людей, которые благодаря своему административному или социальному положению лучше других осведомлены по ряду вопросов. Обычно к ним обращаются при изучении коллективного поведения, положения и влияния некоего сообщества, принятия сообществом решений (в том числе о нововведениях), локальной экологической ситуации. Ключевые информанты могут представить сведения, которые нельзя почерпнуть из данных переписи населения или публикаций. Хотя эти люди информированы лучше основной части населения, не следует ожидать, что они дают абсолютно верную информацию. Их сведения могут быть искажены в зависимости от сложившихся у них отношений или их статуса в сообществе.
Примером сказанному могут служить данные, приведенные Хостоном и Садменом [41] в разделе «Информанты сообщества». Так, церковные информанты называли большее число церквей, находящихся по соседству, чем другие информанты. Аналогично, информанты общественных организаций называли большее число этих организаций в сообществе. Эти результаты объясняются не только большим опытом ключевых информантов в области, связанной с их профессиональной деятельностью, но и другим взглядом на вещи. Например, церковные информанты обозначали границы с соседней территорией по месту проживания прихожан; школьные информанты – по месту проживания учеников.
Понятно, что для получения более надежной информации о соседстве следует обращаться к нескольким ключевым информантам, занимающим руководящее положение в разных структурах сообщества. Как минимум, следует опрашивать троих или четверых ключевых информантов, и их количество должно возрастать, пока предоставленные информантами данные расходятся. Чем менее осведомлены респонденты по исследуемой теме, тем больше человек необходимо опросить для получения надежной информации. Если же опрашивают просто жителей сообщества, к примеру об экологической ситуации, потребуется выборка не менее чем из десяти человек. Хотя ограничения, связанные с опросом ключевых информантов, очевидны, никакой другой метод не позволяет обеспечить аналогичную точность полученных данных с теми же затратами.
Использование невербальных методов. Как показано в таблице 28 (вопросы 12 и 13), не все вопросы и ответы, отражающие уровень знаний, должны быть сугубо вербальными. Всегда следует наравне со стандартными вопросами рассматривать возможность использования невербального аппарата – фотографий, карт, звукозаписей, рисунков и других объектов реального мира. Единственный недостаток этих методов – рост затрат, так как необходимо проведение личного интервью, дополнительного инструктирования и обучения интервьюеров. Достоинство метода –получение более валидной оценки знания по сравнению с использованием обычных вопросов. Кроме того, как респонденты, так и интервьюеры получают большое удовольствие от перемены образа действий в процессе интервью.
Невербальные процедуры могут использоваться в качестве стимулов или ответов. Так, в тесте на знание музыки респондентам могут предложить прослушать начало «Пятой симфонии» Бетховена и попросить назвать композитора и его сочинение. Или можно назвать произведение и попросить напеть его немного на магнитофон. Последний вариант, а также другие процедуры, требующие воспоминаний, сложнее процедур, направленных на распознавание респондентом невербальных стимулов.
Использование анкет. Как правило, при определении знаний не используются почтовые и другие неличные виды опросов. Только при личном или телефонном опросе у респондента нет возможности с кем-либо проконсультироваться или прочитать нужный ответ.
Это правило имеет несколько исключений. Так, при проведении почтового интервью может быть задан самый простой вопрос на знание («Вы слышали или читали о ...»). Однако в этом случае нельзя отфильтровать респондентов, которые недостаточно информированы для предоставления ответа. Анкетный опрос может быть успешно использован при неявном выяснении знаний, как, например, в разделе «Оценка интеллекта» теста Векслера. И наконец, при получении информации у ключевых информантов в компаниях или сообществах неличные методы опроса могут оказаться более предпочтительными. В этом случае желательно, чтобы респондент уточнил что-то по документам или обсудил детали с коллегами. Тогда ответы могут быть более полными, чем в личном интервью.
Заключение
Вопросы на знания используются для оценки уровня образования, проектирования и осуществления информационных программ или проведения рекламных кампаний, выяснения знаний общества о текущих проблемах и личностях, оценки интеллектуальных способностей, а также для получения информации о различных сторонах жизни сообщества.
Вопросы на знания различны по степени сложности. В простейших вопросах выясняется, слышал или читал респондент что-либо на заданную тему. В самых сложных требуется дать точную численную оценку. Самые простые и самые сложные вопросы не позволяют установить различия между респондентами. При проведении опросов могут быть использованы, кроме вопросов стандартного вида, невербальные вопросы с различным графическим (фотографии, карты и др.) или иным материалом. В основном вопросы на знания задают в личных или телефонных опросах, но в ряде случаев – в почтовых.
В настоящей главе обсуждались способы формулирования вопросов, позволяющие снизить опасения респондента, уменьшить угадывание и избежать переоценку знаний. Рассматривались также возможность использования вопросов с ответами в цифровом виде и пути повышения надежности результатов за счет увеличения числа задаваемых вопросов и количества информантов.
Дополнительное чтение
В настоящей главе приведены данные небольшого формального исследования (обзора) по использованию вопросов о знаниях. Как видно из примеров, эти вопросы используются преимущественно Службой Гэллапа. Из вопросников Службы Гэллапа [34, 35] можно почерпнуть другие варианты вопросов на знания, как, впрочем, и на любые иные темы.
Дополнительные данные по информации, получаемой от ключевых информантов, можно найти в книге «Бок о бок» [15]. Методологические аспекты оценки этих данных приведены в работе Хостона и Садмена [41].
Дополнительную информацию по тестам на интеллект, в частности интервьюеров, можно найти в восьмой главе книги «Снижение стоимости опросов» [84]. Подробная информация по оценке прогресса нации в образовании содержится в издании Департамента образования США [56].