Логический контроль и апробация составленой анкеты
По окончании компоновки анкеты ее целесообразно подвергнуть
логическому контролю, позволяющему проверить ее соответствие тем критериям качества, которые выверены практикой и являются общепризнанными. В частности, каждый вопрос проверяется по следующим критериям:
1. Не забыты ли (если они нужны) такие варианты ответов, как: "не знаю", "здтрудняюсь ответить", "не помню", "не думал об этом" и тому подобные, дающие возможность респонденту уклониться от ответа, когда он сочтет это нужным?
2. Не следует ли добавить к некоторым закрытым вопросам позицию "другие ответы" со свободными строчками для дополнительных высказываний респондентов (то есть превратить закрытый вопрос в полузакрытый)?
3, Относится ли вопрос ко всей совокупности опрашиваемых или только к некоторой части этой совокупности? (В последнем случае добавляют вопрос- фильтр, чтобы избежать затруднений на стадии обработки информация на ЭВМ в связи с отсутствием четкого выделения носителя нужной информации.)
4. Достаточно ли объяснена респонденту техника заполнения вопроса? Есть ли указания о том, сколько вариантов ответов можно отметить, как отвечать на вопрос табличной формы или вопрос-рисунок?
5. Нет ли логического несоответствия между смыслом формулировки вопроса и шкалой измерения? Оно может заключаться е следующем. Возьмем вопрос: "Часто ли Вы знакомитесь с материалами и передачами на политическую тему!" - и ответы на него:
1 - по радио
2 - по телевидению
3 - по газетам.
Ответы эти составлены неверно, так как не позволяют выявить нужный признак (частоту). Здесь необходимо строить ответы к вопросу следующим образом (таблица 3)
6. Содержатся ли в формулировке вопроса слова, термины, которые могут быть непонятны опрашиваемым? Как их заменить, не нарушая смысла вопроса?
7. Не превышает ли вопрос компетентности опрашиваемого? (Если такое подозрение есть, нужен контрольный вопрос-фильтр на поверку компетентности.)
8. Не превышает ли вопрос возможностей памяти опрашиваемых?
9. Не слишком ли многочисленны варианты ответов на вопрос? Если это так, то нужно расчленить список на тематические блоки н вместо одного вопроса сделать блок вопросов.
10. Не задевает ли вопрос самолюбия респондента, его достоинства, престижных представлений?
11. Не вызовет ли вопрос отрицательных эмоций у опрашиваемого (опасения за последствия опроса, неприятные ассоциации, печальные воспоминания и другие негативные эмоциональные состояния, нарушающие психологический комфорт ситуации опроса)?
Результатом логической проверки каждого вопроса по названным критериям будет своего рода комплексная оценка ега качества, которая характеризуется числом полученных замечаний по различным критериям. В зависимости от числа и "тяжести" полученных замечаний все вопросы анкеты могут быть разделены на четыре группы: 1) вопросы, не содержащие замечаний по качеству; 2) вопросы, содержащие очевидные методические просчеты, поддающиеся исправлению; 3) вопросы с ошибками, требующими "выбраковки" вопроса и замены его другим методическим решением; 4) вопросы, подлежащие по некоторым критериям проверке в пробном исследовании.
Таким образом, логический контроль качества вопросов анкеты служит подготовительной процедурой для разработки задач пробного исследования. Кроме отдельных вопросов проверяется и композиция анкеты на соответствие следующим критериям: 1.Соблюдается ли принцип расположения вопросов от наиболее простых ("контактных") в начале анкеты к наиболее сложным в середине ее и простым ("разгрузочным") в конце анкеты?
2. Нет ли влияния предшествующих вопросов на последующие?
3. Отделены ли смысловые блоки вопросов "переключателями внимания", обращениями к респонденту, информирующими о начале следующего блока?
4. Снабжены ли вопросы-фильтры указателями- переходами для разных групп респондентов? (Например: "Внимание! На следующие три вопроса отвечают только те, кто имеет акции. Те, кто не имеет акции,, переходят к вопросу №...".)
5. Нет ли скоплений однотипных вопросов, вызывающих ощущение монотонности и утомления у респондента?
6. Нет ли нарушений в верстке и графическом оформленнч анкеты? (Перенос части випроса на другую страницу; неразлинованные таблицы в вопросах табличной формы, что ведет н путанице позиций при кодировке; " слепой", монотонный шрифт в тексте анкеты; недостаточно места для ответов на открытые вопросы и т.п.).
Оценить качество вопросов анкеты, апробировать ее по обозначенным критериям помогает пробное исследованне. Его простейшая разновидность - проведение своего рода репетиции, опроса малой выборочной совокупности (небольшой группы опрашиваемых). В ходе такого опроса собирается методическая информация, то есть информация о качестве разработанного инструментария. При этом проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. В связи с оценкой качества методики опроса регистрируются все наблюдаемые затруднения респондентов, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить. Анкета апробируется в том варианте, в котором она планируется для основного исследования.
Один из наиболее очевидных индикаторов непригодности того или иного вопроса - большая доля не ответивших или затруднившихся ответить на него. Значение данного показателя интерпретируется в зависимости от познавательной задачи вопроса. Так, если измеряется информированность опрашиваемых о каком-то событии и задачей вопроса является разделение совокупности респондентов на информированных и неинформированных, то доля неответивших или затруднившихся ответить есть показатель величины неинформированной части опрошенных, а вопрос соответствует поставленной задаче. Если же измеряется, допустим, отношение к какому-нибудь явлению, то большая доля неответивших - свидетельство методической погрешности в составлении вопроса.
Число различных замечаний, зафиксированных интервьюерами, одновременно показывает, что большинство респондентов занимают весьма активную позицию к качеству вопросника и достаточно четко ее проявляют.
Конечно же планирование, проведение и анализ результатов пробных исследований требуют дополнительных затрат времени и средств. Однако повышение качества методики и инструментария сбора информации, а также достоверности результатов социологических исследований оправдывают зти затраты.
Почтовый опрос
Почтовый опрос - разновидность анкетирования и правомерно рассматривается как эффективный прием сбора первичной информации. В наиболее общем виде он заключается в рассылке анкет и получении на них ответов по почте.
В различных формах почтовый опрос применялся в нашей стране в первые послереволюционные годы. Так, Бюро печати, входившее в Народный комиссариат земледелия, разработало опросник с целью получения информации о жизни деревни. В газете "Голос трудового народа" он был опубликован в марте 1918 года. Чтобы полнее оценить ситуацию на местах, в апреле того же года почтовый опрос был осуществлен Московским облисполкомом Советов. В 60-е годы стал возрождаться интерес советских ученых к использованию почтового опроса. Однако его проникновение в повседневную исследовательскую практику проискодило очень медленно. И только во второй половине 70-х годов в нашей стране началась разработка методики и организации почтового анкетирования.
Важное преимущество почтового опроса - простота организации. Нет надобности в подборе, обучении, контроле за деятельностью большого количества интервьюеров. При известном опыте исследователей подготовка и рассылка всей документации почтового опроса для 2000 - 3000 человек может быть осуществлена двумя работниками за 7-10 дней. К достоинствам метода относится и то, что он позволяет одновременно провести опрос на большой территории, в том числе в труднодоступных районах. Преимущество рассматриваемого приема сбора информации состоит также в том, что анкета заполняется талько респондентом. Тем самым отсутствует контакт респондента и анкетера (интервьюера), а следовательно, и психологический барьер, наблюдаемый иногда при индивидуальном опросе.
Еще одно позитивное свойство почтового опроса - возможность респонденту самому выбирать удобное для него время заполнения анкеты. Он может не спешить и, если надо, уточнить какие-то детали для ответа на вопросы анкеты. Наконец, отметим низкую стоимость информации, отсутствие анкетеров и тем более интервьюеров, использование которых увеличивает материальные расходы на исследование.
Вместе с тем почтовый опрос имеет и свои недостатки. Основной из них - неполный возврат анкет, то есть не все респонденты заполняют анкеты и отправляют их исследователям. В сипу сказанного сокращается количество анкет, подвергаемых обработке и анализу, а это само по себе снижает надежность получаемой информации. И если бы причиной неполного возврата были лишь случайные обстоятельства, то было бы достаточно увеличить количество рассылаемых анкет. Однако практика почтового опроса, результаты специальных исследований доказывают, что в основе неполного возврата лежит действие не случайных, а именно систематических факторов. В одних ситуациях активнее участвуют в заочном анкетировании представители старших возрастных групп, в других - молодежь. В целом же величина возврата анкет зависит от социально-демографической структуры обследуемой совокупности. Как следствие этого совокупность ответивших на анкету обычно по полу, возрасту, образованию, жизненному опыту в большей или меньшей степени не соответствует совокупности возможных респондентов. Очевидно, что увеличением числа рассылаемых анкет указанное отклонение от планируемой выборки неустранимо.
Было бы неверным не назвать и другие особенности почтового опроса, имеющие непосредственное отношение к надежности получаемых результатов: мнения ответивших бывают отличными от мнений тех, кто воздержался от участия в почтовом опросе; возможны ситуации, когда респондент не сам заполняет анкету, а "перекладывает" это на кого-либо из членов семьи; нельзя полностью исключить случаи группового заполнения. В силу названных причин в процессе сбора первичной информации появляется необходимость противодействовать возникновению подобных помех.
Таким образом, важнейшая методико - организационная задача, решаемая исследователем при планировании и проведении почтового опроса, - это увеличение, стимулирование возврата анкет. Исследования показывают, что 70 -75 - процентный возврат обеспечивает достаточно высокую надежность результатов и существуют реальные приемы достижения этого уровня возврата. Все они в совокупности направлены на создание у респондентов благоприятной установки на участие в почтовом опросе.
Почтовый опрос предъявляет повышенные требования к разработке всего методического инструментария. В других формах опроса анкетер, интервьюер "подстраховывает" исследователя, помогает респондентам понять содержание вопросов и правил ответа на них. При заочном анкетировании такой возможности нет. Все контакты социолога с опрашиадемым и в основных моментах, и в деталях опосредуются только документами.
Почтовая анкета обязательно имеет краткое вступление. Оно очень важно для завоевания расположения респондента, сокращения числа ошибок, пропусков в ответах. Основная его цель - объяснить правила работы с анкетой.
Начинают опрос с легких вопросов, интересных по содеожанню. Вопросы, требующие серьезных размышлении, задают позже. Сказанное относится и к демографическим вопросам, если они не выполняют фильтрующую функцию. В общем случае завершает анкету "паспортичка".
Подчеркнутое внимание уделяется первому вопросу анкеты. Он более чем другие должен быть нейтральным, в начале анкеты воздерживаются от использования открытых и табличных вопросов, предусматривающих выбор из большого числа суждений. Близкие по содержанию вопросы группируют в блоки. Серьезное значение придают правилам оформления вопросов, их представлению на страницах анкеты. В частности, маленькие буквы используют при формупировке вопросов, большие - ответов. Коды, идентифицирующие ответы, помещают слева от градаций.
Предусматривают переходы, вводящие опрашиваемого в новый тематический блок и подсказывающие смену конструкции, формы вопросов. Применяют визуальные средства (стрелки, указатели, пробелы), они помогают респонденту не сбиться с направления движений, заданного исследователем. Совсем не допускают переноса части вопроса со страницы на страницу.
На последней странице анкеты (это может быть и внутренняя сторона задней обложки) у респондента спрашивают, нет ли у него каких-либо дополнительных комментариев по теме опроса, выражают ему благодарность.
Сущестбует некоторая отрицательная связь между объемом (длиной) анкет и уровнем их возврата. Тем не менее бывает целесообразнее повысить интерес опрашиваемого к анкете путем использования ряда дополнительных вопросов, нежели сокрдщать ее.
Рекомендуется отпечатать анкету в типографии, использовать различные шрифты, придумать для нее привлекательное, броское название, сброшюровать ее. Формат по возможности выбирают такой, чтобы, отправляя анкету респонденту, ее не пришлось складывать.
Иногда считают, что высокий возврат достигается лишь при проведении почтового опроса в достаточно однородных социальных или демографических группах. Однако в последнее время заочная форма анкетирования стала успешно применяться при массовых обследованиях общественного мнения, когда выборочная сово- купость, естественно, включает представителей всех групп, слоев населения.
На численность выборочной совокупности, используемой при проведении почтового опроса, обычно не накладвается каких-либо ограничений. Она определяется целями исследования, материальными и организационными возможностями исследовательского коллектнеа. И все же его не рекомендуется применять при изучении достаточно замкнутых совокупностей, где велика вероятность контактов потенциальных респондентое. Если почтовые анкеты разослать членам, скажем, небольшого трудово коллектива или жителям деревни, то, несомненно, этот факт вскоре станет предметом обсуждения между ними. И поэтому ответы на вопросы анкеты, как и само участие в почтовом опросе окажутся в некоторой степени итогом коллективного мнения.
Минимальное число рассылаемых анкет - 400. В этом случае при интенсивной процедуре проведения почтового опроса высока вероятность получения 250 -300 анкет для последующей обработки и анализа.
При опросе населения адреса потенциальных респондентов можно извлечь из списков избирателей, из домовых книг. Если изучается аудитория какой-либо газеты, журнала, адреса подписчиков определяются по картотекам почтовых отделений. Применим почтовый опрос и при исследовании мнений трудящихся больших коллективов. При этом выборка комплектуется на основе данных отделов кадров.
Во многих случаях увеличение возврата достигается рассылкой респондентам уведомлений. Они направляются будущим участникам почтового опроса за 3-4 дня до отправления анкет и настраивают человека на участие в опросе. В уведомлении указывают, каким образом исследователи получили адрес респондента (например, по списку избирателей, в адресном столе и т. д.), чему будет посвящен опрос, какие цели ставят перед собой исследователи; подчеркивается важность участия в опросе данного респондента. Обычно высылка уведомлений повышает возврат анкет на 10 - 15 %.
Одновременно с рассылкой анкет в том же конверте высылаются и другие документы. Среди них обязательно должно присутствовать сопроводительное письмо. В нем, обращаясь к респонденту, по фамилии или имени и отчеству, следует повторить просьбу об участии в почтовом опросе, подробно изложить цели исследования, подчеркнуть его практическую направленность, обратить внимание потенциального респондента на то, следует или нет подписывать возвращаемую анкету. Обязательно приводится адрес и телефон исследовательской организации, что при необходимости позволит респонденту получить дополнительную информацию об исследовании, о правилах заполнения анкеты. Рекомендуется высылать небольшое символическое вознаграждение, подчеркнуть внимание к респонденту. Например, в одном из наших почтовых опросов высылался красочный карманный календарь: это увеличило возврат анкет на 9%.. Вместе с анкетой респонденту непременно отправляют конверт с напечатанным на нем адресом исследовательской организации. В этом конверте респондент должен будет выслать заполненную анкету. Заметим, и на конверте, в котором документы направляются респонденту, и на конверте возврата лучше наклеивать яркие, многоцветные марки.
Примерно через 2-3 недели после отправки анкет высылаются напоминания. Если опрос анонимный, то напоминание высылается всем потенциальным респондентам, если неанонимный, то тем, от кого к определенному моменту времени не получены заполненные анкеты. Напоминание - один из сильнейших стимуляторов, в среднем оно увеличивает возврат анкет на 20%. Иногда приходится высылать и вторичные напоминания.
Полезным может оказаться использование специальной сигнальной карточки. Это - почтовая открытка с маркой. Она высылается потенциальному респонденту вместе с анкетой. На открытке отпечатан адрес исследовательской органи. Заполнив анкету, опрашиваемый вписывает в сигнальную карточку свою фамилию и адрес и высылает ее отдельно от анкеты. Тем самым сохраняется анонимность и одновременно появляется возможность узнать, кому из респондентов не надо высылать напоминание.
Завершая рассмотрение факторов повышения возврата анкет, отметим, что ни одному из них не следует придавать исключительного значения. Только использование различных стимулирующих факторов обеспечивает активное участие респондентов в почтовом опросе. (Примеры вспомогательных документов приведены в Приложении.)
Существует три типа стандартных конвертов. Самые маленькие, или "обычные", конверты имеют размеры 14 х 162 мм. Они используются для рассылки уведомлений и напоминаний. В зависимости от размеров анкеты для ее отправки применяют второй стандарт (162 х 229 мм.) или третий (229 х 324 мм.). Конверт, который направляется респонденту для возврата заполненной анкеты, обязательно должен быть с клеем. В противном случае отсутствие клея в его доме может стать причиной снижения возврата. Для возврата анкеты не стоит использовать самые большие конверты. Они не входят в почтовый
ящик, ради отправки анкеты далеко не каждый пойдет на почту. Более подходит конаерт средних размеров.
Очень важно заранее выяснить на почте сроки прохождений почтовьх отправлений до респондентов и выбрать день отправки анкеты так, чтобы опрашиваемый получил ее в конце трудоаой недели: это повышает вероятность скорого заполнения анкеты. Крайне нежелательно проведение опросов некануне общегосударственных праздников, когда эагружена почта, и в период массовых отпусков.
В условиях крупного города первые заполненные анкеты возвращаются на седьмой - восьмой день, затем в течение двух недель наблюдается наиболее активный период возврата. В это время он достигает, как правило, 50 %. Дальнейший его рост определяется конкретными особенностями процедуры опроса. Завершая рассмотрение факторов повышения возврата анкет, отметим, что ни одному из них не следует придавать исключительного значения. Только процедуры, включающие в себя использование различных стимулирующих факторов, обеспечивают активное участие респондентов в почтовом опросе.
Разновидность почтового опроса - так называемый прессовый опрос. В этом случе анкета печатается в газете или журнале. Укажем на два вида такого опроса. Один - когда редакция обращается к анкатированию с целью получения данных о своих читателях и их мнений о работе данного печатного органа. Второй - когда через печатный орган изучается мнение по какой-либо актуальной проблеме.
В силу пассивности процедуры вовлечения потенциальных респондентов в опрос в прессовом анкетировании невысок возврат анкет. Зачастую это доли процента или единицы процентов всей совокупности подписчиков и читателей. Крайне редко в опросе участвуют более десятой части аудитории.
При значительности тиража издания, например, ежедневной газеты крупного областного центра, даже при низкой активности респондентов может быть получено весьма большое - множество тысяч - количество заполненных анкет. Но и в этом случае анализ, обобщение эмпирических данных осуществляют осторожно, не спе- шат с распространением полученных выводов на всю массу читателей. И суть далеко не в том, что социально- демографический состав ответивших на анкету чаще всего отличается от "паспортных" характеристик аудитории в целом. Более важно то, что отвечающее разнятся от "молчаливого большинства" либо своим отношением к конкретному печатному органу, либо своим видением и пониманием изучаемой проблемы, либо и тем и другим одновременно. Поэтому даже последующий "ремонт" выборки, приведение ее по ряду контролируемых параметров к структуре генеральной совокупности не всегда повышает уровень репрезентативности исследования. Скажем, если в прессовой анкете изучается отношение к жилищной проблеме, то среди приславших свои ответы будет больше, чем в целом среди читателей газеты, тех, кто остро неудовлетворен жилищными условиями.
Решающие факторы формирования финальной выборочной совокупности, то есть того массива опрашиваемых, с которым имеет дело социолог, - это тема исследования, конструкция и оформление прессовой анкеты, специфика временного момента публикации. Так, при прочих равных условиях летом, когда нарушается регулярный характер контактов аудитории с изданием, возврат будет ниже, чем в другой сезон. Иным будет и состав ответивших.
Прессовый опрос не гарантирует получения представительной для изучаемой совокупности информации, поэтому суммарные статистические распределения ответов достаточно сложно интерпретировать. В то же время из общего массива заполненных анкет почти всегда могут быть созданы однородные подмассивы, составленные из респондентов конкретных социально-демографических групп. Таким образом, открываются благоприятные возможности для исследования дифференциации мнений, предложения, свойственных различным группам респон- дентов. Очень часто участники опроса сопровождают заполненную анкету письмами, содержащими развернутую аргументацию их отношения к изучаемой проблеме. Подобные "самоинтервью" значительно обогащают первичную информацию и углубляют научный анализ.
Активность респондентов в прессовом опросе повысится, если за несколько дней до публикации анкеты газета выступит по соответствующей теме, обострит проблему, поместив дискуссионные точки зрения. Можно сразу информировать читателя о планируемом социологическом опросе и подчеркнуть заинтересованность редакции в результатах. Публиковать анкету лучше всего перед выходными днями (Пример анкеты см. в Приложении).
В газете выигрышно расположить анкету на первой полосе, выделив ее при этом шрифтом, броским заголовком, сопроводив фотографией. Если анкета печатается на внутренних или на последней полосе, целесообразно сообщить об этом читателю уже ид первой полосе. В любом случае текст анкеты должен предваряться вступлением от редакции, в котором сказано о целях опроса, назван исследовательский коллектив, указан адрес отправки заполненной анкеты.
В журнале текст анкеты можно поместить на двух страницах одного листа, и тогда читатель, вырезав анкету, не нарушит содержания журнальных статей. В газете анкету чаще всего помещают на одной полосе. Число вопросов в прессовой анкете прежде всего ограничивается пространством, которое печатный орган выделяет под нее. Газетная анкета обычно содержит 10-30 вопросов, иногда чуть более. К их конструкции, размещению следует отнести все то, что указывалось в отношении строения почтовых анкет.
Если редакция планирует постоянно проводить прессовые опросы, то обязательным должна стать публикация полученных результатов. Необходимо, чтобы каждый из ответивших смог увидеть на страницах печатного органа свою позицию, найти себя среди большинства или меньшинства. Кроме того, реакция должна информировать читателей о том, что сделано на основе изучения собранных мнений, что планируется осуществить в ближайшее время и что сделать пока трудно или нецелесообразно. Иначе может произойти нарушение обратной связи с читательской аудиторией, а это быстро сведет на нет все усилия по проведению социологического опроса.
ИНТЕРВЬЮИРОВАНИЕ
В современной практике социологических опросов метод интервью используется реже, чем различные формы анкетирования. Это обусловлено в первую очередь недостаточным развитием сетей постоянных интервьюеров, имеющих специальную подготовку. Иногда к проведению интервью привлекаются "общественники", для которых участие в опросе является эпизодическим, а подготовка ограничивается устным инструктажем и пробным опросом. В этих условиях исследователю при обращении к методу интервью приходится каждый раз заново формировать и обучать коллектив интервьюеров, что существенно увеличивает затраты времени не только на подготовку интервьюеров, но и на контроль за качеством их работы.
Интервьюирование имеет свои достоинства и недостатки по сравнению с анкетированием. Поэтому при планировании исследования часто приходится решать, что из них наиболее предпочтительно, то есть дает при наименьших затратах времени и средств наиболее надежную и достоверную информацию. Этот выбор зависит от конкретных целей и задач исследования, а также от его организационных возможностей и условий.
Главное различие между анкетированием и интервьюированием состоит а форме контакта исследователя и опрашиваемого. При анкетировании их обобщение опосредуется анкетой. Содержащиеся в ней вопросы, их смысл респондент интерпретирует самостоятельно, в пределах имеющихся у него знаний. Он формулирует ответ и фиксирует его в анкете тем способом, который либо указан в тексте анкеты, либо объяснен анкетером.
При интервьюировании контакт между исследователем и респондентом осуществляется при помощи интервьюера, который задает вопросы, предусмотренные исследователем, организует и направляет беседу с каждым отдельным человеком и фиксирует полученные ответы согласно инструкции.
Для получения одного и того же объема информации при использовании метода интервью исследователь должен, понятно, затратить больше времени и средств, чем при анкетировании. Дополнительных затрат требуют здесь подбор и обучение интервьюеров, контроль качества их работы. Вместе с тем расширяются возможности повышения надежности собираемых данных за счет уменьшения числа неответивших и ошибок при заполнении вопросников.
Участие интервьюера позволяет максимально приспособить вопросы бланка-интервью к возможностям отвечающего. В случае непонимания респондентом смысла вопросов, затруднений, связанных с припоминанием событий, интервьюер может тактично прийти ему на помощь: пояснить формулировку, задать дополнительные вопросы.
Особенности интервью по-разному проявляются в различных его организационных формах. Рассмотрим их.