Требования к разработке, проверке и адаптации тестовых методик

Известны два пути создания психодиагностических методик: адаптация известных методик (зарубежных, устаревших, с иными целями) и разработка новых, оригинальных методик.

Адаптация теста – это комплекс мероприятий, обеспечивающих адекватность теста в новых условиях применения. Выделяют следующие этапы адаптации тестов:

1) анализ исходных теоретических положений автора теста;

2) для иностранных методик – перевод теста и инструкций к нему на язык пользователя (с обязательной экспертной оценкой соответствия оригиналу);

3) проверка надежности и валидности в соответствии с психометрическими требованиями;

4) стандартизация на соответствующих выборках.

Наиболее серьезные проблемы возникают при адаптации вербальных тестов (опросников, вербальных субтестов в составе тестов интеллекта). Эти проблемы связаны с языковыми и социокультурными различиями народов разных стран. Многовариантность перевода какого-либо термина, невозможность точной передачи идиоматических оборотов – обычное явление при переводах с языка на язык. Иногда бывает настолько сложно подобрать языковые и смысловые аналоги заданий теста, что полная его адаптация становится сопоставимой с разработкой оригинальной методики.

Понятие адаптации приложимо не только к зарубежным методикам, которые предполагается использовать в условиях нашей страны, но и к устаревшим отечественным методикам. Устаревают они достаточно быстро: в связи с развитием языка и изменчивостью социокультурных стереотипов методики должны корректироваться каждые 5–7 лет, что подразумевает уточнение формулировок вопросов, коррекцию нормативов, обновление стимульного материала, пересмотр интерпретационных критериев.

Самостоятельная разработка тестовой методики обычно состоит из следующих этапов.

1. Выбор предмета (явления) и объекта исследования (контингента).

2. Выбор вида теста (объективный, субъективный, проективный), типа заданий (с предписанными ответами, со свободными ответами) и шкал (числовые, вербальные, графические).

3. Подбор первичного банка заданий. Он может осуществляться двумя путями: вопросы формулируются исходя из теоретических представлений об измеряемом явлении (факторно-аналитический принцип) или же подбираются в соответствии с их дискриминативностью, т. е. способностью отделять испытуемых по наличию требуемого признака (критериально-ключевой принцип). Второй принцип эффективен при разработке тестов отбора (например, профессионального или клинического).

4. Оценка заданий первичного банка (содержательной валидности теста, т. е. соответствия каждого из заданий измеряемому явлению, и полноты охвата изучаемого явления тестом в целом). Проводится с помощью метода экспертной оценки.

5. Предварительное тестирование, формирование банка эмпирических данных.

6. Эмпирическая валидизация теста. Проводится с помощью корреляционного анализа оценок теста и показателей по внешнему параметру изучаемого свойства (например, школьной успеваемости при валидизации теста интеллекта, врачебного диагноза при валидизации клинических тестов, данных других тестов, валидность которых известна, и др.).

7. Оценка надежности теста (устойчивости результатов к действию случайных факторов, внешних и внутренних). Наиболее часто оцениваются ретестовая надежность (соответствие результатам повторного тестирования, обычно через несколько месяцев), надежность частей теста (устойчивость результатов отдельных задач или групп задач, например по методу «четное – нечетное») и надежность параллельных форм, если таковые существуют. Методика признается надежной, если коэффициент корреляции результатов (первичного и повторного тестирования, одной и другой частей теста, одной и другой параллельных форм) составляет не менее 0,75. При более низком показателе надежности производятся корректировка заданий теста, переформулирование вопросов, снижающих надежность.

8. Стандартизация теста, т. е. приведение процедуры и оценок к общепринятым нормативам. Стандартизация оценок подразумевает преобразование нормальной или искусственно нормализованной шкалы первичных оценок (эмпирических значений изучаемого показателя) в оценки шкальные (отражающие место в распределении результатов выборки испытуемых). Виды шкальных оценок: стены (1—10), станайны (1–9), 7-оценки (10—100) и др.

9. Определение прогностической валидности, т. е. информация о том, с какой степенью точности методика позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Прогностическая валидность также определяется по внешнему критерию, но данные по нему собираются спустя некоторое время после тестирования.

Таким образом, надежность и валидность – это собирательные понятия, включающие в себя несколько видов показателей, отражающих направленность методики на предмет исследования (валидность) и объект исследования (надежность). Степень надежности и валидности отражают соответствующие коэффициенты, указываемые в сертификате методики.

Создание методики – трудоемкая работа, требующая развитой системы заказа на методики с соответствующей оплатой труда разработчиков и гонорарами за использование авторских методик.

Метод анкетирования

Анкетирование – это письменный опрос. Анкетирование – наиболее распространенный вид опроса, в котором общение исследователя и респондента опосредовано текстом анкеты. Анкета – это объединенная одним исследовательским замыслом система вопросов, направленных на выявление количественно-качественных характеристик объекта и предмета исследования.

В настоящее время используется несколько видов анкетирования: раздаточное, почтовое и с помощью средств массовой информации.

Раздаточное анкетирование заключается в непосредственном получении респондентом анкеты из рук исследователя или анкетера. Этот вид анкетирования позволяет получить практически 100 %-й возврат анкет и гарантирует добросовестное их заполнение.

При почтовом анкетировании анкеты рассылаются. Здесь имеет место достаточно низкий процент возврата анкет. Этот вид анкетирования целесообразно использовать при опросе экспертов.

Анкетирование с помощью средств массовой информации предусматривает размещение анкет в газетах и журналах. Процент возврата таких анкет по почте составляет около 5 %. Размещение анкет в Интернете может привести к недостаточной репрезентативности данных в связи с различием в доступе. Еще одним способом использования средств массовой информации является интерактивное телевидение. Голосование в телеэфире по телефону или с помощью электронной почты также может использоваться с целью получения информации благодаря высокой оперативности по сравнению с другими видами анкетирования.

Именно при проведении анкетирования на первый план особенно отчетливо выступают такие черты вербально-коммуникативных методов, как опосредованность, целенаправленность общения и черты массового общения. Общение исследователя с респондентом происходит в письменной форме. Все вопросы и ответы фиксируются в опросном листе. Последовательность и формулировка вопросов строго определены.

Процедура анкетирования еще более стандартизирована и формализована, чем процедура интервью. Анкетер выполняет чисто служебные обязанности – раздает анкеты, контролирует их возврат, регламентирует время заполнения анкеты и т. п. При проведении массового анкетирования достигается полная анонимность. Респондент в анкетном опросе более активен, чем исследователь, поэтому он, прежде чем отвечать на вопросы, может ознакомиться со всем содержанием анкеты, изменить последовательность вопросов и т. п. В этой связи искусство анкетирования проявляется прежде всего в формулировании вопросов и конструировании анкеты.

Формулировка вопросов анкеты. Е.С. Кузьмин и В.Е. Семенов приводят ряд правил, которые необходимо соблюдать при формулировании вопросов, используемых в устных и письменных опросах.[45]

1. Каждый вопрос должен быть логически отдельным. Он не должен быть «множественным», т. е. совмещать (явно или неявно) два или более подвопроса.

2. Нежелательно применение малораспространенных слов (особенно иностранных), узкоспециализированных терминов, многозначных слов.

3. Следует стремиться к краткости, лаконичности. Длинные вопросы затрудняют их восприятие, понимание и запоминание.

4. К вопросам, касающимся малознакомых опрашиваемому тем, допустимо сделать небольшое предисловие (преамбулу) в виде пояснения или примера. Но сам вопрос должен оставаться кратким.

5. Вопрос должен быть, насколько это возможно, конкретным. Лучше касаться отдельных случаев, конкретных предметов и ситуаций, чем абстрактных тем и каких-либо обобщений.

6. Если в вопросе содержатся указания или намеки на возможные ответы, то спектр вариантов этих ответов должен быть исчерпывающим. Если добиться этого невозможно, то вопрос следует переформулировать так, чтобы в нем не было никаких подсказок.

7. Вопросы не должны понуждать респондентов к неприемлемым для них ответам. Если с содержательной точки зрения этого избежать трудно, то необходимо сформулировать вопрос так, чтобы у опрашиваемого была возможность ответить без ущерба для себя, «без потери лица».

8. Формулировка вопроса должна предотвращать получение стереотипных ответов. Такие шаблонные, ни к чему не обязывающие ответы обычно очень слабо насыщены полезной для исследователя информацией.

9. Следует избегать употребления в вопросах неприятных для респондента слов и выражений, способных вызвать его негативное отношение к вопросу.

10. Недопустимы вопросы внушающего характера.

Все вопросы, используемые в анкете, можно разделить по содержанию на вопросы о фактах (поведения и сознания) и вопросы о личности респондента.

Вопросы о фактах – самые «безобидные» для респондента, но тем не менее результаты, полученные с помощью опроса и других объективных методов (анализ документов), совпадают на 80–90 %. Среди этих вопросов можно выделить следующие.

Вопросы о фактах прошлого. Под влиянием времени и последующих событий прошлое предстает как бы в новом свете. Из памяти респондентов вытесняется прежде всего то, что заставляет человека чувствовать себя дискомфортно.

Вопросы о фактах поведения. Когда поведение приобретает общественную значимость, то говорят о поступке. Свои поступки человек соотносит с принятыми в обществе нормами и поступками других людей. В повседневной жизни человек редко задумывается над своим поведением, практически любой вопрос относительно поведения касается его общественной оценки. Особенно сильно подвержены искажениям ответы на вопросы о социально нежелательном поведении.

Вопросы о фактах сознания. Они направлены на выявление мнений, пожеланий, ожиданий, планов на будущее; в отдельных случаях – на личность опрашиваемого, окружающую его среду, события, не имеющие к нему прямого отношения. Любое мнение, высказанное респондентом, представляет собой оценочное суждение, основанное на индивидуальных представлениях, и поэтому носит субъективный характер.

Вопросы о личности респондента входят во все анкеты, образуя социально-демографический блок вопросов (выявляют пол, возраст, национальность, образование, профессию, семейное положение и др.). Широко распространены вопросы об уровне информированности и знаний. Достоверную информацию о знаниях можно получить с помощью вопросов экзаменационного типа, заданий или проблемных ситуаций, разрешение которых требует от респондентов использования определенных сведений, а также знакомства с конкретными фактами, событиями, именами, терминами.

По форме вопросы делятся на открытые и закрытые, прямые и косвенные. Закрытым вопрос называется в том случае, если на него в анкете приводится полный набор вариантов ответов. Такая форма вопроса в значительной степени сокращает время для заполнения анкеты и ее подготовки для автоматизированной обработки.

Закрытые вопросы могут быть альтернативными и неальтернативными. Альтернативные вопросы предполагают возможность выбора респондентом всего одного варианта ответа, в результате чего сумма ответов на все варианты, представленные в таком вопросе, всегда составляет 100 %. Неальтернативные вопросы допускают выбор нескольких вариантов ответов, поэтому их сумма может превышать 100 %.

Если исследователь уверен в полноте известных ему вариантов ответов, то он ограничивается только их списком. Довольно часто в анкетах используется табличная форма ответов на закрытые вопросы.

Открытые вопросы не имеют вариантов ответов, а потому не содержат подсказок и не навязывают респонденту вариант ответа. Они дают ему возможность выразить свое мнение во всей полноте и до мельчайших подробностей. Поэтому с помощью открытых вопросов можно собрать более богатую по содержанию информацию, чем при использовании закрытых вопросов. Число строк для записи ответа зависит от характера вопроса и должно быть достаточным для того, чтобы респондент мог свободно выразить свою мысль (обычно от трех до семи). Формулируя ответ на открытый вопрос, респондент руководствуется только собственными представлениями. Открытые вопросы следует применять для получения данных по изучаемой проблеме, об особенностях словарного запаса и языка, о круге ассоциаций в связи с предметом опроса, о вербальных навыках, связанных со способностью формулировать свое мнение и аргументировать его.

В отдельных случаях используется полузакрытая форма вопроса, когда перечень вариантов дополняется строкой для формулировки респондентом собственного варианта, если он отличается от приведенных в перечне.

Респонденты охотно отвечают на открытые вопросы, если они имеют четкое представление о теме опроса. Если же предмет опроса малознаком или непривычен, то респонденты уклоняются от ответов, дают неопределенные ответы, отвечают не по существу. В этом случае, применяя открытый вопрос, исследователь рискует совсем не получить содержательной информации. Используя закрытую форму вопроса, он помогает респонденту сориентироваться в предмете опроса и выразить свое отношение через набор возможных суждений или оценок.

Прямым называется такой вопрос, формулировка которого предполагает ответ, одинаково понимаемый и исследователем, и респондентом. Если же расшифровка ответа предусмотрена в ином, скрытом от опрашиваемого смысле, то это косвенный вопрос.

Если прямые вопросы анкеты требуют от респондента критического отношения к себе, окружающим людям, оценки негативных явлений действительности, то в ряде случаев они или остаются без ответа, или содержат неточную информацию. В подобных ситуациях используются косвенные вопросы. Респонденту предлагается воображаемая ситуация, не требующая оценки его личных качеств или обстоятельств его деятельности. При конструировании таких вопросов исходят из предположения о том, что, отвечая на них, респонденты опираются на собственный опыт, однако сообщают о нем в безличной форме, что снимает остроту критических оценок, характерную для высказываний от первого лица.

В зависимости от функции выделяют основные и вспомогательные вопросы. Основные вопросы направлены на сбор информации о содержании исследуемого явления, вспомогательные служат для подтверждения надежности получаемой информации.

Среди вспомогательных вопросов выделяют контрольные вопросы и вопросы-фильтры. Контрольные вопросы направлены на проверку искренности ответов. Они могут как предшествовать основным вопросам, так и ставиться после них. Иногда в качестве контрольных используют вопросы-ловушки. Это вопросы, на которые, будучи искренним, можно дать только один определенный ответ. Если респондент из-за невнимательности или недобросовестности дает другой ответ, то попадает в эту ловушку. Предполагается, что доверять его ответам на все другие вопросы также не следует, поэтому результаты таких респондентов обычно изымаются из дальнейшей обработки.

Необходимость в вопросах-фильтрах возникает тогда, когда исследователю нужно получить данные, характеризующие не всю совокупность опрашиваемых, а только ее часть. Для того чтобы отделить интересующую исследователя часть респондентов от всех других, задается вопрос-фильтр.

Повышение достоверности ответов респондентов может быть достигнуто с помощью некоторых методических приемов. Во-первых, респонденту должна быть обеспечена возможность уклониться от ответа, выразить неопределенное мнение. Для этого предусматриваются варианты ответов: «затрудняюсь ответить», «когда как» и т. п. Исследователи часто избегают таких вариантов, опасаясь, что если большая доля респондентов воспользуется ими, то их ответы нельзя будет интерпретировать. Однако преобладание подобных ответов служит показателем либо отсутствия у опрашиваемых определенного мнения, либо непригодности вопроса для получения нужной информации.

Во-вторых, вопросы не должны содержать в своей формулировке явных или неявных подсказок, внушать представление о «плохих» и «хороших» вариантах ответов. При формулировке оценочных вопросов необходимо следить за балансом положительных и отрицательных суждений.

В-третьих, следует учитывать возможности памяти респондента и его способность к анализу и обобщению собственных поступков, взглядов и т. п. Это важно при формулировке вопросов о затратах времени на тот или иной вид деятельности, об их регулярности и периодичности.

Когда формулировка вопросов будет закончена, их необходимо проверить на соответствие следующим критериям:

1) предусмотрены ли в анкете такие варианты ответов, как «затрудняюсь ответить», «не знаю» и т. п., дающие респонденту возможность уклониться от ответов, когда он сочтет это нужным;

2) не следует ли к некоторым закрытым вопросам добавить позицию «другие ответы» со свободными строками для дополнительных высказываний респондентов;

3) относится ли вопрос ко всей совокупности опрашиваемых или только к ее части (в последнем случае следует добавить вопрос-фильтр);

4) достаточно ли объяснена респонденту техника заполнения ответа на вопрос? Есть ли в анкете указания на то, сколько вариантов ответов можно отметить;

5) нет ли логического несоответствия между содержанием вопроса и шкалой измерения;

6) содержатся ли в формулировке вопроса термины, которые могут быть непонятны опрашиваемому; как их заменить, не нарушая смысла вопроса;

7) не превышает ли вопрос компетентность опрашиваемого (если такое подозрение есть, нужен вопрос-фильтр на проверку компетентности);

8) не превышает ли вопрос возможности памяти опрашиваемых;

9) не слишком ли многочисленны варианты ответов на вопрос (если это так, то нужно расчленить список на тематические блоки и вместо одного сформулировать несколько вопросов);

10) не задевает ли вопрос самолюбие респондента, его достоинство, престижные представления;

11) не вызовет ли вопрос отрицательных эмоций у опрашиваемого (опасения за последствия участия в опросе, печальные воспоминания, другие негативные эмоциональные состояния, нарушающие его психологический комфорт).

Композиция и оформление анкеты. Анкета – это своего рода сценарий беседы с респондентом. Началу такой беседы предшествует краткое вступление (обращение к респонденту), где излагаются тема, цели и задачи анкетирования, называется организация, которая его проводит, объясняется техника заполнения анкеты.

В начале анкеты располагаются наиболее простые и нейтральные по смыслу вопросы. Их цель – формирование установки на сотрудничество, задача – заинтересовать собеседника, ввести в курс обсуждаемых проблем.

Более сложные вопросы, требующие анализа, размышлений, размещаются в середине анкеты. К концу анкеты трудность вопросов должна снижаться, здесь обычно размещают вопросы о личности опрашиваемого.

Вопросы могут объединяться в блоки по тематическому принципу. Переход к новому блоку должен сопровождаться пояснениями, активизирующими внимание респондента.

Большое значение имеют также инструктивные указания по технике заполнения анкеты, расположенные непосредственно в тексте вопросов: сколько вариантов можно отметить – один или несколько, как заполнять вопрос-таблицу – по строкам или по столбцам. Неправильно понятая техника заполнения анкеты зачастую искажает информацию.

Отдельно следует сказать о графическом оформлении анкеты. Она должна быть напечатана четким шрифтом, иметь достаточно места для записи ответов на открытые вопросы, а также стрелки-указатели переходов от вопроса-фильтра к основным вопросам. Число вопросов должно быть ограничено: как правило, после 45 мин заполнения анкеты внимание респондента резко снижается.

Композиция анкеты проверяется на соответствие следующим критериям:

1) соблюдается ли принцип расположения вопросов от наиболее простых (контактных) в начале анкеты к наиболее сложным в середине и простым (разгрузочным) в конце;

2) не влияют ли предшествующие вопросы на последующие;

3) разделены ли смысловые блоки «переключателями внимания», обращениями к респонденту, информирующими о начале следующего блока;

4) снабжены ли вопросы-фильтры указателями перехода для разных групп респондентов;

5) нет ли скоплений однотипных вопросов, вызывающих у респондента ощущение монотонности и утомление;

6) нет ли нарушений в верстке (опечаток) и графическом оформлении анкеты (недопустимы: перенос части вопроса на другую страницу, однообразный шрифт в тексте анкеты, не позволяющий отделить вопросы от вариантов ответов и вопросы друг от друга, недостаточность места для свободных ответов и т. п.).

Даже при соблюдении всех этих требований не всегда возможно заранее оценить качество анкеты. Это можно сделать в ходе пробного исследования – проведение анкетирования на небольшой выборке. В ходе такого пробного исследования собирается методическая информация, а также выясняется отношение респондентов к опросу, их реакция на отдельные вопросы. Один из наиболее очевидных индикаторов непригодности вопроса – большая доля не ответивших или затруднившихся ответить на него.

Процедура анкетирования и правила поведения анкетера. Для успешного проведения анкетирования необходимо соблюдение ряда условий.

Желательно, чтобы анкетер пришел на место проведения анкетирования в сопровождении представителей администрации, общественных организаций, помогающих подготовить условия для этого мероприятия. Необходимо также предусмотреть посадочные места для каждого опрашиваемого, чтобы респонденты находились на достаточном расстоянии друг от друга, не мешали друг другу. Анкетер должен представиться, объяснить цель своего прихода, цель исследования, рассказать, как и где будут использованы результаты анкетирования, а также подробно разъяснить правила заполнения анкеты и предупредить анкетируемых, что в случае затруднений следует обращаться только к нему, а не совещаться друг с другом по поводу ответов на вопросы. Следует также иметь запас простых карандашей или ручек, чтобы при необходимости обеспечить ими респондентов.

Перед раздачей анкет нужно убедиться, что в помещении нет людей, не принимающих участия в анкетировании. Особенно надо обратить внимание на лиц, которые своим присутствием могут спровоцировать напряженность психологической атмосферы.

При вопросе «Почему именно нас опрашивают?» следует доступным языком объяснить принцип составления выборки и заверить собравшихся в том, что участие именно этих респондентов как представителей выборки крайне важно для получения полной и достоверной информации.

При сборе анкет желательно по возможности тщательно просмотреть каждую. В случае пропусков следует узнать, почему респондент не ответил, и постараться привлечь его к повторной работе с этим вопросом. При отказе отвечать этот вопрос следует пометить («отказ»). Всеми способами следует избегать публичного отказа, так как это отрицательно действует на остальных. Анкетер не имеет права принуждать респондента отвечать на вопросы анкеты.

При проведении анкетирования нужно вести себя дружелюбно, вежливо, избегать крайностей в поведении (сухость, официальность – разговорчивость, пристрастность). Необходимо терпеливо выслушивать все замечания респондентов, серьезно относиться к их мнению, не навязывать свою точку зрения.

Во время заполнения анкет анкетер должен предотвращать любые высказывания респондентов, не допускать обсуждения любых тем, в том числе и темы опроса.

В ситуации, когда респондент хочет высказать свое мнение более подробно, обратить внимание на недостатки в организации анкетирования, следует предоставить ему чистые листы бумаги, на которых он может высказать свое мнение.

Опыт проведения многочисленных опросов позволил сформулировать несколько правил поведения анкетера.

1. Задача анкетирования – не просто получить ответы, а получить правдивые ответы. То, насколько эта задача может быть выполнена, зависит от поведения анкетера. Первое впечатление – очень значимый фактор в восприятии анкетера. Для анкетера предпочтительна неброская, но аккуратная одежда, важны улыбка, вежливость, энергичность, уверенность в себе. Благоприятное впечатление производит сочетание доброжелательности и требовательности.

2. Лучше встретиться с респондентами утром, заранее оговорив это время. При встрече анкетер должен представиться. Не следует держать перед глазами список респондентов и делать в нем какие-либо пометки. Необходимо дать гарантии анонимности – не оглашать содержание ответов, не допускать к заполненным анкетам посторонних лиц.

3. Объясняя цели проведения исследования, анкетер должен сделать особый упор на практических целях; не следует давать обещаний и гарантий выполнить все пожелания, высказанные в ходе анкетирования.