Требования к построению и проверке тестовых методик
Известны два пути создания психодиагностических методик: адаптация известных методик (зарубежных, устаревших, с иными целями) и разработка новых, оригинальных методик.
Адаптация теста– это комплекс мероприятий, обеспечивающих адекватность теста в новых условиях его применения. Этапы адаптации [54, с. 8]:
1. Анализ исходных теоретических положений автора теста.
2. Для иностранных методик перевод теста и инструкций кнему на язык пользователя (с обязательной экспертнойоценкой соответствия оригиналу).
3. Проверка надежности и валидности в соответствии с психометрическими требованиями.
4. Стандартизация на соответствующих выборках.
Наиболее серьезные проблемы возникают при адаптации вербальных тестов (опросников, вербальных субтестов в составе тестов интеллекта). Эти проблемы связаны с языковыми и социокультурными различиями между народами разных стран. Многовариантность перевода какого-либо термина, невозможность точной передачи идиоматических оборотов – обычное явление при переводах с языка на язык. Иногда бывает настолько сложно подобрать языковые и смысловые аналоги заданий теста, что полная адаптация теста становится сопоставима с разработкой оригинальной методики.
Понятие адаптации приложимо не только к зарубежным методикам, которые мы хотим использовать в наших условиях, но и к устаревшим отечественным методикам. А устаревают методики достаточно быстро: в связи с изменчивостью языка и социокультурных стереотипов методики должны корректироваться каждые 5–7 лет, что подразумевает уточнение формулировок вопросов, коррекцию нормативов, обновление стимульного материала, пересмотр интерпретационных критериев.
Самостоятельная разработка тестовойметодики обычно имеетследующие этапы [77; 54; 156; 212]: Выбор предмета (явления) и объекта исследования (контингента).
1. Выбор вида теста (объективный, субъективный, проективный), типа заданий (с предписанными ответами, со свободными ответами) и шкал (числовые, вербальные, графические).
2. Подбор первичного банка заданий. Может осуществлятьсядвумя путями: вопросы формулируются, исходя из теоретических представлений об измеряемом явлении (факторно-аналитический принцип), или вопросы подбираются в ?соответствии с их дискриминативностью, т. е. способное- тью отделять испытуемых по наличию требуемого признака (критериально-ключевой принцип). Второй принципявляется эффективным в тестах отбора (например, профессионального или клинического).
3. Оценка заданий первичного банка (оценка содержательнойвалидности теста, т. е. соответствия каждого из заданий измеряемому явлению и полноты охвата изучаемого явлениятестом в целом). Проводится с помощью метода экспертной оценки.
4. Предварительное тестирование, формирование банка эмпирических данных.
5. Эмпирическая валидизация теста. Проводится с помощьюкорреляционного анализа оценок теста и показателей повнешнему параметру изучаемого свойства (например,школьной успеваемости при валидизации теста интеллекта; врачебного диагноза при валидизации клинических тестов; данных других тестов, валидность которых известна,и др.).
6. Оценка надежности теста (устойчивости результатов к действию случайных факторов, внешних и внутренних). Наи- более часто оценивается надежность ретестовая (соответствие результатам повторного тестирования, обычно через несколько месяцев), надежность частей теста (устойчивостьрезультатов отдельных задач или групп задач, например, по методу «четное – нечетное») и надежность параллельных форм, если таковые существуют.
7. Методика признается надежной, если коэффициент корреляции результатов (первичного и повторного тестирования; одной и другой частей теста; одной и другой параллельных форм) составляет не менее 0,75. При более низком показателе надежности производится корректировка заданий теста, переформулировка вопросов, снижающих надежность.
8. Проводится стандартизация теста, т. е. приведение процедуры и оценок к общепринятым нормативам. Стандартизация оценок подразумевает преобразование нормальнойили искусственно нормализованной шкалы первичных оценок (эмпирических значений изучаемого показателя) воценки шкальные (отражающие место в распределении результатов выборки испытуемых). Виды шкальных оценок:стены (1–10), станайны (1–9), Т-оценки (10–100) и др.
9. По возможности определяется прогностическая валид-ность, т. е. информация о том, с какой степенью точностиметодика позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Также определяется по внешнему критерию, но данные по нему собираются спустя некоторое время послетестирования.
Таким образом, надежность и валидность – это собирательные понятия, включающие в себя несколько видов показателей, отражающих направленность методики на предмет исследования (валидность) и объект исследования (надежность). Степень надежности и валидности отражают соответствующие коэффициенты, указываемые в сертификате методики.
Создание методики – трудоемкая работа, требующая развитой системы заказа на методики с соответствующей оплатой труда разработчиков. В настоящее время ввиду низкой платежеспособности основной массы психологов сфера профессиональной разработки отечественных тестов развита весьма слабо, что ведет к массовому использованию методик устаревших, не прошедших оценку валидности и надежности, либо переведенных с иностранного языка без проведения процедуры полноценной адаптации.
Процедуру разработки тестовых методик часто именуют конструированием тестов, а теорию (науку) конструирования – тес-тологией. Источники более подробной информации о тестоло-гии приводились в начале этой главы.