Величина коэффициентов надежности (Rхх) ТПА-САД
| Интервал ретестирования | Субтесты (СТ/САМ) | Величины коэффициента надежности (Rxx) | Доверительный интервал |
| 5 месяцев | СТ | 0.6 | 0.01 |
| САМ | 0,58 | 0.01 | |
| 2 месяца | СТ | 0.7 | 0.01 |
| САМ | 0.54 | ||
| 2 недели | СТ | 0.8 | 0.01 |
| САМ | 0.59 | 0.01 |
б) Расчет надежности методики методом параллельных форм осуществлен при использовании методики Равена (Дж. Равен, 1936) и семантического дифференциала (Ч. Осгуд, 1952) в качестве параллельных тестов. Показатели методики Равена использованы как опорные для сопоставления с показателями обучаемости (темпа усвоения информации), а семантического дифференциала (СД) — с показателями направленности.
В первом случае коэффициент надежности (Rxx) определен при помощи формулы:
где x1i — показатели обучаемости методики САД;
x2i — показатели методики Равена;
N — объем выборки.
Коэффициент корреляции СТ с показателями методики Равена (В и ∑) составил Rxx = 0.4, а теста САМ с показателями методики Равена (С, Е и ∑) — 0.47 при с < 0.01.
При определении надежности мотивационной части САД сопоставлены показатели СД и аналогичные показатели САМ, измеренные в дихотомической шкале наименований. В качестве коэффициентов надежности использованы коэффициент контингенции (Q) и коэффициент ассоциации (Ф), которые равны, соответственно, Q = 0.8; Ф = 0.5 (с ≤ 0.01).
в) Расчет надежности методом расщепления теста осуществлен при помощи формулы [32]:
где К — число задач в заданиях;
pi — доля 1-го варианта ответа на i-й вопрос;
qi — доля 2-го варианта ответана i-й вопрос.
При К- 18 (тестСАМ); Σpi*qi = 3.69; Σ х2= 16.16; Rхх = 0.82 (р = 0.05).
Интерпретация коэффициента надежности: 82% дисперсии результатов теста САМ зависят от истинной дисперсии по измеряемому свойству (обучаемости), а 18% — от дисперсии ошибки (или вследствие других влияний неких факторов).
5). Расчет валидности методики САД. Проблема валидности технологии САД требует особого и длительного разговора. На наш взгляд, главным здесь является пункт, посвященный перекрестной валидизации. Так как тест создавался для задач профориентации молодежи и был рассчитан на подростков, обучающихся в школе, то в основе своей он содержит принцип измерения профилированной обучаемости. Он оптимален для реализации целей диагностики обучаемости студентов, учащихся различных курсов и колледжей. Но как только пользователь касается сферы смыслообразования, исследования мотивации и операциональной части в процессе реальной деятельности взрослых людей, методика меняет свой предметный облик. Она начинает «видеть» тех испытуемых, которые имеют малый опыт, менее успешны, у которых еще не завершен процесс обучения-становления как профессионала. Тест продолжает фиксировать процесс интериоризации, а ему уже навязывают другой «внешний критерий», а именно поиск наиболее профессионально успешных. Объяснение здесь простое: в ситуации научения внешний критерий — это скорость и качество сформированного навыка, а в реальной профессиональной деятельности навык продолжает формироваться только у менее опытных и поэтому менее квалифицированных испытуемых. Методика, оценивая обучение, в первом случае высоко коррелирует с результатом, а во втором — практически не соответствует ему.
На этих проблемах концептуальной и перекрестной валидности мы подробнее остановимся ниже.
Внутренняя ваяидность ТПА-САДопределяется путем исследования концептуальной, содержательной, конструктной, операциональной и расчета эмпирической валидности.