Подсчет валидности каждого пункта сокращенного теста по внешнему критерию
Цель.
Сформировать базовые умения и навыки применения психометрических процедур для измерения психометрических свойства теста в ходе задачи конструирования однофакторной тестовой шкалы на базе банка тестовых заданий и некоторой критериальной информации для испытуемых (вопросов личностного тест-опросника).
Задачи.
1) выделить надежные (согласованные) задания - проверить надежность-согласованность (обоснованность ключей) для отдельных заданий;
2) исключить ненадежные задания из первоначального варианта;
3) проверить сокращенный тест в целом (после отбрасывания несогласованных заданий) по надежности-согласованности – путем расщепления теста на четные и нечетные задания;
4) проверить валидность сокращенного теста по внешним критериям валидности (пол, возраст, успеваемость, факторы L, F, K);
5) проверить валидность каждого отдельного вопроса по одному из шести внешних критериев (самому скоррелированному);
6) построить параметрические тестовые нормы для сокращенного теста (надежной шкалы);
7) построить конверсионную таблицу перевода сырых баллов в стены, zet-шкалу и Т-баллы;
8) построить графики распределения сырых и нормализованных тестовых баллов (гистограмму и кумуляту) и проанализировать их.
Теоретическое введение.
Валидность теста - устойчивость результата теста к систематическим искажениям со стороны посторонних (иррелевантных) психических свойств.
Валидность пункта - соответствие пункта измеряемому психическому свойству.
Критериальная валидность – валидность теста по внешнему критерию.
Надежность-согласованность теста - это соответствие результатов внутри одного теста
Надежность-согласованность пункта теста – обоснованность включения пункта в тест, соответствие пункта выбранной шкале;
Общая надежность - устойчивость тестовых показателей относительно случайных, шумовых факторов, или относительно объекта измерения.
Репрезентативность - устойчивость конфигурации распределения при переходе от выборки стандартизации к популяции.
Как именно в данной работе измеряются все эти свойства:
Подсчет надежности-согласованности теста измерялся с путем расщепления теста пополам. Рассчитывался коэффициент Пирсона для двух половин теста – «четных» и «нечетных».
Подсчет надежности-согласованности пункта теста – подсчет четырехклеточной Фи-корреляции для выбранных пунктов.
Валидность теста – подсчет четырехклеточной фи-корреляции, по строкам четырехклеточной таблицы размещается бинарная переменная «принадлежность к крайним группам по критерию».
Валидность пункта - подсчет четырехклеточной фи-корреляции, из всех 6 фи-коэффициентов валидности выбирается самый большой по модулю коэффициент, и соответствующий ему критерий. После этого для отдельного пункта строится четырехклеточная таблица.
Репрезентативность – сравнение таблиц перевода сырых баллов в стены, полученных линейной стандартизацией и табличной нормализацией.
Методика 16РF:
16-факторный личностный опросник, — психодиагностическая методика, разработанная институтом под руководством Рэймонда Кеттела.
Первичные шкалы 16PF:
АФФЕКТОТИМИЯ — СИЗОТИМИЯ,
АБСТРАКТНЫЙ ИНТЕЛЛЕКТ — КОНКРЕТНЫЙ ИНТЕЛЛЕКТ,
СИЛА "Я" — СЛАБОСТЬ "Я",
ДОМИНАНТНОСТЬ — ПОДЧИНЕННОСТЬ,
ОПТИМИЗМ — ПЕССИМИЗМ,
СИЛА "СВЕРХ-Я" — СЛАБОСТЬ "СВЕРХ-Я",
СОЦИАЛЬНАЯ СМЕЛОСТЬ — СОЦ.РОБОСТЬ,
СЕНЗИТИВНОСТЬ — РАЦИОНАЛИЗМ,
ПОДОЗРЕНИЕ — ДОВЕРЧИВОСТЬ,
МЕЧТАТЕЛЬНОСТЬ — ПРАКТИЧНОСТЬ,
СОЦ.ИНТЕЛЛЕКТ — СОЦ.НАИВНОСТЬ,
ГИПОТИМИЯ — ГИПЕРТИМИЯ,
РАДИКАЛИЗМ — КОНСЕРВАТИЗМ,
ИНДИВИДУАЛИЗМ — СОЦИАБЕЛЬНОСТЬ,
САМОКОНТРОЛЬ — ИМПУЛЬСИВНОСТЬ,
НАПРЯЖЕННОСТЬ — РАССЛАБЛЕНИЕ,
СОЦ.ЖЕЛАТЕЛЬНОСТЬ — ОТКРОВЕННОСТЬ.
Вторичные шкалы 16PF:
ЭКСТРАВЕРСИЯ, СОГЛАСИЕ, СОЗНАТЕЛЬНОСТЬ, ЭМОЦИОНАЛЬНАЯ СТАБИЛЬНОСТЬ, ОТКРЫТОСТЬ ОПЫТУ.
Описание входных данных:
Для проверки была взята первичная шкала методики 16РF - ИНДИВИДУАЛИЗМ-СОЦИАБЕЛЬНОСТЬ.
Индивидуализм (Individuum) — стремление к индивидуальной свободе, первостепенное значение имеет личность и личная независимость, соответствует принципу «полагаться на самого себя».
Социабельность (Sociability) — склонность, стремление человека к общению с людьми, к установлению и расширению социальных контактов.
Испытуемые: 60 человек.
Структура входных данных (см.Табл.1.): на пересечении столбца (номер вопроса) и строки (номер испытуемого) – ответы «верно» (1) или «неверно» (3) каждого испытуемого (из 60) на каждый вопрос (из 15).
Внешние критерии валидности: пол, возраст, успеваемость (суммарный балл диплома), факторы L (шкала лжи), F (шкала истинности), K (шкала коррекции).
Первичные данные представлены в таблице 1. На пересечении столбца (номер вопроса) и строки (номер испытуемого) – ответы «верно» (1) или «неверно» (3) каждого испытуемого (из 60) на каждый вопрос (из 15).
Внешние критерии валидности: пол, возраст, успеваемость (суммарный балл диплома), факторы L (шкала лжи), F (шкала истинности), K (шкала коррекции); (Таблица 2).
Табл.1. Входные данные.
| Задание: | |||||||||||||||||
| Ключ: | - | - | - | - | - | - | + | - | + | - | + | - | + | + | + | Балл | |
| 2: | |||||||||||||||||
| 56: | |||||||||||||||||
| 23: | |||||||||||||||||
| 11: | |||||||||||||||||
| 18: | |||||||||||||||||
| 36: | |||||||||||||||||
| 40: | |||||||||||||||||
| 57: | |||||||||||||||||
| 60: | |||||||||||||||||
| 9: | |||||||||||||||||
| 28: | |||||||||||||||||
| 39: | |||||||||||||||||
| 42: | |||||||||||||||||
| 45: | |||||||||||||||||
| 47: | |||||||||||||||||
| 48: | |||||||||||||||||
| 53: | |||||||||||||||||
| 58: | |||||||||||||||||
| 1: | |||||||||||||||||
| 3: | |||||||||||||||||
| 13: | |||||||||||||||||
| 16: | |||||||||||||||||
| 17: | |||||||||||||||||
| 19: | |||||||||||||||||
| 20: | |||||||||||||||||
| 26: | |||||||||||||||||
| 30: | |||||||||||||||||
| 31: | |||||||||||||||||
| 32: | |||||||||||||||||
| 33: | |||||||||||||||||
| 38: | |||||||||||||||||
| 4: | |||||||||||||||||
| 10: | |||||||||||||||||
| 24: | |||||||||||||||||
| 46: | |||||||||||||||||
| 52: | |||||||||||||||||
| 8: | |||||||||||||||||
| 14: | |||||||||||||||||
| 15: | |||||||||||||||||
| 25: | |||||||||||||||||
| 29: | |||||||||||||||||
| 34: | |||||||||||||||||
| 37: | |||||||||||||||||
| 54: | |||||||||||||||||
| 55: | |||||||||||||||||
| 6: | |||||||||||||||||
| 7: | |||||||||||||||||
| 41: | |||||||||||||||||
| 50: | |||||||||||||||||
| 51: | |||||||||||||||||
| 5: | |||||||||||||||||
| 22: | |||||||||||||||||
| 27: | |||||||||||||||||
| 49: | |||||||||||||||||
| 59: | |||||||||||||||||
| 12: | |||||||||||||||||
| 21: | |||||||||||||||||
| 35: | |||||||||||||||||
| 43: | |||||||||||||||||
| 44: | |||||||||||||||||
| Ответов 1 | |||||||||||||||||
| Ответов 3 |
Для первый пяти испытуемых вручную считаем набранные ими баллы. Баллы складываются из ответов «верно» на прямые вопросы (1 «+») и «неверно» на обратные вопросы (3 «-»).
| Задание: | |||||||||||||||||
| Ключ: | - | - | - | - | - | - | + | - | + | - | + | - | + | + | + | Балл | |
| 1: | |||||||||||||||||
| 2: | |||||||||||||||||
| 3: | |||||||||||||||||
| 4: | |||||||||||||||||
| 5: |
Анализ надежности теста и тестовых заданий (пунктов):
Выделение крайних групп:После получение суммарных баллов для всех 60-ти испытуемых, выделяются 20 испытуемых из «высокой группы» (с более высокими баллами по тесту) и 20 испытуемых из «низкой группы» (с более низкими баллами по тесту). В случае равенства баллов на границах между крайней и средней группой следует включать всех испытуемых, обладающих одинаковыми баллами, в крайнюю группу.
Крайние группы:
Низкая – 31, максимальное значение - 6
Высокая – 24, минимальное значение – 8
Подсчет четырехклеточной Фи-корреляции для выбранных пунктов:
Ôкрит= 0,26
1. (1) В школе или в институте я любил(а) готовиться к экзаменам один (одна), а не в компании.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,33
| эмпир| > крит, так как |-0,33| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
2. (26) Если у меня на лице появится некрасивый прыщ, я буду избегать появляться на глаза людям, оценка которых для меня значима.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,06
| эмпир| < крит, так как |-0,06| < 0,26, следовательно, вопрос не работает на выбранную шкалу.
Ключ обратный.
3. (33) Лучше иметь дом поменьше, но в тихом месте - вдали от шума и скопления людей.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,27
| эмпир| > крит, так как |-0,27| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
4. (45)В наше время девиз мушкетеров "Один за всех, все за одного!" утратил свое былое значение, так как успеха добиваются не коллективы, а отдельные сильные личности.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,48
| эмпир| > крит, так как |-0,48| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
5. (51)Я предпочитаю решать свои личные вопросы, не прибегая к помощи других людей.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,48
| эмпир| > крит, так как |-0,48| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
6. (65) Мне нравится гулять в одиночку - без всякой компании.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,29
| эмпир| > крит, так как |-0,29| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
7. (87) Общаясь с приятными людьми, я, как правило, начинаю разделять их взгляд на вещи.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,32
| эмпир| > крит, так как |0,32| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ прямой.
8. (97) Для меня лучше: 1-поговорить по душам с одним человеком, 2-не знаю, что выбрать, 3-петь и танцевать в большой компании.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,52
| эмпир| > крит, так как |-0,52| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
- (109) Бригада специалистов всегда работает лучше, чем одиночка, так как люди в бригаде дополняют друг друга.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,24
| эмпир| < крит, так как |0,24| < 0,26, следовательно, вопрос не работает на выбранную шкалу.
Ключ прямой.
10. (128) Если меня позовут в компанию, где я никого не знаю, я лучше откажусь.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,37
| эмпир| > крит, так как |-0,37| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ обратный.
11. (131) Самые приятные для меня воспоминания связаны с временем, проведенным в веселой компании.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,51
| эмпир| > крит, так как |0,51| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ прямой.
12. (221) Я никогда не расстраиваюсь из-за пустяковых размолвок с окружающими
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = -0,03
| эмпир| < крит, так как |-0,03| < 0,26, следовательно, вопрос не работает на выбранную шкалу.
Ключ обратный.
13. (232) Если я употребляю спиртное, то скорее для хорошего настроения в компании, чем в одиночку.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,32
| эмпир| > крит, так как |0,32| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ прямой.
14. (265) Настоящим достижением я считаю только то, которое становится известным широкому кругу людей.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,29
| эмпир| > крит, так как |0,29| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ прямой.
15.(268) В большой толпе людей, например, на стадионе или на митинге, я чувствую радостное оживление.
| Высокая группа | Низкая группа | |
| Ответ «Верно» | ||
| Ответ «Неверно» |
эмпир = 0,29
| эмпир| > крит, так как |0,29| > 0,26, следовательно, вопрос работает на выбранную шкалу.
Ключ прямой.
12 заданий из 15 являются надежными.
Получаем таблицу окончательного (сокращенного) варианта теста, в которую добавляются данные о внешних критериях валидности: пол, возраст, успеваемость (суммарный балл диплома), факторы L (шкала лжи), F (шкала истинности), K (шкала коррекции).
После сокращения теста показатели надежности изменились (увеличились).
| Задание: | ||||||||||||
| Надежность: | -.45 | -.4 | -.6 | -.45 | -.42 | .55 | .42 | .31 | .31 | -.4 | .44 | -.45 |
Для проверки надежности-согласованности теста целиком используется метод расщепления теста пополам, на «четные» и «нечетные» задания.
Нечётные задания нам даны, чётные задания вычисляются путём вычитания из суммы всех балов, количества баллов полученных за нечётные задания.
Но программа не подсчитывает нас первые пять нечётных баллов нам предлагается подсчитать их самостоятельно, путём сложения баллов для нечётных столбцов (они отмечены серым цветом), складываются только те баллы которые совпали с ключом.
Далее рассчитывается коэффициент Пирсона (берется коэффициент корреляции, который можно автоматически подсчитать с помощью программы Excel) для двух половин теста. Оно оказывается равным 0.174. Полученный коэффициент является значимым. Можно сделать вывод, что вероятность ошибки очень мала, тест является надежным.
Анализ валидности теста.
Крайние группы (по баллам):
Низкая – 24, максимальное значение — 4.
Высокая – 20, минимальное значение – 7.
Подсчет валидности теста по каждому из 6 внешних критериев
1. Критерий «возраст»
Максимальное значение показателя по критерию "Возраст " для низкой группы: 19
Минимальное значение показателя по критерию "Возраст " для высокой группы: 21
| Высокая по критерию возраста | Низкая по критерию возраста | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
jкрит= 0,37
jэмпир = -0,181
Корреляция не значима.
Шкала «социабельность» не зависит от различий по критерию «возраст».
2. Критерий «успеваемость»
Максимальное значение показателя по критерию "Успеваемость " для низкой группы: 207
Минимальное значение показателя по критерию "Успеваемость" для высокой группы:222
| Высокая по критерию успеваемость | Низкая по критерию успеваемость | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
jкрит= 0,341
jэмпир = -0,097
Корреляция не значима.
Шкала социабельность не зависит от успеваемости.
3. Критерий «Пол»
Максимальное значение показателя по критерию "Пол " для низкой группы: 0
Минимальное значение показателя по критерию "Пол" для высокой группы: 1
| Высокая по критерию пол (мужчины) | Низкая по критерию пол (женщины) | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
jкрит= 0,295
jэмпир = 0,103
Корреляция не значима.
Межполовые различия не влияют на показатель целеустремлённости.
4. Критерий «МПО-L», шкала лжи.
Максимальное значение показателя по критерию " МПО-L " для низкой группы: 5
Минимальное значение показателя по критерию " МПО-L " для высокой группы: 8
| Высокая по критерию МПО-L | Низкая по критерию МПО-L | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
jкрит= 0,327
jэмпир = -0,013
Корреляция не значима.
Шкала социабельности не коррелирует со шкалой лжи.
5. Критерий «МПО-F», шкала истинности
Максимальное значение показателя по критерию " МПО-F " для низкой группы: 15
Минимальное значение показателя по критерию " МПО-F " для высокой группы: 21
| Высокая по критерию МПО-F | Низкая по критерию МПО-F | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
jкрит= 0,358
jэмпир = -0,272
Корреляция не значима.
Шкала социабельности не коррелирует со шкалой истинности.
6. Критерий «МПО-K», шкала корреляции.
Максимальное значение показателя по критерию " МПО-К " для низкой группы: 12
Минимальное значение показателя по критерию " МПО-К " для высокой группы: 18
| Высокая по критерию МПО-К | Низкая по критерию МПО-К | |
| Высокая группа по тесту | ||
| Низкая группа по тесту |
Ôкрит= 0,346
Ôэмпир = 0,313
Корреляция не значима.
В ходе расчётов не было выявлено критерия, который бы однозначно коррелировал с характеристикой «социабельность», поэтому мы берём критерий с наиболее приближенным Phi-empir к Phi-crit. В данном случае возьмем критерий «возраст», по нему мы и будем считать валидность каждого из вопросов. Тем более, интересно, в каких возрастных категориях наиболее проявляется общительность, контактность человека.
Подсчет валидности каждого пункта сокращенного теста по внешнему критерию.
Был выбран коэффициент корреляции, соответствующий критерию возраст.
Вопрос 1 (97)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.45
Корреляция значима.
Я никогда не расстраиваюсь из-за пустяковых размолвок с окружающими
Данный вопрос хорошо работает для критерия эмоциональная устойчивость.
Вопрос 2 (45)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.4
Корреляция значима.
Вопрос 3 (51)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.6
Корреляция значима.
Вопрос 4 (128)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0,45
Корреляция значима.
Вопрос 5 (1)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.42
Корреляция значима.
Вопрос 6 (87)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = 0.55
Корреляция значима.
Вопрос 7 (232)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = 0.42
Корреляция значима.
Вопрос 8 (268)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = 0.31
Корреляция значима.
Вопрос 9 (265)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = 0.31
Корреляция не значима.
Вопрос 10 (65)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.4
Корреляция значима.
Вопрос 11 (131)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = 0.44
Корреляция значима.
Вопрос 12 (33)
| Высокая группа по критерию | Низкая группа по критерию | |
| Ответ «верно» | ||
| Ответ «неверно» |
jкрит= 0,3
jэмпир = -0.45
Корреляция значима.
Таким образом, 12 вопросов из 15 оказались надёжными (внутренне валидными), а внешне валидным - ни один.