Анализ характеристик заданий теста
Анализ теста по математике в рамках IRT
Данный тест по математике состоит из 26 вопросов, разделенных на 3 части: А, В и С (10, 11 и 5 заданий в каждой части соответственно). Части А и В оценивались дихотомически, а часть С – политомически. Тест выполнили 1339 учеников. Распределение баллов за тест представлено на рисунке 1, общие сведения по тесту в таблице 1.
Рис.1. Распределение общего балла за тест
Таблица 1 Общие характеристики заданий и испытуемых
| Среднее | Ст.откл. | Max | Min | |||
| Характеристики испытуемых | Балл за тест | 14.0 | 6.1 | 36.0 | 1.0 | |
| Подготовленность | .13 | 1.81 | 5.47 | -5.46 | ||
| ERROR | .56 | .08 | 1.17 | .37 | ||
| INFIT | MNSQ | .99 | .43 | 4.40 | .15 | |
| ZSTD | .0 | 1.0 | 4.5 | -2.9 | ||
| OUTFIT | MNSQ | 1.01 | 1.26 | 9.90 | .07 | |
| ZSTD | .2 | .7 | 6.7 | -.8 | ||
| Характеристики заданий | total score | 719.1 | 370.1 | 1310.0 | 107.0 | |
| Трудность | .00 | 2.48 | 4.31 | -5.28 | ||
| ERROR | .08 | .03 | .21 | .05 | ||
| INFIT | MNSQ | .99 | .11 | 1.24 | .76 | |
| ZSTD | -.1 | 2.4 | 5.2 | -5.0 | ||
| OUTFIT | MNSQ | 1.08 | .36 | 2.05 | .48 | |
| ZSTD | .5 | 2.4 | 6.2 | -3.8 | ||
| Дискриминативность | 0,5 | |||||
| Надежность теста (КТТ) | 0,9 |
Средний балл за тест составил 14 баллов. Максимальный балл 36 и минимальный 1.
Тестируемые имеют средний уровень подготовленности (по шкале логитов составляет 0,13). Есть как учащиеся с высоким уровнем подготовленности (5.47 логитов), так и те, кто имеет проблемы с изучением математики (уровень подготовленности -5,46 логитов).
Ошибка измерения в среднем составила 0,56 (немного большая, лучше бы до 0,3)
В целом согласие с моделью хорошее. Об этом говорит не взвешенное и взвешенное значение статистик mnsq. Они находятся в пределах единицы. Однако их максимальные и минимальные значения говорят о том, что не все испытуемые находятся в согласии с моделью.
В среднем на 1 задание отвечали 719 людей. Согласие заданий теста с моделью хорошее. Взвешенные и невзвешенные статистики mnsq находятся в пределах единицы. Максимальные и минимальные значения mnsq говорят о том, что есть тестовые задания, которые не находятся в согласии с моделью. Максимальная ошибка достигает 0,21, что подтверждает хорошее согласие заданий с моделью.
Средняя трудность заданий равна 0 (как и должно быть). Средняя ошибка заданий теста (0,08) меньше ошибки испытуемых, так как на 1 задание приходится больше человек, чем на 1 испытуемого - заданий. Вот тут будем что-то писать про то что центрирование не совпадает??
Далее проведем более подробный анализ заданий и профилей испытуемых.
Анализ характеристик заданий теста
В таблице 2 представлены характеристики всех заданий и согласие каждого задания с моделью.
Таблица 2. Характеристики тестовых заданий и согласия с моделью
| Характеристики заданий | Согласие с моделью | |||||||
| № | Общий результат | Дискрими-нативность | Трудность | S.E | OUTFIT | PT-MEASURE | EXACT | MATCH |
| MNSQ | ZSTD | MNSQ | ZSTD | |||||
| A1 | .48 | -2.71 | .10 | .92 | -1.3 | 1.26 | 1.3 | |
| A2 | .29 | -5.28 | .21 | .97 | -.1 | .76 | -.8 | |
| A3 | .45 | -2.84 | .10 | .98 | -.3 | 1.12 | .7 | |
| A4 | .51 | -.67 | .07 | 1.11 | 3.1 | 1.43 | 4.4 | |
| A5 | .38 | -4.10 | .14 | .92 | -.8 | .95 | -.1 | |
| A6 | .46 | -1.95 | .08 | 1.11 | 2.4 | 1.20 | 1.4 | |
| A7 | .55 | -2.27 | .09 | .87 | -2.7 | .69 | -2.1 | |
| A8 | .45 | -1.73 | .08 | 1.15 | 3.3 | 2.05 | 6.2 | |
| A9 | .46 | -2.80 | .10 | .98 | -.3 | .95 | -.2 | |
| A10 | .49 | -.84 | .07 | 1.15 | 4.3 | 1.27 | 2.7 | |
| B1 | .58 | -.39 | .07 | .99 | -.3 | 1.06 | .8 | |
| B2 | .54 | -.91 | .07 | 1.03 | .9 | 1.39 | 3.8 | |
| B3 | .57 | 1.16 | .07 | .97 | -.8 | .94 | -.6 | |
| B4 | .63 | -.65 | .07 | .84 | -5.0 | .83 | -2.0 | |
| B5 | .53 | .41 | .07 | 1.11 | 3.2 | 1.10 | 1.2 | |
| B6 | .58 | .31 | .07 | 1.00 | .0 | .92 | -1.0 | |
| B7 | .60 | 1.34 | .07 | .88 | -3.3 | .76 | -2.6 | |
| B8 | .60 | .52 | .07 | .92 | -2.3 | .99 | -.1 | |
| B9 | .39 | 2.04 | .08 | 1.24 | 5.2 | 1.80 | 5.1 | |
| B10 | .52 | 2.77 | .09 | .86 | -2.9 | .48 | -3.8 | |
| B11 | .43 | 3.01 | .10 | .94 | -1.0 | 1.22 | 1.2 | |
| C1 | .64 | 2.08 | .06 | .91 | -1.8 | .69 | -2.4 | |
| C2 | .65 | 1.77 | .05 | .96 | -.8 | .92 | -.7 | |
| C3 | .55 | 3.45 | .06 | .95 | -.7 | .79 | -1.3 | |
| C4 | .31 | 3.96 | .08 | 1.16 | 1.0 | .70 | -.9 | |
| C5 | .35 | 4.31 | .09 | .76 | -1.7 | 1.69 | 2.2 | |
| Среднее | 719.1 | 0.5 | .00 | .08 | .99 | -.1 | 1.08 | .5 |
| S.D. | 370.1 | 2.48 | .03 | .11 | 2.4 | .36 | 2.4 |
Тест содержит как очень трудные задания (С3-5, В11), так и очень простые (А2, 3, 5). Дискриминативность (коэф. корреляции) варьируется от 0,31 до 0,6; среднее значение 0,5, что говорит о том, что все задания и тест в целом обладают хорошей дифференцирующей способностью.
При исследовании согласия с моделью ответов испытуемых на каждое из заданий, было выявлено, что такие задания как А1, А4, А6, А8, А10, В2, В9, В11, С5 – плохо согласуются с моделью. В данных заданиях более чем на 20% больше вариации, чем это предсказывалось моделью. Хуже всего с моделью согласуется задание А8. Оно является достаточно легким (по шкале логитов -1,73) и относится к блоку A. Его выполнили 1034 человека из всей выборки.
Задание 19 (B9) -явялется достаточно сложным (2,04 логита). Выполнили 301 человек из 1339.
Задание 26-явялется очень сложным (4,31 логита). Выполнили только 107 человек из 1339.
Ошибка измерения данного задания немного увеличивается по сравнению с преыдущими (до 0,1), так как на на него приходится меньше решающих детей.
Задания 14,20,7,17 ,22 и т.д. плохо соотносятся с моделью тоже. В наблюдаемых данных меньше вариации, чем это предсказывалось моделью. Нужно ли это писать?
На рисунке 2 изображена карта заданий теста.
Рисунок 2. Карта заданий
Данный рисунок подтверждает, что тест обладает хорошей дифференцирующей способностью: испутыемые равномерно распределились по заданиям разного уровня трудности. Так же из рисунка видно, что тест построен по принципу возрастающей трудности, задания части А проще, нежели задания части В, которые в свою очередь легче заданий части С. Что еще мы можем тут сказать? Наверное что-то про центрирование тоже надо
Дальше характеристические кривые всех заданий и отдельно дерьмовых заданий + можно политомические отдельно.