Роль и значение невербальных материалов в тестировании
Существует множество способов представления заданий в невербальной форме или же в вербально-невербальной. Причем в таких формах могут быть представлены не только сами задания, но и варианты ответов. Вопрос или задание могут быть сформулированы в виде фразы, текста, рисунка, схемы, цифры, символа, графика и т.д.
Преимущества применения такого материала очевидны: задания становятся более разнообразными, значительно менее утомительными и даже интересными для испытуемых, особенно младшего возраста. Существует и более существенная цель использования невербальных материалов в тестировании.
Она заключается в том, что для целого ряда предметов использование невербальных материалов чрезвычайно эффективно. Это связано с тем, что часть содержания образования представляет собой невербальные материалы. Для истории и географии это карты, для биологии – таблицы и схемы, для физики – графики и таблицы. Использование этих материалов в соответствующих тестах должно быть обязательным. В том случае, если эти материалы не используются, есть значительная опасность деформации содержания образования. Представим себе, что в качестве итоговой аттестации учащихся по географии не используются карты. Это приведет к тому, что педагоги начнут сокращать объем материала по изучению карт и время, выделяемое на выработку умения учеников работать с картой. Необходимо отметить, что наличие такой обратной связи в ряде стран является ограничением на использование тестов в практике образовательной деятельности, так как составители тестов могут оказывать существенное влияние на содержание образования.
Анализ тестов, которые создаются и используются в нашей стране, говорит о том, что использование невербальных материалов чрезвычайно ограничено. Причина такого положения достаточно ясна. Использование в тестах невербальных материалов значительно удорожает процедуру создания тестов, поскольку требует привлечения к работе ряда дополнительных специалистов (художника, компьютерного графика и т.д.). При создании тестов необходимо помнить, что если не будут использоваться такие материалы, то это приведет в конечном итоге к негативному отношению к качеству тестов и к тестированию как способу аттестации учащихся.
Однако достаточно часто в тестах школьных достижений используют поясняющие рисунки, таблицы и т.д., значение которых тем не менее достаточно велико.
Во-первых, применение этих материалов делает тестирование менее утомительным, более разнообразным, снижает количество случайных ошибок.
Во-вторых, рисунки служат дополнительным мотивом при выполнении тестирования, вызывая интерес к заданию, особенно для детей младшего школьного возраста.
Методы шкалирования
и интерпретации результатов тестирования[33]
Стандартизация и нормы
Одной из основных характеристик теста является его стандартизованностъ, т.е. единая процедура проведения и подведения итогов тестирования. Процедура проведения тестирования определяется инструкцией и регламентацией всех действий во время тестирования. Важную роль в оптимизации этой процедуры играет правильное определение времени тестирования. Все организационные погрешности можно устранить при апробации. Но о подведении итогов тестирования имеет смысл поговорить отдельно.
Полученные учащимся «сырые» баллы необходимо правильно интерпретировать. «Сырые» баллы еще не дают никакой информации о реальном уровне знаний; один и тот же результат может быть истолкован по-разному, все зависит от того, слабая это была группа или сильная. Необходимо владеть методами интерпретации полученных «сырых» баллов, чтобы можно было выявить различия в уровнях знаний учащихся, чтобы сравнивать результаты, даже используя разные тесты.
Чтобы адекватно интерпретировать первичные результаты учащихся, их «сырые» баллы, надо их сопоставить с определенными нормами выполнения теста. Нормы (нормативы) – это множество показателей, которые устанавливаются эмпирически, в зависимости от того, как выполняет задания теста некоторая четко определенная выборка тестируемых. Разработку процедуры получения этих показателей называют стандартизацией теста. Самыми распространенными показателями нормы считаются среднее арифметическое и стандартное отклонение. При сопоставлении первичного результата с нормами выполнения можно определить, насколько полученный результат выше или ниже среднего результата выполнения геста. При этом необходимо соблюдать некоторые важные требования: ученики, обучающиеся по разным программам и учебникам, должны сравниваться, исходя из разных норм, а сами нормы должны отражать реальное состояние как контингента обучаемых, так и реальные (выполнимые) требования программ обучения.
Норма тесно связана с качеством выборки, поэтому при стандартизации особое внимание обращают на формирование выборки. Выборка должна отражать категорию лиц, для которых предназначен тест, максимально точно, чтобы погрешность была настолько малой, что ею можно было бы пренебречь. При подготовке выборки лучше пренебречь количеством, чем качеством! Для простого уменьшения стандартной ошибки достаточно выборки из 200 – 300 тестируемых при равномерном (пропорциональном) представлении различных категорий, которые различаются по социальному положению, типу школы, квалификации педагога, месту проживания и пр.
Определение такой выборки называется процессом стратификации. Стратифицированная выборка стандартизации должна отражать равные пропорции школьников, объединенных по сочетанию этих признаков. Но даже эта процедура не решает в полной мере проблем, связанных с интерпретацией результатов. Рассчитанные для каждой стратифицированной группы средние арифметические значения могут сильно различаться.
Есть и еще одна проблема суммирования результатов, полученных по разным предметам (требование вузов при поступлении). Результаты могут быть не сравнимы между собой, поскольку они получены на разных по длине или трудности тестах. Тогда суммирование и интерпретация результатов должны предваряться процедурой выравнивания путем перевода «сырых» баллов в одну из стандартных шкал, используемых в педагогических измерениях.