Подходы к конструированию тестов достижений
Основная задача, которая стоит перед разработчиком теста -это получить ответ на вопросы: что измеряется и как это возможно измерить. Ответ на первый вопрос предполагает определение цели тестирования, обоснование тестового конструкта и его операционализацию. Ответ на второй вопрос состоит в конструировании тестовых заданий и их проверке.
Конструирование тестов достижений осуществляется в соответствии со следующей схемой:
1) определение цели тестирования;
2) обоснование тестового конструкта и его операционализация;
3) спецификация теста;
4) эмпирическая проверка и экспертиза теста;
5) совершенствование теста и анализ результатов его применения.
Определение цели тестирования
ОГЛАВЛЕНИЕ и трудность заданий теста не могут рассматриваться безотносительно к целям тестирования. Если речь идет о разработке тестов входного контроля в начале обучения (тесты исходного уровня), то их не имеет смысла наполнять особо трудными заданиями. Ведь такие тесты составляются для того, чтобы определить, какие из эталонных, т.е. соответствующих области предметного материала, знаний уже имеются у учащихся. Не варьирование уровней трудности, а исчерпывающий и репрезентативный набор заданий для подлежащей усвоению области предметного содержания является отличительной особенностью данной категории тестов.
Целью тестирования может стать контроль усвоения темы, раздела или курса в целом. Для этого разрабатываются учебные тесты, обеспечивающие обратную связь о достижении образовательных целей. В этих малоформализованных тестах, как правило, должно быть предусмотрено градуирование заданий по уровню трудности, исходя из пояснения и широты охвата темы и структуры необходимых для ее усвоения умений и навыков. Э. Стоуне, в частности, отмечает, что иерархическая структура задач обучения уже позволяет распределять их по различным уровням в зависимости от сложности навыка, которому собираются обучать[1].
Для разрабатываемых диагностических тестов, фокусирующихся на анализе учебных затруднений и их причин, гораздо важнее отразить структуру конкретного умственного навыка, а не пытаться охватить всю иерархию образовательных результатов. Этот тест диагностирует прежде всего ошибки, которые допускают учащиеся. На основе их анализа определяются пути достижения приемлемого уровня обученность.
Итоговый тест умений и навыков создается для того, чтобы оценить широкую область знаний, сложившуюся по завершении учебного цикла. Для того чтобы адекватно выявить весь спектр образовательных результатов, должны быть подготовлены задания, обеспечивающие выявление базовых учебных умений и их интегрированных структур. Как правило, задания в таких текстах приспособлены для определения разных уровней образовательной подготовки.
В тестах мониторинга учебных достижений с целью их сравнения в разных возрастно-образовательных и социокультурных группах прежде всего делается акцент на функциональности знаний, умений, навыков. Задания в таких тестах носят междисциплинарный характер и моделируют сложные практически значимые ситуации. Это получает отражение в уровневом строении теста.
Обоснование тестового конструкта
Основной причиной появления недоброкачественных тестов, дискредитирующих тестирование как валидную и объективную форму оценки и контроля учебных достижений, является то, что его разработчики не умеют правильно определить измеряемый конструкт.
Тестовый конструкт представляет собой детальное описание объекта оценки и контроля, а именно совокупности измеряемых характеристик, позволяющих осуществить экстраполяцию результатов тестирования на реальную образовательную ситуацию, которую моделирует тест.
В тестировании учебных достижений операциональное определение того, что подлежит измерению, имеет принципиальное значение. Требуется установить связь между конструктом и наблюдаемым поведением. Это важно, поскольку интересующие и учителей, и психологов характеристики обучаемости и компетентности практически недоступны для непосредственного измерения. Необходимо концептуализировать эти характеристики в терминах знаний, умений, навыков, компетенций, с тем чтобы установить правила их измерения и определить их поведенческие индикаторы.
Недооценка методов определения тестового конструкта приводит к тому, что нарушается адекватность трансляции образовательной цели в систему конкретных поведенческих задач, а ведь именно этот процесс лежит в основе тестов достижений.
Если проанализировать, к примеру, типичные тестовые задания для проверки уровня сформированности умения читать, то нетрудно заметить, что часто предметом оценивания в них является не чтение как таковое, а набор учебных действий (выделение главной мысли, составление вопросов, заполнение пропусков в тексте). "Умение читать" как образовательный результат предполагает выделение факторов, оказывающих влияние на продукт чтения (понимание прочитанного), а также мыслительных операций, задействованных в процессе взаимодействия читателя с текстом.
Одна из проблем, с которой сталкивается каждый, кто пытается в формулировке учебных задач вычленить цели обучения и экстраполировать их на образовательные результаты, — это неоднозначность или чрезмерная обобщенность употребляемых при этом терминов: "иметь прочные знания", "проявлять осведомленность", "способствовать углубленному пониманию". Помимо проблемы уточнения цели типа "знание чего-либо", имеется еще одна трудность — учебные задачи устанавливаются на основе того, чему должны научиться учащиеся. Формулировки типа "иметь знание" вряд ли помогут, когда учителя или психолог имеет дело с многочисленностью уровней владения некоторой предметной областью содержания. При этом остается открытым вопрос, что означают достижения в различных ситуациях обучения. Поскольку речь идет об образовательных результатах, то внимание должно быть обращено на те изменения в способностях, мыслительных действиях и стратегиях, которые происходят в ходе обучения. На вопрос "Какая разница между учеником, который прошел учебный курс, и тем, кто такого курса не проходил?" некорректно отвечать, что первый лучше знает тему "Дроби" или "Проценты". Ответ должен быть сформулирован в терминах измеряемых свойств и характеристик действия, дающих возможность дифференцировать уровни его освоения и переноса их на реальную учебную ситуацию, в которой будет применяться измеряемый конструкт.
Составитель теста должен иметь дело с формулировкой учебных задач в соответствии с представлением о конкретных знаниях, умениях и навыках, которые должны усвоить ученики по окончанию курса или его определенного этапа. И эти формулировки должны быть точны и недвусмысленны.
Определенный вклад в раскрытие иерархии умений в связи с целями обучения вносит хорошо известная таксономия Б. Блума[2]. В ней процесс обучения представлен в виде иерархии умений, отсюда и название — таксономия. В основании находятся несложные умения, но по мере продвижения вверх они становятся все более сложными, взаимосвязанными и более практическими. Каждая из категорий таксономии снабжена комментариями, пояснительным материалом и примерами проверочных заданий, предназначенных установить овладение умениями данного конкретного уровня. Для описания задач в каждом из разделов таксономии используются наиболее типичные глаголы. Категория "Знание" предполагает умения назвать, вспомнить, перечислить, узнать, выбрать, воспроизвести, нарисовать (например, дать определение треугольнику), тогда как категория "Понимание" связана с умениями объяснить, найти причины, проиллюстрировать примером (например, объяснить, опираясь па знание законов Ньютона, важность ремней безопасности). Чтобы максимально полно освоить конкретную тему, по Б. Блуму, необходимо овладеть всеми умениями, перечисленными в таксономии (в когнитивной области их шесть — знание, понимание, применение, анализ, синтез, оценка). Умения нижних уровней необходимы для овладения более "высокими" умениями. Например, невозможно решить арифметическую задачу на деление, если школьник не может объяснить, как надо делить, и не знает обратное делению действие умножения[3].
Именно поэтому обоснование умений в таксономии не отражает реальные задачи обучения, оно скорее определяется оценкой когнитивной требовательности этих задач. Проблема, на которую обращают внимание все, кто пытается применить таксономию Блума для разработки заданий теста в соответствии с задачами обучения, заключается в том, что уровни задач в ней не связаны между собой ни логически, ни психологически. Э. Стоуне по этому поводу замечает, что эта таксономия "не может дать больше, что в ней заключено, а именно классификация средств для систематизации уже существующих задач".
Обоснование конструкта задает границы его операционализации. Операционализация — это такое определение тестового конструкта, которое устанавливает связь между конструктом и измеряемым поведением. Она включает в себя анализ характеристик тестового задания, которые наиболее полно соответствуют измеряемому конструкту.
Осуществляя операционализацию конструкта "учебное достижение", разработчик теста неизбежно сталкивается со следующими проблемами:
1) как определить, включены ли все необходимые учебные задачи;
2) как узнать, адекватно ли составленные задачи отражают предметную область знания.