Компьютерное тестирование знаний
Компьютерное тестирование (аттестация) знаний учащихся признается многими исследователями одной из основных технологий (форм, методов) сбора мониторинговой информации о качестве образования (преподавания, обучения).
С появлением в СССР больших вычислительных машин неоднократно предпринимались попытки автоматизации контроля знаний школьников. Однако для этого чаще использовались не сами вычислительные машины, а картонные перфокарты (бланки). Технология заключалась в следующем: школьники по команде педагога рисовали в определенных местах перфокарт определенные значки, а педагог затем рассматривал эти «криптограммы» через специальные матрицы с отверстиями и выставлял в журнал оценки, основываясь на известных ему правилах. Наиболее широкое распространение эта технология получила первоначально в США.
Более трех десятков лет американские школьники сдают выпускные и переводные экзамены по технологии компьютерного или бланкового тестирования. Во всех штатах США существуют специальные комиссии, занимающиеся оцениванием знаний учащихся на основе тестирований. Результатом работы таких комиссий является информация о предрасположенности учащихся к тому или иному виду профессий, общая информация о состоянии системы образования штата и др. Компьютерной техникой эти комиссии стали пользоваться сравнительно недавно.
В настоящее время учащиеся и абитуриенты многих стран (США, Великобритания, Россия, Китай и мн. др.) сдают большое количество массовых переводных, вступительных, квалификационных и иных экзаменов в тестовой форме. Во многих странах эта форма проверки знаний осталась архаичной, «бумажной», во многих – стала компьютеризованной.
Автоматическое тестирование знаний, как и всякая промышленная технология, имеет свои «плюсы» и «минусы». Положительные стороны очевидны: стандартность, экономичность, объективность. Результаты автоматизированных тестирований лучше поддаются анализу, чем выставляемые людьми оценки.
При правильной постановке массовые тестирования позволяют планировать изменения в региональной образовательной политике и набор абитуриентов, дают основания для предсказания социальных явлений, помогают молодежи определять свои склонности и планировать дальнейшее образование, позволяют объективно поддерживать уровень знаний специалистов.
Имеются, как минимум, три достаточно развитые и известные в масштабе России технологии тестирования - Всероссийское бланковое тестирование, Всероссийское компьютерное тестирование (проводимые в течение ряда лет Центром тестирования Минобразования РФ) и Телетестинг (проводимый Центром Гуманитарных технологий МГУ). Многие их элементы основаны на телекоммуникационных технологиях, способных обеспечить решение задач образовательного мониторинга на федеральном уровне. Опыт, полученный в результате применения этих технологий, позволит в ближайшие годы ввести в системе образования России совершенно новую форму приема экзаменов – ЕГЭ, Единый Государственный Экзамен.
Важно отметить, что ЕГЭ – разовое мероприятие. ЕГЭ проводится один раз в год и позволяет увидеть достаточно объективный «моментальный» снимок качества работы образовательной системы. А мониторинг качества образования (МКО) – мероприятие непрерывное, позволяющее на местном уровне, с необходимой степенью глубины и полноты, оперативно прогнозировать и корректировать развитие системы образования. Естественно, что и ЕГЭ, и МКО должны выполняться на единой материальной базе с привлечением единого коллектива специалистов.
Подобно частице и волне в квантовой механике, технологии ЕГЭ и МКО – дуалистичны, они призваны взаимно дополнять друг друга.
Описание идеологий, а также достаточно полные обзоры и перечни публикаций, посвященных развитию процедур компьютерного тестирования можно найти в приведенном в Приложениях перечне.
В России внедрено, разработано и применяется множество подходов к аттестации знаний, основанных на применении компьютеров и телекоммуникаций технологий. Однако нам не удалось встретить среди известных компьютерных тестирующих средств выдерживающего серьезную критику с точки зрения удобства, привлекательности, полноты набора необходимых функций, объемности. Это объективно сложившееся положение связано со многими причинами.
Во-первых, в России тестирование долгое время было запрещено нормативными документами и, в результате, приходится догонять другие страны в этой технологической области.
Во-вторых, период развития технологий компьютерного тестирования пришелся в России на период экономического кризиса.
В-третьих, среди создателей тестовых систем, в основном, оказались люди «приближенные» к вычислительной технике – технари. Их представления о моделях познания и методах обучения, в силу специфики образования и деятельности, носят механистичный характер. Это нашло отражение в
ü двузначности логики тестовых заданий и тестирующих программ (либо «да», либо – «нет»), не отражающей реальную (нечеткую – математический термин) структуру знаний;
ü стремлении оснастить программные продукты немыслимым количеством «кнопочек» в ущерб удобству педагогов;
ü «прямоугольном» дизайне, якобы «не отвлекающем» внимание, а на самом деле отталкивающем;
ü присутствии затрудняющих работу жаргонных выражений в надписях и текстах описаний программ;
ü отсутствии привлекательности (сюрпризности, церемониальности) у предлагаемых процедур тестирований;
ü неучете присущих человеку свойств и качеств (настроение, усталость, темперамент, возраст, пол, национальность) и пр. , т.е. пренебрежении педагогическими и психологическими приемами, позволяющими ускорить и наполнить новым содержанием образовательный процесс.
Спорными представляются многим изготовителям и исследователям следующие вопросы технологии и идеологии тестирования:
ü должен ли процесс тестирования приносить удовольствие учащемуся?
ü обязательным ли результатом тестирования должно быть «моральное» удовлетворение?
ü можно ли публиковать результаты тестирования?
ü должен ли процесс тестирования носить соревновательный оттенок?
ü следует ли ограничивать время тестирований?
ü должен ли процесс тестирования быть поучающим?
ü нужны ли психологические разгрузки в процессе тестирования?
ü должен ли процесс тестирования опираться на личностно-ориентированную сюжетную линию?
ü следует ли учащемуся разрешать вносить исправления в уже выполненные тестовые задания?
ü следует ли выделять учащемуся лимит подсказок?
ü должен ли процесс тестирования быть мягким, позволяющим учащемуся самостоятельно выбирать план действий?
ü должны ли тестовые задания содержать элемент сюрпризности?
ü эффективней ли для образовательного процесса в целом тестирование как ролевая игра или – тестирование как выбор ответа на вопросы из списков?
Известные нам изготовленные в России тестирующие программы мало отличаются от тех, что предлагают зарубежные производители. Исходя из нашей точки зрения, перечислим наиболее распространенные недостатки существующих обучающих тестирующих комплексов.
1. Недостатки сценария работы учащегося:
ü отсутствие режимов самообучения;
ü отсутствие соревновательного компонента;
ü отсутствие сюрпризности;
ü малый объеме заложенной информации;
ü однообразие представления информации.
2. Недостатки сценария работы автора-составителя тестовых заданий:
ü сложность освоения комплекса;
ü большие затраты времени на ввод информации и конструирование заданий;
ü сложность ввода графической информации;
ü необходимость технического сопровождения, т.е. присутствия специалиста-компьютерщика в течение наполнения преподавателями базы тестовых заданий;
ü отсутствие анимационных средств;
ü сложность редактирования тестовых заданий.
3. Недостатки сценария работы преподавателя-экзаменатора:
ü сложность освоения комплекса;
ü сложность средств оперативного контроля успехов учащихся;
ü сложность средств интегрального наблюдения за успехами группы;
ü сложность сравнения результатов группы по разным дисциплинам.
4. Недостатки сценария работы руководителя учебного заведения:
ü сложность освоения комплекса;
ü отсутствие средств систематизации и хранения результатов тестирований;
ü отсутствие средств оперативного сопоставления успехов учебных групп по разным дисциплинам и т. п.;
ü невозможность оперативного контроля за успеваемостью учащихся образовательного учреждения в целом.
Часть отмеченных недостатков следует отнести, в большой мере, на счет неразвитости компьютерных коммуникаций внутри учебных заведений.
Очевидны трудности и проблемы, с которыми сталкиваются разработчики технологий автоматизированных тестирований:
ü неоднозначность оценки важных человеческих качеств – умений, нестандартности мышления, широты знаний;
ü возможность выдачи неверных оценок и рекомендаций при неучете, например, особенностей местных условий;
ü сценарии компьютерных тестирований часто однообразны, неестественны, способны быстро «отбить» у тестируемого интерес к обучению и анализу своих знаний.
Конечно, имеющиеся технологические разработки, посвященные применению техники для контроля знаний, не исчерпывают всех возможностей компьютера. Возможности компьютера в сфере образования нам еще предстоит открывать и изучать.
Какими должны быть образовательные компьютерные комплексы, чтобы быть удобными в пользовании и востребованными для учителя, учащегося, управленца? Как сделать так, чтобы прохождение сеанса компьютерного тестирования вызывало у учащихся интерес к обучению, повышению качества своих знаний? Как «скрыть» от учащегося саму процедуру тестирования, снять атмосферу волнения, сконцентрировав его на раскрытии творческих качеств и реализации знаний?
Деловая компьютерная игра многими воспринимается как своеобразная панацея. Вероятно, что именно в этой области нужно искать пути построения сценариев компьютерного обучения и контроля знаний – привлекательных и вызывающих желание исследовать, учиться. Удачные попытки построения таких сценариев существуют. Можно привести в качестве примера известный сценарий и игру Сида Мейера «Цивилизация». Однако следует заметить, что такие игры содержат довольно мало по-настоящему учебной информации и могут быть рассматриваемы лишь как основа для дальнейшей методической и сценарной работы.
Создание профессиональных компьютерных игр-тренажеров – вполне разработанная и освоенная специалистами область. Существуют прекрасные тренажеры и средства для их создания – конструкторские программные комплексы, банки реализаций. Вызывает сожаление, что это относится исключительно к специальным тренажерам - для летчиков, танкистов, судоводителей, автогонщиков. Рынок же тренажеров для учащихся общеобразовательных учебных заведений - компьютерных лабораторных работ и учебных практикумов - пока заполнен изделиями несравненно низшего качества. Они малоинформативны, однотипны, не вызывают интереса к обучению.
Разработкой и изготовлением компьютерных тестирующих комплексов в России занимаются, в основном, коллективы базирующиеся при вузах. Среди таких вузов следует назвать МГУ, СПбГУ, НГУ, МФТИ, МИФИ, МЭСИ, ТГУ и др. Как правило, коллективы состоят из физиков, математиков, инженеров-компьютерщиков. Педагоги либо психологи к сценарным работам практически не привлекаются.
Одним из счастливых исключений здесь является МГУ, где в таких разработках принимают активное участие преподаватели и студенты психологического факультета. Созданная ими система «Телетестинг» завоевала в 1997-2002 гг. в России огромную популярность. Скажем, в Приморском крае в 2000-2002 гг. любое компьютерное тестирование (какая бы организация его не проводила) родителями и учащимися однообразно нарекалось «телетестингом».
В качестве другого примера, приведем опыт разработчиков Дальневосточного государственного университета (ДВГУ).
В ДВГУ с 1994 года ведутся научные и экспериментальные работы в области разработки компьютерных обучающих и тестирующих средств. В научных семинарах и работах здесь принимают участие сотрудники, студенты и преподаватели - физики, химики, математики, историки, юристы, педагоги, географы, экологи, филологи, экономисты. Создан ряд разновидностей компьютерных тестирующих комплексов, реализующих известные педагогические идеи, восходящие к Платону и Сократу.
Созданные в ДВГУ игровые тестирующие комплексы популярны в школах Приморского края. На их основе ежегодно проводится около пятидесяти Приморских краевых образовательных олимпиад, выпускные и переводные экзамены в школах, вступительные экзамены для абитуриентов ДВГУ.
Созданный в ДВГУ в 1998 году компьютерный комплекс - деловая игра «Дидактор» является удачной попыткой реализации игровой концепции обучения и контроля. Работа с ним не утомительна, интерфейсы учащегося и преподавателя просты и понятны. Идея «Дидактора», заключающаяся в предложении не отвечать на вопросы, а оценивать ответы виртуальных учеников, привлекательна для учащихся. «Дидактор» предлагает учащемуся шпаргалки (развернутые ответы и пояснения) – в этом его обучающая функция. «Дидактор» умеет работать и на компакт-диске, и в Интернет. Результаты работы учащегося с «Дидактором» могут быть распечатаны и переданы в электронную базу данных для дальнейшего анализа преподавателем.
Составлять учебные материалы для наполнения «Дидактора» просто. Для этого не нужно пользоваться дополнительными средствами. Файлы с наборами тестовых заданий полностью изготавливаются в обычных текстовых редакторах. При этом тестовые задания могут содержать картинки, мультики, звук, и видеофайлы - это позволяет расширить возможности обучения и тестирования. На основе «Дидактора» в ДВГУ создано около 100 электронных учебных курсов для школьников и студентов, снабженных тестовыми комплексами. Многие студенты предпочитают проходить процесс обучения и контроля на компьютере, контактируя с преподавателем только на консультациях либо по электронной почте – это удобно, ведь многие студенты работают, многие одновременно получают два и три образования. В 2001 году в компьютерных классах ДВГУ проведено около 120 тыс. сеансов тестирований.
Тренажер–игра «Диалог» основан на идее вовлечения ученика в разговор между анимированными виртуальными персонажами – известными учеными. Тестирование знаний и обучение происходит завуалировано, в процессе диалога. Наполнение тренажера, «план» диалогов имеет сложную структуру и элементы «случайности». Особый интерес здесь представляет выстраивание процесса обучения на основе гипотетических диалогов известных представителей разных культур и времен (диалоги культур).
В серии изготовленных ранее в ДВГУ тренажеров - «Кроссворд», «Фракон» (конструктор фраз), «Файндер» (найди ошибку), «Диктант», «Вордик» (узнай слово), «Ковер-самолет», «Толмач» - использованы оригинальные, известные и переработанные сценарии. Переработка известных сценариев заключалась в гуманизации интерфейса, внесении элементов случайности и сюрпризности, стандартизации способа регистрации результатов.
Довольно широк круг дисциплин, материал которых послужил наполнением для вышеописанных изготовленных тренажеров – 14 школьных дисциплин (практически полностью материал 9, 10, 11 классов), около 100 вузовских и специальных дисциплин (материал учебных планов специальностей и специализации «Организация коммерческой деятельности предприятия», «Менеджмент в образовании», «Юриспруденция», «Менеджмент», «Финансы и кредит»), английский язык (мультимедийное пособие для студентов гуманитарных специальностей).
На основании материалов всероссийских научно-методических конференций, посвященных компьютерным методам обучения, ДВГУ можно назвать одним из первых вузов России, масштабно внедрившим компьютерные технологии контроля знаний в учебный процесс.