Педагогические науки/ 1

Педагогические науки/ 1. Дистанционное образование

Давыдова Наталья Александровна

Калининградский государственный технический университет, Россия

Стандартизация формата тестовых заданий как фактор развития автоматизированного тестирования

На сегодняшний день многие образовательные учреждения высшего профессионального образования и профессиональной переподготовки стоят перед проблемой автоматизации контроля знаний. Степень использования систем автоматизированного контроля знаний различается от полной автоматизации в вузах, ориентированных на дистанционное образование, до ее наличия в виде простой переписки между преподавателями и студентами. В то же время, автоматизированный контроль знаний – объективная необходимость в условиях интеграции территориально разобщенных образовательных учреждений в крупные университеты, процессов глобализации мировой системы образования и быстрого роста объема научного знания, когда высококвалифицированные специалисты не имеют возможности осуществлять эффективный контроль знаний традиционными способами. В случаях, когда речь идет о контроле репродуктивного и алгоритмического уровня знаний [3], самым эффективным средством контроля является автоматизированное тестирование. Развитию этой технологии мешают два основных фактора: высокая трудоемкость подготовки тестовых заданий (ТЗ) и несформированность у большинства преподавателей компетенций в области тестологии. В настоящее время ведутся исследования, посвященные автоматизации подготовки ТЗ и упрощению этого процесса для преподавателя [5, 6, 8, 10], однако в процессе опроса ряда специалистов по тестированию удалось обнаружить новый, на первый взгляд, незначительный фактор. Все системы автоматизированного контроля, используемые образовательными учреждениями имеют собственный формат хранения ТЗ. Это не только не позволяет учреждениям с накопленной базой ТЗ сменить систему на более подходящую текущим условиям, но мешает созданию общего банка ТЗ. В то же время, существование банка заданий способно увеличить шанс коллегиального оценивания качества ТЗ и упростить миграцию студентов и преподавателей между образовательными учреждениями. Вводимые федеральные образовательные стандарты [11] также предполагают одинаковые критерии оценивания для студентов одних и тех же дисциплин, вне зависимости от вуза.

На настоящий момент для перехода от одной системы автоматизированного тестирования к другой требуются конвертеры тестовых заданий типа «каждый с каждым» либо многоступенчатая система конвертации, что усложняет процесс для образовательных учреждений и может вызвать накопление ошибок. Анализ публикаций на тему форматов ТЗ [1, 4, 7] не дает универсального решения. Таким решением мог бы стать общий стандарт тестовых заданий, описывающий все популярные на сегодняшний день формы контроля знаний. В этом случае разработчикам систем автоматизированного тестирования или подготовки ТЗ требовалось бы только предусмотреть возможность конвертирования ТЗ в общий формат и обратно, а пользователи получили бы возможность приобретать тестовые материалы у любых составителей. Стандарт должен описывать способ представления ТЗ различных форм, спецификаций ТЗ, форматов, в которые можно без потерь конвертировать задание.

В качестве файлов представления ТЗ по аналогии с Moodle XML [9] логичнее всего использовать XML-документы, дающие возможность как машинного разбора, так и понимания человеком [2]. Предлагаемые спецификации XML-файлов для хранения ТЗ содержат следующие элементы:

<ti></ti> – тестовое задание; аттрибуты ti: form – форма тестового задания, может принимать значения; tf – (True-False) ТЗ на одиночный выбор; mult – (Multiple choise) ТЗ на множественный выбор; chain – ТЗ на восстановление последовательности; match – (Matching) ТЗ на установление соответствия; type – тип тестового задания, может быть статическим (static) и динамическим (dynamic) (ТЗ с вычисляемыми параметрами); true – признак проверенно или не проверено задание, принимает 1 (проверено) или 0 (не проверено).

<text></text> – контейнер текста ТЗ;

<distracters></distracters> – блок дистракторов ТЗ на одиночный и множественный выбор;

<distr></distr> – контейнер дистрактора, имеет атрибут true, принимающий значение 0 (неправильный ответ) и 1 (правильный ответ);

<element></element> – контейнер текста одного из элементов в ТЗ на восстановление последовательности, имеет атрибут order (порядок), принимающий целочисленное неотрицательное значение. Правильная последовательность – порядок элементов по возрастанию;

<set></set> – правильная пара элементов в ТЗ на установление соответствия.

<element1></element1> – контейнер текста элемента 1-го списка в ТЗ на установление соответствия;

<element2></element2> – контейнер текста элемента 2-го списка в ТЗ на установление соответствия;

<specification></specification> – спецификация, может содержать некоторое описание ТЗ; аттрибуты: subject – название дисциплины; chapter – раздел дисциплины; topic – тема.

Пример ТЗ на одиночный выбор:

Годом начала Великой отечественной войны является:

1) 1812; 2) 1919; 3) 1941.

Описание: форма задания – на одиночный выбор; тип задания – статичное; задание утверждено; дисциплина – история, раздел – история России, тема – Великая отечественная война; правильный ответ – 3.

xml-запись ТЗ:

<text>Годом начала Великой отечественной войны является</text>

</distracters>

</ti>

Пример ТЗ на множественный выбор:

Элементы, входившие в состав ЭВМ второго поколения:

1) электронные лампы; 2) транзисторы; 3) жесткие диски; 4)магнитные барабаны.

Описание: форма задания – на множественный выбор; тип задания – статичное; задание утверждено; дисциплина – информатика, раздел – вычислительная техника, тема – поколения ЭВМ; правильные ответы – 2,4;

xml-запись ТЗ:

<text>Элементы, входившие в состав ЭВМ второго поколения</text>

<distr true=”0”>электронные лампы</distr>

<distr true=”1”>транзисторы</distr>

<distr true=”0”>жесткие диски</distr>

<distr true=”1”>магнитные барабаны</distr>

</distracters>

</ti>

Пример ТЗ на восстановление последовательности:

Правильный порядок фаз создания автоматизированной системы:

1) эксплуатация; 2) создание; 3) обоснование; 4) внедрение.

Описание: форма задания – на восстановление последовательности; тип задания – статичное; задание утверждено; дисциплина – проектирование АСОиУ, раздел – автоматизированная система как объект проектирования, тема – жизненный цикл автоматизированной системы; правильная последовательность: 3, 2, 4, 1.

xml-запись ТЗ:

<text>Правильный порядок фаз создания автоматизированной системы</text>

<element order=”3”>эксплуатация</element>

<element order=”1”>создание</element>

<element order=”0”>обоснование</element>

<element order=”2”> внедрение</element>

</ti>

Пример ТЗ на установление соответствия:

Сопоставьте литературные произведения их авторам:

1) А.С. Пушкин 1) Мертвые души

2) М.Ю. Лермонтов 2) Капитанская дочка

3) Н.В. Гоголь 3) Отцы и дети

4) Герой нашего времени

Описание: форма задания – на установления соответствия, содержит избыточные дистракторы; тип задания – статичное; задание утверждено; дисциплина – литература, раздел – русская литература XIX века; правильные соответствия: 1-2, 2-4,3-1;

xml-запись ТЗ:

<text>Сопоставьте литературные произведения их авторам</text>

<set>

<element1>А.С. Пушкин</element1>

<element2>Капитанская дочка</element2>

</set>

<set>

<element1>Н.В. Гоголь</element1>

<element2>Мертвые души</element2>

</set>

<set>

<element1>М.Ю. Лермонтов</element1>

<element2>Герой нашего времени</element2>

</set>

<set>

</set>

</ti>

Отметим, что для правильной интерпретации последней записи, система автоматизированного тестирования должна иметь функции случайного формирования пар при выдаче задания.

В приведенной спецификации не учитывается сложность задания, уровень образования и конкретная специальность, т. к. для различных специальностей содержание дисциплин различается по сложности, а, одни и те же ТЗ могут использоваться для контроля знаний студентов различных направлений.

Создание стандартизованного формата хранения ТЗ позволит организовывать отраслевые банки ТЗ, поспособствует реализации межвузовского обмена контрольно-измерительными материалами, и большей объективности самих заданий. В условиях расширяющегося международного сотрудничества в сфере образования, общая структура ТЗ будет способствовать переводу заданий на иностранные языки и установлению соответствий между преподаваемыми дисциплинами.

Литература:

1. AMV-Converter [электронный ресурс] URL: amv-tst.narod.ru (Дата обращения 07.09.2013)

2. Extensible Markup Language (XML) [электронный ресурс] URL: w3.org/XML (Дата обращения 07.09.2013)

3. Аванесов В.С. Виды знаний // Управление школой № 38, 1999 [электронный ресурс] URL: testolog.narod.ru/Theory11.html (Дата обращения 07.09.2013).

4. Журавлева Е.А., Савиных И.В. Форматы для обмена тестовыми заданиями: aiken и gift // ИТО - Марий Эл – 2009. [электронный ресурс] URL: ito.edu.ru/2009/MariyEl/II/II-0-27.html (Дата обращения 07.09.2013)

5. Давыдова Н.А., Рудинский И.Д. Автоматизированный синтез тестовых заданий для систем педагогического контроля знаний // «Информатизация образования и науки» № 1 (17) 2013

6. Кручинин В.В., Морозова Ю.В. Модели и алгоритмы генерации задач в компьютерном тестировании. // Известия Томского политехнического университета. 2004. Т. 307. № 5

7. Построение информационных систем непрерывного образования на основе Интернет-технологий / А. В. Дьяченко [и др.] ; - М. : Акад. Естествознания, 2010. - 130 с.

8. Сергушичева А.П. Методы и алгоритмы автоматизированного построения компьютерных тестов для контроля знаний по техническим дисциплинам: дис. канд. техн. наук: 05.13.01: С-Пб, 2007 – 201 c. – РГБ ОД, 61:07-5/2099

9. Система дистанционного обучения Moodle [электронный ресурс] URL: moodle.org (Дата обращения 10.12.2010)

10. Титенко С.В., Гагарін О.О. Практична реалізація технології автоматизації тестування на основі понятійно-тезисної моделі. // Образование и виртуальность – 2006. Сборник научных трудов 10-й Международной конференции Украинской ассоциации дистанционного образования – Харьков-Ялта: УАДО, 2006. с. 401-412.

11. Федеральный государственный образовательный стандарт высшего профессионального образования [электронный ресурс]. URL: fgosvpo.ru (Дата обращения 07.09.2013).