Педагогические науки/ 1. Дистанционное образование

Давыдова Наталья Александровна

Калининградский областной институт развития образования, Россия

Готовность тьюторов к автоматизированному контролю знаний

Процессы интеграции и расширения географии образовательных учреждений вместе с быстрым ростом объема научных знаний, а также увеличением оснащенности учреждений компьютерной техникой являются предпосылками развития дистанционного образования. Серверы дистанционного обучения созданы практически в каждом ВУЗе, а также во многих учреждениях общего и среднего профессионального образования. Новые формы обучения требуют не только новых форм подачи учебного материала и методик ведения занятий, но и современных моделей итогового и текущего контроля знаний.

Несмотря на то, что благодаря современным средствам информационных и коммуникационных технологий тьюторам доступны традиционные формы контроля знаний (устный опрос, письменная работа) даже при значительной пространственной удаленности обучающегося, эти формы являются слишком затратными, поскольку тьютор вынужден с помощью видеосвязи индивидуально опрашивать каждого обучащегося либо проверять каждую работу. В контексте оптимизации учебного процесса за счет дистанционных технологий традиционные формы контроля учебных достижений нельзя признать эффективными, особенно в случаях, когда необходимо быстро провести массовый контроль знаний всех обучаемых. Помимо этого, в случаях, когда оцениванием занимается один преподаватель, любой вид контроля априори является субъективным [10].

Автоматизированный тестовый контроль знаний обладает такими достоинствами, как простота применения, высокая скорость обработки результатов, полнота охвата педагогическим контролем всей массы обучаемых, объективность (при коллегиальной подготовке заданий), а также существенное снижение временных затрат преподавателя по сравнению с индивидуальным контролем [1, 9]. Важной особенностью автоматизированного тестирования является возможность автоматизированной обработки результатов. Помимо автоматического подсчета количества баллов и перевода их в любую оценочную шкалу, существуют методики определения качества тестовых заданий [8, 17], статистического определения уровня подготовленности  [10, 11], методики, обеспечивающие апостериорную дидактическую безопасность [6, 11, 17]. Применение этих методик позволяет, с одной стороны, оценивать качество заданий и повышать его, с другой выявлять определенные закономерности в результатах тестируемых (случайный выбор ответов, «списывание») и корректировать итоговую оценку в соответствии с ними. На сегодняшний день большинство преподавателей образовательных учреждений всех уровней с этими методиками не знакомы, что ведет к снижению доверия обучающихся и педагогов к тестам, росту количества низкокачественных тестов и неверных результатов контроля знаний [1].

Анализ порядка 120 дистанционных учебных курсов по различным дисциплинам в рамках программы общего образования и дополнительного образования специалистов [5, 12], показал следующее: из 3-х основных форм заданий, доступных в системе: тест, файл (письменная или любая другая работа), текстовый ответ, тесты используются всего в 50%  курсов, при этом суммарное количество заданий со свободным ответом и ответом в виде файла превышает количество тестов примерно в 10 раз. При этом количество заданий в различных курсах одинакового объема может отличаться на порядок. Отметим, что проверку ответов в виде файла и свободного текста нельзя в полной мере считать автоматизированным контролем знаний, т. к. автоматизирована только сама отправка ответа, а проверка и оценивание производится тьютором. Выявленные несоответствия количества учебных и контрольно-измерительных материалов свидетельствуют о различном уровне готовности авторов учебных курсов дистанционного образования к применению средств автоматизированного контроля знаний, в частности, к тестированию.

В соответствии с понятием готовности к педагогической деятельности [3, 7, 14] определим понятие готовности тьютора к использованию технологий автоматизированного тестирования знаний как интегративное свойство личности, характеризующее способность тьютора к осуществлению педагогического контроля знаний с помощью компьютерных тестов, включающего синтез корректных тестовых заданий (ТЗ), компоновку теста, процедуру тестирования, анализ результатов тестирования для оценивания знаний студентов и контроль качества ТЗ. Готовность к автоматизированному контролю знаний включает различные компетенции (таблица 1),  соответствующие компетенциям педагогического работника (ОК-7, ОК-8, ОК-9, ОК-24, ПК-2, ПК-3, ПК-4, ПК-13, ПК-21, ПК-22, ПК-23, ПК-27, ПК-29), перечисленным во ФГОС ВПО педагогических направлений [16].

Выявленный невысокий уровень готовности к автоматизированному тестированию знаний вызван двумя причинами: высокой трудоемкостью подготовки тестовых заданий и отсутствием у многих преподавателей необходимых компетенций в области тестологии. Проанализировав компетенции, указанные в ФГОС высшего педагогического образования, мы приходим к выводу, что использование средств автоматизированного тестирования знаний может повысить готовность к применению автоматизированного тестирования по каждой из выделенных нами компетенций (таблица 1).

Таблица 1. Компетенции и методы повышения их уровня

Компетенции

Методы повышения уровня компетенций

Интерес к использованию новых заданий и форм контроля

Легкость освоения нового метода контроля знаний

Осознание необходимости повысить качество контроля знаний

Использование современных методик контроля знаний и расчета результатов с помощью ЭВМ

Умение формулировать задания в соответствии с новейшими исследованиями в области тестологии

Подготовка шаблонов - «заготовок» тестовых заданий специалистом в области тестологии

Навыки работы на ЭВМ

Создание методических рекомендаций и простого пользовательского интерфейса

Умение проводить компьютерное тестирование

Создание методических рекомендаций

Умение интерпретировать результаты тестирования

Автоматизированный расчет наиболее важных показателей теста (реализуется в автоматизированных системах контроля знаний (АСКЗ) [10])

Умение переводить тестовый балл в требуемую шкалу оценивания

Автоматизированный перевод в нужную шкалу (реализуется в АСКЗ [10])

Знание содержания учебного материала

Использование для подготовки тестов того же учебного материала, который использовался при обучении

Знание структуры учебного материала

Автоматизированный анализ текста учебного материала, анализ инженером по знаниям совместно с экспертом учебных материалов по данной дисциплине

Знание технологий обучения, характерных для данной дисциплины

Анализ инженером по знаниям совместно с экспертом характерных заданий по данной дисциплине

Знание нормативной документации (стандартов, требований, учебных программ), касающихся обучения по данной дисциплине

Требование каждый раз при создании теста проверять нормативные документы, касающиеся данной дисциплины

Умение формализовать учебный материал, выделять наиболее важные аспекты, ранжировать знания по значимости

Автоматизированный анализ текста учебного материала

В общем случае, педагогическое тестирование знаний представляет собой процесс, состоящий из нескольких этапов [1, 8, 9]: 1) подготовка ТЗ; 2) компоновка теста; 3) тестирование знаний; 4) анализ результатов тестирования; 5) анализ качества ТЗ, при выявленных заданиях низкого качества возврат на п.1; 6) перевод тестовых баллов в требуемую шкалу оценивания; 7) анализ выполнения ТЗ, выявление пробелов в знаниях студентов.

Этапы 2-6 в той или иной мере реализованы во многих системах автоматизированного контроля знаний [10]. Этап 1 в большинстве популярных системах АСКЗ выполняется вручную и характеризуется высокой трудоемкостью [4]. Седьмой этап связывает процесс обучения и контроля знаний, и на сегодняшнем этапе развития технологий тестирования тоже выполняется вручную. Качество выполнения 1 и 7 этапа полностью зависит от сформированности у тьютора компетенций в области подготовки ТЗ для автоматизированного тестирования и анализа результатов выполнения теста.

Таким образом, чтобы повысить эффективность процесса формирования готовности тьютора к использованию систем автоматизированного тестирования знаний и снизить исходные требования к его компетенциям, необходимо разрабатывать новые или усовершенствовать существующие системы автоматизированного синтеза ТЗ [2, 4, 13, 15]. Интеграция систем дистанционного обучения с системами автоматизированного синтеза ТЗ позволит снизить суммарную трудоемкость подготовки учебных и контрольно-измерительных материалов, а также повысить их содержательную валидность.  Автоматизированная подготовка большого количества тестовых заданий позволит говорить о создании единого банка тестовых заданий на уровне учреждения, муниципалитета, региона или страны, что позволит организовать экспертную проверку заданий, повысить их качество и снизить трудовые затраты педагогов на разработку.

Литература:

1.     Аванесов В.С. Основы теории педагогических заданий. // Педагогические измерения, №2, 2006. - с. 26-62

2.     Алсынбаев К. С., Алсынбаева Л. Г. Формальные модели для системы автоматизированной генерации тестов по программированию // Вестник Балтийского федерального университета им. И. Канта. 2012. Вып. 10. С . 159—166.

3.     Давлеткиреева Л.З. Информационно-предметная среда как средство профессиональной подготовки будущих специалистов в университете
 дис. канд. пед. наук: 13.00.08 Магнитогорск, 2006– 184 с. –РГБ ОД, 61:07-13/747.

4.     Давыдова Н.А., Рудинский И.Д. Автоматизированный синтез тестовых заданий для систем педагогического контроля знаний. «Информатизация образования и науки» № 1 (17) 2013

5.     Дистанционная школа Калининградского областного института развития образования [электронный ресурс]. URL:  do.baltinform.ru  (Дата обращения 13.08.2013)

6.     Емелин М.А. Обеспечение репрезентативности выборки тестовых заданий при автоматизированном контроле знаний / М.А. Емелин, И.Д. Рудинский // Информационные технологии моделирования и управления. - 2007, № 9(43).

7.     Кулько В. А. Формирование мотивационного компонента готовности будущих экологов к профессиональной деятельности // Ученые записки Крымского инженерно-педагогического университета. Выпуск 34. Педагогические науки. 2012. - с.73-76.

8.     Майоров А.Н. Теория и практика создания тестов для системы образования. М: Народное образование, 2000. 352с.

9.     Ким В.С. Тестирование учебных достижений. Монография. Уссурийск: Издательство УГПИ, 2007. - 214 с.: ил.

10. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний. М.: Горячая линия - Телеком, 2004. - 204 с.: ил.

11. Рудинский И.Д. Структурные основы тестологии. Калиниград: Издательство ФГОУ ВПО "КГТУ", 2010.  249 с.:ил.

12. Сервер дистанционного обучения (повышения квалификации) Калининградского областного института развития образования  [электронный ресурс]. URL: study.baltinform.ru (Дата обращения 13.08.2013)

13. Сергушичева А. П., Швецов А. Н. Гибридный подход к синтезу тестовых заданий в тестирующих системах // МКО - 2006, т. 1, с. 215-228

14. Сластенин В.А. и др. Педагогика: Учеб. пособие для студ. высш. пед. учеб. заведений / В. А. Сластенин, И. Ф. Исаев, Е. Н. Шиянов; Под ред. В.А. Сластенина . -- М.: Издательский центр "Академия", 2002. - 576 с.

15. Титенко С.В., Гагарін О.О. Практична реалізація технології автоматизації тестування на основі понятійно-тезисної моделі. Образование и виртуальность – 2006. Сборник научных трудов 10-й Международной конференции Украинской ассоциации дистанционного образования / Под общ. ред. В.А. Гребенюка, Др Киншука, В.В. Семенца.– Харьков-Ялта: УАДО, 2006. С. 401-412.

16. Федеральный государственный образовательный стандарт высшего профессионального образования [электронный ресурс]. URL: http://www.fgosvpo.ru/ (Дата обращения 13.08.2013).

17. Шмелев А.Г. Основы психодиагностики. Учебное пособие для студентов педвузов / под общ. редакцией А.Г. Шмелева.: – М., Ростов-на-Дону: Феникс, 1996.