Педагогические науки/1. Дистанционное образование

Д.т.н. Колдаев В.Д., студент Волков А.С., магистрант Раджабиён К.Л.

Национальный исследовательский университет «МИЭТ», Россия

Технология адаптивного контрольно-обучающего тестирования в дистанционном обучении

         Дистанционное обучение представляет собой способ организации процесса обучения, основанный на использовании современных информационных и телекоммуникационных технологий, позволяющих осуществлять обучение на расстоянии без непосредственного контакта между преподавателем и обучающимся. Современное дистанционное обучение строится на использовании следующих основных элементов: среды передачи информации (почта, телевидение, радио, информационные коммуникационные сети); методов, зависимых от технической среды обмена информацией.

         К настоящему времени в педагогической теории и практике накоплен определенный опыт по проблемам современных инновационных подходов в оценке качества обучения студентов и деятельности образовательного учреждения, в целом (Аванесов B.C., Беспалько В.П., Васильев В.И., Войтов А.Г., Воробейчикова О.В., Гребнев Л.С., Гусева А.И., Донкарев A.B., Зайчикова Т.Н., Изотова Н.В., Красильников В.В., Лаврентьева Н.Б., Майорова Н.Л., Нейман Ю.М., Образцов П.И., Плаксий С.И., Попова О.В., Степанов С.С, Тягунова Т.Н., Ушакова Л.С., Челышкова М.Б. и др.).

         Для систем дистанционного обучения разработан стандарт – SCORM, содержащий требования к организации учебного материала, к программному обеспечению и системы дистанционного обучения. В настоящее время в отечественных и зарубежных организациях применяются следующие системы управления обучением: Moodle, ILIAS, aTutor, Blackboard Learning System, CCNet, Claroline, Desire2Learn, Dokeos и др.

         Использование системы контроля знаний в системе дистанционного обучения определяется объективностью, демократичностью, массовостью и кратковременностью. Увеличение масштабов тестирования порождают спектр проблем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки студентов [1].

         Эффективность контрольно-оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага. Алгоритм отбора и предъявления заданий строится по принципу обратной (дуплексной) связи, когда при правильном ответе испытуемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем то, на которое испытуемым был дан неверный ответ.  

         Смысл адаптивности в алгоритме тестирования в том, что тест адаптируется, настраивается на доступный испытуемому уровень сложности и тем самым быстрее локализует его истинный тестовый балл на шкале измеряемого свойства. Обычно тест включает три структурных компонента: систему тестовых заданий с возрастающей степенью сложности; набор вариантов ответов, содержащих наряду с правильными и неправильные ответы (дистракторы); систему проверки и анализа результатов. Длительность тестирования ограничивается исходя из соображений: удобства процедуры тестирования; темпа накопления усталости у обучающихся; достижения оптимального уровня дифференциации студентов. При составлении тестов необходимо руководствоваться следующими правилами: однозначность заданий и ответов, соответствие изученному материалу, подбор дистракторов, уникальность [1,2].

         На надежность тестирования сильно влияет степень гомогенности групп студентов, уровень их подготовленности, а также другие факторы, связанные не столько с тестом, сколько с условиями сеанса тестирования. Для анализа тестовых заданий используются следующие статистические параметры: среднеквадратичное отклонение, индекс и  коэффициент дифференциации.

         Важными критериями диагностических тестов являются: валидность (полнота, всесторонность проверки, пропорциональность представления всех элементов изучаемых знаний, умений); надежность теста (стабильностью, устойчивостью показателей при повторных измерениях с помощью того же теста или его равноценного заменителя), дифференцированность теста (способность теста отделить тех, кто усвоил материал на необходимом уровне, от тех, кто заданного уровня не достиг).

В настоящее время при адаптивном контроле особое внимание уделяется пирамидальному тестированию, при котором всем испытуемым выдаются задания средней трудности, а затем, в зависимости от ответов либо более трудное, либо более простое, путем деления шкалы заданий пополам. Для математической формализации задачи адаптивного контроля используются теоретические основы модели Раша и параметризации Item Response Theory (IRT). При статистической обработке ответов адаптивного тестирования первая модель использует аппарат нечетких множеств, а вторая для моделирования вероятностей правильных ответов логистическую кривую [2,3].

Ядром системы тестирования является конечный автомат, реализующий модель поведения обучающегося и так называемую функцию «уровня знаний». База вопросов содержательно разделяется на три уровня: мировоззренческий, базовый, углубленный:

где  – множество входных данных (3…5 – вопросы соответствующего уровня; True/False – правильность ответа);  – множество состояний автомата;  – множество начальных состояний автомата;  – множество конечных состояний автомата;  – функция переходов. Необходимый уровень валидности результатов достигается за счет нескольких рекурсивных проходов автомата (рис.1).

Разработанный алгоритм компьютерного адаптивного тестирования (АКАТ) содержит восемь тем.

Рис.1. Графическое изображение конечного автомата

Алгоритм автоматически выбирает обучающий метод по следующим критериям: по тестовому опросу или предыдущему тестированию. В каждом тематическом разделе предоставляется множество материалов (теоретические сведения или практические навыки) и тестов (самоконтроль или контрольные задания).

В первых разделах генерируются вопросы и задания для проверки знаний по первым трем темам, которые являются вводными – содержащими общие понятия классификации и определения. В предлагаемом алгоритме тестирования при формировании вопросов для очередной темы используются результаты выполнения контрольных вопросов из трех предыдущих тем. Результаты (оценки) первых трех тем прямо пропорциональны сложности заданий четвертой темы и обратно пропорциональны количеству заданий четвертой темы. Принцип генерирования заданий для последующих тем (5, 6, 7, 8) – одинаковый: для формирования заданий по теме 5, необходимо учитывать результаты предыдущих трех тем (2, 3, 4); для генерирования заданий и контрольных вопросов по теме 6 – результаты предыдущих трех тем (3, 4, 5) и т.д.

Анализ результатов выполнения тестов и контрольных вопросов по темам (1, 2, 3) осуществляется с использованием метода минимума, предложенного Такаги‒Сугено [3,4]. Затем, по методу среднего центра, определяются количество (K) и сложность (S) контрольных вопросов: S = S(x1, x2, x3) – сложность заданий; K = K(x1, x2, x3) – количество заданий. На рис.2 показан алгоритм генерирования вариантов вопросов и структуры заданий.

Рис.2. Варианты генерации  тестов и контрольных вопросов

Если студент получает оценку «отлично» за предыдущие задания, то количество вопросов K = 4, а сложность вопросов S6 = {1, 4, 6, 7}. Если  получена оценка «удовлетворительно» за предыдущие задания, то количество вопросов K = 5, а сложность вопросов S1 = {1, 2, 3, 4, 5}.

В алгоритме адаптивного тестирования различают пять уровней усвоения учебного материала: нулевой уровень – понимание новой информации; первый уровень – опознание (выделение) изучаемого объекта; второй уровень – воспроизведение информации по памяти, по образцу; третий уровень – применение алгоритма для решения нетиповых задач; четвертый уровень – творческая деятельность при разработке алгоритма решения задачи.

Исс­ледование возможности повышения эффективности в адаптации тестов связано с уровнем подготовленности обучающихся и их психологическим типом: студенты-синтетики (для них трудны тесты с возможностью множественного выбора вариантов ответа; тесты с открытыми вопросами дают возможность проявить свои творческие способности); студенты-аналитики (выигрывают от тех видов деятельности, которые позволяют им углубиться в детали, проанализировать, сделать вывод; тесты на решение определенных задач позволяют применять свои способности к анализу); импульсивные студенты (хорошо справляются с традиционными тестами с ограниченным сроком выполнения); рефлексирующие студенты (потребуют тесты, в которых не задан лимит времени); индуктивные студенты (утомляются объяснениями преподавателя, не имея возможности попробовать сделать это самим); дедуктивные студенты (живут правилами и любят слушать объяснения преподавателя) [4].

Методика адаптивного тестирования предполагает пошаговую переоценку уровня подготовленности студента, через обучающие тесты градуированного (уровневого) характера. По результатам исследования (100 студентов) преимущества адаптивного тестирования знаний одобряют большинство – 84%; 16% выразили отрицательное отношение. Применение рейтинговой системы стимулирует работу (45%); позволяет более объективно оценивать знания (20%); создает заинтересованность в самостоятельной работе (11%). В результате разработанной технологии получена динамика значительного роста профессионального и личностного развития студентов.

Литература

1.       Аванесов В.С. Композиция тестовых заданий. – М.: Учебная книга. 2002. – 240 с.

2.       Колдаев В.Д. Технология адаптивного тестирования структурно-содержательной модели индивидуального образовательного маршрута студента вуза // «Избранные вопросы современной науки». Монография / Под общей ред. д.п.н., проф. С.П. Акутиной. – М.: Из-во «Перо», 2011. – С.5-37.

3.       Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. – М.: Прометей, 2000. – 168 с.

4.       Колдаев В.Д. Инновационные подходы к технологии управления качеством. «Информационные системы и технологии». Монография / Под общей ред. д.п.н., проф. С.П. Акутиной. – М.: Из-во «Перо», 2011. – С.5-34.