Экономические науки /8. Математические методы в экономики

к.т.н. Косарев В.М.

Днепропетровский университет экономики и права

Использование компьютерного тестирования знаний в высших учебных заведениях

В высших учебных заведениях стран западной Европы и США на протяжении последних десятилетий существует жесткая система промежуточного и итогового контроля знаний студентов в форме тестирования. Как показала мировая практика, при тестовой системе контроля знаний существенно возрастает достоверность их оценивания.

По существующей системе устного итогового экзамена вероятность соответствия оценки реальным знаниям составляет 15÷18%, а при тестировании она возрастает до 80÷95 % [1]. Приведенных результатов можно достичь только при условии строгого соблюдения методики подготовки тестовых заданий, оценки их достоверности и надёжности, правил формирования тестового билета, условий проведения тестового сеанса. Проведение самого тестового сеанса может осуществляться как при помощи специальных бланков, так и с использованием компьютера. Последняя форма проведения тестовых опросов позволяет на несколько порядков снизить материальные затраты на проведение тестирования, а при выполнении определённых технических и организационных условий даже полностью исключить возможность фальсификации результатов.

Однако в последние годы в Украине для проведения вступительных экзаменов в высшие учебные заведения активно используется бланковая система тестирования с довольно дорогостоящей технологией подготовки и проведения тестирования. Рассмотрим эту технологию.

В центре тестовых технологий собирают информацию о желающих пройти тестирование по одной или нескольким дисциплинам. Определяется адрес проведения тестового сеанса и номер посадочного мета тестируемого. Из базы данных (заранее подготовленных тестовых заданий) компьютер выбирает тестовые задания для конкретного тестируемого студента и распечатывает готовый бланк со штрих кодом. В этом бланке содержится закодированная информация о тестируемом студенте, включая номер его посадочного места по адресу проведения тестового опроса. Бланки помещают в специальный конверт, который формируется для одного адреса проведения опроса и опечатывается. Конверт доставляется по адресу специальным нарочным и вскрывается на месте в присутствии комиссии, при этом бланки сразу же раздаются по посадочным местам. После заполнения бланков тестируемыми студентами, их собирают, снова запечатывают в конверт и тем же нарочным возвращают в центр тестовых технологий. Проверка и оценивание результатов в центре происходит путём сканирования бланков с последующей компьютерной обработкой без непосредственного участия оператора. Результаты тестирования с идентифицированной персоной возвращают на место поведения тестирования, а оригиналы заполненных тестовых бланков хранятся в обезличенном виде (только со штрих кодом) в центре тестовых технологий.

В Украине идея компьютерного тестирования знаний студентов на разных этапах обучения в высшем учебном заведении пока остается делом рук отдельных энтузиастов и подвергается яростной критике со стороны самих преподавателей, основной довод которых состоит в том, что тест содержит определённую вероятность угадывания правильных ответов и не может заменить «живого» общения. При этом критики не утруждают себя анализом вероятности угадывания правильных ответов, а составители тестовых материалов, особенно отягощённые учёными степенями и званиями, считают составленный ими тест окончательным и не подлежащим, какой либо корректировки или исправлению. Зачастую сами составители не всегда могут правильно ответить на составленные ими задания, что особенно явно проявляется по истечению нескольких месяцев после составления тестов.

Автором разработана и проверена специальная методика подготовки базы тестовых заданий и проведения компьютерного тестирования в высших учебных заведениях. Предложенная методика позволяет оценить вероятности угадывания правильного ответа в зависимости от структуры тестового задания и ввести соответствующую корректировку в оценку.

Попытки учесть вероятность угадывания правленых ответов в тесте были предприняты известным учёным Аванесовым В.С., который рекомендует использовать следующую формулу для корректировки полученной оценки [2]

(1)

где - скорректированный на угадывание тестовый бал личности, которая прошла тестирование; - тестовый бал личности, которая прошла тестирование, без корректировки; - количество не правильных ответов данных личностью при тестировании; - общее количество вариантов ответов в тестовом задании.

Из структуры формулы (1) следует, что при увеличении количества правильных ответов, количество балов, которое учитывает угадывание, резко уменьшается и возрастает общий бал тестируемого. Приведенная формула имеет ограниченную область применения, а именно может быть использована при однородном тесте закрытой формы с одинаковым количеством дистракторов (вариантов ответов, один из которых правильный) и одним правильным ответом в каждом тестовом вопросе. Например, при пяти вариантах ответов вероятность угадывания правильного ответа довольно высока - 0,2. Независимость сложности тестового задания (совокупность тестового вопроса и вариантов ответов) от вероятности угадывания правильного ответа существенно снижает объективность полученной оценки.

Для оценки вероятности угадывания правильного ответа при различных формах тестовых заданий воспользуемся следующим соотношением:

, (2)

где - вероятность угадывания правильного ответа; - общее количество вариантов ответов; - общее количество ответов; - количество ответов в группе, из которой производят выбор.

Расчётные значения вероятности угадывания правильного ответа по соотношению (2) для тестовых заданий (ТЗ) закрытой и открытой форм с разными принципами построения ответов приведены в таблице

Форма ТЗ и принцип построения ответа	Общее количество ответов в ТЗ	Вероятность угадывания правильного ответа в соответствии с формулой (2)
Закрытая форма ТЗ с одним правильным ответом	5	0,2
Закрытая форма ТЗ с множественным выбором ответов	5	0,04
Закрытая форма ТЗ на установление соответствия частей	9	0,03
Условно открытая форма ТЗ (1 вариант - 5 ответов из 10)	10	0,0016
Условно открытая форма ТЗ (2 вариант - 10 ответов из 20)	20	0,000002

Из приведенной таблицы следует, что при одинаковом количестве вариантов ответов – 5 вероятность угадывания для множественного выбора уменьшается почти на порядок. Закрытая форма на установление соответствия частей при увеличении количества ответов до 9 не даёт существенного снижения вероятности угадывания в сравнении с множественным выбором.

Для практического использования поправку на вероятность угадывания, для приведенных в таблице тестовых форм, можно записать в виде:

(3)

где - количество не правильных ответов; - количество правильных ответов; - скорректированный результат тестирования.

При проведении компьютерного тестирования поправка на вероятность угадывания в соответствии с соотношением (3) вводиться автоматически.

Для адекватной оценки уровня знаний в высшем учебном заведении необходимо, чтобы тестовый сеанс содержал тестовые задания со следующими четырьмя уровнями сложности в соответствии с уменьшающейся от уровня к уровню вероятности угадывания.

Первый уровень сложности ТЗ должен включать терминологию изучаемой дисциплины: основные понятия, термины и определения. Этот уровень следует реализовать по схеме выбора одного ответа из 5 вариантов. Второй уровень сложности ТЗ должен включать основы изучаемой дисциплины: явления, свойства, факты. Этот уровень следует реализовать в вопросах с множественными ответами. Третий уровень сложности включает совокупности изучаемой дисциплины: концептуальные положения, категории, теоремы, законы, модели. Этот уровень следует реализовать в вопросах на соответствие частей. Четвёртый уровень сложности включает программно – следственные алгоритмы изучаемой дисциплины: логические связи, последствия чего-либо, процедуры установления связей и алгоритмов. Этот уровень следует реализовать в группе ТЗ условно открытой формы, когда ответ формируется путем одиночного выбора из достаточного количества блоков (как набор текста, только вместо букв вставляются элементы задания). Формируя тестовый сеанс с одинаковым количеством тестовых заданий каждого уровня сложности (когда при компьютерном тестировании реализован случайный выбор заданий из базы данных для каждой группы сложности) можно обеспечить соответствие оценки реальным знаниям на уровне 80÷95 % .

Однако, при этом, тестовые задания должны обеспечивать необходимый уровень надёжности и валидности (соответствие задания своему назначению) [3].

Литература

1. Марков А.В. Как учат экономистов в университетах США// Экономические науки – 1991.- № 1

2. Аванесов В.С. Форма тестовых заданий. Учеб. пособ.-М., 1991 359 с.

3. Шполянский В.Д., Жила В.Г. Створення тестів та проведення тестового контролю якості підготовки – Луганськ, 1997