Тарасов В.М.

Алматинский институт энергетики и связи, Алматы, Казахстан

О достоверности тестирования

В статье описаны результаты применения тестовой программы, описанной в [1], в качестве тренажера и для промежуточного контроля знаний учащихся. Примененная программа отличается тем, что в ней фиксируются и систематизируются все действия учащихся и возможно получение отчета по проведенным тестам не зависимо от времени их прохождения.

При тестировании учащийся, не знающий материал в полном объеме, при выборе ответов на незнакомые вопросы, выбирает какие-то ответы, и может случайно дополнительно набрать определенное количество правильных ответов, получив, например, незаслуженный зачет. Определим вероятность получения незаслуженного зачета при определенных условиях.

Рассмотрим эту проблему в таком виде. В тесте 30 вопросов. Учащийся точно знает ответы на 15 из них. Но, продолжая отвечать на оставшиеся вопросы, он может угадать правильные ответы еще к нескольким вопросам.

Рассчитаем вероятность набора 70% баллов, установленных в качестве зачета (в данном случае 21 балл), за счет случайного угадывания шести или более правильных ответов при наличии в тесте от 3-х до 6-ти правдоподобных ответов на каждый вопрос.

По формуле Бернулли вероятность угадывания определенного количества случайных правильных ответов k при общем количестве вопросов N рассчитывется следующим образом:

где N – количество незнакомых вопросов;

k – ожидаемое число случайных правильных ответов;

- число сочетаний из N элементов по k;

P_t (P_f )– вероятность выбора правильного (неправильного) ответа.

По результатам расчетов построена диаграмма, показанная на рисунке 1. Из нее видно, что вероятность случайно получить зачет у учащегося весьма высокая при 3-х или 4-х ответах на вопрос.

Повторное тестирование нами применялось при использовании теста в роли тренажера и как средство помогающее увеличить достоверность тестирования. Учащиеся часто неправильно понимают поставленный вопрос особенно, если в нем содержится отрицание.

Наша программа тестирования позволяет сделать определенные выводы о знаниях и логических способностях учащихся. Просмотрев результаты теста, учащийся, определив вопросы, в которых он допустил ошибку, после логического анализа может указать во второй попытке правильный ответ. В выкопировке из отчета в таблице 2, показаны результаты прохождения теста во время тренировки (приведены результаты только по 18 вопросам).

Таблица 2 - Выкопировка из отчета по тестированию

Номера вопросов

Фамилия Баллы 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Пенин Д 7 0 0 0 0 0 0 0 1 0 1 1 0 0 1 1 0 1 1

Пенин Д 12 0 1 1 0 0 1 1 0 1 1 1 0 1 1 0 1 1 1

Пенин Д 15 1 1 1 0 1 1 1 0 1 1 1 0 1 1 0 1 1 1

Примечание. Единицы обозначают правильный ответ, нули неправильный.

Посмотрите, как Пенин уверенно улучшал свой результат. Ответив один раз правильно на вопрос, он уже не терял этот результат. В тоже время были учащиеся, которые, указав правильный ответ, при следующей попытке теряли его. У них на экране наблюдается полный хаос нулей и единиц.

Иногда для увеличения достоверности результатов тестирования применялись «параллельные» вопросы. При этом составленные вопросы имеют один и тот же набор ответов, но верные ответы для каждого вопроса различные. Если учащийся действительно знает данную тему, то он найдет все правильные ответы. Эти тесты еще интересны и тем, что написать 5- 6 правдоподобных ответов не представляет особого труда, смотрите пример ниже.

Пример составления «параллельных» вопросов

Выводы

1. Для увеличения достоверности результатов теста, количество правдоподобных ответов должно быть не менее пяти.

2. Программа позволяет, при необходимости, выявить действительный уровень знания учащихся по данному предмету.

Литература:

Тарасов В.М. Хан С.Г. АРМ преподавателя для мониторинга знаний учащихся. Сборник тезисов научно-практической конференции «Проблемы развития энергетики и телекоммуникаций в свете стратегии индустриально-инновационного развития Казахстана». – Алматы, 2005, с. 150.