К.п.н. Бурмистрова В.А., магистрант Медиева С.К.

Карагандинский государственный медицинский университет, Казахстан,

Карагандинский государственный университет им. Е.А. Букетова, Казахстан

Тестовые задания и тест как наивысшие категории теории педагогических измерений

Качество результатов образовательного процесса (результативный аспект) в отличие от процессуальной стороны на сегодняшний день у многих педагогов-теоретиков и (в особенности) –практиков стоит во главе угла, что, как мы считаем, связано с увеличением доли отчетной документации в системе образования. Как правило, определение качества результатов совместной деятельности обучающихся и педагогов ассоциируется с проведением различных видов контроля (предварительного, текущего, промежуточного, итогового и др.). Согласно Приказа МОН РК №125 от 18.03.2008 «Об утверждении Типовых правил проведения текущего контроля успеваемости, промежуточной и итоговой аттестации обучающихся» (пункт 4) высшие учебные заведения обладают правом выбора формы контроля для определения учебных достижений студентов [11]. Хотелось бы отметить, что среди форм контроля наибольшей популярностью на сегодняшний день пользуется тестирование как одна из наиболее объективных и экономичных форм проверки знаний.

Вопросы тестового контроля рассматриваются в трудах таких ученых – «столпов» педагогических измерений, как В.С. Аванесов [3], В.П. Беспалько [6], А.В. Поддубный [10] и др. В рамках казахстанской педагогической теории и практики различным аспектам тестирования посвящены работы О.Г. Блок [7], Р.С. Досмагамбетовой [9] и др. Что касается дальнего зарубежья, то здесь уместно было бы привести ссылки на труды Р. Берка [1], Г. Кингсбери [2].

Выбор тестирования в качестве ведущей формы контроля неслучаен и объясняется, по нашему мнению, следующими преимуществами тестового контроля:

- технологичностью (определение учебных достижений максимального количества студентов за минимально отведенное время);

- объективностью (отсутствие субъективизма преподавателя при выставлении оценок);

- полнотой охвата содержания учебной дисциплины;

- дифференцирующей способностью и индивидуальным подходом к обучающимся (возможность подготовки разноуровневых / индивидуальных заданий тестового контроля);

- обучающей способностью и пр.

Однако при выборе тестирования в качестве ведущей формы контроля имеются и определенные нюансы, на которых мы бы хотели остановиться подробнее в данной статье. Дело в том, что правильно подобранное содержание задания, а также адекватная форма представления данного содержания – еще недостаточные условия для того, чтобы можно было назвать задание в тестовой форме «тестовым заданием». Для этого заданиям в тестовой форме необходимо соответствовать определенным статистическим требованиям, а именно:

1) задание должно быть известной трудности (если неизвестна трудность задания, то оно не является тестовым). С показателем трудности заданий связана доля неправильных ответов (qj) (см. таблицу 1).

2) задания должны обладать дифференцирующей способностью. Все задания, которые не имеют данной способности, не являются тестовыми заданиями. К ним относятся:

- такие задания, на которые все испытуемые отвечают правильно: слабоуспевающие студенты отвечают на представленные задания также верно, как и сильные обучающиеся, это свидетельствует о каком-либо дефекте задания, позволяющем угадать правильный ответ, то есть задание обладает низкой дифференцирующей способностью и не может рандомизировать испытуемых по уровню их подготовленности, либо задание является слишком легким;

- такие задания, на которые все испытуемые отвечают неправильно, что свидетельствует о повышенной трудности задания;

3) задания должны быть системными, что проверяется при установлении корреляции баллов каждого конкретного задания с баллами по всему тесту (см. таблицу 2).

Таким образом, «тестовое задание – это составная единица теста, отвечающая требованиям формы, содержания, технологичности и статистическим требованиям» [4].

Для определения тестовых свойств заданий в тестовой форме используются матрицы – «система каких-либо математических величин, расположенных в виде прямоугольной схемы» [12, с.237]. В теории педагогических измерений В.С. Аванесова под «матрицей» понимается «форма организации, сохранения, представления и обработки данных» [4]. Для достоверности измерений количество испытуемых (строки) должно быть больше количества предложенных заданий (столбцы). Минимальное соотношение должно быть не менее 5:1. Рассмотрим подобные расчеты на учебной матрице, приведенной в работе В.С. Аванесова «Проблема качества педагогических измерений» [4].

Следует сразу оговориться, что в матрицу не заносятся задания в тестовой форме, не обладающие дифференцирующей способностью (см. требование №2), а также данные всех «неподходящих» испытуемых. Таковыми являются те, кто набрал 0 баллов за весь тест (то есть, проанализировав результаты ответов данных испытуемых, мы не сможем сделать вывод о ценности заданий в тестовой форме), и те, кто получил 100 баллов (то есть это означает, что задания в тестовой форме являются слишком легкими для данных испытуемых и им требуется другой уровень сложности; либо данный факт может указывать на пролонгированное время тестирования, которое необходимо уменьшить в следующий раз для получения более достоверных данных).

Итак, матрица может выглядеть следующим образом, как это показано в таблице 1.

Таблица 1 - Пример матрицы тестовых результатов [4]

№	Х1	Х2	Х3	Х4	Х5	Х6	Х7	Х8	Х9	Х10	Yi	pi	qi	pi/qi	lnpi/qi
1.	1	1	1	0	1	1	1	1	1	1	9	.90	.10	9	2.20
2.	1	1	0	1	1	1	1	1	1	0	8	.80	.20	4	1.39
3.	1	1	1	1	0	1	1	0	1	0	7	.70	.30	2.33	.85
4.	1	1	1	1	0	1	0	1	0	0	6	.60	.40	1.50	.40
5.	1	1	1	1	1	1	0	0	0	0	6	.60	.40	1.50	.40
6.	1	1	1	1	0	0	1	0	0	0	5	.50	.50	1.00	0
7.	1	1	0	1	1	0	1	0	0	0	5	.50	.50	1.00	0
8.	1	1	1	1	1	0	0	0	0	0	5	.50	.50	1.00	0
9.	1	0	1	0	1	1	0	0	0	0	4	.40	.60	.66	-.42
10	0	1	1	0	0	0	0	1	0	1	4	.40	.60	.66	-.42
11	1	1	1	0	0	0	0	0	0	0	3	.30	.70	.43	-.84
12	1	1	0	0	0	0	0	0	0	0	2	.20	.80	.25	-1.39
13	1	0	0	0	0	0	0	0	0	0	1	.10	.90	.11	-2.21
Rj	12	11	9	7	6	6	5	4	3	2	65 - ∑ Yi
Wj	1	2	4	6	7	7	8	9	10	11
pj	.923	.846	.692	.538	.462	.462	.385	.308	.231	.154	5 - M
qj	.077	.154	.308	.462	.538	.538	.615	.692	.769	.846
pjqj	.071	.130	.213	.248	.248	.248	.236	.213	.178	.130
qj/pj	.083	.182	.445	.859	1.164	1.164	1.597	2.246	3.329	5.493
lnqj/pj	-2.489	-1.704	-.810	-.152	.152	.152	.468	.809	1.202	1.703

Обозначения, используемые в матрице тестовых результатов:

Х – задание;

j – номер задания;

I – номер испытуемого;

N – количество испытуемых;

Y_i – количество баллов за тест определенного испытуемого;

∑ Y_i – сумма баллов за тест всех испытуемых;

M – средний арифметический балл в группе;

R_j – количество правильных ответов в каждом конкретном задании;

W_j – количество неправильных ответов в каждом конкретном задании;

p_j – доля правильных ответов по конкретному заданию - по формуле:

R_j

p_j = N;

q_j – доля неправильных ответов по конкретному заданию - по формуле:

W_j

q_j = N;

p_j* q_j – дисперсия баллов по каждому конкретному заданию;

∑ p_j=M (5 – в нашем случае);

∑ R_j=∑ Y_i (65 – в нашем случае);

R_j+ W_j=N (13 – в нашем случае);

pj+qj=1

При этом, как мы упоминали ранее, по вертикали располагаются Ф.И.О. (или же номера) испытуемых (в нашем случае их 13), по горизонтали – номера заданий (в нашем случае их 10). При этом, в первой строке располагается Ф.И.О. испытуемого, набравшего наибольшее количество баллов по тесту, в 13 строке – Ф.И.О. испытуемого, набравшего наименьшее количество баллов по тесту; в первом столбце находится номер наиболее легкого задания, то есть задания, на которое большинство испытуемых ответило правильно, в 10 столбце – наиболее трудное задание.

После упорядочивания результатов ответов испытуемых на задания в тестовой форме таким образом, как это продемонстрировано в рамках матрицы тестовых результатов (таблица 1), составляется корреляционная матрица, в рамках которой определяется корреляция каждого задания с баллами по всему тесту (то есть выявление системной функции задания) – таблица 2 [4].

Таблица 2 - Корреляционная матрица по заданию №7 [4]

Испытуемые	X7	Y	X7Y	X^2	Y^2
1.	1	9	9	1	81
2.	1	8	8	1	64
3.	1	7	7	1	49
4.	0	6	0	0	36
5.	0	6	0	0	36
6.	1	5	5	1	25
7.	1	5	5	1	25
8.	0	5	0	0	25
9.	0	4	0	0	16
10.	0	4	0	0	16
11.	0	3	0	0	9
12.	0	2	0	0	4
13.	0	1	0	0	1
∑	5	65	34	5	387

Обозначения, используемые в корреляционной матрице по заданию №7:

X₇ – количество баллов каждого испытуемого по заданию №7;

∑ - сумма;

Y – количество баллов за тест определенного испытуемого;

X₇Y – произведение количества баллов каждого испытуемого по заданию №7;

X² – количество баллов каждого испытуемого по заданию №7, возведенное в квадрат;

Y² – количество баллов за тест определенного испытуемого, возведенное в квадрат.

После построения второй (в нашем случае учебной) матрицы В.С. Аванесов предлагает для проверки системности задания произвести нижеследующие расчеты по 4 формулам [4]:

1) SS₇ = - ,

где SS₇ – это «сумма квадратов отклонений баллов испытуемых от среднего арифметического балла в интересующем задании» [4].

2) SS_у = = 387 - = 62,

где SS_y – это «сумма квадратов отклонений тестовых баллов испытуемых от среднего арифметического балла по всему тесту» [4].

3) SP_xy = - 34 - 9,

где SP_xy – это «скорректированная на средние значения сумма попарных произведений X и Y» [4].

4) r_xy = = ,

где r_xy – это «коэффициент корреляции» [4].

Для того, чтобы задание в тестовой форме можно было назвать тестовым необходимо, чтобы его коэффициент корреляции - r_xy был не ниже, чем 0,3. Задания в тестовой форме, чей коэффициент корреляции < 0,3, не является системным. Такие задания не включаются в тест, равно как и задания, не имеющие дифференцирующей способности.

Существуют и другие способы статистической обработки результатов тестирования по заданиям в тестовой форме, которые подробно представлены в статье В.С. Аванесова «Проблема качества педагогических измерений» [5]. Свои расчеты по определению коэффициента корреляции можно, например, проверить, воспользовавшись формулой для подсчета бисерального коэффициента, предложенной Дж. Гласс и Дж. Стэнли [8, с.150].

Произведя все расчеты и отобрав, таким образом, задания в тестовой форме, которые могут быть названы тестовыми, мы перешли к наивысшей ступени педагогических измерений в теории В.С. Аванесова, а именно – собственно к понятию «тест», под которым понимается «педагогическая система заданий специфической формы, РАВНОМЕРНО ВОЗРАСТАЮЩЕЙ ТРУДНОСТИ (выделено нами), позволяющая качественно оценить структуру и измерить уровень подготовленности» [4]. То есть тестом можно назвать тестовые задания (которые мы отобрали в ходе статистико-математической обработки), расположенные, начиная с самого легкого задания, на которое большинство испытуемых ответило правильно, до самого сложного тестового задания.

Учитывая вышеизложенное, можно констатировать, что бόльшая часть используемых в педагогической практике «тестов» таковыми не являются и не могут служить средством объективной оценки знаний испытуемых, что интуитивно осознается огромным количеством критиков тестирования. Тем не менее, правильно разработанные тесты с учетом изложенных нами методологических положений могут служить незаменимой формой контроля и самоконтроля, а также обучения и самообучения.

Literature:

1. Berk, R.A. A Guide to Criterion-Referenced Test Construction. – Baltimore: The John Hopkins Univ. Press. – 1984. – 347 p.

2. Kingsbury, G.G., Zara, A.R. A comparison of procedures for content – sensitive item selection in computerized adaptive tests //Applied Measurement in Education. – 1991. – №4. – P. 241-261.

3. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: автореф. … д-ра пед. наук: 13.00.01. – СПб, 1994. – 32 с.

4. Аванесов В.С. Научные основы тестового контроля знаний. – М.: Исследовательский Центр, 1994. – 135 с.

5. Аванесов В.С. Проблема качества педагогических измерений //Педагогические измерения. – 2004. - №2. – С. 3-31.

6. Беспалько В.П. Педагогика и прогрессивные технологии обучения. – М., 1995. – 336 с.

7. Блок О.Г. Учебно-методическое пособие по составлению тестовых заданий для оперативной оценки знаний студентов (на примере дисциплины «Психодиагностика»). – Караганды: Изд-во КарГУ, 2002. – 78 с.

8. Гласс, Дж., Стэнли, Дж. Статистические методы в педагогике и психологии. – М.: Прогресс, 1976. – 496 с.

9. Кулмагамбетов И.Р. Тестовый контроль в медицинском ВУЗе: методические рекомендации /И.Р. Кулмагамбетов, Р.С. Досмагамбетова, Н.С. Умбеталина, Е.М. Тургунов. – Караганда, 2001. – 36 с.

10. Поддубный А.В. Методические основы педагогического тестирования: учебное пособие /А.В. Поддубный, И.К. Панина, Л.Я. Ащепкова. – Владивосток: Изд-во Дальневосточного ун-та, 2003. – 119 с.

11. Приказ МОН РК №125 от 18.03.2008 «Об утверждении Типовых правил проведения текущего контроля успеваемости, промежуточной и итоговой аттестации обучающихся». – Астана, 2008. – 34 с.

12. Словарь русского языка (в четырех томах) /под ред. А.П. Евгеньевой. – М.: Русский язык, 1986. – Т. 2. – 736 с.