Педагогические науки/2. Проблемы подготовки специалистов

К.п.н. Абдрахманова И.В.

Волгоградская государственная академия физической культуры, Россия

Методологические основы разработки педагогических измерителей по математике

Концепция компетентностно-ориентированного обучения в высшей школе предполагает радикальные изменения в системе диагностирования. Основной задачей контроля становится выявление уровня сформированности общекультурных и профессиональных компетенций. Степень разработанности методики конструирования компетентностно-ориентированных педагогических измерителей не соответствует указанной выше задаче. Это подтверждает актуальность проблемы определения методологических основ построения системы диагностических материалов.

Мы в своих работах рассматриваем компетенцию как совокупность личностных качеств индивида, отражающих владение знаниями, умениями, навыками, обеспечивающими способность и готовность к продуктивной профессиональной деятельности. [1] Изучение математики в физкультурных вузах направлено на формирование следующих общекультурных и профессиональных компетенций:

- владеет методами количественного анализа и моделирования, теоретического и экспериментального исследования (ОК–15);

- умеет применять количественные и качественные методы анализа при принятии управленческих решений и строить экономические, финансовые и организационно-управленческие модели (ПК–31);

- способен выбирать математические модели организационных систем, анализировать их адекватность, проводить адаптацию моделей к конкретным задачам управления (ПК–32).

Реализация контролирующей функции обучения в условиях компетентностно-ориентированной информационной обучающей среды предполагает создание фонда оценочных средств, позволяющих осуществлять различные виды диагностирования. С этой целью в практике отечественного высшего образования широко используется процедура тестирования. Мы рассматриваем тест с двух позиций: как метод и как результат реализации контрольной процедуры, так как любой метод предполагает наличие оценки степени его эффективности и качества измерения испытуемых различного уровня подготовленности на основе анализа результатов его использования.

Авторы исследований по педагогическим измерениям определяют структуру теста как единство следующих систем: содержательной системы знаний, описываемой языком проверяемой учебной дисциплины; формальной системы заданий возрастающей трудности и статистических характеристик заданий и результатов испытуемых. [2]

Коррекция базы диагностических материалов, разработанных на основе такой концепции, невозможна без анализа внутренних и внешних взаимосвязей этих систем. Мы определяем тест как развивающуюся диагностическую систему, и его модернизация должна носить спиралевидный характер во избежание нарушения его структуры и целостности.

Тестовая оценка носит точечный характер, и степень ее адекватности характеризуется соответствием требованиям несмещенности, состоятельности и эффективности. Для подтверждения несмещенности тестовой оценки в настоящем исследовании проверялась гипотеза о незначимости различий ее математического ожидания и соответствующего значения, получаемого при реализации других видов контроля (аудиторных письменных работ, устных отчетов, индивидуальных самостоятельных работ студентов). Состоятельность оценки определялась на основе анализа ее сходимости к заявленному значению при росте числа испытаний или количества испытуемых. Производился расчет предельных значений рейтинговых оценок при изменении количества и качества предлагаемых тестовых заданий, а также при варьировании количественного и качественного состава тестируемых студентов. Минимизация дисперсии оценки обеспечивает ее эффективность. Рассчитав и сопоставив дисперсии оценок, полученных в результате тестирования и оценок, определенных при осуществлении других методов контроля, мы сделали вывод о степени ее эффективности.

В исследовании рассматривался процесс разработки заданий для оценки степени владения методами количественного анализа (ОК–15) студентов первого и второго курсов направления подготовки 38.03.02 «Менеджмент». При этом были определены следующие уровни сформированности данной компетенции:

- первый уровень (характеризуется умением интерпретировать элементарные математические сведения, представленные в графической или аналитической форме, владением дефинициями в стандартных условиях);

- второй уровень (определяется умением выявлять закономерности, определяемые данными математическими моделями);

- третий уровень (предполагает умение варьировать характеристики математических моделей в соответствии с предложенными изменениями начальных условий, определять границы применимости моделей).

Если при выполнении письменных работ или устных отчетов студент многократно демонстрировал указанное умение, то степень сформированности этого умения считалась высокой; в случае 1-2 ошибок вследствие описок или невнимания – средней; при многократных ошибках – низкой.

Диагностирование производилось при изучении указанных ниже тем:

Тема 1. Аналитическая геометрия на плоскости.

Тема 2. Элементы линейной алгебры.

Тема 3. Аналитическая геометрия в пространстве.

Использовались следующие виды диагностических процедур:

1. письменные работы (аудиторные проверочные работы, расчетно-графические самостоятельные работы, программированный опрос);

2. устные отчеты (собеседование преподаватель-студент, парная работа с взаимоопросом и взаимооцениванием),

3. тестирование.

В таблице 1 представлены результаты испытаний, отражающие средние весовые значения верно выполненных заданий по каждому виду контроля.

Таблица 1. Результаты испытаний в группах 101М и 201М (в %)

Тема	Тема 1			Тема 2			Тема 3					Итоговое тестирование
Вид отчета	1	2	3	1	2	3	1	2		3
Студент	Результаты испытания
Б. Д.	45	52	49	37	50	50	51		62		46	50
В.А.	64	73	70	65	70	62	69		75		65	70
К.Е.	57	50	54	54	54	62	66		65		64	60
К.М.	58	49	55	68	37	54	62		59		50	55
К.Л.	67	72	71	73	80	64	57		82		75	70
К.Д.	65	80	74	69	75	72	69		70		84	75
К.С.	69	73	70	70	85	72	59		63		80	70
Л.К.	60	54	58	68	74	70	70		45		68	65
М.А.	83	95	92	85	90	95	93		100		100	90
М.Н.	85	97	95	83	94	90	80		92		95	95
О.В.	57	49	59	59	63	60	55		50		69	60
П.В.	59	62	67	65	75	69	52		60		68	65
С.А.	64	67	67	48	65	62	62		65		69	65
С.А.	43	68	62	35	55	60	50		58		60	55
Т.В.	76	82	80	75	89	84	75		92		83	85
Ф.Т.	70	90	85	75	92	88	67		80		85	80
Х.Д.	41	64	59	35	60	62	49		54		60	55
Ч.Д.	56	44	52	59	40	56	50		65		60	50
Ю.Л.	60	63	62	55	45	59	50		68		82	60

Построение уровневой иерархии производилось следующим образом:

группа I уровня – оценка итогового тестирования ниже 65 % (8 испытуемых);

группа II уровня – оценка итогового тестирования от 65% до 75% (7 испытуемых);

группа III уровня – оценка итогового тестирования выше 75% (4 испытуемых).

Произведя уровневое разбиение, мы определили внутригрупповые значения дисперсии для каждого вида оценивания и сравнили со значением дисперсии оценки итогового тестирования по каждой группе. Наибольшие показатели дисперсии соответствовали оценкам письменных работ по теме «Элементы линейной алгебры» студентов группы первого уровня (163,64), оценкам устных отчетов по теме «Аналитическая геометрия в пространстве» студентов группы II уровня (139,90) и оценкам письменных отчетов по теме «Аналитическая геометрия в пространстве» студентов группы III уровня (118,92). Эта особенность объясняется условиями выполнения работ. При составлении письменных отчетов в отсутствие цейтнота и при использовании возможностей самоподготовки и консультирования, студенты с низким уровнем подготовки могут получать оценки существенно выше средних. При игнорировании требований преподавателя соответствующие оценки могут быть значительно ниже средних. Студенты с относительно высоким уровнем математической культуры совершают множественные расчетные ошибки в простейших вычислениях. Большая варьируемость оценок устных отчетов студентов группы II уровня объясняется качественной теоретической подготовкой при недостаточных практических навыках и отсутствием объективности оценивания в системе «студент – студент». Данные представлены в таблице 2.

Таблица 2. Сравнение внутригрупповых оценок по диагностическим процедурам.

Тема	Тема 1			Тема 2			Тема 3
Вид отчета	1	2	3	1	2	3	1	2	3
Уровень	Значение дисперсии
I	59,55	77,27	22,57	163,64	86,00	17,84	41,55	36,98	43,13
II	12,67	73,24	25,81	66,95	41,81	20,24	48,95	139,90	40,57
III	47,00	44,67	46,00	27,67	4,92	20,92	118,92	68,00	65,58
Уровень	Расчетное значение критерия Фишера
I	3,42	4,44	1,30	9,40	4,94	1,02	2,39	2,12	3,22
II	1,13	5,13	1,81	4,69	2,93	1,42	3,43	9,79	2,84
III	1,13	1,07	1,10	1,51	8,47	1,99	2,85	1,63	1,57

Учитывая, что для студентов группы I уровня критическое значение критерия Фишера 2,78, для студентов группы II уровня – 3,05, а для студентов группы III уровня – 5,39, мы сделали вывод, что с доверительной вероятностью 95% можно утверждать, что группы II и III уровней однородны по показателю тестовой оценки. Для группы I уровня однородность нарушается при тестовом оценивании по теме «Аналитическая геометрия в пространстве». Двое испытуемых верно выполнили 69% и 82% предложенных заданий, что значительно выше, чем результаты итогового тестирования (у испытуемых этот результат составил 60%). Возможно, при тестировании были нарушены условия тестирования, например, студенты воспользовались внешним консультированием.

Вычислив средние индивидуальные оценки испытуемых по каждой теме, мы определили индивидуальные средние квадраты отклонений от этих показателей по каждой процедуре и рассчитали соответствующие дисперсии. Результаты представлены в таблице 3.

Таблица 3. Сравнение индивидуальных оценок по диагностическим процедурам и средних тематических оценок.

Тема	Тема 1			Тема 2			Тема 3
Вид отчета	1	2	3	1	2	3	1	2	3
Уровень	Значение дисперсии
I	61,88	39,63	6,25	110,75	72,75	36,88	56,63	25,38	62,63
II	21,83	14,00	3,67	30,17	42,17	19,00	73,33	72,33	73,17
III	91,45	46,01	10,19	85,76	51,71	18,78	116,16	60,13	60,76
Уровень	Расчетное значение критерия Фишера
I	3,55	2,28	2,79	6,36	4,18	2,12	3,25	1,46	3,60
II	1,53	1,02	3,90	2,11	2,95	1,33	5,13	5,06	5,12
III	2,19	1,10	4,09	2,06	1,24	2,22	2,79	1,44	1,46

Очевидно, что тестовая оценка имеет наименьшую дисперсию для всех групп за исключением группы I уровня по причинам, указанным выше. Таким образом, подтверждена эффективность тестовой оценки, полученной посредством использования разработанных педагогических измерителей. Также установлена неоднородность групп по индивидуальным оценкам тестирования. Студент может демонстрировать глубокие знания при изучении одной темы, но при этом испытывать существенные затруднения при освоении другой.

При исследовании несмещенности тестовой оценки мы рассматривали в качестве нулевой гипотезы положение о незначимости различий между средней оценкой тестирования по каждой из тем и средней оценкой, полученной с учетом всех видов диагностирования. Используя критерий Стьюдента для связанных выборок, мы проверили гипотезу на уровне значимости 5%. Результаты расчетов представлены в таблице 4.

Таблица 4. Сравнение средних оценок

Уровень	I			II			III
Тема	1	2	3	1	2	3	1	2	3
Ср. оценка тестирования	56,50	57,88	61,38	68,14	67,29	72,71	88,00	89,25	90,75
Ср. итоговая оценка	54,75	53,00	58,50	67,00	69,29	66,86	85,75	86,75	86,75
Дисперсия оценки теста	22,57	17,84	43,13	25,81	20,24	40,57	46,00	20,92	65,58
Дисперсия итоговой оценки	15,93	20,00	24,86	30,33	33,57	27,14	38,92	10,92	80,25
Расчетное значение критерия Стьюдента	0,80	2,24	0,99	0,40	0,72	1,88	0,49	0,89	0,66
Критическое значение критерия Стьюдента	1,761			1,782			1,943

Согласно данным таблицы, в большинстве представленных случаев нет оснований для отклонения нулевой гипотезы с доверительной вероятностью 95%. То есть оценка, получаемая посредством тестирования с использованием системы педагогических измерителей, обладает качеством несмещенности. Однако в двух случаях (группа I уровня, тема 2 и группа II уровня, тема 3) расчетное значение критерия превысило критическое. Следует провести дополнительное исследование для определения причин такого отклонения.

Литература:

1. Абдрахманова И.В., Сандирова М.Н. Методика конструирования диагностического инструментария по математике в вузах в условиях компетентностно-ориентированного обучения // Фундаментальные исследования. – 2014. – № 6–5. – С. 1028-1031; URL: www.rae.ru/fs/?section=content&op=show_article&article_id=10003554 (дата обращения: 29.03.2015)

2. Виды тестов и формы тестовых заданий [Электронный ресурс]. – Режим доступа: http://revolution.allbest.ru/pedagogics/00078143_0.html (дата обращения: 17.03.2015).