Педагогические  науки/2. Проблемы подготовки специалистов.

Д. п. н. Гурина Р.В., Бедаш В.В.

Ульяновский государственный университет

РАНГОВЫЙ АНАЛИЗ В УПРАВЛЕНИИ КАЧЕСТВОМ

ОБРАЗОВАНИЯ

В проблеме подготовки специалистов в области педагогики недостаточно внимания уделяется вопросам управления качеством в образовании, при этом они являются одними из самых трудных и актуальных. Среди многих задач, которые решает управление качеством (УК), в том числе в сфере образовательных услуг, наиболее важными являются задачи результативности (достигнут ли запланированный результат), эффективности (какой ценой достигнут результат и насколько эффективно работает система), оптимизации (способы оптимизации системы или процесса). Эти задачи неразрывно связаны с понятиями «валидация» и «верификация». Валидация – проверка на валидность. Верификация - это подтверждение соответствия определённым эталонным требованиям.

Одним из методов, широко применяемых в УК, является метод ранжирования – приведения значений параметра объектов системы в соответствие рангу (номеру объекта ранжирования) в порядке убывания этого параметра и представление результатов в виде рангового распределения (РР) или рейтинга (то есть в виде набранной суммы баллов, очков, интегративных показателей и т. д., и распределения их по степени убывания). Однако, этот метод недостаточно объективен, так как верхние и нижние границы эффективности систем по рейтинговым таблицам устанавливаются, как правило, субъективным решением судей: проводится черта, ниже которой система объявляется неэффективной и требующей оптимизационных процедур.

В методологии науки используется метод рангового анализа (РА) (ценологический подход) в решении подобных задач [1-4]. При этом этот метод опирается на строгий математический аппарат и доказательность(в отличие от описанного выше),. Профессор МЭИ Б.И. Кудрин является основателем ценологической школы исследователей, применяющих РА для исследования и оптимизации систем разных видов (wwwkudrinbi.ru) [1]. Теория РА для техноценозов была разработана им более 30 лет назад и перенесена его последователями на другие области знаний. Применим ли ценологический подход в УК образовательных систем (процессов)? Ответ на этот вопрос даётся в предлагаемой статье.

Во-первых рассмотрим методологические аспекты ценологического подхода, затем оценим, насколько метод РА может быть использован в УК образовательных систем.

1. Сущность метода рангового анализа

Многие реальные системы объективного мира, как естественнонаучные так и социальные, являются ценозами. Ценоз – это сообщество. Особь – элемент (единица) ценоза, он же и объект ранжирования. В технике «особи» – технические изделия. Такая терминология перенесена из теории биоценозов. Однако не любое сообщество – ценоз. Система является ценозом, если РР объектов в нём представляет собой гиперболическое распределение [1]:

, (1)

где W – ранжируемый параметр системы, r – ранговый номер элемента (особи) в ней (1, 2, 3…), А – максимальное значение параметра W с рангом r =1, b – ранговый коэффициент, или степень крутизны гиперболы.

Впервые же гиперболические РР описал Ципф применительно к текстам (W – частота, с которой встречается определённое слово в тексте) [5], поэтому уравнение (1) описывает также распределение Ципфа.

Ценологический подход предполагает рассмотрение образовательных систем как социальных ранговых систем-ценозов, для которых справедлив гиперболический закон РР (1) [3, 4]. Ядром РА является применение гиперболического закона РР (1).

Идеальные гиперболические РР представлены на рис. 1, а, кривые 1, 2; пример реального РР с аппроксимацией – на рис.1, б. Идеальный ценоз-система устойчив, любые отклонения его элементов от гиперболической зависимости в РР (1) вносит в неё дисбаланс и неустойчивость и требуют оптимизации. Оптимизация заключается в устранении аномальных отклонений от закона РР (1).

б)

–

Рис.1. РР в педагогических сообществах

а) Модели РР : кривые 1, 2 – типичные гиперболические РР, b₁>b_2. ; 3 – линейное убывание рейтингового параметра W с ростом ранга W = 100 – k r; 4 – W = const = А (все имеют максимальный рейтинг, т.е. все отличники).

б) Реальное РР количества 100-балльников ЕГЭ по регионам РФ в 2012 году с аппроксимацией: b = 0,6; W – число 100-балльников; r – ранговый номер региона.

Графическое изображение табличных данных РР и их аппроксимация к зависимости (1) обеспечивает не только наглядность, но и научный уровень представления знания о характере рангового убывания. Закон (1) даёт объяснение того факта, что лучших особей в любом ценозе мало – в среднем не более 20%, что соответствует закону Парето 80/20 [6]. Это зависит от крутизны кривой распределения – коэффициента b, рис. 1, а, кривые 1,2. Совокупность лучших объектов ценоза представляет по терминологии ценологической теории элиту или «ноеву касту». Основной же «вес» в гиперболическом РР принадлежит среднестатистическому большинству («саранчёвой касте»).

На большом статистическом материале доказано, что гиперболический закон РР (1) справедлив для образовательных систем на разных уровнях (wwwgurinarv.ulsu.ru) [3, 4 и др.]. Образовательные системы являются ценозами, а объекты ранжирования в них – учащиеся, классы, школы и т.д., их параметры – это успеваемость, рейтинг в баллах, показатели эффективности и т.п. Следовательно, закон РР можно и целесообразно применять в УК образования. Применение РА в УК включает 2 этапа.

I. Проверка системы на «ценозность»: 1) построение табулированного, а затем графического РР; 2) аппроксимация РР математической зависимостью (1) с помощью компьютерных программ и определение параметров РР: b, А, квадрата коэффициента регрессии R^2, который показывает степень приближения реального РР к теоретическому (1).

II. Анализ результатов и выявление возможностей применения РА к процедурам валидации, верификации, оптимизации.

2. Применение метода рангового анализа в системе образования

А) Оценка валидности тестовых заданий

В системе образования РА применяется для проверки надёжности и валидности (пригодности) олимпиадных, контрольных и тестовых заданий, рейтинга учащихся и т.п. Адекватный рейтинг, правильно составленные и правильно проверенные олимпиадные, тестовые и контрольные задания приводят к результатам, которые отражаются гиперболическим законом РР. Знание закона (1) и построение графических РР необходимо для управления образовательным процессом и его прогнозирования. Наличие РР в виде списка не даёт информации о характере убывания: оно может происходить по другому закону.

Элитные объекты в образовательном ценозе согласно (1) составляют меньшинство. Если бы убывание шло линейно (рис 1, а, график 3), то число лучших, средних и слабых учащихся составляло бы поровну – по 1/3 в каждой категории. А по параболическому сценарию убывания W(r) (на рисунке не указан) лучших в системе было бы ещё больше – 2/3. Но в реальных системах это не так. Любые недочёты в рейтинговой системе оценки, валидности и надёжности тестовых заданий дают искажения в форме РР: выпадение точек из теоретической аппроксимированной кривой, горбы, хвосты, изломы, отступление РР от гиперболы. Это утверждение верно лишь при наличии адекватных организационных условиях проведения оценочных мероприятий – только тогда искажения в кривой (1) можно будет отнести к качеству оценочных заданий.

Целесообразно выделение нескольких (3-5) уровней валидности. Например грубая шкала 3-х уровней валидности выделяет:

· 0-валидность, при этом графики РР – это прямые, параллельные оси рангов (прямая 4 на рис 1, а);

· средний уровень (удовлетворительная валидность) – гипербола вырождена в другие графические зависимости, например, линейную (график 3, рис. 1, а); гипербола сильно искажена;

· высокий уровень валидности, на графике выражается гиперболой с высоким уровнем аппроксимации зависимостью (1) с R^2 около 0,9.

На рис. 2 приведены примеры РР высокого (рис.2, а) и среднего (рис. 2, б) уровней валидности тестовых заданий по физике.

а) б)

Рис. 2. Графики РР (W– балл, r – ранговый номер учащегося):

а) рейтинг ЕГЭ по математике абитуриентов ИФФВТ УлГУ 2011 г., β = 0.14; R^2 = 0.90;

б) рейтинг студентов 1 курса ИФФВТ УлГУ по результатам теста по физике (1 семестр, 2011 год).

На рис.2, а представлен график с аппроксимацией реального РР рейтинга в баллах (W) – результатов ЕГЭ 117 выпускников школ, поступивших в 2011 году на инженерно-физический факультет высоких технологий (ИФФВТ) УлГУ по математике. По обе стороны аппроксимационной кривой – контуры линий доверительного интервала, составляющего 0,95. R^2 = 0,9 показывает высокую степень приближения эмпирических точек к теоретической гиперболе. Из графика 2, а видно: высокие баллы – более 70 – получили лишь 5 человек из 117 респондентов (4,3%) при максимальном балле 82; Аналогичные графики (не приводятся) получены для РР результатов по физике и обществознанию. По физике лишь 3,3% из 90 чел. получили более 70 баллов; по обществознанию – 12% из 25 абитуриентов.

Из графика 2, б следует, что по результатам теста рейтинг студентов распределён равномерно: сильных, средних и слабых поровну, что не может соответствовать реалиям. Это подтвердили результаты экзамена в конце 1 семестра по этому предмету, показавшие гиперболическое РР учащихся. Следовательно, тест был недостаточно валидный. Для увеличения валидности теста надо заменить часть задач более сложными, увеличить число предполагаемых ответов в каждом задании, исключить списывание и использование смартфонов.

Б) Определение качества рейтинговой системы оценки образовательных

учреждений.

Ценологический подход позволяет оценить адекватность системы критериев, по которой выстраивается рейтинг и определяются лучшие образовательные учреждения (ОУ) региона, страны.

На рис. 3 представлен эмпирический график рейтинга 100 лучших (наиболее эффективных) вузов России в 2012 году, представляющий собой гиперболу. Параметры взяты из известной рейтинговой таблицы «Рейтинг ВУЗов России, 2012 г.». Оценку по 5-балльной системе провело рейтинговое агентство "Эксперт». Из графика рис. 3, а видно, что система рейтинговой оценки вузов адекватна: R^2 = 0.8. Однако эмпирическая кривая имеет горб и отклонение вниз в хвостовой части. Следовательно, данная рейтинговая система не совершенна и требует доработки. Уровень валидности – между средним и высоким. Для сравнения на рис. 3, б приведён график РР 100 лучших средних ОУ России, построенный по табулированным данным источника [7, С. 76-78]. Данная 100-балльная система оценки из 18 показателей была предложена и реализована журналом «Карьера» в 2000 году при участии лучших 177 средних ОУ (гимназий, лицеев, школ) России.

а)

Рис. 3 . РР рейтинга ОУ России; W – рейтинг в баллах, r – ранговый номер ОУ.

а) РР 100 лучших вузов России 2012 г. по итоговому рейтинговому функционалу W; r =1 – МГУ; r =2 – МГТУ им. Н.Э.Баумана; r =90 – Ульяновский госуниверситет; r =100 – Новосибирский госуниверситет экономики и управления.

б) РР 100 лучших средних ОУ России в 2000 г. ; r =1 – Московская экономическая школа; r =100 – гимназия № 1518 (г. Москва).

Как видно из графика, эмпирические точки хорошо ложатся на теоретическую кривую аппроксимации, соответствующую формуле (1). О высоком уровне адекватности данной системы критериев свидетельствует очень высокий показатель регрессии, близкий к единице: R^2 =0,96.

Таким образом, система критериев и показателей предложенная и реализованная журналом «Карьера» в 2000 г., имеет более высокий уровень валидности, чем система оценки вузов 2012 года.

В) Оптимизация педагогических систем с позиций РА

Конечной целью РА является оптимизация системы-ценоза. Рассмотрим суть применения РА для оптимизации педагогических систем. Как правило, реальное РР отличается от идеального следующими видами отклонений [3]:

1. Некоторые эмпирические точки выпадают из идеального распределения, образуя «горбы» и «впадины».

2. Эмпирическая кривая, в целом, имеет характер гиперболы, но по сравнению с теоретической, имеет заваливающийся вниз «хвост» с областью маргинальных объектов (в техноценозах это металлолом – до предела изношенная техника, в учебных группах – кандидаты на отчисление). Например, на графике 2, а это объекты с r = 90 – 117.

3. Эмпирический график сильно искажён, либо гипербола вырождена в другие графические зависимости.

На рис. 2 в графиках мы видим типичные отклонения второго (рис. 2, а) и третьего (рис. 2, б) видов.

Оптимизация любого ценоза предполагает определение способов и средств его улучшения. Она направлена на устранение аномальных отклонений на РР. После выявления аномалий на графике РР, по табулированному распределению определяются элементы (особи), «ответственные» за аномалии, и намечаются мероприятия по их устранению.

Оптимизация педагогического ценоза по аналогии с техноценозами осуществляется двумя путями [2]:

1.Номенклатурная оптимизация – целенаправленное изменение численности ценоза, устремляющее РР ценоза по форме к идеальному: отсев неуспевающих в учебной группе, избавление от «плохих» вузов» и т.п..

2.Параметрическая оптимизация педагогического ценоза – целенаправленное улучшение параметров отдельных особей: в учебной группе (классе) – это улучшение параметров успеваемости объектов «хвостовой области» РР.

Выводы

· Сфера УК образования пополнена ценологическим подходом, а её категорийный аппарат совокупностью понятий рангового анализа.

· Применение РА в УК образования может быть осуществлено в следующих направлениях:

ü в оптимизации учебного процесса; закон РР (1) является работающим регулятивом оптимизации педагогических систем-социоценозов, его учёт позволяет прогнозировать пути оптимизации (номенклатурная, параметрическая), сущность которых заключается в устранении аномальных отклонений в РР («хвостов», «горбов», «впадин»);

ü в технологиях оценки и контроля качества образования в образовательных учреждениях и для оценки валидности тестов и контрольных заданий;

· в прогнозировании результатов обучения (например, количеству медалистов в классе, количество двоек или отличных оценок на группу на любом экзамене, должно составлять не более 20 % от общего числа оценок)

· Знание закона (1) и обязательная визуализация его в виде построения графических РР рейтинга успеваемости учащихся класса (группы, курса) необходимы для управления образовательным процессом и его прогнозирования. Наличие РР в виде списка не даёт информации о характере убывания. Только графическое изображение РР и их аппроксимация к зависимости (1) обеспечивает наглядность, знание о характере реального рангового убывания и даёт информацию о путях улучшения образовательного процесса.

· РА позволяет определять адекватность рейтинговых систем оценки эффективности учебных заведений, знаний учащихся, что составляет его практическую значимость в УК.

Литература:

1. Кудрин Б.И. Введение в технетику. – Томск: Изд-во ТГУ, 1993. – 552 с.

2. Гнатюк В.И. Оптимальное построение техноценозов. Теория и практика. //Вып. 9. «Ценологические исследования». – М.: Центр системных исследований. 1999. – 272 с.

3. Гурина Р.В. Ранговый анализ образовательных систем (ценологический подход): методические рекомендации для работников образования / «Ценологические исследования». Вып.32. – М.: Технетика, –2006. – 40 с.

4. Гурина Р.В. Ценологические исследования педагогических образовательных систем //Ползуновский вестник, 2004, №3, с.133-138

5. Zipf J.K. Human behaviour and the principle of least effort – Cambridge (Mass.): Addison-Wesley Pres, 1949, XI. – 574 p.

6. Кох Р. Закон Парето или принцип 80/20 //Общая и прикладная ценология. 2007. – №4. – С.76-79.

7. Воробьева И., Трушин А. Удар в school // Карьера. – 2001. – №4. – С.72-84.