Педагогические науки/5.Современные методы преподавания

Математика/4.Прикладная математика

 

К.т.н. Ларин С.Н., Герасимова Л.И.

Федеральное государственное бюджетное учреждение науки

Центральный экономико-математический институт РАН

 

ИСПОЛЬЗОВАНИЕ МАТЕМАТИЧЕСКИХ МЕТОДОВ

ДЛЯ ЭКСПЕРТНОЙ ОЦЕНКИ КАЧЕСТВА

ЭЛЕКТРОННЫХ ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ

 

Современные электронные образовательные ресурсы (ЭОР) представляют собой некий результат совокупности программных средств, цифрового звуко- и видеоряда, посредством которых осуществляется структурирование содержательного дидактического контента предметной области той или иной образовательной дисциплины. Сегодня в ЭОР в той или иной степени используются практически все известные способы информационного представления дидактического контента: при помощи символов, а так же унифицированного в цифровом формате представления информации при помощи видеорядов (статических, динамических, реалистичных, синтезированных и др.) и звукорядов (реалистичных и синтезированных). В процессе разработки современных ЭОР широко применяются различные методы экономико-математического моделирования и возможности информационно-коммуникационных технологий (ИКТ). Безусловным достоинством ЭОР является интерактивный режим взаимодействия с пользователем, который обеспечивается на основе функционирования различных аппаратно-программных компьютерных комплексов.

Указанные выше обстоятельства предопределяют необходимость экспертной оценки качества ЭОР и проведения анализа методов и технологий, используемых для этих целей в нашей стране и за рубежом.

Практическая организация экспертной оценки качества ЭОР в большинстве случаев сводится к субъективной оценке Заказчиком степени соответствия представленных разработчиками ЭОР требованиям и условиям, прописанным в техническом задании на его разработку. При этом для формирования экспертного заключения чаще всего используются наиболее простые методы коллективной работы, например обмен мнениями или «мозговой штурм». В то же время методы, направленные на снижение степени субъективности экспертных оценок (парные и множественные сравнения, масштабирования, свертки и ранжирования), как правило, не применяются. Между тем, традиционное восприятие эксперта как некого компетентного в своей области человека, обладающего глубокими знаниями и большим опытом, все менее соответствует современному состоянию развития образовательной сферы и динамике использования в ней современных ИКТ. В условиях бурного развития ИКТ и постоянного повышения уровня их наукоемкости, экспертам становится все сложнее обладать всей полнотой знаний на соответствующем уровне. Именно поэтому становится актуальной разработка методологических подходов к организации экспертной оценки качества ЭОР, практическая реализация которых будет способствовать существенному снижению степени субъективности экспертных оценок.

Поскольку экспертная оценка качества ЭОР осуществляется в условиях различного характера и уровня априорной неопределенности, то, прежде всего, необходимо исследовать существующие подходы к формированию экспертных оценок нечеткой и стохастической информации на основе методов нечетких множеств, искусственных нейронных сетей и статистических методов принятия решений. Так же представляется целесообразным проанализировать методы оптимизации экспертных показателей качества, позволяющие определить границы их оптимальности с учетом ограничений технологического, стоимостного и другого характера.

Теория нечетких множеств базируется на положениях теории грубых множеств, которая была разработана в 80-х годах прошлого века для систем искусственного интеллекта, функционирующих на основе технологии Data Mining [7]. Общий принцип этой теории заключается в разделении всей совокупности информационных объектов на два множества, одно из которых точно соответствует определенному признаку, а другое возможно соответствует этому же признаку. Совокупность таких множеств называется грубым множеством, а отношения составляющих его информационных объектов являются неразличимыми. Однако процесс принятия решения о принадлежности или непринадлежности отдельного показателя качества какому-либо множеству далеко не всегда вписывается в бинарную систему. В качестве примера обратимся к полинарной схеме оценке некого показателя качества по возрастающей последовательности: совершенно не нужен – не нужен – нужен – непосредственно нужен – очень нужен.

Как видим, перед нами представлен набор нечетких решений, за каждым из которых скрыты количественные характеристики важности конкретного показателя при формировании экспертной оценки качества ЭОР в целом. То есть, мы имеем полное право говорить как о качественных характеристиках количественной меры, так и о количественных характеристиках качественной меры. В таких условиях более корректно использовать аппарат методов теории нечетких множеств. Ее основная идея заключается в том, что вместо жестко заданных границ множеств вводятся более расплывчатые понятия классов (подмножеств), в которых наряду с «жесткими» элементами (однозначно принадлежащих или не принадлежащих некому множеству) могут присутствовать элементы, принадлежность которых данному множеству имеет определенную долю вероятности. Если полную принадлежность показателя качества соответствующему множеству выразить через единицу, а полную непринадлежность – через ноль, то промежуточная степень принадлежности будет оцениваться числами от 0 до 1. Степень принадлежности показателя y нечеткому подмножеству называют характеристической функцией принадлежности [3].

В случаях, когда определение численных значений функций принадлежности при субъективных характеристиках анализируемых показателей качества путем объективных решений невозможно, используются методы экспертного оценивания или методология выражения степени принадлежности  через вероятность P(xi) того, что будет выбран показатель xi. В этом случае функция принадлежности может быть определена из выражения:

= (n - i + 1) P(xi)+                                                                        (1),

где  - функция принадлежности показателя xi нечеткому множеству ; n – число показателей качества в исходном множестве; P(xi) – вероятность того, что будет выбран показатель xi, d – число показателей, включенных в подмножество оцениваемых характеристик ЭОР.

Опишем пространство состояний ЭОР в терминах теории нечетких множеств. При этом под уровнем качества ЭОР будем понимать некую совокупность числовых значений показателей качества, характеризующие его наиболее существенные свойства и процессы. Формально такую совокупность можно представить выражением:

ЭОР(k)=                                                                                 (2).

Переменную  будем называть нечеткой, если ее можно описать моделью следующего вида:

=                                                                                               (3),

где Nx – наименование нечеткой переменной ; Xx – область ее определения или базовое множество; – нечеткое подмножество на области определения нечеткой переменной (на множестве Xx), которое описывает возможные ограничения ее значений.

Нечеткое подмножество  задается либо путем перечисления

=                                                                         (4),

где  – значение функции принадлежности показателя качества базового множества xj нечеткому подмножеству Xx, либо на основе задания самой функции принадлежности по имеющейся информации об исследуемой принадлежности того или иного показателя, а именно:

Fx=                                                                                       (5).

В отношении лингвистических переменных  следует отметить, что они являются переменными более высокого порядка по отношению к нечетким переменным  и описываются моделью следующего вида:

=                                                                                      (6),

где Nz – имя лингвистической переменной; Xz – область определения лингвистической переменной , обусловленная композицией областей определения базовых множеств составляющих ее нечетких переменных; Gz – синтаксическое правило, порождающее название значений переменной Nz, Cz – семантическое правило, которое ставит в соответствие каждой нечеткой переменной  ее смысл x();  - терм-множество значений лингвистической переменной , каждое из которых представляет собой нечеткую переменную  со всеми ее атрибутами.

В зависимости от вида области определения лингвистические переменные могут выступать в роли лингвистических параметров и характеристик показателей качества ЭОР.

Одним из традиционных видов представления нечеткого соответствия является нечеткий граф. Анализируя его и последовательно вводя отношения нестрогих порядков между показателями качества ЭОР одного множества, можно из всего множества показателей выделить наиболее пригодные (нужные) для экспертной оценки его качества. Это значит, что на основе представления нечетких отношений в форме нечетких переменных или графов возможна корректировка показателей качества ЭОР, позволяющая учесть нечеткие связи между отдельными показателями и реализуемыми с их использованием процессами. Такой подход позволит существенно повысить степень объективности экспертной оценки качества ЭОР.

Искусственные нейронные сети (ИНС) предназначены для моделирования и производства вычислений в средах, которые основаны на современных представлениях о строении мозга человека и происходящих в нем процессов обработки информации. Проблемы экспертной оценки качества ЭОР могут быть решены при помощи различных структур ИНС, принципов организации памяти и обучения. В качестве базовой для одного из вариантов построения алгоритма организации экспертной оценки качества ЭОР рассмотрим ИНС с обратными связями по известной модели Хопфильда, которую принято называть моделью ассоциативной памяти.

Модель такого класса представлена экстраполирующей нейронной сетью, которая состоит из двух слоев нейронов – входного Na и выходного Nb. При этом входной слой Na состоит из n нейронов, обладающих неким набором прямых и обратных связей с p нейронами выходного слоя Nb, причем число входных и выходных связей равно (n = p).

В качестве функции активации удобно использовать ступенчатую пороговую функцию вида:

        +1, x > 0;

f =    -1, x < 0;                                                                                                (7)

          0, x = 0.

Данная функция характеризует:

1) положительное мнение эксперта (+1), в случае целесообразности использования конкретного показателя для экспертной оценки качества ЭОР;

2) отрицательное мнение эксперта (-1), в противном случае;

3) недостаточную компетентность эксперта (0), в случае, когда его квалификация и практический опыт не позволяют сформировать мнение о целесообразности использования конкретного показателя для экспертной оценки качества ЭОР.

Для некоторой совокупности экспертов будем использовать когнитивную карту, при помощи которой полностью задается матрица связей экспертной оценки качества ЭОР следующего вида (8). Каждый элемент матрицы (8) определяет взаимосвязь i-го экспертного решения с j-м экспертным решением. При этом положительные связи обозначаются через +1, отрицательные связи – через -1, а отсутствие связей между решениями – через 0. аналогия структур когнитивных карт и ИНС обусловлена тем, что каждое из возможных решений эксперта можно представить как отдельный нейрон, а коэффициенты связей между ними – как их синаптические веса.

 

   w11   w12   w13   ….    w1n

 

 

   w21   w22   w23   ….    w2n

 

W=

   w31   w32   w33   ….    w3n

                            (8)

 

   ….   ….   ….    ….   ….

 

 

   wp1   wp2   wp3   ….    wpn

 

 

Общий алгоритм функционирования рассматриваемой модели можно представить следующим образом:

1) приведение нейронов входного слоя в начальные состояния ai(0) = ci;

2) начальная инициализация нейронов выходного слоя в соответствии с выражением: bi(0) =                                                                      (9)

3) приведение нейронов входного слоя к состоянию нейронов выходного слоя: ai(t) = bi(t)

4) вычисление новых состояний нейронов выходного слоя для всех iпо формуле:  bi(t+1)= f()=f()                                           (10)

5) повторение шагов 3-4 до тех пор, пока модель не достигнет стабильного состояния.

Несложно заметить, что определяющим звеном сходимости и реализации описанного выше алгоритма, является матрица когнитивных карт. В нашем случае когнитивная карта, по сути, представляет собой ориентированный граф, узлами которого являются оценочные решения экспертов по показателям качества ЭОР, а дугами – связи между ними, характеризующие причинно-след-ственные отношения. Учитывая, что причинная связь выступает более общим понятием по отношению к логической связи, такой подход позволяет более полно учитывать отражение взаимосвязей между чисто техническими решениями и связанными с ними показателями качества функционирования того или иного ЭОР. При этом, если увеличение (уменьшение) удельного веса (предпочтительности) одного решения эксперта приводит к увеличению (уменьшению) предпочтительности другого решения, то причинная связь между ними считается положительной, и наоборот. В этой связи вполне закономерным выглядит и отсутствие связей между некоторыми решениями экспертов, которые в этом случае учитываются в когнитивной карте как ноль.

Таким образом, основная задача эксперта при составлении подобных карт заключается в определении множества локальных оценочных решений, входящих в состав общего решения по оценке качества ЭОР, которые полностью определяют выбранную предметную область и устанавливают характер связей между всеми принятыми экспертом решениями. Следовательно, когнитивные карты позволяют простым и естественным путем объединить неполные и противоречивые мнения нескольких экспертов для получения адекватной оценки качества ЭОР. Тем самым, когнитивная карта, с одной стороны, позволяет учесть и обобщить все противоречивые мнения экспертов, а с другой стороны – она служит основой для формирования прогноза значимости того или иного технического решения, используемого для функционирования ЭОР. За счет этого предложенный выше алгоритм формирования экспертных оценок качества ЭОР позволяет существенно снизить степень неполноты и противоречивости исходных данных в оценках экспертов при формировании итоговой оценки, определяющей качество функционирования ЭОР.

Рассмотрим кратко основные подходы к решению задачи формирования экспертных оценок качества ЭОР в условиях различного уровня стохастической априорной неопределенности на основе методов фильтрации Калмана, методов стохастичесокой аппроксимации и методов проверки статистических гипотез при помощи различных критериев согласия.

Как известно, методы фильтрации Калмана являются одним из наилучших типов линейных алгоритмов (по критерию минимума среднеквадратической ошибки) в зависимости от типа распределения при нормальном законе распределения [4].

Учитывая, что нормальный закон распределения принадлежит к семейству распределения Пирсона, которое достаточно хорошо аппроксимирует широкий круг эмпирических распределений, применение методов фильтрации Калмана в большинстве случаев будет вполне оправдано.

Допустим, что у нас имеется некая модель состояния и наблюдения за экспертным показателем качества, которую можно представить в следующем виде:

x(k+1) = -a(k)x(k) + b(k)u(k) + g(k)v(k),

z(k) = h(k)x(k) + w(k), x(0) =                                                                    (11).

В этом выражении a(k) – неизвестный априори параметр, заданный плотностью распределения вероятностей его значения N() и экспоненциальной функцией корреляции. Если ввести расширенный вектор состояния экспертного показателя качества (k) = (x(k), a(k))t, который объединит все его компоненты, подлежащие оценке и идентификации, то уравнения (11) можно представить в виде:

(k+1) = F(k) (k) + B(k)u(k) + G(k)(k),

(k) = H(k)(k) + (k), x(0) =                                                                (12),

где   F(k), B(k), G(k), H(k) – матрицы состояния, эффективности управления, возбуждения и наблюдения соответствующих размерностей;

(k), (k) – взаимно независимые векторные шумы возбуждения и наблюдения соответственно, которые являются гауссовскими последовательностями с нулевыми средними и диагональными матрицами дисперсий , .

Из выражения (12) видно, что задача экспертного оценивания приведена к классической задаче линейной фильтрации и может быть решена на основе использования векторного алгоритма фильтрации Калмана, применение которого обеспечивает минимум среднеквадратического отклонения оценок неизвестного параметра качества a(k) и состояния ЭОР в целом x(k) от их истинных значений:

(k) = F(k)(k-1) + B(k)u(k-1) + K(k)[(k)- Ht(k)(F(k)(k-1) + (k)u(k-1))]  (13),

где   K(k)=P2(k)Ht(k) - коэффициент усиления фильтра Калмана, рассчитанный для линейного случая заранее, поскольку он не зависит от текущих оценок;

P2(k) – матрица дисперсий ошибок оценивания, элементы которой для установившегося состояния работы фильтра определяются на основе решений экспертов.

Основное достоинство применения описанного метода заключается в его универсальности и высокой точности алгоритма идентификации-оценивания, а главный недостаток – в необходимости значительных объемов вычислений с ростом размерности вектора состояний (увеличением числа оцениваемых параметров). Но поскольку к процессу формирования экспертных оценок не предъявляется таких жестких требований, как к процессу формирования управляющих воздействий, недостатки данного метода можно признать несущественными.

В случае, когда для определения показателя качества ЭОР не могут корректно применяться методы линейного моделирования, а характер его изменения может быть определен только на основе нелинейной модели, целесообразно использовать метод нелинейной фильтрации Стратоновича, при помощи которого можно получить результат, оптимальный по критерию максимума апостериорной платности (МАП) [5, 6].

В качестве еще одного метода преодоления непараметрической априорной неопределенности может быть использована реализация процедуры стохастической аппроксимации Робинса-Монро [1]. Ее достоинством является простота используемого алгоритма, а наиболее существенный недостаток заключается в недостаточной точности и низком уровне учета априорных данных об оцениваемом параметре.

В том случае, когда невозможно аппроксимировать реальное распределение каким-либо известным, наиболее эффективен минимаксный алгоритм оценки состояния исследуемого ЭОР при непараметрическом уровне априорной неопределенности его модели. При неизвестных видах априорных распределений оцениваемых параметров ЭОР необходимые для принятия решения эмпирические распределения могут быть получены путем наблюдений. При этом близость полученных эмпирических распределений известным аналитическим распределениям можно проверить по ряду критериев согласия, а именно:

1) критерий Колмогорова-Смирнова, который обеспечивает получение оптимальной оценки апостериорного распределения в смысле минимальной верхней границы значений ряда модулей разности с распределением заданного класса для заданного ряда значений исследуемого параметра x;

2) критерий Ренье, который представляет собой относительный критерий согласия;

3) критерий Мизеса, представляющий собой интегральный критерий согласия [2].

В качестве статистик при решении задач непараметрического оценивания могут быть использованы знаковые, порядковые или ранговые статистики. Примером применения знаковой статистики является ее использование в задаче проверки симметричности относительно нуля априорно неизвестного распределения по знаку получаемых выборочных данных. Если элементы выборки знаковой статистики перегруппировать, например, по мере их возрастания, то будет получен вариационный ряд, называемый вектором порядковых статистик. Его произвольная функция и будет представлять собой порядковую статистику. Поскольку каждый элемент вариационного ряда имеет свой номер (ранг), то при замене элементов выборки их рангами будет получен ранговый вектор. Произвольная функция от рангового вектора представляет собой ранговую статистику.

Поскольку для однородной независимой выборки исследуемых параметров качества ЭОР функция правдоподобия инвариантна к группе перестановок ее аргументов, то все ранговые векторы для такой выборки будут равновероятными, независимо о вида распределения к которому принадлежит сама выборка. Данное обстоятельство предопределяет целесообразность использования ранговых статистик в случае принятия  решений об однородности и независимости выборки при непараметрических постановках задачи получения эксперных оценок показателей качества ЭОР.

Обобщая вышеизложенное, можно сделать вывод о том, что на основе комплексной реализации рассмотренных методов возможно получить самостоятельные и эффективные оценки значений показателей качества ЭОР в условиях различного характера и уровня стохастической априорной неопределенности.    

Исследование выполнено при финансовой поддержке российского гуманитарного научного фонда, проект №13-06-00006а «Методология экспертной оценки качества электронных образовательных ресурсов».

 

Литература:

1. Вазан М. Стохастическая аппроксимация. Пер. с англ. – М.: Наука, 1972.

2. Кобзарь А. И. Прикладная математическая статистика. – М.: Физматлит, 2006. – 816с.

3. Паращук И.Б., Бобрик И.П. Нечеткие множества в задачах анализа сетей связи. – СПб.: ВУС, 2001. – 80с.

4. Сейдж Э., Мелс Дж. Оптимальное управление системами. / Пер. с англ. под ред. Б.Р. Левина. – М.: Радио и связь, 1982. – 392с.

5. Стратонович Р.Л. О выводе приближенных уравнений нелинейной оптимальной фильтрации. // Радиотехника и электроника, 1970, XV, №3. С.472-480.

6. Шахтарин Б.И. Нелинейная оптимальная фильтрация в примерах и задачах. – М.: Гелиос АРВ, 2008. – 344с.

7. Ярушкина Н.Г. Основы теории нечетких и гибридных систем. – М.: Финансы и статистика, 2004. – 320с.