Педагогические науки/ 2. Проблемы подготовки специалистов

Петровых И.Н.

соискатель кафедры «Педагогика» МРОО «Академия Энциклопедических наук»

 

Возможности применения метода экспертной оценки в педагогических исследованиях

 

Любое исследование требует опытной проверки выдвинутой гипотезы и, как правило, большинство исследователей обращается в экспериментальной методике. Это происходит в силу распространённости экспериментальной методики, её относительного удобства, возможности неоднократного повторения.

С методикой экспериментальной работы можно познакомиться в трудах таких известных отечественных учёных как Ю.К. Бабанский [1], Б.С. Гершунский [3], И.П. Подласый [8] и др.

Как отмечет М.Е. Дуранов, именно эксперимент – «надёжный способ получения достоверных данных» [4]. Эксперимент может рассматриваться как система познавательных операций, связанных с изучением педагогических ситуаций, фактов, явлений, процессов, факторов, специально созданных условий для выявления свойств, связей, отношений, закономерностей.

Вместе с тем, мы считаем необходимым отметить ряд специфических особенностей, присущих педагогическому эксперименту:

·       результат воздействия на обучающегося всегда имеет вероятностный характер; из этого следует, что любые полученные результаты носят стохастический характер и их выявление требует проведение измерений на достаточно больших группах обучающихся;

·       отсутствует возможность обучить одного и того же человека сначала по одной, а затем по другой системе и сравнить результаты – по-разному приходится обучать разные группы обучающихся, что в дальнейшем требует обоснования возможности сопоставления их результативных показателей;

·       в педагогических экспериментах, как правило, отсутствует возможность проведения прямого измерения (т.е. соотнесения величины с некоторой измерительной шкалой посредством прибора) – в связи с этим возникает задача обоснования использования тех или иных параметров, а также критериев результативности новой методики;

·       в педагогических экспериментах «подопытным» оказывается обучающийся, а весь образовательный процесс должен строиться именно в его интересах, по этой причине эксперимент должен быть тщательнейшим образом продуман, в первую очередь, с тех позиций, чтобы они не могли нанести вред обучающемуся.

Вместе с тем, необходимо отметить, что в настоящее время в педагогике приобретает популярность метод, альтернативный эксперименту – экспертное оценивание.

Метод экспертных оценок – эмпирический метод исследования. По существу, это разновидность опроса, связанная с привлечением к оценке изучаемых явлений, процессов наиболее компетентных людей, мнения которых, дополняющие и перепроверяющие друг друга, позволяют достаточно объективно оценить исследуемое [7].

Относительно педагогических исследований, мы можем говорить о том, что экспертное оценивание – это процедура получения оценки проблемы (результатов исследования) на основе мнения специалистов (экспертов) с целью принятия решения, осуществления выбора [5]. С позиций принятия обоснованных решений в данной ситуации мнение эксперта (специалиста в исследуемой области) будет решать ключевую роль. А сам метод экспертной оценки представляет собой организацию работы со специалистами-экспертами с последующей обработкой мнений экспертов, выраженных в количественной и/или качественной форме с целью получения информации необходимой для принятия решения. Метод экспертного оценивания включает в себя формы экспертного опроса (анкетирование, интервью и др.), подходы к оцениванию (ранжирование, нормирование и др.), способу обработки результатов, оценка компетентности экспертов.

Мы считаем необходимым обосновать наше предпочтение метода экспертной оценки при проведении педагогических исследований следующим:

·       устранение эффекта стохастичности, возникающего при необходимости создания различных условий для значительного числа участников эксперимента и оценки результатов этого воздействия;

·       отсутствие необходимости создания экспериментальных и контрольной группы, большая часть участников которых, заведомо будет поставлена в невыгодные, проигрышные условия;

·       возможность получения экспертной оценки на любой стадии опытной работы, без прерывания самого хода работы;

·       возможность получения авторитетного мнения участников экспертизы, их анализа, сопоставления, с целью получения объективной оценки по исследуемой проблеме.

Экспертный метод широко используются при подготовке решений в различных сферах деятельности, так же с течением времени он прочно вошёл в педагогику. Особое внимание методу экспертной оценке отводится в работах таких отечественных учёных как С.Д. Бешелев, Ф.Г. Гурвич, Ю.В. Сидельникова и др. [2, 11]. Необходимо отметить, что в данном методе источником информации об изучаемом объекте являются преимущественно знания, опыт и интуиция специалистов, работающих в данной области. Для повышения достоверность опроса, целесообразно увеличивать количество экспертов, участвующих в оценке.

Рассматриваемый метод экспертной оценки представляет особую важность для педагогических исследований со следующих позиций:

·       позволяет получить первичную информацию о явлениях, процессах за относительно короткий период времени;

·       в профессиональном отношении метод экспертных оценок более доступен для усвоения по сравнению с другими методами;

·       данный метод достаточно универсален и применим для оценки различных выборок;

·       ориентирован на решение, прежде всего, практических задач.

В настоящее время метод экспертной оценки активно применяется при подготовке решений в сфере педагогики. Данный метод позволяет выразить информацию специалистов (экспертов) в численных величинах путем применения различного рода оценочных шкал. Следовательно, полученные таким образом результаты обработки данных экспертного опроса можно считать близкими к объективным.

Таким образом, применение метода экспертной оценки мы считаем наиболее оптимальным в оценке эффективности результатов ряда научных исследований педагогического характера.

В качестве примера использования экспертного метода рассмотрим процедуру обора критериев эффективности проводимой экспериментальной работы педагога.

Изначально задаём возможные критерии эффективности (большое количество), на основании которых мы можем производить измерение достигаемых результатов.

Критерий – это «фактор, на основании которого вы судите о чём-либо или принимаете решение» [12]. Но, обратим внимание, что в предлагаемой нами системе речь идёт о критериях эффективности. Эффективность в большинстве научных работ определяется авторами как результативность. Под критерием эффективности мы понимаем те факторы (или их комбинацию), которые позволяют нам судить о результативности действующей системы.

В качестве критериев эффективности мы предлагаем следующие:

·        расширение границ профессиональных интересов и возможностей педагогов;

·        оптимизация времени подготовки педагогических кадров (t → min);

·        повышение качественных и количественных показателей работы педагогов с учащимися;

·        совершенствование информационно-коммуникативной функции педагога;

·        формирование у педагогов навыков научно-исследовательской деятельности;

·        формирование у педагогов оптимально организовывать свою деятельность;

·        формирование умения создавать благоприятный психологический микроклимат в коллективе;

·        ориентированность педагогов на долгосрочную перспективу своей деятельности;

·        формирование умения у педагога создавать собственные авторские разработки;

·        осуществление роли тьютора в педагогическом коллективе образовательного учреждения.

Кратко охарактеризуем каждый из обозначенных критериев эффективности.

Расширение границ профессиональных интересов и возможностей педагогов предполагает, что учитель выйдет за рамки традиционных, шаблонных профессиональных решений и действий. Оптимизация времени подготовки педагогических кадров предполагает стремление временного периода подготовки к минимуму без ухудшения качества подготовки (за меньший период времени достижение планируемого результата). Под повышением качественных и количественных показателей работы педагогов с учащимися мы подразумеваем готовность учащегося к исследовательской деятельности в рамках учебного процесса, достижение ими результативности (участие в конференциях, семинарах, представление результатов деятельности на мероприятиях различного уровня). Совершенствование информационно-коммуникативной функции педагога позволит учителю эффективно-передавать информацию для организации учебно-исследовательской деятельности обучающихся, создавать условия комфортного общения и взаимодействия в учебном коллективе. Формирование у педагогов навыков научно-исследовательской деятельности – неотъемлемый показатель профессионализма, когда специалист готов выйти на новый уровень, являться не только обучаемым участником процесса, но самостоятельно транслировать имеющийся опыт в своей профессиональной среде.

Для проведения ранжирования критериев и определения их «веса» в общем суперкритерии, предлагается провести групповую экспертную оценку. Процедура согласования отдельных экспертных оценок проводится по методу Кондорсе [6], а само ранжирование – методом экспертных матриц.

Процедура экспертизы проводится в два этапа. Для автоматизации процедуры можно использовать бесплатную автоматизированную систему поддержки научных исследований (АСПНИ), расположенную на сайте d-studio.org, раздел РАЗРАБОТКИ [10].

На первом этапе эксперты сравнивают попарно предложенные критерии в матрице парных сравнений. Критерий текущей строки сравнивается с критериями всех столбцов. Если, по мнения эксперта, критерий «строки» важнее критерия «столбца», то в соответствующую ячейку записывается число от 2 до 10, характеризующее степень превосходства или важности. Если наоборот, то записывается дробное число 1/n, где n = 2, 3,… 10. Что характеризует обратное превосходство. Алгоритм расчета вектора предпочтений (ранжирование критериев по важности) использует методику, предложенную Саати [9].

На втором этапе полученные векторы предпочтений/ранжирование обрабатываются по алгоритму Кондорсе и определяется общий вектор предпочтений, который представляет собой возможную согласованную оценку данной группы экспертов. Этот вектор и дает возможность исследователю оставить из всего множества критериев такой набор, который обладает «наибольшей значимостью» для данного исследования.

Рис. 1. Пример заполнения экспертной матрицы в системе АСПНИ

На Рис. 1. показан пример заполнения экспертом матрицы парных оценок в системе АСПНИ [10]. Количество экспертов, привлеченных к проведению оценки при использовании автоматизированной системы, может быть достаточно большим (более 10 человек).

Пример согласования экспертной оценки по Кондорсе приведен на Рис. 2.

Формирование умения создавать благоприятный психологический микроклимат в коллективе > Формирование у педагогов оптимально организовывать свою деятельность = Совершенствование информационно-коммуникативной функции педагога = Формирование у педагогов навыков научно-исследовательской деятельности = Оптимизация времени подготовки педагогических кадров (t → min) > Расширение границ профессиональных интересов и возможностей педагогов > Формирование умения у педагога создавать собственные авторские разработки > Повышение качественных и количественных показателей работы педагогов с учащимися = Ориентированность педагогов на долгосрочную перспективу своей деятельности > Осуществление роли тьютора в педагогическом коллективе образовательного учреждения

Рис. 2. Обобщенная оценка «важности» критериев

Знак « > » означает предпочтение. Знак « = » - примерно одинаковую значимость критериев.

Таким образом, процесс экспериментальной работы в педагогике может быть представлен, как совокупность или система этапов, на каждом из которых возможно применение экспертной оценки.

 

Литература:

1.     Бабанский, Ю.К. Проблемы повышения эффективности педагогических исследований. Дидактический аспект [Текст] / Ю.К. Бабанский. – М.: Педагогика, 1982. – 197 с.

2.     Бешелев, С.Д., Гурвич, Ф.Г. Экспертные оценки [Текст] / С.Д. Бешелев, Ф.Г. Гурвич. – М.: Наука, 197. – 103 с.

3.     Гершунский, Б. С. Философия образования для XXI века. В поисках практико-ориентированных образовательных концепций [Текст] / Б.С. Гершунский. – М., 1998. – 608 с.

4.     Дуранов, М.Е. Педагогический процесс и педагогическая деятельность: проблемы, исследование и организация [Текст]: монография / М.Е. Дуранов. – М.: ВЛАДОС, 2009. – 365 с.

5.     Орлов, А.И. Экспертные оценки. Учебное пособие [Текст] /А.И. Орлов. – М.: ИВСТЭ, 2002. – 224 с.

6.     Парадокс Кондорсе. – Электронный ресурс: [Режим открытого доступа] http://ru.wikipedia.org/wiki/Парадокс_Кондорсе

7.     Перегудов, Ф.И., Тарасенко, Ф.П. Введение в системный анализ [Текст] /Ф.И. Перегудов, Ф.П. Тарасеноков. – М.: Высшая школа, 1989 – 182 с.

8.     Подласый, И.П. Педагогика. Новый курс: Учебник для студ. Пед. вузов: В 2 кн [Текст] / И.П. Подласый. – М., 1999. – Кн. 1: Общие основы. Процесс обучения. – 576 с.

9.     Саати, Т.Л. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. / Науч. Ред. А.В. Андрейчиков, О.Н. Андрейчикава. – М.: Издательство ЛКИ, 2008. – 360 с

10. Сайт d-studio.org:: [Режим открытого доступа] http://d-studio.org/

11. Сидельников, Ю.В. Теория и организация экспертного прогнозирования [Текст] / Ю.В. Сидельников. – М.: ИМЭМО АН СССР, 1990. – 220 с.

12. Толковый словарь Дмитриева (режим открытого доступа) [Режим открытого доступа] http://dic.academic.ru/contents.nsf/dmitriev/