Филологические науки/7. Язык, речь, речевая коммуникация

 

Журавлёв А.П., к. м. н. Краснов А.Н.

 

Самарский государственный медицинский университет, Россия

Самарский государственный технический университет, Россия

 

Количественная и качественная оценка свободных ответов учащихся

 

Введение

В последние годы в квалиметрии наметилась тенденция к развитию систем контроля знаний, основанных на анализе и оценке свободных ответов обучаемых. Данное  направление обусловлено быстрым развитием компьютерной лингвистики [1, 6, 7, 8].

При квалиметрическом анализе выделяются когнитивные компоненты высказываний, после чего они сравниваются с неким эталоном [1, 8]. Эталонная модель является основой для когнитивно-коммуникативного подхода к оценке свободных ответов  студентов. В нашем случае в роли такого эталона будет выступать лексико-семантическая модель конкретной предметной области [8, 10]. Такую модель мы будем рассматривать в качестве языковой картины конкретной предметной области, в рамках которой протекает коммуникация. Оптимальным методом для формального описания такой модели мы считаем модифицированный идеографический метод Ю.Н. Караулова, расширенный нами путём применения теории  графов [2, 3, 4].

 

Цели и задачи

Цель данного исследовании – показать, как расширенный нами идеографический метод Ю.Н. Караулова может быть применён для количественной и качественной оценки знаний учащихся.

Задачи исследования:

1.     обозначить параметры качественной и количественной оценки знаний учащихся;

2.     отобразить содержание ответа учащегося на эталонном графе предметной области «Повреждения таза»;

3.     проанализировать ответ по обозначенным параметрам;

4.     дать оценку ответа и, соответственно, знаний учащегося.

 

Материал  и  метод

 Материалом для нашего исследования послужили 343 ответа студентов 5-го курса лечебного факультета Самарского государственного медицинского университета на вопрос о классификации повреждений таза. В ходе исследования использованы следующие методы:

·        метод экспертных оценок имеющегося речевого материала (в качестве эксперта был приглашён кандидат медицинских наук, доцент кафедры травматологии и ортопедии);

·        метод системного анализа;

·        тезаурусный метод;

·        метод когнитивной графики (графическое представление семантики предметной области с помощью идеографического метода и теории графов);

·        метод сравнительного анализа;

·        статистический метод.

 

Полученные результаты

1. Параметры качественной и количественной оценки знаний

Когда мы говорим о качественной оценке знаний, то в первую очередь имеем в виду наличие в ответе критериев. Критерии как элементы метаязыка играют важнейшую роль в построении семантической иерархии предметной области, поскольку они формируют оппозиционные группы терминов и выстаивают гипо-гиперонимические отношения. Их наличие либо отсутствие говорит о степени сформированности языковой картины предметной области, а также определяет наполнение ответа фактическим материалом. Последнее подразумевает, что знание метаязыковой составляющей языковой картины ПО (т.е. её семантической структуры, выстроенной на критериях) помогает учащемуся более полно воспроизвести в своём ответе её терминологическую составляющую. Иными словами, если студент знает критерии выделения оппозиционных групп терминов, то весьма маловероятно, что он перечислит состав этой группы не полностью. В этом отношении качественная оценка определённым образом пересекается с количественной.

Качественная оценка ответа зависит также от того, лексические единицы какого уровня в нём используются. Дело в том, что при оценке ответа нами учитываются в основном конечные вершины графов ЛСГ, поскольку именно они дают наиболее адекватное представление о подлинном уровне владения фактической информацией. Использование элементов языка-объекта, стоящих на более высоких уровнях иерархии, также допускается, но их употребление без должной конкретизации говорит о не совсем сформированной языковой картине предметной области. Иными словами, использование таких единиц в ответе допустимо, но отрицательно влияет на оценку ответа по качественному показателю.

Наконец, третьим параметром оценки качества ответа является использование в нём терминологических или нетерминологических единиц. Весьма часто вместо закреплённых в официальной классификации терминов студенты используют их неологические синонимы. Эти синонимы, как правило, построены студентами по терминообразовательным моделям, но всё равно остаются нетерминологическими единицами. Естественно, использование таких лексических единиц в ответе отрицательно влияет на его качество, поскольку учащийся должен выучить официально принятые термины, а не придумывать свои.

Подводя итог вышесказанному, следует отметить, что выработанные нами параметры качественной оценки имеют как преимущества, так и недостатки. С одной стороны, они позволяют адекватно оценить качество знаний; с другой стороны, они малочисленны и в силу своего обобщённого характера плохо поддаются алгоритмизации.

Параметры количественной оценки, наоборот, по своей природе гораздо лучше подходят для реализации средствами программирования. Для разработки этих параметров нам необходимо визуализировать языковую картину предметной области «Повреждения таза» по методу Ю.Н. Караулова в виде графа. Такой граф мы будем называть эталонным. Он будет состоять из трёх субграфов, по количеству лексико-семантических групп, составляющих языковую картину данной предметной области (процесс построения этих субграфов был подробно освещён в предыдущих статьях).

Итак, начнём с субграфа признаковой лексико-семантической группы (ЛСГ {Р}):

 

Рис. 1. Граф ЛСГ {Р}

 

Далее приведём субграф субъектной лексико-семантической группы (ЛСГ {S}):

 

Рис. 2. Граф ЛСГ {S}

 

Третий субграф репрезентирует структуру анатомической лексико-семантической группы (ЛСГ {S}):

 

Рис. 3. Граф ЛСГ {А}

 

Эталонный граф, объединяющий эти субграфы и репрезентирующий структуру предметной области «Повреждения таза», будет выглядеть следующим образом:

 

Рис. 4. Эталонный граф предметной области «Повреждения таза»

 

Как следует из приведённых выше графов, признаковая ЛСГ представлена 30 терминами, из которых наиболее актуальными для нашего исследования являются 25 (начиная со 2-го уровня иерархии). Субъектная ЛСГ насчитывает 7 терминов на разных уровнях, а анатомическая ЛСГ – 21 (из них для нас актуальны 20, начиная с 1-го уровня иерархии).

Полученная таким образом выборка лексических единиц позволяет нам посчитать общее число возможных их комбинаций (т.е. составных терминов). Вычисление основывается на основных правилах комбинаторики. Центральными элементами расчёта будут лексические единицы, обозначающие виды повреждений костей: перелом (S1-1-1), переломовывих (S1-1-2) и вывих (S1-1-3). Выбор именно этих элементов в качестве центральных позволит нам реализовать механизм ограничения числа возможных комбинаций по сочетаемости. Дело в том, что не все элементы из ЛСГ {P} сочетаются со всеми элементами из ЛСГ {S}, которые, в свою очередь, сочетаются не со всеми элементами из ЛСГ {A}. Поэтому мы не можем просто перемножить количество элементов в каждой группе друг на друга; следует проявить более тонкий подход, основанный на учёте сочетаемости. Границы этой сочетаемости были установлены в ходе консультации с предметником – врачом-травматологом.

Итак, начнём с вычисления количества комбинаций (т.е. сложных терминов) с термином перелом (S1-1-1):

 

25(ЛСГ {P}) * 1(ЛСГ {S}) * 21(ЛСГ {A}) = 525

 

Как видно, с термином перелом сочетаются все элементы из признаковой и анатомической групп.

 

Теперь перейдём к комбинациям с термином переломовывих (S1-1-2):

 

21(ЛСГ {P}) * 1(ЛСГ {S}) * 7(ЛСГ {A}) = 147

 

Здесь мы видим, что с данным видом повреждений сочетаются только 17 признаков из ЛСГ {P} и всего 1 элемент из ЛСГ {А}. В данном случае мы впервые видим, как срабатывает механизм ограничения по сочетаемости.

 

Осталось вычислить число комбинаций с термином вывих (S1-1-3):

 

17(ЛСГ {P}) * 1(ЛСГ {S}) * 1(ЛСГ {A}) = 17

 

Подсчитаем общее число возможных комбинаций:

 

525 + 147 + 17= 689

 

Для сравнения: общее число возможных комбинаций без учёта сочетаемости:

 

25(ЛСГ {P}) * 3(ЛСГ {S}) * 21(ЛСГ {A}) = 1575

 

Т.о., число возможных комбинаций без учёта сочетаемости примерно в 2,3 раза больше, что сильно перегрузило бы наше исследование.

Конечно, никоим образом не ожидается, что студенты будут приводить в своих ответах все 689 комбинаций. Существует разница между тем объёмом знаний, которым студент владеет, и тем, который он помещает в свой ответ. Будем отталкиваться от того, какой объём знаний должен присутствовать в ответе для получения положительной оценки знаний учащегося по данному предмету в целом. Т.о. мы сужаем границы и получаем реальные количественные параметры оценки ответа. В ходе консультации с врачом-травматологом, которые также занимается преподаванием, было установлено, что минимальное количество комбинаций в ответе учащегося равно 5. Оптимальным же количеством считается 14, поскольку такое число комбинаций позволяет в общем охватить всю предметную область.

Обозначив таким образом количественные и качественные параметры оценки знаний, мы можем перейти к рассмотрению конкретных ответов.

 

2. Когнитивно-коммуникативный анализ и оценка ответов учащихся

Пример № 1

23.     605 – 502/2 – К.

Переломы  таза:

1. Переломы костей таза, не образующих тазовое кольцо.

2. Переломы костей таза без нарушения целостности тазового кольца.

3. Переломы костей таза с нарушением целостности тазового кольца.

4. Перелом вертлужной впадины.

5. Перелом костей таза с повреждением тазовых органов.

 

Комментарии к примеру № 1:

1.     переломы костей таза, не образующих тазовое кольцо – очевидно, имеется в виду переломы краёв таза (оппозиция края таза (А1-1-1) / тазовое кольцо (А1-1-2) из ЛСГ {А}). Однако даже при таком допущении понятие края таза не конкретизировано должным образом – условно указана только материнская вершина (А1-1-1);

2.     с нарушением / без нарушения целостности тазового кольца – видимо, подразумевается антонимическая пара признаков с сохранением / без сохранения тазового кольца (Р2-10-1 / Р2-10-2);

3.     перелом вертлужной впадины – понятие «вертлужная впадина» не конкретизировано. Во-первых, не указано, какая именно вертлужная впадина имеется в виду – правая или левая; во-вторых, не уточняется, о переломе какой именно части вертлужной впадины идёт речь – дна, крыши или края. В связи с этим на графе ответа нами выделена только одна вершина – промежуточная вершина вертлужные впадины (А2-2-3).

4.     с повреждением тазовых органов – официальное название этого признака согласно Р.Т.К. – осложнённый (Р2-5-1). Т.о. вместо термина студент использовал нетерминологический неологизм, у которого, помимо всего прочего, нет пары-антонима (осложнённый / неосложнённый);

 

Покажем упомянутые в ответе элементы на эталонном графе предметной области «Повреждения таза»:

 

Рис. 5. Граф ответа из примера № 1

 

На основании графа составим статистику, которая поможет дать количественную и качественную оценку ответа:

 

Статистика по примеру №1:

·        по элементам метаязыка (качественная оценка): критерии построения классификации повреждений таза отсутствуют;

·        по элементам языка-объекта (количественная оценка):

1.     ЛСГ {Р} представлена 3 терминами из 25;

2.     ЛСГ {S} представлена 1 термином из 7;

3.     ЛСГ {A} представлена 2 терминами из 20.

 

Итого: 3 * 1 * 2 = 6 комбинаций. Ответ считается удовлетворительным.

 

Пример № 2

39.     607 – 504/3 – Э.

Переломы  таза.

- с нарушением целостности тазового кольца

- без

- краевые переломы

- переломы вертлужной впадины

- с повреждением органов малого таза

- без повреждения

 

Комментарии к примеру № 2:

1.     с нарушением целостности тазового кольца – см. комментарии к примеру № 1, п. 2;

2.     без – аналогично (Р2-10-1);

3.     краевые переломы – у признака краевой (Р2-8-2) нет антонимической пары (центральный / краевой);

4.     перелом вертлужной впадины – см. комментарии к примеру № 1, п. 3;

5.     с повреждением органов малого таза – отвечающий путает травматологическую классификацию с акушерско-гинекологической. Скорее всего, речь идёт (согласно Р.Т.К.) о признаках осложнённый / неосложнённый (Р2-5-1 / Р2-5-2) (оппозиционная группа, выделяемая по критерию Кр2-5 «По наличию повреждений внутренних органов»). Подобная формулировка не является ошибкой, но говорит о достаточно ограниченном представлении отвечающего об органах таза (понятие «органы таза» включает в себя понятие «органы малого таза», т.е. оно шире). С учётом этого допущения засчитаем данный признак как осложнённый (Р2-5-1). Второй элемент этой оппозиции не указан.

 

Рис. 6. Граф ответа из примера № 2

 

Статистика по примеру №2:

·        по элементам метаязыка: критерии построения классификации повреждений таза отсутствуют;

·        по элементам языка-объекта:

1.     ЛСГ {Р} представлена 5 терминами из 25;

2.     ЛСГ {S} представлена 1 термином из 7;

3.     ЛСГ {A} представлена 1 термином из 20.

 

Итого: 5 * 1 * 1 = 5 комбинаций. Ответ считается удовлетворительным.

 

Пример № 3

325.   4. Ст-ев.

Классификация переломов костей таза

- Краевые переломы

- Переломы без нарушения целостности тазового кольца

- Переломы с нарушением целостности тазового кольца

- Переломы вертлужной впадины

 

По наличию раны

- открытые

- закрытые

 

По смещению

- со смещением

- без смещения

 

По повреждению тазовых органов

- с поражением тазовых органов

- без поражения тазовых органов

 

По осложнениям

- осложнённый

- не осложнённый

 

Комментарии к примеру № 3:

1.     в отличие от всех предыдущих, в данном ответе присутствуют критерии. Все приведённые критерии относятся к ЛСГ {Р}, но перечислены они не полностью;

2.     более того, названия большинства приведённых критериев являются неологизмами, которые близки по форме к официальным названиям, но всё-таки отличны от них. Правильно указано название лишь одного критерия – «По наличию раны» (Кр2-9). Очевидно, «По повреждению тазовых органов» следует понимать как «По наличию повреждений внутренних органов» (Кр2-5), а «По смещению» – как «По наличию смещения фрагментов» (Кр2-7). При этом элементы соответствующих этим критериям оппозиционных групп названы правильно. Очевидно, учащийся запоминал названия критериев отдельно от названий соответствующих им элементов языка-объекта;

3.     по какой-то причине отвечающий дублирует критерий «По наличию повреждений внутренних органов» (Кр2-5), сначала называя его «По повреждению тазовых органов», а потом «По осложнениям». Очевидно, он воспринимает их как два разных критерия;

4.     с поражением тазовых органов / без поражения тазовых органов – см. комментарий к примеру № 1, п. 4;

5.     краевые переломы – см. комментарии к примеру № 2, п.3.

 

Рис. 7. Граф ответа из примера № 3

 

Статистика по примеру №3:

·        по элементам метаязыка:

1.     ЛСГ {Р} представлена 3 критериями из 12;

2.     ЛСГ {S} не представлена;

3.     ЛСГ {A} не представлена.

·        по элементам языка-объекта:

1.     ЛСГ {Р} представлена 9 терминами из 25;

2.     ЛСГ {S} представлена 1 термином из 7;

3.     ЛСГ {A} представлена 1 термином из 20.

 

Итого: 9 * 1 * 1 = 9 комбинаций. Оценка ответа – выше удовлетворительной.

 

В данной работе мы ограничились пятью примерами, поскольку практически все ответы, взятые из монографии А.Н. Краснова, имеют такой же вид и структуру, и расширение выборки ни на что не повлияет. Рассмотрим выявленные нами наиболее часто встречающиеся ошибки:

1.     отсутствуют критерии. Иными словами, отсутствует основа для построения целостной семантической структуры предметной области с учётом гипо-гиперонимических отношений. Это, в свою очередь, оказывает негативное влияние на  то, как учебный материал усваивается студентами в количественном и качественном отношении;

2.     термины часто не конкретизированы. Очень часто отвечающие используют термины, стоящие на промежуточном, а не на последнем уровне иерархии. Использование гиперонима не является ошибкой, однако отрицательно влияет на оценку ответа по качественному показателю;

3.     у терминов часто нет пары, т.е. не показана оппозиционная группа. Это вновь говорит о крайне низкой степени сформированности языковой картины предметной области у отвечающего. Можно предположить, что знание студентом критериев выделения той или иной оппозиционной группы помогло бы ему восстановить эту группу полностью хотя бы при помощи логики;

4.     неполное перечисление терминов в пределах какой-либо ЛСГ. Опять-таки, хорошее знание семантической структуры (т.е. критериев) позволило бы студенту запомнить больше терминов.

 

Выводы

1.     обозначенные нами параметры качественной и количественной оценки знаний учащихся в совокупности с выбранным нами способом репрезентации позволяют дать адекватную оценку этих знаний;

2.     идеографическая репрезентация лексико-семантической структуры предметной области даёт возможность обнаружить пробелы в знаниях студентов, а также позволяет выявить наиболее часто допускаемые ими ошибки. Анализ этих пробелов и ошибок поможет соответствующим образом скорректировать способ преподавания материала по данной дисциплине.

 

Литература:

1. Андрусенко Т.Б. Лингвистические структуры в компьютерных учебных средах. Национальная академия наук Украины. Институт кибернетики им. В.М. Глушкова. – Киев: Наукова думка, 1994. – 160 с.

2. Евстигнеев В.А. и др. Теория графов. (Алгоритмы обработки деревьев). / В.А. Евстигнеев, В.Н. Касьянов. – Новосибирск. ВО «Наука», Сибирская издательская фирма. 1994. – 360 с.

3. Караулов Ю.Н. Общая и русская идеография. Ин-т. языкознания АН СССР. Отделение  литературы и языка. М.: Наука, 1976.

4. Коннов В.В. и др. Геометрическая теория графов. / В.В. Коннов, Г.А. Клековкин, Л.П.  Коннова. М.: «Народное образование», 1999. – 240 с.

5. Краснов А.Н., Слоева Е.А. Языковая репрезентация концептуальной модели анатомического объекта. Когнитивно-коммуникативный  анализ. Монография. Издатель: LAP LAMBERT Academic Publishing Gmbh & Co. KG Dudweiler Landstr. 99 66123 Saarbrucken, Germany, 2011. – 139 с.    

6. Krasnov A.N., Sloeva E.A., Zhirov V., Zhuravleov A., Moshkov I. Ideographic Representation of Semantics in Taxonomic-Type Sentences: Cognitive Aspect. Book of  Abstracts. The 18th European Symposium on Language for Special Purposes (LSP). Special Language and Innovation in Multilingual World. Perm State University, 22-26 August, 2011. P. 43.

7. Krasnov A.N., Sloeva E.A., Zhirov V., Zhuravleov A., Moshkov I. Cognitive Aspects of Compound Term Semantics Recognition. Book of Abstracts. The 18th European Symposium on Language for Special Purposes (LSP). Special Language and Innovation in Multilingual World.  Perm State University, 22-26 August, 2011. P. 44.

8. Никаев С.А. Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства. / Никаев С.А. Автореф. дисс. канд. Спец. 05.13.01. – Системный анализ, управление и обработка информации (промышленность). –  Самара, 2004. – 24 с.

9. Самусев Р.П., Селин Ю.М. Анатомия человека: Учебник. – М.: Медицина, 1990. – 480с., илл.

10. Слоева Е.А. Когнитивно-коммуникативный подход к описанию анатомического объекта. / Слоева Е.А. Автореферат дисс. канд. Спец. 10.02.19 – Теория языка. – Ульяновск, 2007. – 22 с.