Підсекція
№1 “Дистанційна освіта”
Дубич С.Я.
Дніпропетровський
національний університет
Кафедра
педагогічної психології та англійської мови
Підхід до автоматизації оцінювання
знань студентів
Проблема оптимізації
контролю знань студентів ще не розв’язана остаточно. Особливої актуальності
вона набуває в сучасний період, коли значна частина навчального матеріалу
передається для самостійного вивчення та в зв’язку з розвитком технологій дистанційного навчання. Здійснення
контролю знань студентів безпосередньо викладачами має ряд таких недоліків:
суб’єктивність в оцінці знань, вплив особистості викладача на психологічний
стан студента під час його відповіді, можливість звинувачення викладача в
необ’єктивності оцінки, апеляції та інші. При впровадженні дистанційного
навчання з використанням інтернет-технології проблема оцінювання знань особливо
загострюється. В зв’язку з цим ми поставили завдання провести експериментальне
випробування розробленої нами технології автоматизованої оцінки знань
студентів, основаної на поєднанні психо-фізіологічних методик з використанням
комп’ютерної техніки. В основі такого підходу
лежить значне збільшення кількості факторів, в тому числі й тих, що
характеризують психофізіологічний стан студентів, за допомогою яких проводиться
оцінювання їх знань [1]. Попереднє
повідомлення про результати нашого дослідження мало місце в методичних
рекомендаціях для викладачів [2].
Автоматизована оцінка знань
студентів нами здійснювалась за допомогою реєстрації мовного дихання, запису
голосу підчас відповіді та комп’ютерної обробки отриманих при цьому електричних
сигналів. Мовне дихання реєстрували за допомогою електролітного датчика, що
накладався на грудну клітку віповідаючого. Голос відповіді реєстрували з
допомогою мікрофону. Запис мовного дихання здійснювався на паперовій стрічці
поліграфа. Сигнал з мікрофону також записували на стрічці поліграфа одночасно з
диханням. Крім цього електричні сигнали від мікрофону й датчика дихальних рухів
спеціальним пристроєм перекодувалися в цифрові сигнали й подавалися в комп’ютер
для аналізу й математичної обробки параметрів, що характеризують особливості
мови та мовного дихання. Співставлення параметрів мови та мовного дихання дало
можливість визначати коефіцієнт використання видиху (КВВ). Нами було знайдено,
що величина цього коефіцієнту знаходиться в прямій залежності від якості знань,
що демонстрував студент у своїй усній відповіді на запитання.
Піддослідними були студенти академічної
групи, які усно відповідали на семінарах, на заліку та на іспиті, що
проводилися у відповідності з навчальним планом. Семінарські заняття, заліки та
іспит здійснював реальний викладач, який оцінював знання студентів за
п’ятибальною системою (відмінно, добре, задовільно, незадовільно). Одночасно з
цим за допомогою електронно-комп’ютерної техніки визначався показник КВВ за
100-бальною шкалою. Для контролю машини паралельно вручну аналізували фонограму
й пневмограму та визначали КВВ.
Всього студентам було поставлено при
проведенні контролю знань 262 запитання. З них 118 запитань основних та 144
запитання – додаткові. Під час усного іспиту студентам давали час для
обдумування відповіді на основні запитання в екзаменаційних білетах, а на
додаткові запитання екзаменатора треба було відповідати відразу. На заліку
студенти відповідали на поставлені запитання відразу. На семінарах основних
запитань було значно менше, ніж на іспиті і студенти їх отримували заздалегідь.
А на додаткові запитання під час семінару студенти відповідали відразу, без
попередньої підготовки.
Порівняння оцінок викладача з машинними
оцінками за 100-бальною шкалою, отриманими за допомогою
електронно-обчислювальної техніки, дало слідуючі результати. Оцінці
„незадовільно” відповідали 46 і менше машинних балів. При оцінках викладача
„посередньо” машина оцінювала знання в межах від 47 до 69 балів. Коли оцінка,
поставлена викладачем, була „добре”, машинна оцінка визначалася в межах від 70
до 86 балів. Нарешті, при поставлених викладачем оцінках „відмінно”, машина
ставила оцінки 81 бал і вище. Отже, виникла
проблема при машинному диференціюванні оцінок „добре” від оцінок „відмінно”.
Для усунення цієї проблеми „перекриття” балів
при оцінках „відмінно” та „добре” було зроблено припущення, що у випадку
відмінних знань усна відповідь студента на запитання за своїми
психо-фізіологічними параметрами не повинна відрізнятися від читання вслух
знайомого тексту в підручнику. Контрольні досліди з тими ж студентами показали,
що при читанні тексту машина виставляла від 83 до 100 балів. На основі цих
даних мінімальним критерієм машинного аналізу оцінки „відмінно” прийнято
вважати 83 бали. Таким чином, оцінка „добре” відповідає 70 – 82 балам, а оцінка
„відмінно” – 83 балам і вище за 100-бальною шкалою оцінювання знань за
допомогою електронно-обчислювальної техніки.
Далі ми за допомогою традиційного та
машинного способів оцінки знань одночасно дослідили особливості різних методів
контролю успішності студентів у навчанні: відповіді на основні запитання в
екзаменаційних білетах з обдумуванням, відповіді на запитання без підготовки
при здачі заліку, відповіді на основні
та додаткові запитання на семінарських заняттях. Отримані при цьому оцінки
піддали статистичному аналізу і отримали середні арифметичні величини та
показники їх помилковості (табл.1).
Таблиця 1
Порівняння оцінок знань студентів
за 5-бальною
та 100-бальною (машинною)
системами
|
Відповіді
студентів |
Форма
контролю знань |
Кількість
оцінок |
Середній
бал оцінки та його помилка |
|
|
за
традиційною 5-бальною шкалою |
машинним
методом за 100 бальною шкалою |
|||
|
Після обдумування |
іспит |
59 |
4,83 ± 0,060 |
86,7 ± 0,75 |
|
семінар |
59 |
4,43 ± 0,097 |
81,3 ± 1,28 |
|
|
Без обдумування |
іспит |
48 |
3,81 ± 0,010 |
74,5 ± 1,90 |
|
семінар |
64 |
3,25 ± 0,114 |
62,5 ± 2,37 |
|
|
заліки |
32 |
3,06 ± 0,160 |
58,5 ± 3,25 |
|
Як видно з таблиці, найвища
оцінка знань була на іспиті при підготовлених відповідях на основні запитання в
білетах. Трохи нижчі оцінки були за
підготовлені відповіді на семінарах. На третьому місці за своїм рівнем
були оцінки за відповіді без часу на обдумування на додаткові запитання під час
іспиту. На четвертому місці – оцінки на семінарах, коли студенти відповідали на
запитання відразу. На п’ятому місці був найнижчий середній рівень оцінок на
заліках.
Різниця між зазначеними різними рівнями
оцінок знань при різних методах їх контролю досить суттєва. Так, середній
рівень оцінок за відповіді на основні запитання
по білетах під час іспиту був вищий на 1,77±0,161 бала (показник ймовірності різниці p<0,001) при
традиційному оцінюванні викладачем і на 28,4±2,63 бала вищий (p<0,001) при машинному оцінюванні знань
за 100-бальною шкалою, ніж на заліках. На семінарах середня оцінка за
поставлені відповіді була на 0,67±0,179 вище (p<0,001), і на 8,6±2,83 бала вище (p<0,001) при машинному оцінюванні, ніж на заліку. Відповіді на основні
питання під час іспиту оцінювалися викладачем на 1,02±0,07 бала (p<0,001)
вище, а при машинних оцінках на 12,2±2,65 бала (p<0,001) вище, ніж на відповіді на додаткові питання. На семінарських
заняттях відповіді на основні запитання оцінювалися викладачем на 1,38±0,20 (p<0,001) бала вищі, а машиною на 18,8±3,63 (p<0,001) бала вищі, ніж на відповіді на додаткові
запитання без підготовки. Отже додаткові запитання зумовлюють ймовірне
заниження оцінки знань у студентів.
Щоб визначити якою мірою розроблений
нами метод машинної оцінки знань студентів за 100-бальною шкалою відповідає
традиційному оцінюванню знань викладачем, проведено кореляційний аналіз 262 пар
оцінок, поставлених одним і іншим методом. При цьому отримано високий
позитивний коефіцієнт кореляції +0,921±0,0094 при ймовірності p<0,001, що свідчить про високий
рівень об’єктивності оцінок знань студентів, визначених
електронно-обчислювальною машиною на основі коефіцієнту використання видиху при
усних відповідях.
Висновки.
1.
Якість знань у
студентів при самостійній підготовці залежить від виду контролю. Найвища якість
знань виявляється при підготовці до іспиту, дещо нижча – до семінару і найнижча
– до заліку.
2.
Розроблений
нами метод оцінки знань машинним способом за 100-бальною шкалою достатньо
об’єктивний і точніший, ніж традиційне оцінювання викладачем.
3.
Додаткові
запитання під час контролю знань, отриманих студентами при самопідготовці,
приводять до заниженої оцінки і тому не пропонується їх використання при
здійсненні різних форм контролю знань.
Література
1.
Дьяченко М.И., Кандыбович Л.А. Психология высшей школы
(особенности деятельности студентов и преподавателей вуза) – Минск: БГУ, 1978.
2.
Метод активного обучения /Составители Дубич С.Я.,
Мильцин А.М. и др. – Днепропетровск: ДВЗРКУ ПВО, 1993.