Давиденко І.С., Давиденко О.М.

МЕТОД РОЗРАХУНКУ «ГРУП РИЗИКУ» СТУДЕНТІВ ПРИ ПІЛОТНИХ КОНТРОЛЬНИХ РОБОТАХ ІЗ ЗАСТОСУВАННЯМ СЕРІЙ ТЕСТОВИХ ЗАВДАНЬ (ЛЕКЦІЯ)

Буковинський державний медичний університет, м. Чернівці

Вступ. Виділення груп ризику серед студентів є необхідним для застосування заходів підготовки студентів з метою підвищення ефективності складання офіційних контрольних робіт, наприклад, ліцензійних інтегрованих іспитів. Існують різні підходи щодо розрахунку груп ризику студентів на основі попередніх тестувань. Межа, нижче якої студента відносять до групи ризику, може виставлятися інтуїтивно на основі власного досвіду, з урахуванням позитивного досвіду інших колективів викладачів, на підставі деяких формальних об'єктивних показників, наприклад, на основі «двох середньоквадратичних відхилень» (так зване «правило двох сигм»). Застосування методу «двох середньоквадратичних відхилень» ґрунтується на відомому факті, що в межах двох середньоквадратичних відхилень знаходиться не менше 95% спостережень генеральної сукупності. Застосування цього правила для показників, які виражені у частках (відсотках, проміле тощо), не є вірним з двох причин. Перша причина - показники, які виражені у частках, розподіляються згідно біномінального закону (це в цілому несиметричний розподіл), а не згідно нормального закону. Обрахування двох середньоквадратичних відхилень для відсотків формально можливе (тобто існує сам метод розрахунку), але воно дає викривлене уявлення про генеральну сукупність. Друга причина - обрахування двох середньоквадратичних відхилень для відсотків, на відміну від параметричних показників, ніяк не залежить від кількості спостережень (тестових завдань), отже, в два середньоквадратичних відхилення щодо відсотків насправді не закладене урахування власне вірогідності (яка залежить і від кількості проб), але ж оцінка вірогідності є основною метою при складанні груп ризику студентів – важливо знати наскільки вірогідно студент не складе контрольну роботу.

Вказаних недоліків позбавлений біномінальний метод розрахунку довірчих інтервалів. Окрім того, біномінальний метод дозволяє в разі необхідності встановлювати бажаний рівень вірогідності.

Сутність біномінального методу розрахунку довірчих інтервалів полягає у тому, що при певному рівні вірогідності (як правило, це – р=0,05) обраховуються довірчі інтервали (використовують верхній ліміт) для того порога, який повинен досягти студент при офіційному тестуванні. Принципово важливо, що біномінальний метод, на відміну від методу розрахунку двох середньоквадратичних відхилень, враховує кількість тестових завдань, застосованих при пілотному тестуванні (можна застосовувати як окремі епізоди тестування, так і об'єднувати результати всіх або вибіркових пілотних тестувань).

Пояснимо на прикладах.

Приклад №1.

Стоїть завдання біномінальним методом з вірогідністю р=0,05 обрахувати верхній ліміт для створення групи ризику студентів, які будуть складати ліцензійний інтегрований іспит з порогом 55,5%. Проведено одне пілотне тестування під час лекції із застосуванням 80 тестових завдань. Особливістю методу є те, що в розрахунки слід ввести не відсоток (у даному випадку 55,5%), а число правильно вирішених тестових завдань з 80, щоби перетнути величину 55,5% - це число дорівнює 45. Отже, в формулу вводяться дані: 45, 80 і р=0,05 і отримують результат – верхній ліміт становить 67,32%, тобто, за вказаних умов, у групу ризику потрапляють всі студенти, які вирішили менше 54 тестових завдань з 80.

Приклад №2.

Стоїть завдання, яке подібне до прикладу №1 (слід набрати 55,5%), але проведена серія із чотирьох тестувань з різною кількістю тестових завдань у серії: 80, 80, 100, 200. Тобто сума тестових завдань з усіх пілотних тестувань становить 80+80+100+200=460. Отже, в формулу вводяться дані: 256, 460 і р=0,05 і отримують результат – верхній ліміт становить 60,25%, тобто, за вказаних умов, у групу ризику потрапляють всі студенти, які вирішили менше 278 тестових завдань з 460.

Приклад №3.

Ситуація - як в прикладі №2, але один із гіпотетичних студентів з причини хвороби з чотирьох планових пілотних тестувань відвідав тільки два пілотних тестування – перше (з 80 завдань, вирішив 46 завдань) і останнє (з 200 завдань вирішив 125 завдань). Поставлена мета з'ясувати, чи результат, показаний студентом на основі двох тестувань, дозволяє включити його в групу ризику. Отже, в формулу вводяться дані: 156, 280 і р=0,05 і отримують результат – верхній ліміт становить 61,62%, тобто, за вказаних умов, у групу ризику потрапляють всі студенти, які вирішили менше 173 тестових завдань з 280. Гіпотетичний студент реально набрав 46+125=171 правильних відповідей з 280 завдань, тобто студент потрапляє в групу ризику.

Для полегшення застосування біномінального методу розроблені комп'ютерні програми для статистики. Два приклади: безкоштовна програма «aStat» (для операційної системи Android), платна програма «NCSS» (для операційної системи Windows).

Отже, біномінальний метод є гнучким і головне - найбільш науково правильним для визначення груп ризику серед студентів на основі пілотних контрольних робіт із застосуванням тестових завдань. Метод дозволяє застосувати різні рівні вірогідності прийнятих рішень (за необхідності), полегшує планування пілотних тестувань, робить їх науково обґрунтованими, метод дає змогу використати індивідуальний підхід до окремого студента в разі фрагментарної його участі у пілотних тестуваннях. Однак, варто пам'ятати, що повна валідність нормативів для груп ризику залежить також і від підбору тестових завдань для пілотних тестувань, зокрема, від відсотку так званих закритих та відкритих баз тестових завдань.