Д.т.н. Жильцов А.В., к.т.н.
Мирских Г.А.
Национальный университет биоресурсов и
природопользования Украины
Смысловое
значение дефиниции педагогического теста
Системный характер педагогического теста
Системный характер ПТ, применение к тесту понятия системы
означает, что в нем собраны
такие тестовые задания (ТЗ), которым присущи системообразующие свойства. При
этом в первую очередь следует выделить общую принадлежность ТЗ к выбранной
содержательной области (к одной или к группе взаимосвязанных учебных дисциплин).
Эти ТЗ упорядочены (от самого легкого до самого сложного) и логически связаны
друг с другом, обеспечивая реализацию единого процесса, направленного на достижение
определенной цели. Кроме того, соответствующий анализ результатов тестирования
позволяет одновременно с оценкой уровня знаний студента получить дополнительную
информацию, которая, в частности, свидетельствует о квалификации преподавателя
и уровне методической отработки учебного материала.
Таким
образом, ПТ – это структура, в которой отдельные составляющие «взаимодействуют»
как с внутренней (влияют друг на друга), так и с внешней (влияют на конечный результат
как непосредственно, так и за счет взаимных связей) средой, проявляя при этом
свойства эмерджентности. Т.е. в совокупности ПТ проявляет все специфические свойства
системы, является таковым.
Специфичность формы
тестовых заданий
Специфичность
формы ТЗ состоит в том, что эти задания сформулированы не в традиционной форме вопросов
или задач, а в форме высказываний. Эти высказывания в зависимости от характера
ответа могут быть истинными или ложными, тогда как, вопросы, сформулированные в
традиционной форме, истинными или ложными не бывают (категории истинности или
ложности распространяются исключительно на ответы). Известно, что ответы на вопросы,
сформулированные в традиционной форме, нередко бывают настолько неопределенными
и многословными, что выявление их правильности требует значительных затрат времени
и интеллектуальной энергии преподавателя, делает невозможным использование информационных
технологий.
Каждое ТЗ содержит описание
взаимодействия некоторых объектов природы, производства, отдельных групп
общества и т.п. Это описание может быть выполнено в разных видах (вербальном,
символьном, графическом, мультимедийном, пр.) и является приближенным,
неполным. Сущность ПТ состоит в том, чтобы ответом на ТЗ студент придал указанному
описанию полноту и точность, используя приведенную в представленном описании (в
тексте ТЗ) информацию, а также полученные в процессе обучения знания и умения.
По содержанию и форме ТЗ должны характеризоваться определенным уровнем информативности (дискриминативности), т.е.
предполагать возможность предоставление разными (по уровню знаний) студентами
разных ответов. Если это требование не выполняется, то ТЗ считается малоинформативным
(не достаточно дискриминативным), малопригодным для диагностирования учебных
достижений, т.к. не способствует (не допускает) градации уровня знаний студентов
в соответствии с уровнем их подготовки.
Определенность
содержания теста
Определенность
содержания теста предполагает, что в него включен для контроля исключительно
тот контрольный материал, который отвечает содержанию соответствующей учебной дисциплине
(точнее, содержательной области теста). Кроме того, если в выбранной
содержательной области параллельно существует несколько трактовок тех или иных
явлений, несколько методологий или парадигм (это случается при динамичном развитии
соответствующей области знаний), обязательно указываются соответствующие
условия, принятые за основу в процессе подготовки тестовых заданий.
С понятием определенности содержания теста связано понятие его тематической репрезентативности, которая
характеризует степень представленности в
наборе ТЗ заявленной содержательной области. Отметим,
что содержание ПТ существует, сохраняется и передается в форме ТЗ, вне которых ни
ПТ, ни его содержание не существуют.
Возрастающая в
рамках должным образом определенного диапазона сложность тестовых заданий
В
ПТ порядок предъявления ТЗ студенту соответствует принципу монотонно возрастающей
сложности. Причем только наиболее подготовленные студенты способны дать
правильные ответы на ТЗ самого высокого уровня сложности, размещенные в конце
теста (предъявляются к решению последними). При этом уровень сложности всех ТЗ
должен располагаться в пределах определенного диапазона. Этот диапазон
выбирается так, чтобы обеспечить обоснованно выбранное ранжирование студентов в
группе. Например, диапазон сложности можно задать так, чтобы наиболее сложные ТЗ
могли быть решены 10 % общей численности студентов в группе, ТЗ средней
сложности – 70 % и т.д.
Сложность
ТЗ, вообще говоря, может определяться двояко:
‑ на
основе анализа, основанного на определении прогнозируемого количества тех или
иных операций, которые необходимы для успешного выполнения задания;
‑ на
основе подсчета части неправильных ответов на задание после эмпирической апробации
теста и соответствующей обработки результатов.
Показатель
сложности ТЗ – одна из важнейших характеристик, определяющих
структурный и системный характер теста. В настоящее время сложность ТЗ преимущественно
определяется методами, основанными на статистической обработке результатов
«пробного» тестирования, с элементами моделирования умственной деятельности студентов
в процессе тестирования [1]. При этом сложность ТЗ не должна нарушать его
методологическую определенность, например, условия, предусматривающие
исключительно возможность дуального (положительного или отрицательного) ответа
[2].
Ответы на задания педагогического
теста
Ответ на ТЗ, представляет собой суждение, по содержанию и форме связанное с содержанием ТЗ. Каждому ТЗ ставятся в соответствие те или иные ответы. Критерии правильности определяются авторами теста. Вероятность правильного ответа на любое ТЗ зависит от соотношения уровня знаний студента и уровня сложности ТЗ. Введением соответствующей шкалы, эта вероятность принимается в качестве критерия правильности ответа, выражается числом от нуля до единицы и при результирующем анализе пересчитывается в привычные критерии оценивания знаний. Оценивание ответов по степени их правильности проводится редко, но иногда создаются ТЗ с ответами, которые «правильны в разной мере» [1]. При этом инструкция формулируется как: «Отметьте номер ответа, который на Ваш взгляд наиболее правильный».
Надежность
и валидность результатов педагогического тестирования
Оценка, которая выставляется студенту по результатам тестирования, естественно,
должна быть объективной, т.е. максимально соответствовать истинному уровню его
знаний в соответствующей содержательной области. Этот уровень объективности связан
с категориями валидности и надежности теста.
Валидность теста ‑ комплексная характеристика теста, которая отображает
его способность измерять именно то, для чего этот тест предназначен.
Введение такой
характеристики принципиально важно для получения в результате тестирования информации
об уровне знаний студента без оговорок, связанных с его физическим и/или
психологическим состоянием во время тестирования. Неблагоприятные климатические
или психологические условия, в которых проводится тестирование, существенно влияют
на результаты, создавая преимущества для студентов, менее восприимчивых к
влиянию указанных условий. При низком уровне валидности теста эти условия существенно
снижают уровень объективности оценки.
Надежность теста ‑ мера стабильности результатов,
полученных при использовании соответствующего теста. Высокая надежность ПТ
гарантирует получение одинаковых (точнее, близких в рамках принятых вероятностных
показателей) результатов повторных тестирований данной группы студентов (разумеется,
при отсутствии дополнительной подготовки).
Уровень
и структура знаний
С
точки зрения педагогических измерений различают два основных показателя
качества знаний: уровень и структуру.
Эти показатели оцениваются путем регистрации оценок, как за знания, так и за
незнания всех компонентов содержательной области. Для объективизации этого
процесса все указанные составляющие должны быть «равноправны» (одинаковы) с точки
зрения их влияния на конечный результат. Одинаковыми должны быть и правила обработки
результатов и формирования итоговой оценки.
Уровень
знаний определяется по
результатам анализа ответов каждого студента на все ТЗ. Чем больше правильных ответов,
тем выше индивидуальный бал студента. Как правило, этот бал ассоциируется с
понятием «уровень знаний» и уточняется на основе выбранной модели педагогического
измерения. Высший бал указывает на высший уровень знаний студента. При этом одинаковые
оценки (которые свидетельствуют об одинаковом уровне знаний) можно получить за счет
ответов на разные задания.
В
процессе обработки результатов тестирования ответ студента на совокупность ТЗ
идентифицируется цифровым кодом ‑ последовательностью единиц и нулей,
расположенных в порядке нумерации ТЗ. При этом единица соответствует правильному
ответу, а нуль – неправильному. Этот цифровой код позволяет судить о структуре (профиле) знаний студента. Например,
по результатам теста, содержащего тридцать ТЗ, студент получил десять балов. Причем
эти баллы получены за счет правильных ответов на первые десять ТЗ. При этом ответ
будет идентифицирован кодом, в котором десять единиц указывают на наличие
десяти правильных ответов, а место этих единиц в коде – на номера
соответствующих ТЗ. В рассматриваемой ситуации единицы расположены в начале
кода, что соответствует правильным ответам на легкие ТЗ. Такой код указывает на
правильную структуру знаний студента.
Т.е., если студент правильно отвечает на
первые ТЗ, можно говорить о правильной структуре его знаний (большинство нулей кода
располагаются после большинства единиц). Обратная ситуация (студент правильно
отвечает на некоторые сложные ТЗ и неправильно ‑ на простые), противоречит
логике теста. Такая структура знаний признается инвертированной, что, чаще
всего, обусловлено низким качеством теста (например, нарушением требования
относительно размещения ТЗ), нечетким формулированием парадигмы, принятой в процессе разработки теста, недостаточным
усвоением студентом отдельных разделов дисциплины, или усвоением им лишь
отдельных фактов и т.п. Следует учитывать, что уровень
знаний студента существенно зависит от его индивидуальных качеств, тогда как
структура знаний – от организации учебного процесса, качества изложения
той или иной части дисциплины, мастерства преподавателя, и т.п.
В заключение подчеркнем, что
педагогическое тестирование не следует воспринимать как панацею. Внедрение этой
методологии должно опираться на соответствующую информацию о преимуществах и
недостатках отобранных для рассмотрения методов контроля учебных достижений студентов.
Литература
1. Tatsuoka K.K. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. ‑ 56
p.
2. Челышкова М.Б. Теория и практика конструирования педагогических
тестов. ‑ М.: Логос, 2002. – 568 с.