ПЕДАГОГИЧЕСКАЯ ДИАГНОСТИКА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Выбор уровня задач для начала тестирования является важным вопросом адаптивной стратегии. Тестирование обычно начинают с простейших задач. Такой подход позволяет снизить психологический дискомфорт и создает атмосферу соревнования, чувство роста соответственно с ростом трудности задач. Принимая эти рассуждения во внимание, мы предлагаем начинать тестирование именно из задач уровня 2, которые являются простейшими для испытуемого что ориентирован на положительную оценку.

Есть дополнительный аргумент при выборе уровня 2 качестве стартового уровня для тестирования. Тестовые задания уровня 2 отражают обязательные факты из изучаемой. Они составляют основу для анализа структуры знаний и умений по элементам учебного материала. Эти задачи не могут быть исключены из процедуры тестирования. Было бы нецелесообразным начинать тест из задач уровня 3, так как продуктивные, особенно, творческие задания основываются на достаточно широком спектре знаний и не всегда позволяют определить, какие именно элементы учебной программы не усвоены студентом. Что касается задач уровня 1, то они ориентированы на студентов с неудовлетворительной подготовкой, нет необходимости предлагать их всем испытуемым. Нашу стратегию тестирования и алгоритм оценки представлен на рисунке 1.

Приведем некоторые пояснения к рис. 1. Тестирование начинается с задач уровня 2. Студент решает обязательный минимум задач уровня 2, автоматизированная система вычисляет

S2 - его тестовый балл на уровне 2 и оценивает погрешность тестового балла. Если точность является достаточной, автоматизированная система выставляет общую оценку или изменяет (повышает или снижает) уровень задач, которые предлагаются студенту; иначе студенту предлагаются дополнительные задания уровня 2 до достижения заданной точности. Следует подчеркнуть, что достигнута точность зависит не только от количества задач, но и от индивидуального тестового балла . Нужна точность определяется разницей между эмпирическим тестовым баллом и значениями, которые являются ключевыми для принятия решения об изменении уровня задач и выбор оценки.

Тестирование на уровнях 3, 4 и 1 проводится аналогично с отдельным вычислением тестовых баллов S3, S4 и S1 соответственно.

Такой алгоритм тестирования повышает соответствие между уровнем задач, которые предлагаются студенту и уровнем его подготовленности.

Компьютерную поддержку предложенной технологии обеспечивает информационная система "Эксперт 3.02", построенная нами на основе распределенной базы данных в среде Microsoft Access . Важным преимуществом системы "Эксперт", по нашему мнению, модульный принцип ее построения, что позволяет автору задач (возможно с помощью программиста) создавать новые варианты представления задач. На сегодня реализовано 12 таких вариантов, например, задания с выбором одного или нескольких правильных ответов могут подаваться с графическими изображениями (рис. 8) или без них, возможно выбирать ответ мышью на рисунке (рис. 4), и тому подобное. Основной базой данных информационной системы является база заданий в тестовой форме. Задача располагаются по темам для удобства просмотра. К каждой теме автор теста определяет элементы учебного материала, подлежащих проверке, и к каждому из них создает комментарий для студента, который не усвоил соответствующего материала. Для проверки знаний и умений по каждому элементу учебного материала создается несколько разноуровневых блоков задач. Блок состоит из заданий, которые являются параллельными по форме, содержанию и трудностью.

Автор указывает к каждому блоку уровень задач (1-4), весовой коэффициент для учета важности данного вопроса при итоговом оценивании в гетерогенной тесте, максимальное время экспозиции задачи. Автор создает тест как систему заданий возрастающей трудности и указывает последовательность подачи блоков При осуществлении тестирования автоматизированная система случайным образом выбирает и предлагает студенту одно или несколько заданий из каждого блока. Количество блоков в тесте и нужное количество задач в каждом блоке определяется нужным качеством диагностики. Система гарантирует, что студент получит не менее одного задания из каждого блока уровня 2, для обеспечения заданной точности автоматически выбирается несколько задач. Задача блоков уровней 1, 3 и 4 предлагаются студенту по алгоритму, который представлен на рис. 1.

По результатам тестирования формируется база данных, которая содержит информацию о ответы каждого студента на каждое задание. Эта база включает следующие основные поля: код задачи, правильность ответа, уровень задачи, вероятность случайного предоставления правильного ответа, время, потрачено на решение задачи. Сохраняется также дополнительная сервисная информация, например, время и дата тестирования, оценка и т.п..

По результатам тестирования студент получает диагностические данные по уровням и элементам учебного материала и диаграмму, отражающую структуру учебных достижений .

Автор получает стандартный статистический анализ и геометрический образ каждого задания, отражающий трудность этой задачи для студентов с различной общей оценкой . Автор имеет возможность с использованием встроенных средств Microsoft Access передать матрицу результатов в табличного процессора для дальнейшего их анализа. Такой анализ является важным элементом верификации теста.

После завершения подготовки и верификации теста можно считать, что система педагогической диагностики готова к эксплуатации. Этап практического применения системы является сочетанием процедуры тестирования и статистической обработки полученных результатов, которая включает интерпретацию результатов, формирование выводов относительно квалификации испытуемого. В процессе эксплуатации экспертной системы педагогической диагностики может возникнуть потребность в усовершенствовании базы тестовых заданий, методики интерпретации результатов или алгоритма формирования выводов. Вполне существенно, это потребует возврата к предыдущим этапам работы с системой.

Выводы:

1. Предложено развит алгоритм тестирования и оценки, учитывающий особенности применения компьютерных технологий при тестировании.

2. Предложено и внедрено в учебный процесс Харьковского национального педагогического университета им. Г. С. Сковороды методику администрирования базы тестовых заданий.

3. Разработана автоматизированная система педагогической диагностики "Эксперт 3.02".