ПЕДАГОГИЧЕСКАЯ ДИАГНОСТИКА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Наша технология исследования статистических характеристик задач базируется на рекомендациях стандарта и учитывает особенности автоматизированной педагогической диагностики .

Для проведения апробации обычно подбирается группа, которая является случайной репрезентативной выборке из всей совокупности студентов, для которых создается тест. Студенты решают задачи, которые претендуют на право войти в теста. Параллельно, независимо от этого тестирования устанавливается уровень учебных достижений студентов, что можно сделать на базе экспертных оценок, например, традиционного экзамена. Апробация следует организовать таким образом, чтобы исключить существенного изменения квалификации студентов между развязыванием заданий теста и независимым экспертным оцениванием. Однако, невозможно организовать экспертное оценивание студентов так часто, как это требуется для обновления базы тестовых заданий. Поэтому во время проведения текущей верификации целесообразно организовывать студентов по уровню знаний с помощью той же автоматизированной системы педагогической диагностики, проверять корреляцию балла за отдельное тестовое задание с общей оценкой по тесту. В таком случае, данные апробации накапливаются непрерывно, в том числе при выполнении студентами самостоятельной работы с использованием автоматизированной системы. Автоматизированная система педагогической диагностики позволяет осуществить отбор результатов для текущей верификации по дате и времени тестирования, шифром студенческой группы, вариантом теста, время обдумывания ответа . Валидность автоматизированной системы тестирования в целом, проверяется через сравнение итоговых тестовых результатов студентов с результатами других видов педагогического контроля: опрос, экзамен, выполнение практических работ и т.п..

После распределения студентов по уровням знаний определяется соответствие уровня тестового задания и его эмпирического индекса сложности.

При любой форме тестового задания предложена методика исчисления доли правильных ответов обеспечивает сущность этой меры как вероятность того, что случайно выбранный ученик способен выполнить эту задачу, а не угадать ответ. В дальнейшем будем использовать именно долю сознательно правильных ответов Pj как показатель трудности (легкости) задачи.

По требованиям ученик со средним уровнем учебных достижений (оценка 4 по двенадцатибалльной системе) "знает около половины учебного материала, способен воспроизвести согласно тексту учебника или объяснения учителя, повторить по образцу определенную операцию, действие".

Именно такой смысл имеют задачи уровня 2 по выбранной нами классификации. Таким образом, Pj для задач уровня 2 не может быть меньше 0,5 для таких студентов. Предлагаем считать пригодным для задач среднего уровня Pj в пределах 0,5-0,9 на выборке студентов со средним уровнем знаний. Следует отметить, что такой диапазон доли правильных ответов не является удобным с точки зрения улучшения статистических параметров теста, но база задач уровня 2 представляет собой совокупность обязательных для изучения фактов учебного материала, поэтому автор задач не может изменить их трудность без изменения учебной программы. Для задач других уровней целесообразно выбрать среднее значение Pj = 0,5 для студентов оценкам соответствующего уровня.

Для дальнейшего анализа статистических характеристик задач необходимо определиться относительно алгоритма оценивания. Предложенный нами алгоритм соответствует идеологии двенадцатибалльной системы оценки. Это попытка применять абсолютную оценку по степени овладения учебным материалом, а не относительную оценку, которая отражает ранжирование студентов в группе. Такой подход к оценке приводит к необходимости обновить взгляд на методику подбора заданий к тесту по их статистическими характеристиками.

Идеальные характеристики задач по доле правильных ответов, с точки зрения выбранного алгоритма оценки, приведены в таблице 1. Безусловно, характеристики каждого реального задачи отличаются от идеальных, но в среднем за всеми заданиями теста доля правильных ответов должно принадлежать интервалам, которые приведены в таблице 1. В случае, когда оценка выставляется по результатам того же теста, иначе и не может быть, поскольку указанные доли сознательно правильных ответов есть межевыми точками в алгоритме оценки. Новое задание, которое прилагается к тесту должно соответствовать этим условиям, иначе изменится общая трудность теста.

Таким образом, для задач среднего уровня на выборке студентов со средним уровнем знаний имеем такой алгоритм анализа результатов апробации:

1. Проверить способность задача разделять студентов по их учебными достижениями. Обратим внимание на то, что индекс дифференцируя способности можно вычислить как разницу между индексами сложности для групп студентов различным оценкам . Если задача не обеспечивает монотонного роста доли сознательно правильных ответов во время роста оценки студентов, или разность между наибольшим и наименьшим значениями доли правильных ответов не превышает 0,25, то такая задача не является тестовым, его следует переработать или отбросить .

2. Если задача не имеет разрешения для студентов оценкам от 3 до 6, но хорошо разделяет студентов с оценками от 1 до 3, то такая задача следует перевести в начального уровня .

3. Если задача не имеет разрешения для студентов оценкам от 3 до 6, но хорошо разделяет студентов с большими оценками, то нужно проанализировать содержание задачи.

Возможно при его выполнении студенты вынуждены использовать более сложные виды умственной деятельности, чем предусмотрено автором, тогда эта задача перевести к достаточному или высокого уровней.

Следует также, проанализировать процесс обучения, выявить, не является рост трудности задачи результатом пренебрежения некоторыми разделами программы.

Например, во время преподавания дисциплины "Основы информатики и применения ЭВМ в психологии" студентам предлагается таблица двоичных кодов для чисел от 1 до 15. В связи с этим авторы теста отнесли задачи, представлены на рис. 4, к репродуктивного уровня. Но, как показали результаты тестирования, во время практического нахождения двоичных кодов студенты не пользуются этой таблице, а применяют известный алгоритм перевода чисел в двоичной системы счисления. Таким образом оказалось, что для данного контингента испытуемых задач (рис. 4) соответствует достаточному уровню .

4. Задача имеет хорошую разрешение для студентов оценкам от 3 до 6, но оказалось слишком трудным, доля правильных ответов значительно ниже чем указано в таблице 1. Возможно задание оказалось комбинированным, и требует воспроизведения одновременно нескольких независимых учебных фактов. В таком случае целесообразно проверить знания каждого факта с помощью отдельного задания. Не исключено, что рост трудности задачи связано с погрешностями в процессе преподавания, тогда следует проанализировать и усовершенствовать методику преподавания.

5. К тесту отбираются задачи среднего уровня таким образом, чтобы средняя доля правильных ответов студентов оценкам 4 и 6 на все задания теста равнялась 0,5 ^ 0,7 и 0,8 ^ 1 соответственно.

Для задач уровней 1, 3, 4 лучшим будет диапазон значений доли правильных ответов 0,5-0,6, допустимым 0,3-0,7 на соответствующей по уровню выборке студентов . Анализ этих задач выполняется аналогично уровню 2.

Четвертый этап построения системы педагогической диагностики предполагает построение теста на базе тестовых заданий с учетом их статистических характеристик. В современной практике тестирования известно несколько стратегий. Наибольшее распространение получила стратегия, которая предусматривает задач в порядке возрастания трудности, всем студентам предлагаются все задания теста, но ограничивается время на выполнение работы . Возможно использование параллельных вариантов теста, чтобы снизить вероятность предварительного ознакомления студентов с заданиями. Такая стратегия наилучшим образом соответствует условиям бланкового тестирования. Автоматизация процесса тестирования с использованием компьютера позволяет усовершенствовать стратегию, организовать процесс так, чтобы определить уровень знаний студента и предложить ему наибольшую часть задач, которые соответствуют уровню его подготовки. В этом направлении разрабатываются различные стратегии адаптивного тестирования, среди которых постепенное увеличение трудности задач с непрерывным статистическим анализом достоверности преимущества правильных ответов над неправильными и даже использование алгоритмов бинарного поиска. Особенность нашей задачи состоит в том, что нужно определить не только достигнутый студентом уровень, но также проанализировать структуру его учебных достижений, сделать тестирование можно информативнее. Поэтому мы предлагаем комбинированную стратегию тестирования с векторной обработкой тестовых результатов: отдельное вычисления тестового балла для задач каждого уровня и раздельная обработка результатов выполнения тестовых заданий соответствии элементам знаний и умений.