Технология создания контрольно-измерительных материалов. Разработка и апробация контрольно-измерительных материалов.

Мониторинг - целенаправленное, специально организованное, непрерывное слежение за функционированием.

 Цель мониторинга: оперативно и своевременно выявлять все изменения, происходящие в сфере деятельности образовательного учреждения. Полученные объективные данные являются основанием для принятия управленческих решений.

Субъектами мониторинга выступают все участники образовательного процесса. Степень их участия различна, но все они (и учителя, и ученики, и родители, и общественность) получают информацию, анализируют ее.

Объектами мониторинга являются образовательный процесс и его результаты.

Новизна подхода к организации мониторинга достижений школьниками планируемых результатов освоения ООП (основной образовательной программы) состоит в следующем: 

1)  изменились целевые установки контроля (задания ориентированы на проверку сформированности универсальных и специфических для каждого учебного предмета способов действий);

2)  появилась необходимость в использовании критериального подхода при разработке заданий. Основными критериями оценивания при этом выступают планируемые результаты освоения ООП;

3)  предметом диагностики выступают как достигаемые образовательные результаты, так и процесс их достижения;

4)  изменилась роль учителя при проведении работ (активный участник, рефлексивная позиция при анализе и коррекции, наблюдатель при проведении).

Использование тестовых технологий

Тест – это инструмент, краткое стандартизованное испытание, в основе которого лежит специально подготовленный набор заданий, позволяющих объективно и надежно оценить исследуемые качества на основе использования статистических методов. При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста.

Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; устойчивость результатов теста к действию случайных факторов.

Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).

Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов.

Уровень усвоения, на который рассчитан тест, зависит от содержания задания. Выделяют четыре основные формы:

-  закрытые;

-  на установление соответствия;

-  на установление правильной последовательности;

-  открытые.

Все задания теста, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.

Тест должен оценивать умения, значимые для дальнейшей жизни испытуемых, включая и когнитивные умения. Получение положительной оценки за выполнение теста должно быть социально значимо. Стандарты достижения должны быть определены и сформулированы в терминах школьных программ. Проверяемые компетентности и задания теста не должны дискриминировать ни одну из групп обучающихся.

Одним из главных критериев качественной Системы оценки является её объективность. Объективность оценки предполагает, во-первых, соответствие измерителей планируемым целям, в нашем случае – требованиям к результатам образования, т. е. валидность содержания проверочной работы. Во-вторых, объективность оценки невозможна, если не будет обеспечена однозначность оценки работы учащегося любым проверяющим. Выполнение этого условия во многом зависит от выбора формы и способа оценки. В связи с этими положениями и введён в Стандарт термин «стандартизированные работы». Стандартизация включает комплекс процедур, позволяющий создать для всех испытуемых равные условия. Следовательно - ни одному ученику не дается никаких преимуществ перед другими;– ученики,выполняющие работу, выровнены по мотивации, которая не должна опираться на получение отметки и поощрение или наказание за неё;– работа различных групп учащихся занимает одинаковое время и проводится в равных условиях;– содержание работы должно соответствовать требованиям Стандарта;– все ученики выполняют одни и те же задания (подобные, параллельные формы заданий);– в работу включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;– заранее разработанная система подсчета баллов применяется ко всем ответам учеников без исключения.

Для соблюдения условия стандартизации (в идеале) диагностическая работа должна сопровождается следующей информацией для пользователя:

1) назначение и содержание;

2) показания для применения и ограничения;

3) состав работы;

4) информация об апробации (цели апробации, объем и состав выборки);

5) инструкция по процедуре проведения работы;

6) ключи;

7) данные о трудности и дискриминативности заданий;

8) данные о надежности и валидности теста;

9) другие статистические материалы;

10) правила (инструкция) для обработки данных;

11) устройство шкалы;

12) правила и особенности интерпретации результатов.

Контрольные измерительные материалы (КИМ) включают :

– кодификатор(документ, составленный на основе перечня планируемых результатов освоения ООП НОО)

– спецификацию работы(документ, в котором в краткой форме указываются все основные характеристики КИМ: структура, тип используемых заданий, время выполнения, последовательность проверяемых элементов содержания, система оценивания и др.)

– демонстрационную версию итоговой работы;

– итоговую работу с инструкцией для учащихся (в определенном количестве вариантов)

– ключи (правильные ответы на задания с выбором ответа и кратким ответом);

– рекомендации по проверке и оценке заданий с развернутым ответом.

Правила и особенности интерпретации результатов лежат в основе формирования решения об освоении учебного материала – достижении планируемых результатов– критерий задается в зависимости от типа используемых заданий, возможной ошибки измерения, а также срока введения стандарта; принятый в практике педагогических измерений минимальный критерий освоения учебного материала находится в пределах от 50 до 65% от максимального балла, который можно получить за выполнение заданий базового уровня. Для заданий с выбором ответа – 65%, для заданий со свободным ответом (кратким или развернутым) – 50% при условии, что стандарт (планируемые результаты) введен и обеспечено его освоение в учебном процессе.

Технологическая цепочка КИМ

1)  Изучение кодификатора и составление спецификации КИМ.

2)  Анализ различных УМК и предшествующих результатов тестирования.

3)  Подбор и составление заданий диагностической работы.

4)  Обсуждение заданий в рабочей группе и их корректировка.

5)  Представление и экспертиза представленных материалов.

6)  Отбраковка и корректировка заданий , составление ключей.

7)  Проведение работы.

8)  Анализ работы.