Вес тестового задания. Полдюжины факторов снижающих ценность понятия веса ТЗ

Независимо от единиц измерения, используемых поставщиком или покупателем, производитель будет использовать свои собственные произвольные единицы измерения, переводимые в единицы поставщика или покупателя с помощью странных и неестественных коэффициентов пересчета.

Теорема Вышковского (Артур Блох. Мерфология)

Можно «взвесить» задания относительно друг друга внутри каждого уровня, если это необходимо. Однако здесь следует иметь в виду следующие соображения.

Вычисление относительного веса заданий, т. е. их относительной трудности для учащихся – довольно сложная задача. Она требует проведения большого количества тестирований с участием многих учащихся. При этом на величины вычисляемых Вами весов могут непредсказуемо повлиять следующие факторы:

• Разные учащиеся в разное время могут пользоваться при подготовке к тестированию разными учебниками, где один и тот же вопрос освещен с разной степенью подробности и ясности;

• Смена (или временная подмена) преподавателя дисциплины приводит к освещению разных вопросов в разных учебных группах с разной степенью подробности и ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних избрать чересчур высоким, для других – низким;

• Учащиеся, прошедшие тестирование первыми неизбежно передадут почерпнутую информацию следующим, и те придут тестироваться более подготовленными. Неодновременность сеансов тестирования и неконтролируемость распространения информации среди учащихся о тестовых заданиях сделают Ваши попытки «скрупулезного взвешивания» бессмысленными;

• Учащиеся, лучше всех знающие учебный материал, лучше всех прогнозируют для себя время, необходимое для выполнения заданий. Поэтому они выполнят в первую очередь простые задания, а сложные оставят на «потом». Это приведет к ошибочному пониманию сложности заданий – за «сложные» Вы ошибочно примете «долгие»;

• Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со взглядами руководства. Каждая такая смена будет разрушать Ваши результаты «взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь.

• Величины весов ТЗ, вычисленные на разных выборках претендентов, получатся разные. Следовательно, претендент, результаты тестирования которого учитывались в совокупности с разными выборками, будет иметь разный результат.

Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды времени, веса заданий, вычисленные по результатам тестирований других групп, будут относительно необъективны. Кроме того, опыт работы жюри олимпиад говорит, что, по какой бы системе веса не вычислялись, дополнительной объективности решению жюри это никогда не придает и список призеров от этого меняется мало.

Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга характеризуют относительный успех претендента в выполнении конкретных групп ТЗ.