Тест – это совокупность или система нескольких ТЗ. Характерные встречающиеся недостатки тестовых заданий мы рассмотрим ниже, а здесь сосредоточимся на недостатках именно тестов. Перечислим основные недостатки:
Неравномерность «покрытия» учебного материала, отсутствие равенства отражения подобных по информационному весу и важности разделов дисциплины;
Необъективность весов ТЗ, т. е. количеств баллов, которые претенденты получают в свою «копилку» за выполнение каждого задания; вес не отражает среднестатистическую сложность и важность задания;
Малое количество ТЗ в тесте или одновариантность теста, предполагающие простоту пользования шпаргалкой и тестирование не знаний, а способности запоминать последовательности букв и цифр. Задания для составления варианта теста должны выбираться из БТЗ случайным образом, а БТЗ должна быть столь велика, чтобы меры по обеспечению ее секретности были не нужны (более 300 заданий для этого достаточно);
Отсутствие ориентации заданий на учет присущих человеку свойств и качеств (настроение, усталость, темперамент, возраст, пол, национальность), т. е. отсутствие в тесте элементов гуманистичности или толерантности;
Если в тестирующую программу не заложены методики случайного выбора порядка предъявления ТЗ, и тест создавался одним человеком, номера правильных вариантов иногда можно достаточно надежно определить с помощью калькулятора и простых алгоритмов, созданных кибернетиками еще в середине прошлого века. Человеку только кажется, что он распределил варианты в случайном порядке;
Присутствие связи между последовательными заданиями, когда для верного выполнения одного задания учащийся пользуется или вынужден пользоваться информацией из других заданий. Такая, заложенная автором, связь легко прослеживается в бланковом варианте теста, но исчезает в компьютерном;
Вопросы и ответы однообразны, нудны. Это отрицательно воздействует на учащихся, вызывают так называемый эффект «ровной дороги» – известный в практике водителей-дальнобойщиков эффект засыпания за рулем, отвлечение и рассеяние внимания;
Инструкция для участников дана только в одном ТЗ в предположении, что участник выполняет их последовательно. Это приводит к неразберихе и ошибкам при отклонениях;
Отсутствие элементов адаптивности;
Отсутствие элементов психофизической разгрузки.
Часто эти недостатки взаимосвязаны, это легко увидеть при некотором опыте составления заданий. Есть и другие недостатки тестов, выявляемые уже в процессе математической обработки результатов тестирования. Недостатки, связанные с валидностью и надежностью теста, обсуждены в специальном разделе настоящего пособия.