Систематические ошибки в тестировании

Не верю!

К. С. СТАНИСЛАВСКИЙ

Систематическая ошибка называется систематической потому, что она присутствует в результате всегда, систематически, при наступлении определенных условий. Она не является случайной, вызванной неконтролируемыми изменениями внешних параметров. Это – характеристика теста, которую можно контролировать и учитывать.

Иногда бывает так, что проще определить и учесть величину систематической ошибки, возникающей в конкретных ситуациях, чем исправить тест. Ведь исправленный тест тоже может характеризоваться систематическими ошибками, которые еще не определены.

Систематическая ошибка теста – это важная его характеристика, связанная, например, с:

• различием валидности теста, измеренной для разных групп претендентов (ошибка наклона) и

• соотношением между групповыми значениями измеренных характеристик по тесту и по критерию (ошибка интерцепта).

Эти понятия используются для акцентирования того, что заложено в тесте, – в противоположность возможной случайной ошибке. Это в значительной степени связано со спецификой выборки, на которой адаптируется тест. Рассмотрим эти понятия более подробно.

• Систематическая ошибка наклона. Различие коэффициента валидности теста для двух групп обследуемых может быть связано с использованием в роли критерия субъективных оценок. Систематическая ошибка наклона теста может возникать и при сравнении выводов об эффективности его применения на представителях разных этнокультурных, социальных и профессиональных групп. Зависит она и от величины их выборки. Необходимо устанавливать различия между коэффициентами валидности для разных выборок. Если такие различия существенны (например, в тесте по химии в русскоязычных и национальных группах), то лучше всего проверить тест еще раз на двух независимых выборках, для того чтобы выяснить, действительно ли эти различия столь существенны. Если отклонения вызваны спецификой данного контингента обследуемых, то следует, просчитав эту систематическую ошибку наклона, учитывать ее при анализе полученных тестовых данных и при принятии педагогами решений об отсеве, распределении учащихся.

• Систематическая ошибка интерцепта означает, что тест систематически завышает или занижает значения критерия для части претендентов. Обнаружить ее можно, когда результаты анализируются по подгруппам обследованного контингента, что особенно необходимо на стадии выверки нового теста. Возможно, что она будет обнаружена даже при одинаковой валидности теста для двух групп. Следствием бывают разные прогностические значения теста для этих групп (например, этнического большинства и меньшинства). Если к этим группам мы начнем применять единый нормальный показатель, одна из них может оказаться в более, а другая в менее благоприятных условиях. Требуется расчет систематической ошибки интерцепта для тестов, ориентированных на обследование групп с существенными различиями по образовательному и социоэкономическому уровням.

Причиной систематической ошибки интерцепта может быть не только содержание знаний и умений, заложенных в заданиях теста, но и семантика теста – степень привычности или сложности формулировки его заданий. Для различий в национальных группах могут быть существенны этнопсихологические факторы, особенно в тестах, связанных с гуманитарными ценностями и знаниями.

Могут сказаться и демографические, биографические различия учащихся. Так, для выпускников городских школ, в которых тестирование применялось в старших классах, сама форма предъявления теста при вступительных экзаменах в вуз привычна. Это делает тестирование для них операцией знакомой, рутинной. В то же время для абитуриентов из отдаленного села, которые тесты ранее не видели никогда, уже сама ситуация тестирования связана со стрессовыми дополнительными факторами.

Возможна и другая, семантическая ситуация: нечётко сформулированное задание во вступительном тесте. Не исключено, что в худшем положении окажутся как раз лучшие выпускники престижных школ, привыкшие к более строгим и точным формулировкам задания. Подумав, что за «простотой» в задании скрываются ловушки, они могут начать искать в нём его «второй смысл», особенно в ситуации отбора при высоком конкурсе. Потратив на выполнение задания много времени и сил, не найдя явного подвоха, эти хорошо подготовленные выпускники в ситуации, когда задания построены с выборочным вариантом ответа (а так строится большинство стандартизированных тестов), могут остановиться не на более очевидном и правильном варианте, а на том, что «похитрее», – и ошибиться. А троечники думать не будут – выберут более очевидный вариант и получат свой балл.