Бланковое тестирование. Десять несовершенств.

В строю мы привыкли к порядку;

Нам по сердцу творческий труд!

В. МАТВЕЕВ

Левицкая Н. В., Луганская Л. И., Лаврова К. И. Русский язык.

Учебное пособие для солдат, не владеющих или слабо владеющих русским языком. Воениздат, 1982.

Ранние попытки автоматизировать контроль ЗУН во многих странах в начале XX века привели к созданию бланковых технологий тестирования и «индустрии тестов», а затем – к появлению международно-признанных организаций, проводящих ежегодно десятки миллионов сеансов бланковых тестирований. В России одной из таких организаций является Центр тестирования Министерства образования Российской Федерации. (ЦТ МОРФ), многие годы проводящий ежегодное Централизованное бланковое тестирование (ЦТ) среди школьников и абитуриентов.

Несовершенства бланковых технологий тестирования стали очевидны после появления достаточно качественных компьютерных дисплеев (мониторов) в 80-х годах прошлого века.

К техническим несовершенствам бланковых технологий можно отнести:

• длительность тиражирования;

• высокая вероятность подлога;

• сложность сохранения конфиденциальности;

• высокая вероятность угадывания верных вариантов путем простого логического сравнения;

• трудоемкость тиражирования, хранения и транспортировки бланков и соответствующих вопросников;

• сложность обеспечения должного уровня секретности экзаменационных материалов и относительная простота подлога;

• сложность обеспечения верного восприятия правил претендентами и их выполнения;

• трудоемкость извлечения и обработки результатов;

• дороговизна сеанса.

и др. К методическим несовершенствам бланковых технологий мы здесь отнесем еще одно, на наш взгляд, самое существенное. Суть этого несовершенства легко понять, если внимательно сравнить две популярные телевизионные игры – «Кто хочет стать миллионером?» и «Своя игра». В первом случае один играющий указывает верный ответ на вопрос в предъявленном списке. Во втором – игроки соревнуются друг с другом в скорости ответа на вопрос, зная лишь его тему и используя лишь свою память.

С методической точки зрения, эти два сценария кардинально различны. В первом случае указать правильный ответ несравненно легче:

• во-первых, видя четыре варианта ответа, среди которых всего один верный, можно осуществить выбор просто логическим путем, не имея специального знания;

• во-вторых, даже если нет возможности вспомнить верный ответ или догадаться путем логического перебора вариантов, можно выбрать любой ответ и с вероятностью 25% добиться успеха.

Во втором же случае, т. е. в «Своей игре», ни логика, ни удача не помогут победить – помогут только память и знание.

Применяемые тестовые задания называют:

• в первом случае – заданиями закрытой формы;

• во втором случае – заданиями открытой формы.

Надо сказать, что, согласно математической теории вероятностей, приведенную выше величину – 25% – можно уменьшить, т. е. уменьшить вероятность простой удачи. Например, четырьмя способами:

• увеличением количества вариантов выполнения заданий;

• помещением среди демонстрируемых вариантов не одного, а нескольких верных ответов, которые требуется указать все;

• созданием дистракторов;

• применением технологий психофизиологического контроля.

Однако, даже при применении этих способов, при тестировании:

• все равно сохраняется, хотя и уменьшается, степень возможности достижения успеха с помощью простой логики, поскольку испытуемый видит одновременно все варианты и имеет возможность их сравнить;

• в связи с наличием в результатах тестирований определенного высокого процента успеха, списываемого «на удачу», много труда составителей тестовых заданий оказывается напрасным (иногда даже свыше трети);

• значительно «раздувается» объем бумажных бланков, и, соответственно, увеличивается вероятность сбоев при проверке;

• увеличивается непроизводительное время знакомства испытуемых с заданиями, соответственно должно быть уменьшено количество заданий в связи с объективно накапливающейся усталостью и ограниченным временем сеанса.

В технологиях автоматизированного бланкового тестирования обычно заложен именно вариант выбора из списка (задания закрытой формы) с его главным недостатком – возможностью увидеть одновременно все правильные и неправильные варианты ответа и воспользоваться этим, проявив не знания, а умение логически мыслить.

На взгляд организаторов таких тестирований, все отмеченные выше недостатки тестов с заданиями закрытой формы окупаются простотой обработки результатов. Бог им судья.

Для «обмана» человеческой логики создатели бланковых тестовых материалов придумали множество приемов. Эти приемы позволяют конструировать варианты ответов на вопросы так, что неверный ответ кажется правдоподобным, а верный – неправильным. Совокупность этих приемов иногда называют теорией дистракторов.

Создатели этих приемов, подобно мастерам рукопашного боя, сохраняют их в тайне. Мы не укажем доступное изложение всех этих приемов, изданное в открытой печати.

Самое удивительное, что не часто удается встретить среди педагогов желающих познать тайны «теории дистракторов». Не смотря на то, труд по созданию тестовых материалов и становится в России все популярнее. Российский преподаватель – сам себе голова. Говорят, что российская система образования потому так хороша, потому она так магически устойчива, потому ее не смогли разрушить реформы, что устроена она на удивительных традициях:

• не верить авторитетам;

• учить так, как придет в голову в данный момент, не оглядываясь на поурочные планы;

• подчиняться приказам начальников «по-итальянски»; • ожидать от учеников только лучшего, подозревая худшее;

• надеяться на «авось».

Процедура массового бланкового тестирования слабо защищена от подлога. Одно дело, когда педагог проводит тестирование для облегчения собственного труда и сам наблюдает за выполнением процедуры, и совсем другое – когда тестирование ведется большим коллективом людей, которые не заинтересованы в качестве результатов. Или, еще хуже, которые заинтересованы лишь в успехе «выделенных» испытуемых. Такие явления можно увидеть, например, при проведении Централизованного тестирования или Единого государственного экзамена, организуемых МОРФ по всей территории России уже несколько лет. Особо яркие случаи коллективного подлога известны в педагогической печати.

Возможных путей подлога в бланковом тестировании довольно много:

• «выделенного» учащегося можно вместе с заданием поместить в отдельный кабинет, где он все правильно выполнит под присмотром, например, репетитора;

• задание может выполнить репетитор без участия самого испытуемого и потом подложить бланк в общую пачку;

• в процессе своего изготовления бланки проходят через сотни рук и глаз, поэтому тестовые ключи «уплывают» на рынок. Их можно купить предварительно, и особенно легко это сделать в Москве, поближе к Министерству образования. Тестовые ключи «уплывают» одновременно с отправкой тонн бланков в регионы России.

При желании и опыте можно придумать еще больше вариантов теневых путей к успеху в бланковом тестировании.

В России две беды – дураки и дороги.

Н. В. ГОГОЛЬ

Перевод тестирований на компьютеризованную основу способен резко поднять объективность результатов. Над решением этой проблемы работает много ученых и организаций. Например – Центр тестирования МОРФ, где объединяются лучшие тестологические силы России. Тем не менее, несмотря на очевидность, магическим образом, связанные с человеческим фактором несовершенства бланковой технологии вот уже несколько лет сохраняются и здесь. И охраняются нормативными документами.

Здесь далее будут подробно рассмотрены известные технологические особенности, позволяющие обеспечить уровень информационной безопасности массовых компьютерных тестирований на уровне учреждений, территорий, регионов, государств.