Разрешающая способность и объективность измерительных процедур

Чертеж должен работать!

В. Ф. ЕФИМЕНКО

Под «разрешающей способностью» технологии оценки понимают степень возможности адекватного распределения (дифференцирования, разбиения) с ее помощью всех претендентов на критериально-однородные группы в соответствии с их уровнями знаний, личностными качествами, практической подготовкой и пр.

Обычно подразумевается, что границы между группами учащихся, проведенные процедурой оценки с высокой «разрешающей способностью», легко объяснимы и не вызывают споров. Однако многие из нас сталкивались со случаями логически необъяснимого проведения границ между «пятеркой» и «четверкой» или «четверкой» и «тройкой» не только на устных экзаменах, но и при компьютерных тестированиях.

Чаще всего, когда технологии тестирования разрабатываются неспециалистами, границы определяются волюнтаристски, «с потолка» (здесь очень просится слово «всегда»).

Иногда работодатели предъявляют специфические претензии к вузовской оценке качества, полагая, что принимаемый на работу специалист должен, в первую очередь, грамотно проектировать изделия, а не знать назубок определения и математические теоремы. Требования вузовских приемных комиссий также нередко расходятся с тем, что требуется от выпускников в школах. Эта разница в точках зрения на качество исходящей и входящей «продукции» вполне объяснима и должна учитываться при проведении тестирований.

Разрешающую способность технологии можно и повысить и понизить. Она может быть повышена:

• во-первых, путем перехода к многобалльным шкалам (например, 100-балльные или 1000-балльные);

• во-вторых, путем использования многомерных оценок (например, когда оценивание каждой составляющей образованности специалиста ведется по-отдельности и вычисление интегральной оценки осуществляется с применением методик факторного анализа).

Разрешающая способность зависит от свойств не только каждого из применяемых тестовых заданий, но и всей совокупности ТЗ в целом.

Лучшим следует признавать тот массив ТЗ, который:

• во-первых, «равномерно покрывает» весь учебный материал (т. е. в заданиях нашла равное отражение учебная информация из подобных по информационному весу и важности разделов дисциплины);

• во-вторых, вопросы и ответы самих заданий не вызывают нареканий с точки зрения грамотности, взаимного соответствия и т. п.;

• в-третьих, веса оценок, которые учащиеся получают в свою «копилку» в процессе тестирования, объективно соответствуют соотношениям сложности и важности ТЗ;

• в-четвертых, задания нельзя выполнить путем простого логического заключения либо простого узнавания исходя из каких-либо примет.

Тестовые задания описывают многими характеристиками, например; величинойприписываемых им эмпирическихпараметров:

• весом;

• сложностью;

• трудностью;

• трудоемкостью; содержанием:

• информационно-отражающие;

• проблемно-эвристические;

• развивающие.

шкалой (логикой) оценивания:

• ТЗ с двузначной шкалой оценивания (верно – не верно);

• ТЗ с трехзначной шкалой оценивания (верно – не совсем верно – не верно);

• ТЗ с четырехзначной шкалой оценивания (верно – не полно – не точно – не верно).

Большей различающей способностью обладают тесты с большим разбросом весов заданий, с многозначной шкалой оценивания, построенные на основе развивающего метода.

Принципиального повышения уровня объективности оценки знаний (именно – знаний, а не умений) можно достичь лишь при полном устранении человеческого фактора из процедуры оценки и переходе к автоматизированному контролю. Все чаще и чаще педагоги выражают положительное отношение к автоматизации рутинных опросов, ибо понятно, что только компьютеру под силу задать несколько десятков вопросов типа «Назовите дату сражения при Ватерлоо» каждому из сотни учащихся и оценить их ответы за 15 минут. Такие «зачетные» тестирования для нас уже стали привычны.

Саша, никогда не оправдывайтесь!

Это вызывает подозрения

Эммануил ВИТОРГАН (в одном из сериалов)

Считается, что процедуры измерения и оценивания умений учащихся, за исключением простых и поддающихся формализации случаев, пока автоматизировать не представляется возможным. Эта область деятельности пока подвластна только человеку, и педагоги здесь правы, отстаивая здесь свой человеческий приоритет перед машиной.