ОИТ и менеджмент качества. Принцип непрерывного улучшения

Прогресс человечества пришел к необходимости систем менеджмента качества. Таких систем создано много. Описание такой системы представляет собой много томов, содержащих схемы предприятий, схемы руководства, перечни принципов, примерные инструкции и перечни обязанностей и пр. Это такой образец, что если, следуя ему устроить производство продукции, можно с большой вероятностью добиться успеха. Среди общепризнанных систем – ISO-9000. Один из принципов ISO-9000 – принцип непрерывного улучшения, согласно которому система менеджмента качества считается хорошей, если качество продукции растет.

В большинстве сфер человеческой деятельности с понятием качества и измерением качества проблем нет. Иное дело в образовании. Как показано в предыдущем разделе (Динамика результатов педагогических измерений), в педагогических измерениях нет места «надежности» в традиционном техническом понимании. Результаты тестирования не повторяются так, как это хотелось бы, например, инженеру, работающему с механизмами.

Результаты тестирования ЗУН, с той или иной степенью определенности, отражают состояние качества образования претендентов. Рост результатов тестирования ЗУН, если процесс тестирования не осложнен негативными артефактами, свидетельствуют о росте уровня качества.

Изменения результатов тестирований, проведенных с одним и тем же (возможно, вариативным) тестом, можно подразделить как общие и локальные. Под локальными изменениями можно понимать те, которые происходят при многократных тестированиях одной группы претендентов в рамках одной темы учебной дисциплины. Под общими изменениями можно понимать те, которые происходят при тестированиях разных групп претендентов, либо одной группы, но по разным темам. Локальные изменения характеризуют, скорее, личностные характеристики претендентов, а общие – учебный процесс. Положительные общие изменения свидетельствуют о росте качества учебного процесса.

Как показано в предыдущем разделе, стремление к «надежности» теста, редко приводит к результату, а «надежность», как численная характеристика теста, реально не используется в тестологических расчетах. Логично вместо «надежности» ввести в научный обиход характеристику, отражающую степень локальных изменений результатов тестирования. Поскольку рост образовательных результатов – это дидактическая цель, эту характеристику можно назвать «релевантность», понимая под этим названием степень соответствия дидактической цели.

В отличие от «надежности», измерить «релевантность» несложно. Например, как разность усредненных результатов последовательных сеансов тестирования одной и той же группы претендентов по двум вариантам одного теста в рамках одной технологии.

Положительная релевантность означает рост результатов, отсюда – связь с принципом непрерывного улучшения системы ISO-9000: тест, технология тестирования хороши в случае их положительной релевантности. Принцип «положительной релевантности» лучше характеризует тест и технологию тестирования, чем принцип «надежности».

Целесообразно применить термин «релевантность» не только к тесту, но и к технологии тестирования, и к технологии компьютерного обучения. Подробное рассмотрение возможности применения термина «релевантность» к технологии обучения (и тестирования) приведено в томе I настоящего пособия.