Обеспечение конфиденциальности теста в масштабе региона и страны

Не пытайтесь устранить зло, лежащее за пределами вашей досягаемости, иначе и зло не устраните, и авторитет потеряете.

Теодор РУЗВЕЛЬТ

На основании опыта участия в организации всероссийских централизованных тестирований в Приморском крае («Телетестинг» и ЦКТ), а также опыта участия в инспектировании таких тестирований в Республике Саха (Якутия) и Хабаровском крае, нам удалось выделить и систематизировать встреченные технологические недостатки и разработать достаточно безупречную и экономичную технологию обеспечения конфиденциальности.

В этой схеме совмещены два варианта сценария процедуры тестирования, разработанные для полностью и частично компьютеризованной формы тестирования.

1. Список коллектива авторов, рецензентов и редакторов тестовых заданий является открытым и может быть опубликован.

2. В электронную базу вводится не менее 2-3 тысяч заданий по каждой дисциплине, включающих, например, материал всех опубликованных с грифом Министерства образования учебников и задачников. Это число обусловлено следующим:

   • Именно столько заданий (вместе с вариантами) по каждой учебной дисциплине можно найти в открытой печати, и что-то новое придумать довольно сложно.

   • Если средний ученик просто выучит хотя бы четверть верных вариантов выполнения такого количества заданий – он достоин высокой оценки.

   • Создать такую базу вполне возможно втроем – вчетвером за 1-2 месяца.

   • Такое количество заданий, сопровожденных иллюстрациями и таблицами, вполне поместится на одном компакт-диске.

3. Задания сортированы по принципу подобия (равной сложности, равной трудоемкости, соответствия одной теме, равной важности). Групп подобных заданий для каждой дисциплины получится около сотни. В каждую группу войдет два-три десятка равных по сложности заданий. Процедура создания вариантов основывается на принципе: по одному заданию из каждой группы. Математическое пояснение: Пусть тест включает 100 заданий, по одному из каждой группы. В каждой группе пусть будет 20 заданий. Если пересчитать все возможные варианты сочетаний заданий, которые создаст компьютер, получится 20¹⁰⁰. Это астрономическое количество, гарантирующее неповторимость вариантов.

4. Нет традиционного засекречивания заданий. Задания публикуются в виде сборников для подготовки. Объем такого пособия составит 500-800 страниц, т. е. может превысить объем учебника. Страшного ничего не случится, если школьник выучит значительную часть заключенной в пособии информации. В этом реализуется главная дидактическая цель. Публикация сборников принесет доход центрам тестирования и, в то же время, устранит почву для нежелательных теневых явлений.

5. «Веса» заданий вычисляются заблаговременно, путем экспериментальных тестирований. Тестируются все желающие, эксперименты проходят многократно в течение года во многих территориях. Это возможно в условиях отсутствия секретности, поскольку все возможные варианты задач и вопросов заранее опубликованы. Выучить их все – равносильно повторному неоднократному прохождению курса обучения.

   • Заблаговременное определение весов ускорит процедуру статистической обработки результатов реальных тестирований, устранит этот общеизвестный объект многолетней критики.

   • Экономическую поддержку эксперимента можно осуществить введением оплаты участия. Желающих потренироваться будет много.

6. Алгоритм формирования единственного и неповторимого варианта теста (списка заданий) для каждого претендента основан на коде, включающем

   • паспортные данные;

   • точные дату и время создания кода;

   • четырехзначное число – ключ, меняющееся на едином Интернет-сайте через определенные промежутки времени и транслируемое по радио или телевидению одновременно на территории всей России в течение всего периода тестирования;

   • параметр (со значениями, например, 0 и 1) отражающий желание либо нежелание претендента опубликовать результат. Это необходимо в соответствии с законодательством РФ. В соответствии с выбранной цифрой, претендент узнает о своих результатах на следующий после тестирования день в общих списках, либо – по завершении всех мероприятий из присланного ему именного сертификата.

Блок-генератор вариантов ориентируется на эти данные, и дает возможность разрешить претендентам повторные тестирования по любой дисциплине, с гарантией неповторимости вариантов, в том числе и платные предварительные тренировки. Вариант теста может быть сгенерирован вновь и в другом месте при повторном введении перечисленных данных, например, при работе апелляционной комиссии.

1. Алгоритм формирования варианта теста включает выбор формы представления варианта – бланковой (если центр тестирования не оборудован достаточным количеством компьютеров) либо компьютерной. Выбор осуществляет руководитель центра тестирования. Блок выбора формы позволяет распечатать тест на принтере для каждого претендента. По окончании сеанса тестирования претенденты должны ввести результаты выполнения заданий в компьютер.

2. Нормативные документы и инструкции включают официальное разрешение претендентам тестироваться и тренироваться произвольное количество раз по любой дисциплине на протяжении периода тестирования (если это не ущемляет прав доступа других претендентов). Первый шанс (сеанс тестирования) предоставляется претендентам бесплатно, последующие – после оплаты.

3. Тестирования проводятся на базе специализированных центров, ответственные лица которых сертифицированы.

4. Руководители специализированных центров несут персональную ответственность за соблюдение правил тестирования – обеспечение доступности тестовых материалов, работоспособность печатных устройств и пр. Законодательством определена административная и пр. ответственность за подлог.

1. Утверждается и инструктируется персонал территориального Центра тестирования. Руководит тестированием специалист, сертифицированный в рамках централизованных мероприятий МОРФ.

2. Программное обеспечение, поступившее заблаговременно из МОРФ, устанавливается в компьютерном классе территориального Центра тестирований. Оно используется как для тренировочных, так и для аттестационных тестирований. Доступ претендентов на тренировки оговорен инструкцией. Тренировочные и аттестационные тестирования проходят по одному и тому же, описанному ниже, технологическому плану.

3. Администратор сети Центра тестирования регулярно, по установленному расписанию, получает по телевидению, по радио или из Интернет ключ, необходимый для формирования кода претендентов. Ввод числа синхронизован со временем начала и окончания сеансов.

4. Начало регистрации синхронизировано по времени с получением ключа. Контроль документов претендентов при регистрации проводится независимо представителем милиции. Независимый контроль перекрывает один из вероятных путей подлога – подмену претендента.

5. Приступающие к тестированию претенденты в течение нормативного промежутка времени вводят в компьютеры свои паспортные данные. На основе этой информации формируется код претендента и соответствующий вариант заданий теста, которые можно выполнять сидя перед экраном компьютера либо, если время сеанса тестирования велико и компьютеров мало – в аудитории, имея на руках распечатанный вариант и бланки для работы. Решение о форме тестирования принимает руководитель центра на основе сведений о количестве претендентов, наличия техники и пр.

6. Объявляется начало сеанса. Выполнение заданий в аудиториях центра тестирования и в компьютерном классе контролируется дежурными и представителями вузов региона.

Контроль в рассматриваемом случае упрощен, поскольку

• варианты заданий у всех участников разные;

• вес и объем шпаргалки, имеющейся в продаже в ближайшем магазине, достаточен для того, чтобы ее вовремя заметить.

1. Объявляется окончание сеанса.

2. Учащиеся, выполнявшие задания письменно, возвращаются в компьютерный класс и в течение нескольких минут вводят в компьютер свои коды и свои результаты. Документы претендентов контролируется представителем милиции. Если результат введен в компьютер после окончания нормативного времени, например, после получения очередного ключа, задание считается невыполненным.

3. Результаты тестирования отправляются на специализированный сайт МОРФ для обработки. Они остаются неизвестными в течение оговоренного инструкцией периода. Учащиеся имеют право пройти сеанс вновь в тот же день либо в другой день периода тестирований.

4. По истечении технологического периода обработки, публикуются результаты. Претенденты с ними знакомятся на стендах. По окончании периода тестирований на всей территории России, претенденты получают сертификаты, изготовленные на бланках утвержденной МОРФ формы.

1. Результаты претендентов в виде зашифрованного файла из территориального Центра тестирования направляются на специализированный сайт тестирований для обработки. Обработка проводится в течение нормативного срока.

2. Обработанные результаты тестирований возвращаются в территориальный Центр тестирования в виде удобном для распечатки и публикации. Результаты претендентов, не пожелавших публикации, в публикуемых списках отсутствуют.

3. Принцип формирования зашифрованного файла результата и его обработки известен только двум специалистам – руководителю и заместителю руководителя специализированного сайта. Оба они являются и создателями сайта.

4. Ввод на сайт любой иной информации, кроме файлов-результатов блокируется специальными методами. Обработка производится автоматически без участия людей. Определена мера личной ответственности создателей сайта и методов защиты сайта за подлог результатов.

5. Вся входящая и исходящая информация специализированного сайта тестирований дублируется независимым Центром хранения в утвержденном порядке, исключающем возможность подлога. Дублированная информация может быть использована при работе федеральной апелляционной комиссии.

6. Результаты тестирований оперативно публикуются на стенде территориального ЦТ.

7. Претенденты имеют право повторить попытку тестирования произвольное количество раз при условии оплаты и наличия возможности. В новом сеансе код, который будет сформирован для претендента компьютером, будет другим, и вариант заданий – тоже.

8. Таблицы рейтингов учащихся, прошедших тестирования, без промедления параллельно публикуются на специализированном сайте, защищенном от посягательств. Это мероприятие не только повышает популярность и массовость тренировочных тестирований, но и дополнительно «перекрывает» пути фальсификации результатов.

9. После окончания тестирований все учащиеся получают заверенный печатью сертификат, включающий его рейтинги в 100- или 1000-бальной шкале по всем дисциплинам.

10. Именной сертификат претендент может представить в вуз при поступлении. Оценки по пятибалльной шкале абитуриенты получают в конкретном вузе на основании

    • его рейтинга;

    • рекомендаций МОРФ;

    • приказа руководителя учреждения или органа управления образованием, устанавливающего шкалу пересчета.

Приведенная схема оптимальна для применения в регионах как обеспеченных техникой, так и не имеющих технику в достаточном количестве. Здесь нет необходимости:

• использования дорогостоящих сканеров;

• привлечения большого персонала для обработки результатов;

• привлечения персонала для вторичного контроля обработки результатов;

• тиражирования и распределения больших количеств стандартных бланков;

• авиационной пересылки бумажных материалов;

• одновременного использования площадей и технических средств;

• одновременной доставки больших количеств претендентов;

• охраны хранящихся тестовых материалов;

• исключены неэффективные потери времени работы компьютеров.

Расчеты, проведенные для Приморского края в 2003 году, показали, что на тогдашнем уровне развития компьютеризации и ресурсной базы, можно по такой схеме провести тестирование знаний выпускников всех школ в течение трех-четырех недель. Себестоимость мероприятий с учетом оплаты труда и транспортных расходов, расходов на инспекторские проверки и инструктивные мероприятия, составила около 100 руб./сеанс. Эта сумма вполне окупается за счет оплаты тренировок самими претендентами. Однократное же аттестационное тестирование должно быть бесплатным.

1. Подмена претендента при регистрации в ЦТ путем подделки документов или сговора.

2. Подмена претендента при тестировании в ЦТ путем изменения места или времени выполнения заданий.

3. Подмена бланков с результатами работы претендента в процессе транспортировки.

4. Подмена бланков с результатами работы претендента в ЦТ путем сговора.

5. Подмена файла результатов в территориальном ЦТ путем сговора.

6. Взлом и исправление файла результатов в течение времени хранения в ЦТ путем сговора. Для взлома нужно довольно много времени.

7. Подмена файла результата на сервере ЦТ или в момент пересылки между серверами путем хакерской атаки.

8. Шпаргалка. Покупка, пронос и использование шпаргалки в течение сеанса тестирования. При этом если вариантов теста достаточно много, используется сговор.

9. Списывание. Происходит, если претенденты сидят в аудитории так, что видят результаты действий друг друга.

10. Обмен файлами. Происходит, когда один претендент регистрируется с паспортными данными и паролем другого претендента.