Компьютерные тесты: придумываем задания

Как создать качественный компьютерный тест? Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами в новом выпуске рубрики.

Задания на установление соответствия

Такие задания содержат два параллельных списка. Первый обычно включает достаточно длинные позиции – это список условий. Испытуемый должен сопоставить каждую позицию из списка условий с позицией из списка ответов. Элементы списка ответов обычно формулируются лаконично. Преимуществами заданий на установление соответствия являются их компактность и возможность охвата большого количества проверяемых знаний. Однако они имеют и недостатки: при их конструировании трудно подобрать однородные списки, а сами задания стимулируют исключительно процессы запоминания фактов.

Задания на установление соответствия требуют очень чётких инструкций. Инструкции должны содержать информацию о том, на каком основании должно устанавливаться соответствие, а также может ли один ответ использоваться дважды или не использоваться вовсе.

Принципы составления заданий:

• Оптимальное задание содержит от 4 до 10 условий.
• По возможности составляйте задания так, чтобы количество условий не равнялось количеству ответов (это позволит сократить риск угадывания на последнем этапе работы с заданием).
• При необходимости организуйте условия в логической последовательности, например, в хронологическом порядке или по алфавиту.

Пример задания на установление соответствия:

(инструкция) Запишите в специальном поле для ответов букву, подходящую для каждого элемента из первого (нумерованного) списка. К каждому элементу из первого списка может относиться один элемент из второго списка. (формулировка задания) При формировании представления о партнере по общению люди используют четыре основных механизма. В левом списке перечислены их названия, а в правом даны определения. Сопоставьте их между собой.

Задания на установление последовательности

Подобная форма заданий используется, когда требуется оценить знания этапов и событий какого-либо процесса. Эти задания также требуют чёткой инструкции, из которой должно быть понятно, в какой форме нужно фиксировать последовательность. Оптимально, если задание содержит от 3 до 7 элементов. А главным при конструировании таких заданий является то, чтобы используемая последовательность не являлась искусственной (например, известной и понятной только автору задания).

Задания открытой формы

Есть два типа заданий: с коротким ответом и с развернутым ответом. Задания с коротким ответом могут быть организованы как вопросы или как задания на дополнение. Задание-вопрос представляет собой конкретный вопрос, на который можно ответить одним словом, фразой, числом или символом. Задание на дополнение – это неполное утверждение, которое необходимо дополнить одним словом, фразой, числом или символом. Неоспоримым преимуществом заданий с коротким ответом является очень низкая вероятность угадывания. Недостатком является то, что при их конструировании необходимо учесть все варианты, которые могут быть правильными. Для задание с коротким текстовым ответом важно не забыть о нюансах согласования. А для заданий с числовым ответом – о количестве знаков после запятой или интервале значений.

При конструировании заданий с коротким ответом нужно избегать невольных подсказок, когда формулировка вопроса или утверждения наводит на правильный ответ; а также большого количества пропусков, так как тогда может потеряться смысл задания.

Задания с развернутым ответом предполагают, что ответ испытуемого на поставленный вопрос будет содержать несколько предложений или ответом будет законченный короткий текст. Эти задания позволяют оценить навыки интерпретации, анализа и оценки применительно к конкретным ситуациям. Их преимуществом является то, что они сочетают в себе разные мыслительные процессы, дают испытуемому возможность самому конструировать ответ, оценивают и развивают навыки письменной речи. Однако такие задания являются сложными и дорогостоящими с точки зрения проверки. Часто компьютер для таких заданий выполняет лишь функцию сбора ответов, а не их проверки. Для обеспечения объективности необходимо привлечение 2-3 экспертов. Тем не менее, важно отметить, что в настоящее время активно внедряются машинные способы проверки таких заданий, результаты которых сопоставимы с экспертными оценками, например, при проверке эссе в компьютерных тестах на знание английского языка.

Пять советов разработчикам заданий с развернутым ответом:

• Используйте такие задания только в тех случаях, где оценка другими, более объективными способами, не применима.
• Убедитесь, что задание соотносится с целями обучения.
• Для заданий с ограниченным объёмом четко задайте объём и элементы содержания.
• Для заданий со свободным объёмом дайте четкие рекомендации по выполнению и оформлению, а также минимальные требования к содержанию.
• Установите время выполнения.

Пример неудачной формулировки задания с развернутым ответом:

Почему символы так важны в произведении «451 градус по Фаренгейту»?

Пример оптимизированной формулировки задания с развернутым ответом:

Символы очень важны в произведении «451 градус по Фаренгейту». Какие три, по Вашему мнению, являются наиболее важными в нём? Опишите их и выделите их роль и смысл в этом произведении.

Конструирование заданий – кропотливая работа. Каким бы опытным не был разработчик – каждый сталкивается с трудностями. Начинающие авторы часто упираются в тип заданий, создание которых дается им проще всего. Обычно их заклинивает на заданиях типа «Кто? Что? Где? Когда?». Более опытные коллеги также частенько испытывают творческий кризис и работают в режиме фабрики однотипных заданий.

Я часто встречаю мнения, что задания закрытой формы работают только для фактологических знаний, апеллирующих к элементарной памяти. Это не так. Даже в условях закрытой формы можно создать большое разнообразие заданий. И здесь разработчикам будет полезно познакомиться с логико-семантической типологией, предложенной А. Г. Шмелевым. Эта типология содержит 15 типов вопросов, для ответа на которые потребуются самые различные операции мышления.

Логико-семантическая типология тестовых заданий:

• Фактологический вопрос “Что? Где? Когда?”
• Персонологический вопрос “Кто?”
• Причинно-следственный вопрос “Почему? Что следует?”
• Функционально-целевой вопрос “Для чего/зачем? С какой целью?”
• Структурный вопрос “Из чего?”
• Инструментальный вопрос “Как? Каким образом?”
• Обстоятельственный вопрос “При каких условиях?”
• Словарно-концептуальный вопрос “Как называется? Что значит термин?”
• Логико-дедуктивный вопрос “Что следует из данных посылок?”
• Концептуально-ассоциативный вопрос “Заполни пропуск”
• Концептуально-аналитический вопрос “Проведи аналогию”
• Задание на восстановление последовательности или структуры “Продолжи ряд” или “В какой последовательности?”
• Концептуально-семантическое задание для установления смысловой эквивалентности или близости
• Проблемно-операциональное задание “Реши задачу”
• Исключение лишнего и вопросы с “НЕ”

Как видно, фактологические и персонологические вопросы – излюбленные начинающими авторами тестовых заданий – являются лишь верхушкой айсберга. Применение этой типологии в конструкторской работе позволит значительно расширить спектр проверяемых знаний. Новички, опираясь на нее, смогут постепенно нарастить арсенал заданий, а искушенные авторы в минуты ступора получат новый заряд фантазии. Главное, использовать эту типологию как помощника, а не стремиться во что бы то ни стало включить все 15 типов вопросов в один тест. И не забывать делиться опытом.

Чаще всего в тестах встречаются следующие формы: закрытые задания, в которых нужно выбрать правильный ответ из предложенных вариантов; открытые задания, требующие самостоятельного конструирования ответа; задания на установление соответствия между элементами двумя множеств; задания на установление правильной последовательности. В этом материале мы сосредоточимся на заданиях закрытой формы.

Задания закрытой формы: типы, плюсы и минусы

Достоинствами заданий закрытой формы являются широта охвата по содержанию, простота подсчета первичных баллов учеников и объективность. К недостаткам можно отнести высокие риски, связанные с угадыванием и, как бы странно это не звучало, трудности композиции таких заданий. Например, чтобы получить 20 хороших заданий, опытному разработчику тестов понадобится написать 40, половина из которых будет отбракована в ходе экспертизы и апробации. Причиной отбраковки чаще всего является некорректное функционирование задания (например, когда одна или несколько ответных альтернатив не выбираются испытуемыми или, другими словами, не работают). «Выход» качественных заданий для начинающих разработчиков, как правило, не превышает 1/5.

Задания закрытой формы бывают нескольких типов: с выбором одного правильного ответа и с выбором всех правильных ответов. В первом случае, нужно выбрать наиболее правильный ответ из списка предложенных. В заданиях с выбором всех правильных ответов испытуемому предлагается несколько ответных альтернатив, в числе которых может быть несколько правильных. В этом случае испытуемому необходимо выбрать все правильные ответы.

Обязательными элементами заданий закрытой формы являются инструкция по выполнению и основная часть задания, содержащая постановку проблемы и ответные альтернативы (обычно, ответных альтернатив 3-7). При всей кажущейся простоте, создание заданий – это кропотливый труд, во многом напоминающий огранку драгоценного камня. Ниже приведу 6 советов и 6 принципов, которые помогут как начинающим, так и опытным разработчикам заданий.

Шесть советов по композиции заданий закрытой формы:

1. Избегайте в тексте задания неясности или двусмысленности и никогда не используйте фразу «как вы думаете».

2. Избегайте в задании таких слов, которые могут выглядеть как подсказка, включая однокоренные слова в тексте задания и в ответах.

3. При формулировке ответных альтернатив старайтесь не использовать без необходимости слова: все, ни одного, никогда, всегда; и выражения: ни один из перечисленных, все перечисленные.

4. Больший текст включайте в основную часть задания, а для ответных альтернатив оставляйте только важные, ключевые слова.

5. Старайтесь, чтобы все ответные альтернативы к одному заданию были примерно одной длины, включая правильные ответы.

6. Не забывайте соблюдать правила русского языка (орфография, знаки препинания, согласованность в числе, падеже, роде).

Шесть принципов композиции заданий закрытой формы:

Принцип противоречия

Ответы подбираются так, чтобы второй отрицал первый.

Органическое стекло – это пластмасса, состоящая из термопластической смолы

• a) с наполнителями.
• b) без наполнителей.

Принцип противоположности

Ответы допускают возможность потенциального существования других переходных понятий и состояний.

Функция, имеющая в интервале положительную производную, в этом интервале

• a) возрастает.
• b) сохраняет постоянное значение.
• c) убывает.

Принцип однородности

Подбираются такие ответы, которые относятся к одному роду, виду, или отображают различные стороны, грани явления.

Конституционный контроль во Франции осуществляет

• a) Государственный совет.
• b) Конституционный совет.
• c) Конституционный суд.

Принцип кумуляции

Содержание каждого ответа вбирает в себя (аккумулирует) содержание предыдущего.

Толерантным называется отношение

• a) рефлексивное.
• b) рефлексивное и симметричное.
• c) рефлексивное, симметричное и транзитивное.

Принцип сочетания

Используется сочетание слов (знаков) по два, три, четыре в каждом ответе.

Механическая работа, совершенная телом при поступательном движении, зависит от

• a) силы и времени.
• b) силы и перемещения.
• c) силы и пройденного пути.

Принцип двойной альтернативы

При конструировании ответов используется противопоставление, построенное на принципе противоречия или принципе противоположности.

Для развитых стран характерны

• a) низкая рождаемость и низкая смертность.
• b) высокая рождаемость и низкая смертность.
• c) высокая рождаемость и высокая смертность.
• d) низкая рождаемость и высокая смертность.

Говоря о правилах начисления баллов, в тестовых заданиях закрытой формы обычно используют дихотомическую оценку: за правильный ответ участник тестирования получает 1 балл, за неправильный ответ или за отсутствие ответа 0 баллов. Суммирование всех единиц позволяет вычислить индивидуальный балл испытуемого (первичный балл).

Важно отметить, что в тексте приведены наиболее важные советы и распространенные принципы. У опытных разработчиков часто есть свой перечень советов и принципов в дополнение к указанным выше. А залогом успеха в составлении заданий является практика и обмен опытом.